(57)【要約】【課題】動物にセンサ装置を装着することなく、動物の感情を示す文言をユーザに通知する。【解決手段】情報処理システム１は、動物が撮影された画像を用いて動物の状態を判定する状態判定部１０２と、動物の状態と感情との関係を示す通知文言ＤＢ１０５に基づいて、状態判定部１０２によって判定された動物の状態に対応する動物の感情を判定する感情判定部１０３と、感情判定部１０３によって判定された動物の感情を示す文言をユーザ端末４へ通知する通知処理部１０４と、を備える。【選択図】図１
2020170916.tif 000002
【特許請求の範囲】
【請求項１】
動物が撮影された画像を用いて前記動物の状態を判定する状態判定部と、
前記動物の状態と感情との関係を示す情報に基づいて、前記状態判定部によって判定された前記動物の状態に対応する前記動物の感情を判定する感情判定部と、
前記感情判定部によって判定された前記動物の感情を示す文言を端末へ通知する通知処理部と、
を備えた、情報処理装置。
【請求項２】
前記状態判定部は、前記動物の状態として、前記動物が撮影された画像から、前記動物の姿勢及び表情のうちの少なくとも１つを判定する、
請求項１に記載の情報処理装置。
【請求項３】
前記状態判定部は、前記動物の発声音を用いて前記動物の状態を判定する、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記状態判定部は、前記動物の状態として、前記動物の発声音から、前記動物の鳴き声を判定する、
請求項３に記載の情報処理装置。
【請求項５】
前記通知処理部は、前記文言が、前回通知した文言と異なる場合に、前記文言を通知する、
請求項１に記載の情報処理装置。
【請求項６】
前記通知処理部は、前記文言と共に、前記動物が撮影された画像を通知する、
請求項１に記載の情報処理装置。
【請求項７】
情報処理装置が、
動物が撮影された画像を用いて前記動物の状態を判定し、
前記動物の状態と感情との関係を示す情報に基づいて、判定された前記動物の状態に対応する前記動物の感情を判定し、
判定された前記動物の感情を示す文言を端末へ通知する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、及び、情報処理方法に関する。
【背景技術】
【０００２】
近年、飼い主とペットの関係性をより深める仕組みが提供されている。特許文献１には、ペットに装着されたセンサ装置が検出したデータを用いて、ペットの行動、感情及び健康といったペットの状態を判定し、判定したペットの状態に対応するペットの発言を発言ＤＢ（DataBase）から取得して対話型ＳＮＳ上の特定のユーザ宛に送信する仕組みが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１４６０７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ペットにセンサ装置を装着する仕組みは、ペットに対してストレスを与える。また、この仕組みは、ペットの数の増加に応じて、センサ装置の数も増加するため、飼い主にとって高コストである。
【０００５】
本開示の非限定的な実施例は、ペットにセンサ装置を装着せずに、ペットの状態を判定する技術の提供に資する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る情報処理装置は、動物が撮影された画像を用いて前記動物の状態を判定する状態判定部と、前記動物の状態と感情との関係を示す情報に基づいて、前記状態判定部によって判定された前記動物の状態に対応する前記動物の感情を判定する感情判定部と、前記感情判定部によって判定された前記動物の感情を示す文言を端末へ通知する通知処理部と、を備える。
【０００７】
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本開示の一態様によれば、ペットにセンサ装置を装着せずに、ペットの状態を判定できる。
【０００９】
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係る情報処理システムの構成例を示す図
【図２】実施の形態１に係る監視装置の構成例を示す図
【図３】実施の形態１に係るサーバ装置の構成例を示す図
【図４】実施の形態１に係るユーザ端末の構成例を示す図
【図５】実施の形態１に係るサーバ装置の機能例を示す図
【図６Ａ】実施の形態１に係る音声データの例１を示す図
【図６Ｂ】実施の形態１に係る音声データの例２を示す図
【図７】実施の形態１に係る通知文言ＤＢの例を示す図
【図８】実施の形態１に係るサーバ装置の動作例を示すフローチャート
【図９】実施の形態２に係るサーバ装置の機能例を示す図
【図１０】実施の形態２に係る監視装置制御部の処理例１を説明するための図
【図１１】実施の形態２に係る監視装置制御部の処理例２を説明するための図
【図１２】実施の形態３に係る情報処理システムの構成例を示す図
【図１３】実施の形態４に係る情報処理システムの構成例を示す図
【図１４】実施の形態５に係る情報処理システムの構成例を示す図
【図１５】実施の形態５に係る通知文言ＤＢの例を示す図
【図１６】実施の形態６に係るユーザ端末の動作例を説明するための図
【発明を実施するための形態】
【００１１】
以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１２】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１３】
（実施の形態１）
＜システム構成＞
図１は、実施の形態１に係る情報処理システムの構成例を示す。
【００１４】
図１に示すように、情報処理システム１は、監視装置２、サーバ装置３及びユーザ端末４を含む。監視装置２、サーバ装置３及びユーザ端末４は、ネットワーク６を通じて互いにデータを送受信できる。ネットワーク６の少なくとも一部は、有線及び／又は無線による、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）であってよい。また、ネットワーク６の少なくとも一部はインターネットであってよい。
【００１５】
監視装置２は、例えば、家Ｈの中に設置され、ペットＰを監視する。監視装置２は、可視光カメラ及びマイクを備える。監視装置２は、可視光カメラによってペットＰの姿を撮影し、画像データを生成する。監視装置２は、マイクによってペットＰが発声する音を拾い、音声データを生成する。監視装置２は、画像データ及び音声データを、ネットワーク６を通じてサーバ装置３へ送信する。監視装置２は、ペットカメラと呼ばれてよい。
【００１６】
サーバ装置３は、監視装置２から受信した画像データ及び音声データに基づいてペットＰの感情を判定し、ペットＰの感情を示す情報（以下「感情情報」という）を生成する。サーバ装置３は、ペットＰの感情情報に対応する通知文言を特定する。サーバ装置３は、画像データ及び通知文言を、ペットＰの飼い主であるユーザＵのユーザ端末４へ送信する。
【００１７】
ユーザ端末４は、サーバ装置３から受信した画像データ及び通知文言を表示する。これにより、ユーザＵは、家Ｈの中のペットＰの状況及び感情を知ることができる。以下、詳しく説明する。
【００１８】
＜監視装置の構成＞
図２は、監視装置２の構成例を示す。
【００１９】
図２に示すように、監視装置２は、制御部２１、記憶部２２、操作部２３、パンモータ２４、チルトモータ２５、赤外線センサ２６、音声入出力制御部２７、マイク２８、スピーカ２９、撮像部３０、映像メモリ制御部３１、映像メモリ３２、無線ＬＡＮ通信部３３、電源部３４、外部メモリＩ／Ｆ（Interface）部３５、及び、バス３６を有する。
【００２０】
制御部２１は、監視装置２を制御する。制御部２１は、ＣＰＵ（Central Processing Unit）によって構成されてよい。
【００２１】
記憶部２２には、制御部２１が動作するためのプログラムが記憶される。また、記憶部２２には、制御部２１が計算処理を行うためのデータ、または、制御部２１が各部を制御するためのデータ等が記憶される。記憶部２２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、およびＨＤＤ（Hard Disk Drive）などの記憶装置によって構成されてよい。
【００２２】
操作部２３は、ユーザの操作を受け付け可能なボタン等を用いて構成される。操作部２３は、ユーザの操作に応じた信号を制御部２１に出力する。
【００２３】
パンモータ２４は、制御部２１の制御に基づいて、撮像部３０をパン方向に駆動するモータである。チルトモータ２５は、制御部２１の制御に基づいて、撮像部３０をチルト方向に駆動するモータである。
【００２４】
赤外線センサ２６は、例えば、ＰＩＲ（Passive Infra-Red）センサである。赤外線センサ２６は、例えば、ペットを検知する。
【００２５】
音声入出力制御部２７、マイク２８、およびスピーカ２９は、外部に対して音声の入出力を行う。
【００２６】
撮像部３０は、レンズおよび撮像素子を有する。撮像素子は、例えば、ＣＣＤ（Charged Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサである。撮像部３０は、パン方向およびチルト方向に可動する機構を有する。撮像部３０は、パンモータ２４およびチルトモータ２５によって、パン方向およびチルト方向に可動する。
【００２７】
映像メモリ制御部３１は、マイク２８により集音された音声の信号（音声データ）を、撮像部３０から出力される画像データとともに、映像メモリ３２に一時的にバッファリング（記憶）する。
【００２８】
無線ＬＡＮ通信部３３は、例えば、Ｗｉ−Ｆｉ（登録商標）等の無線通信方式を用いて、ルータ（図示しない）に無線接続する。無線ＬＡＮ通信部３３は、映像メモリ制御部３１を介して、映像メモリ３２に記憶された画像データ（音声データを含む）を読み出す。無線ＬＡＮ通信部３３は、読み出した画像データを、ルータを介して、サーバ装置３に送信する。
【００２９】
電源部３４は、監視装置２の各部に必要な電力を供給する。外部メモリＩ／Ｆ部３５には、ＵＳＢメモリまたはＳＤカード（登録商標）等の外部メモリが着脱される。制御部２１は、赤外線センサ２６によってペットが検知された場合、撮像部３０による撮影を開始し、映像メモリ３２に記憶される撮像部３０の画像データを外部メモリに記憶してもよい。
【００３０】
＜サーバ装置の構成＞
図３は、サーバ装置３の構成例を示す。
【００３１】
図３に示すように、サーバ装置３は、制御部４１、記憶部４２、及び、通信部４３を有する。
【００３２】
制御部４１は、サーバ装置３を制御する。制御部４１は、ＣＰＵによって構成されてよい。
【００３３】
記憶部４２には、制御部４１が動作するためのプログラムが記憶される。また、記憶部４２には、制御部４１が計算処理を行うためのデータ、または、制御部４１が各部を制御するためのデータ等が記憶される。記憶部４２は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、およびＨＤＤ等の記憶装置によって構成されてよい。
【００３４】
通信部４３は、ネットワーク６を介して、他の装置とデータを送受信する。例えば、通信部４３は、制御部４１によって生成されたデータを、ネットワーク６へ送信する。通信部４３は、ネットワーク６から受信したデータを、制御部４１に提供する。
【００３５】
＜ユーザ端末の構成＞
図４は、ユーザ端末４の構成例を示す。
【００３６】
図４に示すように、ユーザ端末４は、制御部５１、記憶部５２、タッチパネル５３、携帯電話通信部５４、音声入出力制御部５５、マイク５６、スピーカ５７、無線ＬＡＮ（Local Area Network）通信部５８、ＵＳＢ（Universal Serial Bus）通信部５９、二次電池６０、及び、バス６１を有する。
【００３７】
制御部５１は、ユーザ端末４を制御する。制御部５１は、ＣＰＵによって構成されてよい。
【００３８】
記憶部５２には、制御部５１が動作するためのプログラムが記憶される。また、記憶部５２には、制御部５１が計算処理を行うためのデータ、または、制御部５１が各部を制御するためのデータ等が記憶される。記憶部５２は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、およびＨＤＤ等の記憶装置によって構成されてもよい。
【００３９】
タッチパネル５３は、画像を表示する表示装置と、表示装置の画面上にユーザ操作を受付ける透明な板状の入力装置とを備えた装置である。タッチパネル５３は、監視装置２が撮影する画像を表示する。また、タッチパネル５３は、例えば、ユーザのタップ操作、ドラッグ操作、または長押し操作等を受け付け、受け付けた操作に応じた信号を制御部５１に出力する。
【００４０】
携帯電話通信部５４は、例えば、３Ｇ（第３世代移動通信システム）、４Ｇ（第４世代移動通信システム）、及び／又は、５Ｇ（第５世代移動通信システム）等の無線通信方式を用いて、ネットワーク６に無線接続する。携帯電話通信部４４は、ネットワーク６を介して、他の電子機器と、データの送受信を行う。
【００４１】
音声入出力制御部５５、マイク５６、及び、スピーカ５７は、外部に対して音声の入出力を行う。
【００４２】
無線ＬＡＮ通信部５８は、例えば、Ｗｉ−Ｆｉ等の無線通信方式を用いて、ルータ（図示しない）に無線接続する。無線ＬＡＮ通信部５８は、ルータを介して、他の電子機器と、データの送受信を行う。
【００４３】
ＵＳＢ通信部５９は、ＵＳＢ規格のインタフェースを有する機器やメモリ等とデータを送受信する。
【００４４】
二次電池６０は、ユーザ端末４の各部に必要な電力を供給する。二次電池６０は、ニッケル水素バッテリ、リチウムイオン電池、又は、鉛バッテリ等の充電可能な電池である。
【００４５】
＜サーバ装置の機能＞
図５は、サーバ装置３の機能例を示す。
【００４６】
サーバ装置３は、データ受信部１０１、状態判定部１０２、感情判定部１０３、通知処理部１０４、及び、通知文言ＤＢ１０５を有する。
【００４７】
＜＜データ受信部＞＞
データ受信部１０１は、監視装置２から、センサデータの一例である画像データ及び音声データを受信する。上述のとおり、画像データにはペットの姿が含まれ得る。音声データにはペットが発声した音が含まれ得る。
【００４８】
＜＜状態判定部＞＞
状態判定部１０２は、データ受信部１０１が受信した画像データ及び音声データに基づいて、ペットの状態を判定する。
【００４９】
状態判定部１０２は、画像データを分析して、ペットの状態の一例であるペットの姿勢分類を判定する。次に、ペットの姿勢分類の判定例を示す。
・状態判定部１０２は、画像データに、寝転んでいるペットの姿が含まれる場合、ペットの姿勢分類を「寝転び」と判定する。
・状態判定部１０２は、画像データに、４足で立っているペットの姿が含まれる場合、ペットの姿勢分類を「４足立ち」と判定する。
・状態判定部１０２は、画像データに、２足で立っているペットの姿が含まれる場合、ペットの姿勢分類を「２足立ち」と判定する。
・状態判定部１０２は、画像データに、顔を上に向けているペットの姿が含まれる場合、ペットの姿勢分類を「上向き顔」と判定する。
・状態判定部１０２は、画像データに、前傾姿勢で立っているペットの姿が含まれる場合、ペットの姿勢分類を「前傾」と判定する。
・状態判定部１０２は、画像データに、伏せの姿勢で顔を上げているペットの姿が含まれる場合、ペットの姿勢分類を「伏せ（顔を上げた状態）」と判定する。
・状態判定部１０２は、画像データに、伏せの姿勢で顔を下げているペットの姿が含まれる場合、ペットの姿勢分類を「伏せ（顔を下げた状態）」と判定する。
【００５０】
状態判定部１０２は、画像データを分析して、ペットの状態の一例であるペットの表情を判定する。次に、ペットの表情の判定例を示す。
・状態判定部１０２は、画像データに、睨んでいるペットの顔が含まれる場合、ペットの表情を「睨み」と判定する。
・状態判定部１０２は、画像データに、目を見開いているペットの顔が含まれる場合、ペットの表情を「目を見開く」と判定する。
・状態判定部１０２は、画像データに、見つめているペットの顔が含まれる場合、ペットの表情を「見つめる」と判定する。
【００５１】
状態判定部１０２は、ペットの姿を含む大量の画像データにて深層学習したディープニューラルネットワーク（ＤＮＮ）を用いて、上記の判定を行ってよい。
【００５２】
状態判定部１０２は、音声データを分析して、ペットの状態の一例であるペットの鳴き声（発声音）を判定する。次に、ペットの鳴き声の判定例を示す。
・状態判定部１０２は、ペットが犬の場合、音声データを分析して、ペットの鳴き声が、「ワンワン」、「グルル」、「ワオーン」、「キャンキャン」、「ズー」、「グー」、「ガウッ」、「ウー」及び「クーン」のうちの何れであるかを判定する。
・状態判定部１０２は、ペットが猫の場合、音声データを分析して、ペットの鳴き声が、「ニャー」、「シャー」、「ゴロゴロ」及び「カカカ」のうちの何れであるかを判定する。
【００５３】
状態判定部１０２が分析に用いる音声データは、図６Ａに示すような、時間及び振幅の情報を含む音声信号であってよい。或いは、音声データは、図６Ｂに示すような、時間、周波数及び信号成分の強さの情報を含むスペクトログラムであってもよい。状態判定部１０２は、スペクトログラムを、画像データとして扱ってもよい。これにより、状態判定部１０２は、音声データを、上記のペットの姿を含む画像データの場合と同様に、ＤＮＮを用いて判定できる。
【００５４】
状態判定部１０２は、上記の姿勢分類、表情及び鳴き声等の判定結果を組み合わせたペットの状態情報を生成する。例えば、状態判定部１０２は、姿勢分類「前傾／２足立ち」、表情「睨み」、鳴き声「ガウッ」を組み合わせた状態情報を生成する。
【００５５】
なお、音声データには、ペットの鳴き声の他に、チャイム音のような環境音も含まれ得る。状態判定部１０２は、音声データを分析して、このような環境音を判定してもよい。この場合、状態判定部１０２は、判定した環境音をさらに組み合わせた状態情報を生成してよい。
【００５６】
また、画像データ及び／又は音声データによる分析は、上述の例に限られない。例えば、状態判定部１０２は、画像データ及び／又は音声データから、ペットの場所（トイレ、餌場など）を分析してもよい。
【００５７】
＜＜通知文言ＤＢ＞＞
図７に示すように、通知文言ＤＢ１０５は、ペットの姿勢分類、表情、鳴き声及び環境音の組み合わせに対する、感情情報の関連付けを管理する。また、通知文言ＤＢ１０５は、感情情報に対する通知文言の関連付けを管理する。なお、図７は一例であり、通知文言ＤＢ１０５は、図７に示す姿勢分類、表情、鳴き声及び環境音のうちの少なくとも１つに対する、感情情報の関連付けを管理してよい。
【００５８】
＜＜感情判定部＞＞
感情判定部１０３は、状態判定部１０２によって生成されたペットの状態情報から、ペットの感情情報を判定する。例えば、感情判定部１０３は、図７に示す通知文言ＤＢ１０５を用いて、ペットの状態情報から、ペットの感情情報を判定する。
【００５９】
例えば、状態情報が、姿勢分類「伏せ（頭を上げた状態）」、及び、鳴き声「ワオーン」の組み合わせである場合、感情判定部１０３は、通知文言ＤＢ１０５の行２００ｂから、感情情報を「寂しい」と判定する。さらに、感情判定部１０３は、通知文言ＤＢ１０５の行２００ｂから、感情分類「寂しい」に関連付けられている文言「まだ帰って来ないかなー」を特定する。
【００６０】
例えば、状態情報が、姿勢分類「４足立ち」、表情「目を見開く」、鳴き声「ウー」、及び、環境音「チャイム音」の組み合わせである場合、感情判定部１０３は、通知文言ＤＢ１０５の行２００ｃから、感情情報を「警戒」と判定する。さらに、感情判定部１０３は、通知文言ＤＢ１０５の行２００ｃから、感情情報「警戒」に関連付けられている通知文言「誰か来たのかな？」を特定する。
【００６１】
なお、感情判定部１０３は、ペットの状態情報の組み合わせを入力した場合に、その入力に対応する感情情報を出力するＤＮＮを用いて、ペットの感情情報を判定してもよい。
【００６２】
＜＜通知処理部＞＞
通知処理部１０４は、通知条件を満たす場合、感情判定部１０３によって特定された文言を、ユーザ端末４へ通知する。通知処理部１０４は、ペットの感情を示す文言と共に画像データを通知してよい。
【００６３】
通知条件は、次の（Ａ１）から（Ａ４）のうちの少なくとも１つであってよい。
（Ａ１）前回の通知から所定時間以上が経過している場合に、通知を実行する。これにより、ユーザ端末４に対して、適切な頻度で文言を通知できる。
（Ａ２）今回通知する文言が、前回通知した文言と異なる場合に、通知を実行する。これにより、同じ文言が連続して通知されることを抑止できる。また、ペットの感情が大きく変化したときに文言を通知できる。
（Ａ３）画像データにペットの適切な姿が含まれる場合に、通知を実行する。これにより、適切な画像データがユーザ端末４に表示される。なお、ペットの適切な姿が含まれるか否かは、画像データにペットの目、鼻及び／又は口の画像が含まれるか否かによって判定されてよい。
（Ａ４）ユーザ端末４が、監視装置２が設置されている家の外に位置する場合に、通知を実行する。これにより、ユーザが家の中にいる場合に文言が通知されることを抑止できる。なお、ユーザ端末４が家の内と外の何れに位置するかは、ユーザ端末４の位置情報によって判定されてよい。或いは、ユーザ端末４と監視装置２とが同じＬＡＮに接続されているか否かによって判定されてよい。
【００６４】
なお、通知処理部１０４は、ペットの姿が含まれる画像に文言を重畳した画像データを生成し、ユーザ端末４へ通知してもよい。
【００６５】
また、通知処理部１０４は、ユーザが利用するＳＮＳのサーバ装置（図示しない）に対して、文言を通知してよい。ＳＮＳのサーバ装置は、通知された文言を、ユーザ端末４のＳＮＳアプリケーションに転送する。これにより、ユーザは、ユーザ端末４のＳＮＳアプリケーションを用いて、ペットの文言の通知を受け取ることができる。なお、文言は、ＳＮＳアプリケーションの画面において、時系列に表示（つまりタイムライン表示）されてよい。
【００６６】
＜サーバ装置の動作＞
次に、図８に示すフローチャートを参照し、サーバ装置３の動作例について説明する。
【００６７】
データ受信部１０１は、監視装置２から画像データ及び音声データを受信する（Ｓ１０１）。
【００６８】
状態判定部１０２は、Ｓ１０１で受信した画像データにペットの姿が含まれるか否かを判定する（Ｓ１０２）。画像データにペットの姿が含まれる場合（Ｓ１０２：ＹＥＳ）、サーバ装置３は、Ｓ１０４の処理を実行する。
【００６９】
画像データにペットの姿が含まれない場合（Ｓ１０２：ＮＯ）、状態判定部１０２は、Ｓ１０１で受信した音声データにペットの鳴き声が含まれるか否かを判定する（Ｓ１０３）。音声データにペットの鳴き声が含まれない場合（Ｓ１０３：ＮＯ）、サーバ装置３は、処理を終了する（ＥＮＤ）。音声データにペットの鳴き声が含まれる場合（Ｓ１０３：ＹＥＳ）、サーバ装置３は、Ｓ１０４の処理を実行する。
【００７０】
状態判定部１０２は、画像データ及び／又は音声データに基づいて、ペットの状態情報及び感情情報を生成する（Ｓ１０４）。
【００７１】
感情判定部１０３は、通知文言ＤＢ１０５を参照して、Ｓ１０４で生成された感情情報に対応する文言を特定する（Ｓ１０５）。
【００７２】
通知処理部１０４は、通知条件を満たすか否かを判定する（Ｓ１０６）。通知条件を満たさない場合（Ｓ１０６：ＮＯ）、サーバ装置３は、処理を終了する（ＥＮＤ）。
【００７３】
通知条件を満たす場合（Ｓ１０６：ＹＥＳ）、通知処理部１０４は、Ｓ１０５で特定された文言を、ユーザ端末４へ通知する（Ｓ１０７）。そして、サーバ装置３は、処理を終了する（ＥＮＤ）。
【００７４】
＜変形例＞
次に、上述した実施の形態における変形例を説明する。なお、次に説明する変形例は互い組み合わせて実施されてもよい。
【００７５】
画像データは、動画像データであってよい。この場合、通知処理部１０４は、データ受信部１０１によって受信された動画像データに対して、感情判定部１０３によって特定された文言を重畳して、ユーザ端末４へ送信してよい。動画像データは、監視装置２がリアルタイムに撮影中の画像であってよい。或いは、動画像データは、監視装置２が過去に撮影して記録した画像（つまり録画画像）であってもよい。
【００７６】
状態判定部１０２及び感情判定部１０３は、画像データに複数のペットの姿が含まれる場合、ユーザ端末４から指定されたペットを判定の対象としてよい。
【００７７】
状態判定部１０２及び感情判定部１０３は、画像データに複数のペットの姿が含まれる場合、画像に占める割合が最も大きいペットを、判定の対象としてよい。
【００７８】
状態判定部１０２及び感情判定部１０３は、画像データに複数のペットの姿が含まれる場合、それぞれのペットを判定の対象としてよい。この場合、次の（Ｂ１）及び（Ｂ２）のうちの少なくとも１つが実現されてよい。
（Ｂ１）通知処理部１０４は、それぞれのペットの文言を、ユーザ端末４へ通知してよい。ユーザ端末４は、ユーザからの指示に応じて、表示させる文言を切り替えてよい。また、ユーザ端末４は、ユーザが画像データの一部をズームアップした場合、ズームアップされたペットの文言を表示してもよい。
（Ｂ２）通知処理部１０４は、それぞれのペットの名前と文言の組を、ユーザ端末４へ送信してよい。ユーザ端末４は、受信したそれぞれのペットの名前と文言の組を表示してよい。例えば、ユーザ端末４は、同じ組のペットの名前と文言を並べて表示してよい。例えば、ユーザ端末４は、異なる組のペットの名前と文言を、異なる色で表示してよい。
【００７９】
（実施の形態２）
図９を参照して、実施の形態２に係るサーバ装置３の機能を説明する。なお、実施の形態２の説明では、実施の形態１と共通の説明を省略する。
【００８０】
図９に示すように、実施の形態２に係るサーバ装置３は、監視装置制御部１０６をさらに有する。監視装置制御部１０６は、ユーザ端末４からの指示に基づいて、監視装置２を制御する。
【００８１】
次に、図１０を参照して、監視装置制御部１０６の処理例１を説明する。図１０に示すように、ユーザ端末４は、感情情報を表示すると共に、呼びかけボタン３０１を表示する。
【００８２】
ユーザＵが呼びかけボタン３０１を押下した場合、ユーザ端末４は、呼びかけボタン３０１が押下された旨を示す情報（以下「呼びかけ情報」という）を、サーバ装置３へ送信する。サーバ装置３の監視装置制御部１０６は、呼びかけ情報の受信を検知した場合、監視装置２に対して、呼びかけ指示を送信する。監視装置２は、呼びかけ指示を受信した場合、受信した呼びかけ指示に応じた音声を、スピーカ２９から出力する。
【００８３】
これにより、ユーザＵは、ユーザ端末４に通知されたペットＰの文言に応じて、監視装置２を通じてペットＰに呼びかけることができる。
【００８４】
なお、呼びかけの方法は、呼びかけボタン３０１の押下に限られない。例えば、監視装置制御部１０６は、ユーザＵがユーザ端末４に対して発した音声を受信し、受信した音声を監視装置２へ転送してもよい。そして、監視装置２は、転送された音声をスピーカ２９から出力してよい。
【００８５】
次に、図１１を参照して、監視装置制御部１０６の処理例２を説明する。図１１に示すように、ユーザ端末４は、文言を表示すると共に、家電操作ボタン３０２を表示する。
【００８６】
ユーザＵが家電操作ボタン３０２を押下した場合、ユーザ端末４は、家電操作ボタン３０２が押下された旨を示す情報（以下「家電操作情報」という）を、サーバ装置３へ送信する。サーバ装置３の監視装置制御部１０６は、家電操作情報の受信を検知した場合、監視装置２に対して、家電操作指示を送信する。監視装置２は、家電操作指示を受信した場合、受信した家電操作指示に応じて、家電３０３を操作する。
【００８７】
これにより、ユーザＵは、ユーザ端末４に通知されたペットＰの文言に応じて、監視装置２を通じて家電３０３を操作することができる。例えば、ユーザＵは、暑いことを示すペットの文言が通知された場合、ユーザ端末４において、エアーコンディショナーをＯＮにする旨の家電操作を行う。これにより、家の中のエアーコンディショナーがＯＮになり、ペットＰが快適に過ごせる。
【００８８】
（実施の形態３）
図１２を参照して、実施の形態３に係る情報処理システムの構成例を説明する。なお、実施の形態３の説明では、実施の形態１と共通の説明を省略する。
【００８９】
図１２に示すように、実施の形態３に係る情報処理システムでは、監視装置２が状態判定部１０２を有し、サーバ装置３が感情判定部１０３、通知処理部１０４、及び、通知文言ＤＢ１０５を有する。この場合、監視装置２の状態判定部１０２が、ペットの状態情報を生成し、生成した状態情報をサーバ装置３へ送信する。そして、サーバ装置３の感情判定部１０３が、監視装置２から受信した状態情報に基づいて、感情情報を生成する。
【００９０】
図１２に示す情報処理システムによれば、状態判定部１０２の処理が各監視装置２に分散されるので、サーバ装置３の処理負荷を軽減できる。
【００９１】
（実施の形態４）
図１３を参照して、実施の形態４に係る情報処理システムの構成例を説明する。なお、実施の形態５の説明では、実施の形態１と共通の説明を省略する。
【００９２】
図１３に示すように、実施の形態４に係る情報処理システムでは、監視装置２が、状態判定部１０２、感情判定部１０３、通知処理部１０４、及び、通知文言ＤＢ１０５を有する。この場合、情報処理システムは、サーバ装置３を有さなくてもよい。
【００９３】
図１３に示す情報処理システムによれば、サーバ装置３を用いずに、実施の形態１を実現できる。
【００９４】
（実施の形態５）
図１４を参照して、実施の形態５に係る情報処理システムの構成例を示す。なお、実施の形態５の説明では、実施の形態１と共通の説明を省略する。
【００９５】
図１４に示すように、実施の形態５に係る情報処理システムでは、監視装置２は、撮像部３０及びマイク２８に加えて、次のうちの少なくとも１つを備える。すなわち、監視装置２は、空気の温度を測定する温度センサ４０１、空気の湿度を測定する湿度センサ４０２、及び、ペットの体温を測定するサーモカメラ４０３、及び、ペットまでの距離を測定できる深度カメラ４０４のうちの少なくとも１つを備える。なお、撮像部３０は、暗所又は夜間でもペットを撮影できるカメラ（例えば暗視カメラ又は赤外線カメラ）であってよい。また、深度カメラ４０４は、ＴｏＦ（Time-of-Flight）カメラと呼ばれてもよい。
【００９６】
監視装置２は、センサデータとして、画像データ及び音声データに加えて、温度センサ４０１によって測定された温度データ、湿度センサ４０２によって測定された湿度データ、サーモカメラ４０３によって測定されたペットの体温データ、及び、深度カメラ４０４によって測定されたペットまでの距離データを、サーバ装置３へ送信する。
【００９７】
サーバ装置３における状態判定部１０２は、監視装置２から受信した、画像データ、音声データ、温度データ、湿度データ、及び、体温データのうちの少なくとも１つに基づいて、状態情報を生成する。ここで、状態判定部１０２は、体温データに基づいて、ペットの状態の一例であるペットのバイタルを分析する。例えば、状態判定部１０２は、体温データを分析して、ペットの体温が、「上昇」、「維持」及び「下降」のうちの何れであるかを判定する。この場合、状態判定部１０２は、姿勢分類、表情、鳴き声、環境音、及び、バイタルを組み合わせた状態情報を生成する。なお、ペットが心拍測定センサを付けている場合、状態判定部１０２は、ペットのバイタルの分析として、その心拍測定センサから受信した心拍データを分析してもよい。例えば、状態判定部１０２は、ペットの心拍が、「上昇」、「維持」及び「下降」のうちの何れであるかを判定してもよい。
【００９８】
通知文言ＤＢ１０５は、図１５に示すように、状態情報の組み合わせ項目として、姿勢分類、表情、鳴き声、環境音に加えて、バイタルを有する。
【００９９】
感情判定部１０３は、通知文言ＤＢ１０５に基づいて、状態情報に対応する感情情報を判定する。すなわち、感情判定部１０３は、姿勢分類、表情、鳴き声、環境音、及び、バイタルの組み合わせに対応する感情情報を判定する。
【０１００】
これにより、実施の形態５に係る情報処理システムは、実施の形態１に係る情報処理システムと比較して、より多彩な通知を、ユーザ端末４へ通知できる。
【０１０１】
（実施の形態６）
図１６を参照して、実施の形態６を説明する。なお、実施の形態６の説明では、実施の形態１と共通の説明を省略する。
【０１０２】
図１６に示すように、ユーザ端末４は、ペットの姿を撮影した画像データ及びペットの鳴き声を拾った音声データを、サーバ装置３へ送信する。サーバ装置３は、ユーザ端末４から受信した画像データ及び音声データを、上述にて監視装置２から画像データ及び音声データを受信した場合と同様に処理する。そして、サーバ装置３は、ユーザ端末４に対して、通知文言を送信する。ユーザ端末４は、サーバ装置３から受信した文言を、画面に表示中のペットに重畳して表示する。
【０１０３】
これにより、ユーザは、ユーザ端末４をペットに向けることで、ペットの感情を知ることができる。
【０１０４】
なお、ユーザ端末４が、状態判定部１０２、感情判定部１０３、及び、通知文言ＤＢ１０５を備えてもよい。すなわち、ユーザ端末４は、撮影したペットの姿の画像データ及びペットの鳴き声を拾った音声データを、サーバ装置３へ送信せず、内部で感情情報を生成してよい。そして、ユーザ端末４は、生成した感情情報に対応する文言を、画面に表示中のペットに重畳して表示してよい。
【０１０５】
（本開示のまとめ）
本開示に係る情報処理システム１は、動物が撮影された画像を用いて動物の状態を判定する状態判定部１０２と、動物の状態と感情との関係を示す通知文言ＤＢ１０５に基づいて、状態判定部１０２によって判定された動物の状態に対応する動物の感情を判定する感情判定部１０３と、感情判定部１０３によって判定された動物の感情を示す文言をユーザ端末４へ通知する通知処理部１０４と、を備える。これにより、動物を撮影した画像がサーバ装置３へ送信されることにより、その動物の感情を示す文言がユーザ端末４へ通知される。つまり、動物にセンサ装置を装着することなく、動物の感情を示す文言を、ユーザへ通知できる。
【０１０６】
状態判定部１０２は、動物の状態として、動物を撮影した画像から、動物の姿勢及び表情のうちの少なくとも１つを判定してよい。これにより、動物の姿勢及び表情が判明するので、判明した分類に対応する感情情報を特定し、特定した感情情報に対応する文言を、端末に通知できる。
【０１０７】
状態判定部１０２は、動物の発声音を用いて動物の状態を判定してもよい。この場合、状態判定部は、動物の状態として、動物の発声音から、動物の鳴き声を判定してよい。これにより、動物を撮影した画像と動物の発声音とを用いて動物の状態を判定するので、多様な文言を通知できる。
【０１０８】
通知処理部１０４は、今回通知する文言が、前回通知した文言と異なる場合に、今回の文言を通知してよい。これにより、同じ文言の連続した通知が抑制されるので、適切な頻度で文言を通知できる。
【０１０９】
通知処理部１０４は、文言と共に、動物が撮影された画像を通知してよい。これにより、ユーザは、動物が撮影された画像と文言とをまとめて確認できるので、動物の感情をより正しく認識できる。
【０１１０】
なお、上述の「ペット」は動物の一例である。上述した実施の形態は、動物園で飼育されている動物又は畜産家によって飼育されている動物など、ペット以外にも適用できる。
【０１１１】
また、上述した機能の全部又は一部が情報処理装置に含まれてよい。情報処理装置は、上述した監視装置２、サーバ装置３、及びユーザ端末４の何れであってもよいし、これらとは異なる装置であってもよい。
【０１１２】
上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１１３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１１４】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【０１１５】
本開示の一態様は、情報処理システムに有用である。
【符号の説明】
【０１１６】
１  情報処理システム
２  監視装置
３  サーバ装置
４  ユーザ端末
６  ネットワーク
２１  制御部
２２  記憶部
２３  操作部
２４  パンモータ
２５  チルトモータ
２６  赤外線センサ
２７  音声入出力制御部
２８  マイク
２９  スピーカ
３０  撮像部
３１  映像メモリ制御部
３２  映像メモリ
３３  無線ＬＡＮ通信部
３４  電源部
３５  外部メモリＩ／Ｆ部
３６  バス
４１  制御部
４２  記憶部
４３  通信部
５１  制御部
５２  記憶部
５３  タッチパネル
５４  携帯電話通信部
５５  音声入出力制御部
５６  マイク
５７  スピーカ
５８  無線ＬＡＮ通信部
５９  ＵＳＢ通信部
６０  二次電池
６１  バス
１０１  データ受信部
１０２  状態判定部
１０３  感情判定部
１０４  通知処理部
１０５  通知文言ＤＢ
１０６  監視装置制御部
【図１】
2020170916.tif 000003
【図２】
2020170916.tif 000004
【図３】
2020170916.tif 000005
【図４】
2020170916.tif 000006
【図５】
2020170916.tif 000007
【図６Ａ】
2020170916.tif 000008
【図６Ｂ】
2020170916.tif 000009
【図７】
2020170916.tif 000010
【図８】
2020170916.tif 000011
【図９】
2020170916.tif 000012
【図１０】
2020170916.tif 000013
【図１１】
2020170916.tif 000014
【図１２】
2020170916.tif 000015
【図１３】
2020170916.tif 000016
【図１４】
2020170916.tif 000017
【図１５】
2020170916.tif 000018
【図１６】
2020170916.tif 000019