(57)【要約】【課題】  ユーザの習慣的な行動に関連した機器の実行を自動制御することで、ユーザの作業を省力化することが可能な、情報処理装置等を提供する。【解決手段】  情報処理装置１は、行動予測空間において、ユーザの行動パターンを学習する。行動パターンとは、ユーザの習慣的な行動に関する情報（行動情報）と当該行動に関連してユーザ操作により実行される機器３の実行情報との対応付けを事前に学習したものである。そして情報処理装置１は、学習した行動パターンＤＢ３０を用いて、映像取得センサ２から取得される行動に基づきユーザの行動パターンを決定し、ユーザ操作により実行されることが予測される機器３の実行情報を決定する。そして、機器３に実行命令を送信し、ユーザ操作により機器３が実行される前に先回りして機器３を実行制御する。【選択図】図２
2017182531.tif 000002
【特許請求の範囲】
【請求項１】
１以上の機器とネットワークを介して接続された情報処理装置であって、
ユーザ毎に、ユーザの習慣的な行動に関する情報である行動情報と、当該行動に関連してユーザ操作により実行される前記機器の実行情報と、を対応付けて記憶する記憶手段と、
行動を取得する対象のユーザを特定するユーザ特定手段と、
前記ユーザの行動を取得する取得手段と、
前記行動情報に基づいて、ユーザ操作により実行されることが予測される前記機器の実行情報を決定する決定手段と、
決定した前記機器に対して実行命令を送信する送信手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記記憶手段は、行動時間の情報を更に対応付けて記憶し、
前記取得手段は、行動時間の情報を更に取得し、
前記決定手段は、前記行動情報および前記行動時間に基づいて、前記機器の実行情報を決定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記記憶手段は、機器の実行時間と行動時間との差分から求まる実行予測時間を更に対応付けて記憶し、
前記送信手段は、前記実行予測時間に基づいて、実行命令を送信するタイミングを制御する
ことを特徴とする請求項１または請求項２に記載の情報処理装置。
【請求項４】
前記実行情報は、前記機器の任意の機能に関する実行情報である
ことを特徴とする請求項１から請求項３のいずれかに記載の情報処理装置。
【請求項５】
前記行動情報は、ユーザの動作情報、及び／又は、ユーザの位置情報を含む
ことを特徴とする請求項１から請求項４のいずれかに記載の情報処理装置。
【請求項６】
１以上の機器とネットワークを介して接続された情報処理装置の情報処理方法であって、
ユーザ毎に、習慣的に行うユーザの行動に関する情報である行動情報と当該行動と関連してユーザ操作により実行される前記機器の実行情報とを対応付けて記憶するステップと、
行動を取得する対象のユーザを特定するステップと、
前記ユーザの行動を取得するステップと、
前記行動情報に基づいて、ユーザ操作により実行されることが予測される前記機器の前記実行情報を決定するステップと、
決定した前記機器に対して実行命令を送信するステップと、
を含むことを特徴とする情報処理方法。
【請求項７】
請求項１から請求項５のいずれかに記載の情報処理装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、機器の実行を制御する技術に関する。
【背景技術】
【０００２】
日常生活において、例えば、家に帰ったらまずコーヒーのお湯を沸かすためポットの電源を入れ、沸くまでの間にテレビをつけて特定のチャネルに切り替え、スマートフォンでメールをチェックして…等のルーティーンをこなすことは一般的によくある話である。しかし、毎回決まった行動であるのに、すべて毎回同じ作業を行う必要があり、その手間が無駄である。
【０００３】
ところで従来から、ユーザの行動を予測して、ユーザが求めている情報を先回りして把握するシステムが存在する。例えば、特許文献１では、ユーザの行動情報を推測し、推測した行動情報に応じて案内サービスを提供することが可能な移動ロボットシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２６０１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１は、不特定多数のユーザの行動を事前の知識なしに推測するシステムであるため、ユーザの習慣的な作業を省略化する目的には適さない。
【０００６】
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、ユーザの習慣的な行動に関連した機器の実行を自動制御することで、ユーザの作業を省力化することが可能な、情報処理装置等を提供することである。
【課題を解決するための手段】
【０００７】
前述した目的を達成するための第１の発明は、１以上の機器とネットワークを介して接続された情報処理装置であって、ユーザ毎に、ユーザの習慣的な行動に関する情報である行動情報と、当該行動に関連してユーザ操作により実行される前記機器の実行情報と、を対応付けて記憶する記憶手段と、行動を取得する対象のユーザを特定するユーザ特定手段と、前記ユーザの行動を取得する取得手段と、前記行動情報に基づいて、ユーザ操作により実行されることが予測される前記機器の実行情報を決定する決定手段と、決定した前記機器に対して実行命令を送信する送信手段と、を備えることを特徴とする情報処理装置である。
第１の発明によれば、ユーザの習慣的な行動に関連した機器の実行を自動制御することで、ユーザの作業を省力化することが可能な、情報処理装置が提供される。
【０００８】
また第１の発明において、前記記憶手段は、行動時間の情報を更に対応付けて記憶し、前記取得手段は、行動時間の情報を更に取得し、前記決定手段は、前記行動情報および前記行動時間に基づいて、前記機器の実行情報を決定するようにしてもよい。これにより、行動時間（時間や曜日等）の情報が反映された行動パターンに基づいて、機器の実行予測を行うことができる。
【０００９】
また第１の発明において、前記記憶手段は、機器の実行時間と行動時間との差分から求まる実行予測時間を更に対応付けて記憶し、前記送信手段は、前記実行予測時間に基づいて、実行命令を送信するタイミングを制御するようにしてもよい。これにより、ユーザが行動を起こしてからユーザ操作により機器が実行されるまでの時間を把握できるので、実行命令を送信するタイミングを適切に制御でき、ユーザ操作により機器が実行される前に確実に実行命令を機器に対して送信することができる。
【００１０】
また第１の発明において、例えば、前記実行情報は、前記機器の任意の機能に関する実行情報である。
また第１の発明において、前記行動情報は、例えば、ユーザの動作情報、及び／又は、ユーザの位置情報を含む。
【００１１】
第２の発明は、１以上の機器とネットワークを介して接続された情報処理装置の情報処理方法であって、ユーザ毎に、習慣的に行うユーザの行動に関する情報である行動情報と当該行動と関連してユーザ操作により実行される前記機器の実行情報とを対応付けて記憶するステップと、行動を取得する対象のユーザを特定するステップと、前記ユーザの行動を取得するステップと、前記行動情報に基づいて、ユーザ操作により実行されることが予測される前記機器の前記実行情報を決定するステップと、決定した前記機器に対して実行命令を送信するステップと、を含むことを特徴とする情報処理方法である。
第１の発明によれば、ユーザの習慣的な行動に関連した機器の実行を自動制御することで、ユーザの作業を省力化することが可能な、情報処理方法が提供される。
【００１２】
第３の発明は、請求項１から請求項５のいずれかに記載の情報処理装置として機能させることを特徴とするプログラムである。
第３の発明に係るプログラムをコンピュータにインストールすることで、第１の発明に係る情報処理装置を得ることができる。
【発明の効果】
【００１３】
本発明により、ユーザの習慣的な行動に関連した機器の実行を自動制御することで、ユーザの作業を省力化することが可能な、情報処理装置等が提供される。
【図面の簡単な説明】
【００１４】
【図１】情報処理装置１を用いた行動予測システム１００の概要を示す図
【図２】情報処理装置１の機能構成を示す図
【図３】ユーザ情報ＤＢ２０を示す図
【図４】行動パターンＤＢ３０ａを示す図
【図５】行動パターンＤＢ３０ｂを示す図
【図６】行動パターンＤＢ３０ｃを示す図
【図７】情報処理装置１のハードウェア構成を示す図
【図８】行動予測システム１００（情報処理装置１）の動作を示すフローチャート
【発明を実施するための形態】
【００１５】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
図１は、本発明に係る情報処理装置１を用いた行動予測システム１００の概要を示す図である。図に示すように、行動予測システム１００は、情報処理装置１と、映像取得センサ２と、情報処理装置１と無線または有線ネットワークにより接続された各機器３（３Ａ、３Ｂ、３Ｃ、３Ｄ、…）と、を備える。
【００１６】
映像取得センサ２は、例えば、単独のカメラ、ステレオカメラ、距離センサ、或いはこれらを組み合わせた複合的なセンサであり、ユーザが日常生活を過ごす自宅などの空間（以下、行動予測空間とも呼ぶ）において、ユーザの行動を取得する。映像取得センサ２は、行動予測空間を広く観察できるように、例えば行動予測空間の天井部等に設けられる。また、複数の映像取得センサ２を物理的に異なる位置に設けても良い。
【００１７】
機器３は、任意のデジタル機器であり、図の例では、機器３Ａはスマートフォン等の「携帯端末」、機器３Ｂは「テレビ」、機器３Ｃは「コーヒーメーカ」、機器３Ｄは「目覚まし時計」である。
【００１８】
行動予測システム１００（情報処理装置１）は、行動予測空間において、ユーザの行動パターンを学習する。行動パターンとは、少なくともユーザの習慣的な行動に関する情報（行動情報）と当該行動に関連してユーザ操作により実行される機器３の実行情報を対応付けたものである（図４〜図６参照）。
【００１９】
そして行動予測システム１００（情報処理装置１）は、学習した行動パターンＤＢ３０（図４〜図６）を用いて、映像取得センサ２から取得される行動に基づきユーザの行動パターンを決定し、ユーザ操作により実行されることが予測される機器３の実行情報を決定する。そして、機器３に実行命令を送信し、ユーザ操作により機器３が実行される前に先回りして機器３を実行制御する。
【００２０】
図２は、情報処理装置１の機能構成を示す図である。図に示すように、情報処理装置１は、ユーザ登録部１０１、ユーザ特定部１０３、行動取得部１０５、実行情報取得部１０７、学習部１０９、決定部１１１、実行命令送信部１１３の各機能、および、ユーザ情報ＤＢ２０、行動パターンＤＢ３０の各データベースを備える。
【００２１】
ユーザ登録部１０１は、行動を取得する対象ユーザをユーザ特徴情報２１とともにユーザ情報ＤＢ２０に登録する。ユーザ特徴情報２１とは、情報処理装置１がユーザを特定するために参照する任意の固有情報であり、例えば、ユーザの顔画像（テンプレート画像）やこの顔画像から抽出した特徴量である。また、ユーザの音声データから抽出した特徴量や、指紋や虹彩などの生体情報から抽出した特徴量でもよい。
【００２２】
図３は、ユーザ情報ＤＢ２０のデータ内容を示す図である。図に示すように、ユーザ毎にユーザ特徴情報２１が保持される。図の例では、各ユーザ（“ユーザＡ”、“ユーザＢ”、・・・）と、各ユーザ特徴情報２１（“特徴Ａ”、“特徴Ｂ”、・・・）と、が対応づいて保持される。
【００２３】
ユーザ特定部１０３は、行動を取得する対象ユーザを特定する。具体的には、所定の手段によりユーザ特徴情報を取得し、ユーザ情報ＤＢ２０に登録済みのユーザ特徴情報２１と照合することで、ユーザを特定する。例えば、ユーザ特徴情報２１としてユーザの顔画像（テンプレート画像）が登録されていれば、ユーザ特定部１０３は、映像取得センサ２から得られる画像データに対してテンプレートマッチングを実行することで、画像データ中のユーザを特定する。ユーザを特定するアルゴリズムはテンプレートマッチングに限定されず、他の公知手法（例えば、主成分分析、線形判別分析、弾性パンチグラフマッチング、隠れマルコフモデル、ニューロン動機づけによるダイナミックリンク照合など）を用いてもよい。
【００２４】
行動取得部１０５は、映像取得センサ２から取得される映像を解析し、ユーザ特定部１０３により特定したユーザの「行動」を取得する。
行動とは、例えばユーザの動作に関する情報（動作情報）である。動作とは、「着座状態から起立する」「起立状態から着座する」「両手を上げる」「前方に歩く」…など所定の体の動きである。この動作は、例えば、映像取得センサ２の映像から抽出された手足の位置や速度等の特徴量に基づいて識別される。如何なる動作を識別対象とするかはシステム設計者等によって定められる。１つの行動は、一連の動作を含んでもよい。例えば「着座状態から起立する」→「前方に歩く」→「起立状態から着座する」などの一連の動作が１つの行動を構成してもよい。
【００２５】
また行動とは、例えばユーザの位置に関する情報（位置情報）である。ユーザが静止した状態（ソファに座っているなど）であれば、位置情報は、映像取得センサ２の映像を解析して得られる、ユーザの静止位置を特定する１点の位置情報である。ユーザが移動している場合には、位置情報は、ユーザの位置移動を特定する複数の位置情報の集合である。後者の場合の位置情報は、映像取得センサ２の映像に対して、パーティクルフィルタ等による公知の手法を適用し、ユーザの位置移動を追跡することで得られる。
【００２６】
行動としてユーザの動作情報を用いれば、ユーザの動作に基づいて、ユーザの行動パターンが学習される。また、行動としてユーザの位置情報を用いれば、空間内におけるユーザの位置情報に基づいて、ユーザの行動パターンが学習される。また、行動として、動作情報および位置情報の双方を採用すれば、ユーザの動作情報および位置情報の双方に基づいて、ユーザの行動パターンが学習される。
【００２７】
行動取得部１０５は、取得したユーザの行動を、行動を取得した際の時間や曜日など特定する情報（以下「行動時間」）とともに、記憶部１２に記憶する。
【００２８】
実行情報取得部１０７は、ユーザ操作によって実行された各機器３の「実行情報」を、通信制御部１３を介して取得する。
実行情報とは、各機器３の任意の機能に関する実行内容を特定する情報である。例えば、機器３が機器３Ｂ（“テレビ”）であれば、“チャネルを８ｃｈに切り替える”“番組予定表を閲覧する”“音量を小さくする”・・・などテレビの制御部（ＣＰＵ）が認識可能な任意の機能の実行内容を特定する情報が含まれる。
【００２９】
実行情報取得部１０７は、取得した実行情報を、各機能が実行された時間（以下「実行時間」）の情報とともに、記憶部１２に記憶する。実行時間は、例えば、実行情報取得部１０７が実行情報を取得した際の情報処理装置１の内部時計の時間である。
【００３０】
学習部１０９は、ユーザの行動パターンを学習して、行動パターンＤＢ３０に登録する。具体的には、行動取得部１０５により取得されたユーザの１又は複数の「行動」と、当該行動と近い時間（例えば行動取得部１０５が行動を取得後、所定時間内）に実行情報取得部１０７により取得された１又は複数の機器３の「実行情報」と、を学習データとして蓄積する。そして、学習データが十分に蓄積されると、蓄積した学習データを用いてユーザの「行動」と機器３の「実行情報」の対応付けを学習し、この対応付けをユーザの「行動パターン」として行動パターンＤＢ３０に登録する。ユーザの「行動」と機器３の「実行情報」のみに基づいたこの学習方法を「学習方法１」とする。
【００３１】
また学習部１０９は、ユーザの「行動」と機器３の「実行情報」に、更に、行動取得部１０５により取得した「行動時間」の情報を加えて、ユーザの行動パターンを学習してもよい。ユーザの「行動」と機器３の「実行情報」と「行動時間」に基づいたこの学習方法を「学習方法２」とする。
【００３２】
また学習部１０９は、ユーザの「行動」と機器３の「実行情報」に、更に、ユーザが行動を起こしてからユーザ操作により機器が実行されるまでの時間である「実行予測時間」の情報を加えて、ユーザの行動パターンを学習してもよい。この「実行予測時間」は、実行情報取得部１０７により取得した「実行時間」と行動取得部１０５により取得した「行動時間」との差分から求めることができる。ユーザの「行動」と機器３の「実行情報」と「実行予測時間」に基づいたこの学習方法を「学習方法３」とする。
【００３３】
図４は、前記した「学習方法１」により学習された行動パターンＤＢ３０ａの内容を示す図である。行動パターンＤＢ３０ａは、ユーザ毎に、行動情報３１Ａと実行情報３１Ｂの対応付けを学習した行動パターン３１ａを記憶する。尚、本文中において「行動情報」と言った場合には、学習部１０９により学習されたユーザの習慣的な行動を指している点に留意する（行動取得部１０５により取得されるユーザの行動を指すのではない）。
【００３４】
例えば、図４のユーザＡの行動パターン３１ａ−１を参照すると、行動情報３１Ａ（“行動Ａ１”）と、実行情報３１Ｂ（“機器３Ｃ（コーヒーメーカ）を起動”）と、が対応づいている。つまり、ユーザＡは“行動Ａ１”に従った行動をとると、機器３Ｃ（コーヒーメーカ）を起動させることが習慣的に多いことが分かる。
【００３５】
また、行動パターン３１ａ−２を参照すると、行動情報３１Ａ（“行動Ａ２”）と、実行情報３１Ｂ（“機器３Ｂ（テレビ）のチャネルを６ｃｈに切替え）”→“機器３Ａ（携帯端末）によるメールチェック）”→…）と、が対応づいている。つまり、ユーザＡは“行動Ａ２”に従った行動をとると、機器３Ｂ（テレビ）を起動して視聴チャネルを６チャネルに切り替え、続いて、機器３Ａ（携帯端末）のメールソフトを起動して新規メールの受信確認を行うことが習慣的に多いことが分かる。
【００３６】
図５は、前記した「学習方法２」により学習された行動パターンＤＢ３０ｂの内容を示す図である。
図に示すように、行動パターンＤＢ３０ｂは、ユーザ毎に、行動情報３１Ａと実行情報３１Ｂと行動時間３１Ｃの対応付けを学習した行動パターン３１ｂを記憶する。行動時間３１Ｃを併せて学習するため、時間や曜日等の情報を行動パターンに反映させることができる。
【００３７】
例えば、図５のユーザＡの行動パターン３１ｂ−１を参照すると、行動情報３１Ａ（“行動Ａ１”）と、実行情報３１Ｂ（“機器３Ｃ（コーヒーメーカ）を起動”）と、行動時間３１Ｃ（“ＡＭ  ７：００”）と、が対応づいている。一方、行動パターン３１ｂ−２を参照すると、行動情報３１Ａ（“行動Ａ１”）と、実行情報３１Ｂ（“機器３Ｂ（テレビ）を起動”）と、行動時間３１Ｃ（“ＰＭ  ８：００”）と、が対応づいている。つまり、ユーザＡは、ＡＭ７：００頃には行動Ａ１に伴いコーヒーメーカを起動することが多いのに対し、ＰＭ８：００頃には同じ行動Ａ１でもテレビを起動することが多いのが分かる。
このように、学習方法２によれば、行動時間に依って実行する機器３が異なるような行動パターンを学習することができる。
【００３８】
図６は、前記した「学習方法３」により学習された行動パターンＤＢ３０ｃの内容を示す図である。
図に示すように、行動パターンＤＢ３０ｃは、ユーザ毎に、行動情報３１Ａと実行情報３１Ｂと実行予測時間３１Ｄの対応付けを学習した行動パターン３１ｃを記憶する。
【００３９】
例えば、図５のユーザＡの行動パターン３１ｃ−１を参照すると、行動情報３１Ａ（“行動Ａ１”）と、実行情報３１Ｂ（“機器３Ｃ（コーヒーメーカ）を起動”）と、更に、実行予測時間３１Ｄ（“３秒”）と、が対応づいている。つまり、ユーザＡは“行動Ａ１”に従った行動をとると、その約“３秒”後に、機器３Ｃ（コーヒーメーカ）を起動させることが分かる。
【００４０】
このように、学習方法３によれば、実行予測時間３１Ｄを併せて学習するので、ユーザが行動を起こしてからユーザ操作により機器３が実行されるまでの時間を把握できる。このため、情報処理装置１は、実行命令を送信するタイミングを適切に制御でき、ユーザ操作により機器３が実行される前に確実に実行命令を機器３に対して送信することができる。
【００４１】
決定部１１１は、行動取得部１０５からリアルタイムに取得されるユーザ（ユーザ特定部１０３により特定されたユーザ）の行動に基づきユーザの行動パターンを決定し、ユーザ操作により実行されることが予測される機器３の実行情報を決定する。
【００４２】
具体的には、決定部１１１は、前記した行動パターンＤＢ３０（３０ａ、３０ｂ、３０ｃのいずれか）を用いて、行動取得部１０５からリアルタイムに取得されるユーザの行動を、行動パターンＤＢ３０に登録されている各行動情報３１Ａと照合する。そして照合の結果、各行動情報３１Ａのいずれかに該当すると判断した場合、該当する行動情報３１Ａに係る行動パターン３１をユーザの行動パターンとして決定する。そして、決定した行動パターン３１に係る実行情報３１Ｂを、ユーザ操作により実行されることが予測される機器３の実行情報として決定する。
【００４３】
尚、行動パターンＤＢ３０ｂ（図５）を用いる場合には、決定部１１１は、行動時間を考慮してユーザの行動パターンを決定する。例えば、決定部１１１は、（１）行動取得部１０５が取得した行動が行動パターンＤＢ３０ｂの各行動情報３１Ａのいずれかに該当し、かつ、（２）該当した行動情報３１Ａに係る行動時間３１Ｃと行動取得部１０５が取得した行動時間とが近い場合（例えば取得した行動時間と行動時間３１Ｃとの差分が所定の閾値未満の場合）、該当した行動情報３１Ａに係る行動パターン３１ｂをユーザの行動パターンとして決定する。
【００４４】
実行命令送信部１１３は、決定部１１１により決定された実行情報に基づき実行命令を生成し、機器３に対して実行命令を送信する。
【００４５】
尚、図６の行動パターンＤＢ３０ｃを用いて行動パターンを決定した場合、実行命令送信部１１３は、実行予測時間３１Ｄを考慮して、機器３に対して実行命令を送信するタイミングを適切に制御することができる。具体的には、実行命令送信部１１３は、行動時間から実行予測時間３１Ｄ内に、機器３に対して実行命令を送信するように制御する。
【００４６】
図７は、情報処理装置１を実現するコンピュータのハードウェア構成図である。図に示すよ
うに、情報処理装置１は、主に、制御部１１、記憶部１２、通信制御部１３、入力部１４、表示部１５、周辺機器Ｉ／Ｆ部１６などが、バス１９を介して接続されて構成される。また、映像取得センサ２が周辺機器Ｉ／Ｆ部１６を介して接続されている。
【００４７】
制御部１１は、ＣＰＵ(Central Processing
Unit)、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random
Access Memory)等で構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行することによって情報処理装置１の全ての処理を実行する。
ＲＯＭは、不揮発性メモリであり、プログラムやデータ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００４８】
記憶部１２は、フラッシュメモリ、ＨＤＤ（Hard Disk
Drive）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ等が格納される。プログラム等は、制御部１１により必要に応じて読み出されＲＡＭに移されて実行される。
【００４９】
本実施形態では、記憶部１２には、無線または有線通信によって各機器３の各機能を遠隔から実行制御する機器実行制御プログラムが格納されている。
また、ユーザを特定する際に参照されるユーザ情報ＤＢ２０（図３）やユーザの行動パターンを予測する際に参照される行動パターンＤＢ３０（図４〜６）が格納されている。
【００５０】
通信制御部１３は、通信制御端末、通信ポート等を有し、情報処理装置１とネットワーク間の通信を媒介する通信インターフェースである。制御部１１は、通信制御部１３を介して、各機器３（３Ａ、３Ｂ、…）に対して実行命令を送信する。また、通信制御部１３を介して、各機器３（３Ａ、３Ｂ、…）から実行情報を取得する。
【００５１】
入力部１４は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキ―等の入力装置を有する。
【００５２】
表示部１５は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部１４及び表示部１５は、タッチパネルディスプレイのように、一体となっていても良い。
【００５３】
周辺機器Ｉ／Ｆ（インターフェース）部１６は、情報処理装置１と周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１６を介して情報処理装置１は周辺機器とのデータ通信を行う。周辺機器Ｉ／Ｆ部１６は、ＵＳＢ、ＨＤＭＩ（登録商標）、ＭＨＬ、イヤホンマイクコネクタ等で構成されている。周辺機器との接続形態は有線、無線を問わない。
【００５４】
本実施形態では、１以上の映像取得センサ２が周辺機器Ｉ／Ｆ部１６を介して、情報処理装置１と接続されている。
制御部１１は、周辺機器Ｉ／Ｆ部１６を介して映像取得センサ２から映像を取得し種々の画像解析を行う。
【００５５】
バス１９は、各部間の制御信号、データ信号等の授受を媒介する経路である。
【００５６】
次に、図８のフローチャートを参照して、行動予測システム１００（情報処理装置１）の動作について説明する。
まず、情報処理装置１の制御部１１は、所定の手段によりユーザ特徴情報を取得し、ユーザ情報ＤＢ２０に登録済みのユーザ特徴情報２１と照合することで、行動を取得する対象のユーザを特定する（ステップＳ１１）。例えば、ユーザ特徴情報２１としてユーザの顔画像（テンプレート画像）が登録されていれば、制御部１１は、映像取得センサ２から得られる画像データに対してテンプレートマッチングを実行することで、画像データ中のユーザを特定する。
【００５７】
ユーザ情報ＤＢ２０と照合されず、ユーザが特定できなかった場合（ステップＳ１１；Ｎｏ）、制御部１１は、新規のユーザと判断し、ユーザ情報ＤＢ２０への登録処理（ステップＳ１２）および行動パターンＤＢ３０への登録処理（ステップＳ１３）を実行する。ユーザ情報ＤＢ２０への登録処理は前記したユーザ登録部１０１により実行され、行動パターンＤＢ３０への登録処理は前記した学習部１０９により実行される。
【００５８】
一方、ユーザが特定された場合（ステップＳ１１；Ｙｅｓ）、制御部１１は、映像取得センサ２から取得される映像を解析し、特定したユーザの行動をリアルタイムに取得する（ステップＳ１２）。
【００５９】
続いて、情報処理装置１の制御部１１は、ステップＳ１２により取得されるユーザの行動に基づきユーザの行動パターンを決定し、ユーザ操作により実行されることが予測される機器３の実行情報を決定する（ステップＳ１３）
【００６０】
具体的には、制御部１１は、前記した行動パターンＤＢ３０（３０ａ、３０ｂ、３０ｃのいずれか）を用いて、ステップＳ１２によりリアルタイムに取得されるユーザの行動を、行動パターンＤＢ３０に登録されている各行動情報３１Ａと照合する。そして照合の結果、各行動情報３１Ａのいずれかに該当すると判断した場合、該当する行動情報３１Ａに係る行動パターン３１をユーザの行動パターンとして決定する。そして、決定した行動パターン３１に係る実行情報３１Ｂを、ユーザ操作により実行されることが予測される機器３の実行情報として決定する。
【００６１】
そして、情報処理装置１の制御部１１は、ステップＳ１３により決定された実行情報に基づき実行命令を生成し、機器３に対して実行命令を送信する（ステップＳ１４）。実行命令を受信した機器３は、実行命令に基づき所定の機能を実行する。
【００６２】
例えば、行動パターンＤＢ３０ａ（図４）を用いて行動パターンを決定する場合において、ステップＳ１２により取得されたユーザＡの行動が“行動Ａ１”であるとする。この場合、制御部１１は、行動情報３１Ａ（“行動Ａ１”）に係る行動パターン３１ａ−１をユーザの行動パターンとして決定するとともに、当該行動パターンに係る実行情報３１Ｂ（“機器３Ｃ（コーヒーメーカ）を起動”）を決定する。そして、決定した実行情報３１Ｂに基づき実行命令を生成し、機器３Ｃ（コーヒーメーカ）に実行命令を送信する。
【００６３】
また、行動パターンＤＢ３０ｂ（図５）を用いて行動パターンを決定する場合において、ステップＳ１２により取得されたユーザＡの行動が“行動Ａ１”、且つ、行動時間が“ＰＭ  ８：０５”であるとする。この場合、制御部１１は、行動情報３１Ａ（“行動Ａ１”）に係る行動パターン３１ｂ−１、３１ｂ−２のうち、行動時間が近い行動パターン３１ｂー２をユーザの行動パターンとして決定するとともに、当該行動パターンに係る実行情報３１Ｂ（“機器３Ｂ（テレビ）を起動”）を決定する。そして、決定した実行情報３１Ｂに基づき実行命令を生成し、機器３Ｂ（テレビ）に実行命令を送信する。
【００６４】
また、行動パターンＤＢ３０ｃ（図６）を用いて行動パターンを決定する場合において、ステップＳ１２により取得されたユーザＡの行動が“行動Ａ２”であるとする。この場合、制御部１１は、行動情報３１Ａ（“行動Ａ２”）に係る行動パターン３１ｃ−２をユーザの行動パターンとして決定するとともに、実行情報３１Ｂ（“機器３Ｃ（テレビ）のチャネルを６ｃｈに切り替え”→“機器３Ａ（携帯端末）による新規メールの確認”）を決定する。そして、決定した実行情報３１Ｂに基づき実行命令を生成し、機器３Ｃ（テレビ）および機器３Ａ（携帯端末）に実行命令を送信する。
【００６５】
このとき制御部１１は、行動パターン３１ｃ−２に係る実行予測時間３１Ｄを考慮して、実行命令を送信するタイミングを適切に制御することができる。具体的には、制御部１１は、“行動Ａ２”の行動時間から“２秒以内”に実行情報３１Ｂ（“機器３Ｃ（テレビ）のチャネルを６ｃｈに切り替え”）に基づく実行命令を機器３Ｂに送信し、また、“行動Ａ２”の行動時間から“５秒以内”に実行情報３１Ｂ（“機器３Ａ（携帯端末）による新規メールの確認”）に基づく実行命令を機器３Ａに送信する。これにより、ユーザが自らの操作で機器３を実行する前に、確実に、実行命令を送信することができる。
【００６６】
以上、本実施形態について説明した。本実施形態によれば、主に、次の効果を奏する。
（１）  ユーザの習慣的な行動に関連した機器の実行を自動制御することで、ユーザの作業を省力化することが可能となる。
（２）  ユーザを特定した上で、行動を取得し、行動パターンを決定するので、例えば、不特定多数のユーザを対象として行動パターンを推測する従来方法（特許文献１など）と比べ、正確に行動パターンを予測することができる。
（３）  また、行動時間３１Ｃを併せて学習することで、時間や曜日等の情報が反映された行動パターンに基づいて、機器の実行予測を行うことができる。
（４）  また、実行予測時間３１Ｄを併せて学習することで、ユーザが行動を起こしてからユーザ操作により機器３が実行されるまでの時間を把握できるので、情報処理装置１は、実行命令を送信するタイミングを適切に制御でき、ユーザ操作により機器３が実行される前に確実に実行命令を機器３に対して送信することができる。
【００６７】
尚、ユーザの行動は、映像取得センサ２ではなく、スマートフォン等の携帯端末やウェアラブルデバイスに搭載される、ユーザの動きを把握可能な各種センサ（加速度センサ、ジャイロセンサ等）から取得してもよい。センサが計測したデータは、ネットワークを介して、情報処理装置１に送信され、情報処理装置１は受信したデータを解析し、ユーザの行動を取得する。
【００６８】
また、情報処理装置１が決定した実行情報３１Ｂと、ユーザが実際に実行した機器の実行情報が異なっていた場合、行動パターンを再学習させるようにしてもよい。具体的には、実行情報３１Ｂに基づく実行命令を送信した後（ステップＳ１６の後）、制御部１１（実行情報取得部１０７）が送信した実行情報３１Ｂとは異なる実行情報（ユーザ操作により実行された機器の実行情報）を受信した場合、機器の実行予測が外れたものと判断し、ユーザの行動パターンを再学習させる。
【００６９】
以上、添付図面を参照しながら、本発明の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７０】
１          ：情報処理装置
２          ：映像取得センサ
３          ：機器
２０        ：ユーザ情報ＤＢ
２１        ：ユーザ特徴情報
３０        ：行動パターンＤＢ
３１        ：行動パターン
３１Ａ      ：行動情報
３１Ｂ      ：実行情報
３１Ｃ      ：行動時間
３１Ｄ      ：実行予測時間
１００      ：行動予測システム
１０１      ：ユーザ登録部
１０３      ：ユーザ特定部
１０５      ：行動取得部
１０７      ：実行情報取得部
１０９      ：学習部
１１１      ：決定部
１１３      ：実行命令送信部
【図１】
2017182531.tif 000003
【図２】
2017182531.tif 000004
【図３】
2017182531.tif 000005
【図４】
2017182531.tif 000006
【図５】
2017182531.tif 000007
【図６】
2017182531.tif 000008
【図７】
2017182531.tif 000009
【図８】
2017182531.tif 000010