(57)【要約】【課題】人感センサを備え、センス値に基づいてスリープモードから復帰する画像処理装置において、設置環境で得られたセンス値データに応じて、好適なスリープ復帰判定する機械学習モデルを選択することができなかった。【解決手段】スリープ復帰時に取得した人感センサのセンス値データの時間変化量から画像処理装置のユーザの移動速度を判定し、速度に応じた機械学習モデルを選択して使用する。【選択図】図９
2020039069.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置であって、
周辺に存在する物体を検知するセンサと、
前記センサから得られるセンス値に基づいて前記情報処理装置の電力制御状態を変更するか否か機械学習モデルを用いて判定する判定手段と、
少なくとも前記センス値から構成される学習データを保存する記憶手段と、
入力データ長が異なる複数の機械学習モデルから前記判断手段で使用する機械学習モデルを設定する設定手段とを有し、
前記設定手段は、前記学習データが備えるセンス値の時間変化の割合に基づき、前記複数の機械学習モデルから選択して設定する、
ことを特徴とする情報処理装置。
【請求項２】
前記センス値の時間変化の割合は、前記学習データのセンス値が単調増加又は単調減少する区間から算出する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記設定手段は、前記センス値の時間変化の割合が所定の閾値以下の学習データの数に応じて、入力データ長が使用しているモデルより長い機械学習モデルを選択して設定する
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記設定手段は、前記センス値の時間変化の割合が所定の閾値を超えるの学習データの数に応じて、入力データ長が使用しているモデルより短い機械学習モデルを選択して設定する
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項５】
表示部を有する操作部を備え、
前記設定手段は、
前記表示部に表示されたセンス値の時間変化の割合に関連のある情報に基づきユーザにより使用する機械学習モデルを選択、指示されたことに基づいて設定する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記情報は、前記学習データにおけるセンス値の時間変化の割合と、前記複数の機械学習モデルが想定するセンス値の時間変化の割合を表示するものである
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記情報は、機械学習モデルに対応した設置が想定される場所及びユーザに関する情報である
ことを特徴とする請求項５に記載の情報処理装置。
【請求項８】
前記電力制御状態は、第１の電力制御状態又は前記第１の電力制御状態より消費電力の少ない第２の電力制御状態である、
ことを特徴とする請求項１〜７のいずれか１項に記載の情報処理装置。
【請求項９】
前記機械学習モデルは、リカレントニューラルネットワークである
ことを特徴とする請求項１〜８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記情報処理装置は、画像処理装置である
ことを特徴とする請求項１〜９のいずれか１項に記載の情報処理装置。
【請求項１１】
ネットワークで接続された情報処理装置及びサーバからなる情報処理システムであって、
前記情報処理装置は、
周辺に存在する物体を検知するセンサと、
前記センサから得られるセンス値に基づいて前記情報処理装置の電力制御状態を変更するか否か機械学習モデルを用いて判定する判定手段と、
少なくとも前記センス値から構成される学習データを保存する記憶手段と、
入力データ長が異なる複数の機械学習モデルから使用する機械学習モデルを設定する設定手段とを有し、
前記設定手段は、前記学習データが備えるセンス値の時間変化の割合に基づき、前記複数の機械学習モデルから選択して設定し、
前記サーバは、前記判定手段と同じものを有し、前記学習データを前記情報処理装置から受信するとともに、学習を実行し、学習後の前記判定手段を前記情報処理装置に送信することを特徴とする情報処理システム。
【請求項１２】
周辺に存在する物体を検知するセンサと記憶手段を備える情報処理装置の制御方法であって、
前記センサから得られるセンス値に基づいて前記情報処理装置の電力制御状態を変更するか否か機械学習モデルを用いて判定する判定ステップと、
少なくとも前記センス値から構成される学習データを保存する記憶ステップと、
入力データ長が異なる複数の機械学習モデルから使用する機械学習モデルを設定する設定ステップとを有し、
前記設定ステップは、前記学習データが備えるセンス値の時間変化の割合に基づき、前記複数の機械学習モデルから選択して設定する、
ことを特徴とする情報処理装置の制御方法。
【請求項１３】
請求項１２に記載の情報処理装置の制御方法をコンピュータにより実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置等の超音波センサ等の人感センサを用いた情報処理装置において、省電力状態にある該装置の復帰制御に関する技術である。
【背景技術】
【０００２】
プリント(印刷)、スキャン、コピー、ファック等の複数の機能を有する多機能な情報処理装置（Multi Ｆunction Peripheral:以下「ＭＦＰ」という。）が知られている。ＭＦＰ等の情報処理装置において接近する人（ユーザ）を検出するための人感センサを備え、人の接近を検出して省電力状態（スリープモード）のＭＦＰを通常状態に復帰する機能がある。例えば、人感センサのセンス値を、ＭＦＰと接近する人との距離と関連づけた特徴量として判断する判定手段を用いて、センス値が所定の値となったら人がＭＦＰに接近したと判断してＭＦＰを通常状態に復帰させることができる。
ここで人感センサの検知履歴とＭＦＰ操作部の操作履歴に基づいて、スリープ状態のＭＦＰを復帰するか否かを決定する人感センサの感度（閾値）を自動で調整するＭＦＰがある（特許文献１）。
【０００３】
しかしながらＭＦＰ設置環境によっては復帰判定に係る誤判定が避けられない場合がある。例えば、通路脇に設置したＭＦＰではＭＦＰ使用者と通り過ぎる人とではどちらもＭＦＰに十分接近してしまうため、単に距離の特徴量だけは如何に人感センサの感度を調整しても正しい判定が困難である。
このような場合、予め設計した特徴量を用いた判定手法ではなく、それぞれの環境で得られたデータに基づき、得られたデータの相互の関連や規則性を見出して判定処理を行う機械学習手法を用いるのが有効である。すなわち、人感センサを備えたＭＦＰにおいては、それぞれのＭＦＰ設置環境で得られた人感センサのセンス値を用いて、予めＭＦＰが備える復帰判定モデルに対して機械学習させることで、復帰判定モデルの判定成功率を向上させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2010-147725号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
機械学習手法では、一般に予め機械学習モデルの種類や構成（人工ニューロンの数、段数、接続等）を一意に固定して学習を行う。例えば、人感センサから所定時間間隔毎に得られるセンス値を学習するためには、時系列データを入力とする再帰型の機械学習モデルが好適である。再帰型の機械学習モデルでは、入力時系列の長さ（モデルの判定結果を得るために参照する過去のデータ数）を予め定めて学習を行う。入力時系列を長くすると、その分過去に遡った複雑なセンサデータの推移を学習して判定するモデルが得られ高い判定精度が得られる可能性がある。その一方で、モデル内の演算量が増加し、複雑化するため、学習時間の長期化や学習の収束性が低下する可能性がある。
また、ＭＦＰの設置環境によってユーザの年齢層は異なる場合がある。比較的年齢の若いユーザは移動（歩行）速度が速く人感センサのセンス値が短時間で大きく変化するため短い時系列データから判定に必要なセンス値の変化を検出できる。一方、高齢のユーザでは、若いユーザよりも移動速度が遅いため長い時系列データがないと人感センサのセンス値の変化が十分得られず判定精度が出ない場合があるという課題があった。
本発明は、ＭＦＰ等の情報処理装置の設置環境毎に適した時系列長の復帰判定モデルを使用し、精度の高い復帰判定ができる装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、情報処理装置であって、周辺に存在する物体を検知するセンサと、前記センサから得られるセンス値に基づいて前記情報処理装置の電力制御状態を変更するか否か機械学習モデルを用いて判定する判定手段と、少なくとも前記センス値から構成される学習データを保存する記憶手段と、入力データ長が異なる複数の機械学習モデルから使用する機械学習モデルを設定する設定手段とを有し、前記設定手段は、前記学習データが備えるセンス値の時間変化の割合に基づき、前記複数の機械学習モデルから選択して設定する、ことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ＭＦＰ等の情報処理装置の設置環境毎に、適した入力時系列長の復帰判定モデルを使用することにより、精度の高い復帰判定ができる装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】ＭＦＰの正面図・側面図・上面図
【図２】ＭＦＰ構成図
【図３】操作部ＣＰＵの全体処理フローチャート
【図４】再帰型機械学習モデルの構成図
【図５】学習データの例を示す図
【図６】学習処理のフローチャート
【図７】モデル選択処理、学習処理のフローチャート
【図８】モデル管理テーブルの例を示す図
【図９】モデル変更設定処理のフローチャート
【図１０】学習データの時刻−センス値の関係を示す図
【図１１Ａ】他の実施例におけるモデル選択の設定画面A
【図１１Ｂ】他の実施例におけるモデル選択の設定画面B
【発明を実施するための形態】
【実施例１】
【０００９】
本発明を実施するための形態として情報処理装置であるＭＦＰについて図面を用いて説明する。なお、特に断らない限り、本発明の機能が実行されるのであれば、単体の機器であっても、複数の機器からなるシステムの形態をとるものも本発明に含まれる。
【００１０】
■ ＭＦＰ101の外観説明
図１は、ＭＦＰ101の外観を示す正面図、側面図及び上面図である。
ＭＦＰ101はプリント機能、スキャナ機能、コピー機能、ＦＡＸ機能などの複数の機能を有している。ＭＦＰ101は周辺に存在する物体を検知するためのセンサとして、人感センサ102をＭＦＰ101本体の正面上部に備えている。人感センサ102は、たとえば超音波センサなどであり、その検知エリアは、人感センサを中心とし、正面方向に広がる扇形をしており、人感センサ102から出力された信号は操作部203内の操作部ＣＰＵ215で処理される。人感センサ102はＭＦＰ101の電源がオフになっていない限り、検知エリアの状態を取得しつづけることが可能である。
【００１１】
■ ＭＦＰ101の構成説明
図２はＭＦＰ101の構成を表す図であり、ＣＰＵ201は、ＭＦＰ101全体の制御を統括する。
ＤＲＡＭ202は、ＣＰＵ201で実行されるプログラムを格納するとともに、一時的なデータのワークエリアとして機能する。
操作部203は、ＬＣＤ、タッチパネル、ハードウェアキー、ＬＥＤ等のユーザのための入力Ｉ/Ｆ及び出力（表示）Ｉ/Ｆ（図示せず）と、操作部ＣＰＵ215を備える。
操作部ＣＰＵ215は、操作部203内のＲＡＭ217、ＲＯＭ216及びシリアルＩ/Ｆ213を介してシステムバス209と接続される。また、操作部ＣＰＵ215は、人感センサ102とも接続されている。さらに操作部203は、ＮＦＣリーダライタ、Bluetooth(登録商標)モジュール等の、ユーザが保持する携帯端末と通信するための通信Ｉ/Ｆを備えていてもよい。操作部ＣＰＵ215はワンチップマイコンであり、内部にタイマ（図示せず）を備えている。なお、タイマは、操作部ＣＰＵ215がプログラムを実行することにより実現されるソフトウェアタイマであってもよい。また、操作部ＣＰＵ215は、ユーザによる操作をシリアルＩ/Ｆ213を介してＣＰＵ201に通知する。
【００１２】
ネットワークＩ/Ｆ204はＬＡＮ214と接続され、ＭＦＰ101はこれを介して外部機器と通信を行う。
プリンタ部205は、画像データを紙面上に印字する。
スキャナ部206は、紙面上の画像を光学的に読み取り、電気信号に変換してスキャン画像を生成する。
ＦＡＸ207は、公衆回線210と接続して外部機器とファクシミリ通信を行う。
ＨＤＤ（Hard Disk Drive）208は、ＣＰＵ201で実行されるプログラムを格納すると共にプリントジョブやスキャンジョブ等のスプール領域としても利用される。
【００１３】
システムバス209は、各モジュールを相互に接続して通信を行う。
画像処理部211は、ネットワークＩ/Ｆ204で受信したプリントジョブをプリント部205で印刷するのに適した画像への画像変換処理、又はスキャナ部206で読み取ったスキャン画像に対する画像処理等を実行する。詳細には、画像変換処理では、ＬＡＮ214からネットワークＩ/Ｆ204を経由して外部装置から受信した画像データ（ＰＤＬコード）をビットマップデータに展開する。また、スキャン画像に対する画像処理は、プリント部205で画像データを印字するための前処理としての画像処理を行う。
FLASHＲＯＭ212は、ＣＰＵ201で実行されるプログラムを格納すると共にＭＦＰ101のデフォルト設定値、ユーザごとのデフォルト設定値、一時的なカスタム設定値（以下まとめて「デフォルト設定値」という。）等を記憶する。
シリアルＩ/Ｆ213は、操作部203とシステムバス209を相互接続する。ＬＡＮ214であって、外部機器と相互に接続して通信を可能にする。
【００１４】
操作部ＣＰＵ215は、操作部203の制御や人感センサ102の制御、ＲＯＭ216、ＲＡＭ217の読み書き等の制御を担う。なお、人感センサ102の制御は必ずしも操作部ＣＰＵ215が担う必要はなく、別のＣＰＵが人感センサ102の制御を担ってもよい。
ＲＯＭ216は、操作部203に内蔵されており、操作部ＣＰＵ215で実行されるプログラムを格納する。ＲＡＭ217は、操作部203に内蔵されており、人感センサ102や操作部203から取得されたデータを格納する。
電源制御部218は、ＣＰＵ201、操作部ＣＰＵ215及びユーザによる操作部203に対する操作（例えば、節電ボタンの操作）によりＭＦＰ101の電源を制御する。
【００１５】
■  ＭＦＰ101の動作モード説明
次に、ＭＦＰ101の省電力の待機状態の２つの動作モードについて、簡単に説明する。
ＭＦＰ101は、動作モードとして、スタンバイモード（Standby）及びより消費電力の小さいスリープモード（Sleep）の電力制御状態を有する。スタンバイモードはスキャン動作やプリント動作を実行可能な状態で待機する動作モードで、スリープモードはスタンバイモードよりも省電力状態で待機する動作モードである。
ＭＦＰ101がスタンバイモードのまま所定時間使用されていない状態が継続した場合には、ＣＰＵ201は、スタンバイモードからスリープモードに移行させる。例えば操作部203がユーザによって操作されず、かつジョブを受信しない状態で所定時間継続した場合には、ＣＰＵ201がＭＦＰ101の動作モードをスタンバイモードからスリープモードに移行させる。
【００１６】
■  操作部ＣＰＵ215の処理
次に、図３のフローチャートを用いて、操作部ＣＰＵ215の処理フローについて説明する。
図３に示した操作部ＣＰＵ215の処理は、操作部ＣＰＵ215がＲＯＭ216に格納された制御プログラムを読み出して実行するものとする。また、このフローチャートの処理は、ＭＦＰ101が電源ＯＮされた際に開始される。
S301において、操作部ＣＰＵ215はシリアルＩ/Ｆ213を介してメインＣＰＵ201とのネゴシエーションを行い、通信を確立する。
続くS302において、操作部ＣＰＵ215は内部に備えるタイマ（図示せず）のカウント値を参照し、操作部203の入力Ｉ/Ｆの状態を取得する操作部処理を実行すべき時刻か否かを判断し、操作部処理を実行すべき時刻となるまで待機する。
操作部処理を実行すべき時刻となった場合（S302でYes）は、S303で操作部ＣＰＵ215は操作部203に備えるタッチパネル、ハードウェアキーの状態を取得することで、ユーザのＭＦＰ101に対する操作情報を取得する。また、操作部ＣＰＵ215は取得した操作情報を図５に示すデータ管理テーブル501（後述）に保存する。
S304において、操作部ＣＰＵ215は人感センサ102のセンス値を取得し、該センス値を図５のデータ管理テーブル501に保存する。本実施例では、操作部ＣＰＵ215は人感センサ102を制御してＭＦＰ101の前方に超音波を出力すると共に、出力した超音波の反射波を受信するまでの時間を計測することでＭＦＰ101とその前方に存在する物体との距離を得ることができる。
S305において、操作部ＣＰＵ215は復帰判定処理を実行する。本実施例では、復帰判定処理は時系列データを扱う機械学習モデルであるリカレントニューラルネットワーク(Recurrent Neural Network 以下「ＲＮＮ」という。)で構成された復帰判定モデルで行うものとする。予め学習済みの復帰判定モデルに対し、S304で取得したセンス値を入力することで復帰判定を行う。また、操作部ＣＰＵ215は復帰判定結果を図７で後述するデータ管理テーブルの復帰判定結果の項目に保存するとともに、シリアルＩ/Ｆ213を介して電源制御部218に通知する。
S306において、図５で後述するデータ管理テーブル501から学習データを生成し、ＲＡＭ217に保存する。学習データ生成の詳細については後述する。そして、S302に戻り、S302〜S306の処理を繰り返す。
【００１７】
■  再帰型機械学習モデルの説明
図４を用いて、上述した復帰判定処理を行う機械学習モデルを説明する。
上述のとおり、S304で取得した人感センサ102のセンス値は、S302で説明した所定の時間間隔で取得して得られた時系列データとなる。時系列データに機械学習を適用する場合、再帰型の機械学習モデルが適していることが一般に知られている。そこで本発明では、機械学習モデルとしてＲＮＮを用いる。ここでは、ＲＮＮとして単純再帰型のネットワークを例示して構成や処理を説明する。
【００１８】
●  再起型機械学習モデル
図４(a)にＲＮＮの模式図を示す。ＲＮＮは、他の機械学習モデルのネットワークと同様、人の神経細胞におけるニューロンと、ニューロン間の接続であるシナプス、および、シナプスの結合強度入力、をモデル化した構成をとる。具体的には、ニューロンのモデルとして、入力層401、中間層402、および、出力層403を備える。各層はシグモイドのような予め備えた不図示の関数演算式を備え、前段のニューロンからの出力を入力として演算を行い、演算結果である出力値を後段につながる層へ伝搬する。このとき出力値に対して、各シナプスに備えた重み係数(W)405の乗算、および、バイアス係数(B)406の加算を行うことでニューロン間の結合強度を表現する。さらに、ＲＮＮでは中間層402の過去の出力を自身の現在の入力とするためのニューロン407を備える。これにより中間層402は、過去となる時刻tの入力に基づく中間層の出力と、その１時刻先となる時刻t+1の入力とを用いて演算処理を行うことができる。この演算処理を、時刻t=1,2,3と積み重ねて行うことで過去の入力データに基づいた出力が得られる。
【００１９】
●  推論処理
図４(b)を用いて、ＲＮＮに時系列データを入力して出力を得る推論処理を説明する。同図は、図４(a)で示したＲＮＮを時間軸方向に展開した模式図である。
このようにＲＮＮは時間軸方向に展開すると展開時刻分の深さを持つ多層のニューラルネットとみなすことができる。ＲＮＮに対して時刻t=1で入力を与えると、時刻t=1における出力層410の出力、及び中間層からの出力411が得られる。次に、時刻t=2において中間層は時刻t=2の入力と時刻t=1の中間層からの出力411とに基づき時刻t=2における出力層412の出力及び中間層からの出力413を決定する。同様な処理を時系列に行うことでＲＮＮは過去に入力したデータに基づき出力結果を推論できる。出力結果を得るために用いる過去の入力データ数は、ＲＮＮの入力データ長として予め定める。例えば、入力データ長を5、すなわち、時系列データの過去５つの入力に基づき出力を決定するには、時刻t=1〜5でデータを入力して、時刻t=6で得られる出力層414での出力を結果として用いればよい。
【００２０】
●  学習方法
図４(c)を用いて、ＲＮＮの学習方法を説明する。同図は図４(b)同様にＲＮＮを時間軸方向に展開した模式図である。これを多層のニューラルネットとみなすことで他のニューラルネットと同様に誤差逆伝搬法を適用した学習ができる。これによりネットワークが備える重み係数(W)やバイアス係数(B)を好適に変更して期待する結果を出力するネットワークを得ることができる。
ここで、誤差逆伝搬法とは、ネットワークに対してある入力値を与えて得られた出力値と、入力値に対する正解とを比較し、出力値と正解との誤差が減るように前段の出力値の係数（重み係数(W)、バイアス係数(B)）を変更する学習手法である。特にＲＮＮでは時間方向軸に展開したネットワークに対する誤差逆伝搬法（Back Propagation Through Time：以下、ＢＰＴＴ）を用いて学習を行う。ＢＰＴＴでは、ある時刻t=Tにおける出力値と正解との誤差421に加え、それより先の時刻t=T+1の中間層から伝搬する誤差422を用いて時間軸方向で誤差逆伝搬法を適用した学習を行う。また、ＢＰＴＴを用いた学習では学習の打ち切り数を設定することで、学習で用いる時系列データ長を指定できる。例えば、学習打ち切り数を５と設定した場合、連続する５時刻分の入力データと、それに対する正解を教師データとした学習データを用いてＲＮＮを学習することができる。学習データの詳細は後述する。
【００２１】
本発明で用いるＲＮＮは、上述した単純再帰型のネットワークでもよく、それを拡張した不図示の長短期記憶（Long Short Term Memory：以下「ＬＳＴＭ」という。）型のネットワークを使用してもよい。ＬＳＴＭは各層間のデータ伝搬を制御するゲートを備えており、時間軸方向のデータ依存度を詳細に制御することで高精度な学習を行い、より精度の高い判定処理ができる。
いずれのネットワークであっても、本発明で用いる復帰判定処理を行う機械学習モデルでは、入力データは時系列で取得した人感センサ102のセンス値とし、出力データは「復帰する」、「復帰しない」を示す２値とすることで、上述した推論や学習ができる。
【００２２】
●  データ管理テーブル、学習データ
続いて、図５を用いて、データ管理テーブル501、及び学習データ502，503について説明する。これらは図３で示す操作部ＣＰＵ215の処理フローを通じて作成するものである。
データ管理テーブル501は、S302で説明した操作部ＣＰＵ215の処理時刻毎に得た、「センス値」、「操作有無」、「復帰判定結果」及び「正否フラグ」を、取得時刻と併せて格納する。
ここで、「センス値」は、S304で取得した人感センサ102のセンス値である。
「操作有無」は、S303で取得したユーザのＭＦＰ101に対する操作情報である。
「復帰判定結果」は、S305の復帰判定処理で機械学習を適用した復帰判定モデルから取得した復帰判定結果である。
「正否フラグ」は、復帰判定結果と操作有無とを用いて作成する、復帰判定モデルの復帰判定結果が本当に正しかったかを評価するための情報である。例えば、復帰判定結果と操作有無とが、「操作有」かつ「復帰する」の場合、復帰すると判定して、その後、実際にユーザの操作があったので復帰するとした復帰判定結果は正しかった、として正否フラグに「成功」を付与する。同様に、「操作無」かつ「復帰しない」の場合は、復帰しないと判定をして、その後、実際にユーザ操作が無かったので復帰しないとした復帰判定結果は正しかった、として正否フラグに「成功」を付与する。これとは逆に、「操作有」かつ「復帰しない」の場合で、復帰しないと判定をして、その後、実際にユーザの操作があった場合は、復帰判定結果が間違っていた、として正否フラグに「失敗」を付与する。同様に、「操作無」かつ「復帰する」の場合、復帰すると判定して、その後、実際にユーザ操作が無かった場合も、復帰判定結果が間違っていた、として正否フラグに「失敗」を付与する。
【００２３】
データ管理テーブル501には、これらの情報について、人感センサ102の物体検知開始から復帰判定するまで、又は、物体検知ができなくなるまでの期間の分のデータが、格納される。
学習データ502，503は、本発明における機械学習を適用した復帰判定モデルの学習処理で用いるものであり、入力データと、その入力に対する正解（教師データ）との組で構成する。ここで、入力データは、予め定めた復帰判定モデルの入力データ長分の連続する時刻のセンス値の組とし、教師データは、入力データの１時刻先の操作有無とする。例えば、入力データ長を５とすると、時刻T(0)〜T(4)の５個のセンス値を入力データとし、時刻T(5)の操作有無の値を教師データとして学習データを作成できる（502）。
これを一般化して、データ管理テーブル500から、時刻n=4〜N（Ｎは４以上）に対して、時刻T(n-4)〜T(n)のセンス値とT(n+1)の操作有無の値との組（503）をそれぞれ切り出すことで(N-4)個の学習データを作成できる。
なお、異なる入力データ長を備える複数の復帰判定モデルを用いる場合は、一つのデータ管理テーブル501から、各モデルの入力データ長毎に学習データを作成する。
【００２４】
■  ＣＰＵ201の電源制御処理
図６を用いて、復帰判定モデルの電源制御処理について説明する。
同図の処理は、ＭＦＰ101がスリープモードのとき、操作部ＣＰＵ215が復帰判定処理（S305）で復帰通知を出力後、電源制御部218が各部への通電を開始後にＣＰＵ201が行うものとする。また、本処理は、ＣＰＵ201がＨＤＤ208又はFLASHＲＯＭ212に格納された制御プログラムを読み出してＤＲＡＭ202上に展開し、これに基づき実行するものとする。
S601において、ＣＰＵ201はスリープモードからスタンバイモードへ移行するためのウェイクアップ処理を行う。ウェイクアップ処理では、ＣＰＵ201の起動処理やシリアルＩ/Ｆ213のイニシャライズ設定を実施する。これにより、ＣＰＵ201は操作部ＣＰＵ215との通信が可能になる。
S602において、ＣＰＵ201は学習データの取得を行う。学習データは、S306で操作部ＣＰＵ215により生成されるものである。ＣＰＵ201はシリアルＩ/Ｆ213を介して操作部ＣＰＵ215と通信を行い、学習データの有無の情報を取得する。ＲＡＭ217に学習データが有る場合、ＣＰＵ201は、該学習データを取得し、ＨＤＤ208へ転送、保存する。学習データが無い場合、ＣＰＵ201は学習データの取得を行わない。
S603において、復帰判定モデルの学習処理を行う。ここでは、S305で用いた操作部ＣＰＵ215が扱う復帰判定モデルとは別に備えた複数の学習用のモデルに対して学習を行い、学習後に操作部ＣＰＵ215が扱う復帰判定モデルと置き換える。また、S602で取得した学習データを解析してより好適な復帰判定モデルを選択する処理を行う。学習処理、および、モデル選択処理の詳細は後述する。
【００２５】
S604において、ＣＰＵ201はスリープモード移行要求があるかを判定する。スリープモード移行要求は、例えば、操作部ＣＰＵ215が操作部203の操作通知が一定時間ないことを示す不図示のタイマ割り込みとして検出し、通知を行う。ＣＰＵ201がスリープモード移行要求を検出した場合、S605へ移行する。ＣＰＵ201はスリープモード移行要求が無いと判定した場合、S602へ戻る。
S605において、ＣＰＵ201はスリープモード移行処理を行う。スリープモード移行処理は、ＣＰＵ201で処理している各種処理を中断し、中断が完了するまで待機する。
S606において、ＣＰＵ201は電源制御部218にスリープモードへの移行を通知する。電源制御部218はスリープモードへの移行の通知を受けると、人感センサ102の動作に必要となる操作部203以外の処理ブロックに対する電源を遮断する。ＣＰＵ201は本処理によって電源ＯＦＦ状態となり、ＭＦＰ101のスリープモード移行を完了する。なお、スリープモードからスタンバイモードへ移行する際、ＣＰＵ201は再度S601からの処理を行うものとする。
【００２６】
■  学習処理
図７、及び図８を用いて、S603の学習処理の詳細を説明する。
図７に、S603で行う学習処理のフローを示す。本処理は、ＣＰＵ201が、ＨＤＤ208又はFLASHＲＯＭ212に格納されＤＲＡＭ202上に展開した制御プログラムに基づき実行するものとする。
S701において、ＣＰＵ201は図６の前のステップのS602で学習データが取得できたか否かを判定する。操作部ＣＰＵ215側から１つ以上の学習データが取得できており、学習を実行することができる場合はS702に進む。一方、学習データが得られなかった場合は本処理フローを終了する。
S702では、ＣＰＵ201はモデル選択処理を行う。モデル選択処理では、予め備えた異なる複数の復帰判定モデルからS602で取得した学習データに好適なモデルを選択する処理である。本処理の詳細は後述する。
S703において、ＣＰＵ201は復帰判定モデルの学習処理を行う。本発明では予め複数の復帰判定モデルを備えるものとし、全ての復帰判定モデルに対して上述したＲＮＮの学習方法に則り学習を行う。ここで行う学習は追加学習とする。すなわち、各モデルを初期化せず、それぞれのモデルの状態から学習を行うものとする。また、学習は各モデルが備える入力データ長に応じて作成した学習データを用いるものとする。また、学習データは、それぞれのモデルの入力データ長に対応して、データ管理テーブル501から作成されるものである。
【００２７】
ここで複数の復帰判定モデルは、図８に示すモデル管理テーブル800で管理する。モデル管理テーブル800は、モデルの属性情報801、及び、S305の復帰判定処理に現在使っているモデルを示す推論使用フラグ802を備える。属性情報801は、復帰判定モデルが備えるネットワーク構成情報（各層のニューロン数、接続関係）、係数（重み係数、バイアス係数）、及び、学習打ち切り数を示す入力データ長、等で構成される。推論使用フラグ802は、S702のモデル選択処理の結果に基づき決定する。本実施例では、モデルの属性情報801として、入力データ長のみが異なる２つのモデルを備え、入力データ長が５であるモデル１が使用中であるものとする。
S704において、ＣＰＵ201は、S702のモデル選択処理結果に基づき操作部ＣＰＵ215がS305の復帰判定処理で使用するモデルを更新する。ＣＰＵ201はモデル管理テーブル800を参照し推論使用フラグ802がYesであるモデルのネットワーク構成情報を操作部ＣＰＵ215に対して送信する。その後、操作部ＣＰＵ215は受信したネットワーク構成情報に基づき復帰判定モデルを構築することで復帰判定モデルの更新を完了する。
【００２８】
■  モデル選択処理
図９、及び、図１０を用いて、図7のS702のモデル選択処理の詳細を説明する。
図９に、ＣＰＵ201がS702で行うモデル選択処理のフローを示す。本処理は、ＣＰＵ201が、ＨＤＤ208又はFLASHＲＯＭ212に格納されＤＲＡＭ202上に展開した制御プログラムに基づき実行するものとする。
また、本実施例では、演算量、学習の収束性などの理由から、複数のモデルの中で、最初に入力データ長が最も短いモデルを使用し、簡単のため復帰判定モデルを２つとしている。
また、処理フローの最初にカウンタは全て初期化が行われる。
S901において、ＣＰＵ201はS603で取得した学習データを参照するために格納先であるＨＤＤ208から学習データを読み出す。ここでは、一例として、図１０に示す時刻とセンス値の関係を備える学習データ1000が得られるものとする。
S902において、ＣＰＵ201はS901で取得した学習データについて、センス値が時刻に対して単調増加、または、単調減少する区間を検出する。ある時刻から連続する３つ以上の時刻について、センス値が常に増加する区間を単調増加区間と判定し、逆に常に減少する区間を単調減少区間と判定する。これにより、例えば、学習データ1000では、単調増加する区間1001、及び、単調減少する区間1002が得られる。
S903において、ＣＰＵ201はS902で判定した区間について、時間変化に対するセンス値の変化の割合Gを絶対値として算出する。この値は、単位時間のセンス値の変化量、すなわち、センス値の変化速度であり、これは、人感センサ102が検出したＭＦＰ101に接近するユーザの移動速度を示すものである。例えば、区間1001は、時刻変化ΔT=7に対するセンス値の変化量ΔD=100であり、変化の割合Gは、ΔDをΔTで割ったG=14.2となる。同様に、区間1002の変化の割合Gは、ΔD=100 ΔT=3 から G=33.3となる。
【００２９】
S904において、ＣＰＵ201はS903で算出した各区間の変化の割合を、予め定めた変化の割合の閾値と比較する。
変化の割合Gが閾値以上と判定した場合（S904でYes）、S905に進み、学習データが変化の割合が大きい区間を備えることを示す変化大カウンタをカウントアップする。
一方、変化の割合が閾値未満の区間と判定した場合（S904でNo）、S906に進み、学習データが変換の割合が小さい区間を備えることを示す変化小カウンタをカウントアップする。例えば、変化の割合の閾値を40とすると、学習データ1000が備える区間1001、及び、区間1002の変化の割合はともに閾値以下であり、変化小カウンタをカウントアップする。変化小カウンタが増加することから、学習データ1000はセンサ値が緩やかに変化していることが分かる。つまり、当該学習データ1000は変化の割合の閾値で想定したよりも移動速度が遅いユーザから得られたことが分かる。
S907において、ＣＰＵ201はS901で取得した全学習データに対してS902からS906の処理を行ったか否かを判定する。未処理の学習データがある場合（S907でNo）はS902に戻り処理を続け、全学習データに対する処理が終了したら（S907でYes）、S908に進み、S903で算出した変化の割合、及び、S905、S906で生成したカウンタ値を保存する。
【００３０】
S909において、ＣＰＵ201はS906でカウントした変化小カウンタ値の総計と、予め定めたモデル変更閾値とを比較する。変化小カウンタの値がモデル変更閾値以上であればS910に進み、ＣＰＵ210は変化小カウンタの値がモデル変更閾値未満であれば処理フローを終了する。
S910において、ＣＰＵ201はモデル管理テーブル800を参照し、現在使用中のモデルよりも入力データ長の値が長いモデルの有無を判定する。入力データ長の長いモデルがある場合（S910でYes）は、S911に進み、当該モデルの推論使用フラグ802を有効設定（Yes）し、今まで使っていたモデルの推論使用フラグ802を無効設定（No）して、処理フローを終了する。また、入力データ長の長いモデルがない場合（S910でNo）は、そのまま処理フローを終了する。
【００３１】
本実施例において、学習データ1000においてS906で得た変化小カウンタ値（例えば２）がS909でモデル変更閾値（例えば１）よりも大きいと評価したとする。この場合、S911で、モデル管理テーブル800を参照して、現在推論に使用するモデル810（入力データ長5）の推論使用フラグを無効設定（No）する。そして、より長い入力データ長を持つモデル811（入力データ長10）の推論使用フラグを有効設定（Yes）にする。これにより、センス値の時間変化が少なくても長い時系列で復帰判定することで十分なデータ変化を捉える好適な復帰判定モデルを使用できる。
なお、以上では、復帰判定モデルの入力データ長が異なる２つのモデル間で変更する例について説明した。入力データ長が異なる複数の復帰判定モデルを用意し、閾値を複数もしくは変更することにより、これらのモデルから適切なものを自動的に選択出来るようにしてもよい。
また、上記実施例では、入力データ長が短いモデルから始めて、入力データ長が長いモデルへの変更について述べたが、逆のモデル変更も可能である。具体的には、S905で得た変化大カウンタ値を用い、S909で変化大カウント値についてモデル変更閾値以上について判断する。その後、S910で入力データ長が短いモデルが有るかどうかを判断し、有る場合には、S911で使用モデルの設定を入力データ長が短いモデルに変更する。
さらに、入力データ長が異なる3種類以上のモデルについて、変化大カウント値、変化小カウント値を用いて、それぞれ入力データ長が短いモデル、長いモデルに設定を変更することも可能である。
【実施例２】
【００３２】
●  ユーザによるモデル選択処理
（１）設定画面A
上述した図９の処理フローでは、学習データのセンス値の時間変化から、それに好適な復帰判定モデルを自動で選択する処理を説明した。しかし、復帰判定モデルの選択方法はこれに限定するものではなく、使用する復帰判定モデルをユーザの指示により選択してもよい。
そこで図１１を用いて、ユーザ指示により復帰判定モデルを選択する処理を説明する。
図１１Aに、操作部203が備える表示部である液晶タッチパネル上に表示した人感センサ102に係る設定画面Ａ1100を表示する。設定画面Ａ1100は、ＭＦＰ101が操作部203の表示部を介してユーザに提供する不図示の設定メニュー画面において人感センサの設定画面を表示するボタンを押下することで表示されるものとする。
設定画面Ａ1100は、センサデータの時間変化を模式的に示したグラフ1101を備える。グラフ1101は、S908で保存した変化の割合に対応する現在の変化値1102、及び、モデル管理テーブル800が備える復帰判定モデル(1),(2)が判定できる変化の割合1103,1104の傾きを示す。各モデルが判定できる変化の割合は、各モデルの入力データ長に基づき予め定めるものである。ユーザは、グラフ1101から現在の変化値1102の傾きと近い変化の割合1104を備える復帰判定モデル(2)のボタン1105を選択することで、好適な復帰判定モデルの使用を設定できる。
【００３３】
（２）設定画面B
設定画面Ａ1100ではなく、より直感的にユーザの使用環境に基づき復帰判定モデルを設定画面Ｂをユーザに提供する例について説明する。
図１１Bに、人感センサ102に係る他の設定画面Ｂ1110を示す。設定画面Ｂ1110も設定画面Ａ1100同様に、ＭＦＰ101が操作部203の表示部を介してユーザに提供する不図示の設定メニュー画面において人感センサの設定画面を表示するボタンを押下することで表示するものである。
設定画面Ｂ1110は、ＭＦＰ101の使用場所およびユーザに対応した復帰判定モデルを設定するボタン1111,1112を備える。このとき、使用場所に集うユーザの年齢層を予め定め、若い人、移動速度が速くセンス値の変化の割合が大きい人、が多く集まる場所には入力データ長が短い復帰判定モデル810を対応づける。同様に、使用場所に集うユーザの年齢層が高い場合は、移動速度が遅くセンス値の変化の割合が小さくても判定精度が出るよう、入力データ長が長い復帰判定モデル811を対応づける。使用場所と復帰判定モデルとを対応つける情報は、モデル管理テーブル800の不図示の対応情報として管理するものとする。これによりユーザは、使用場所やＭＦＰ101のユーザ属性に基づき好適な復帰判定モデルを直接選択することができる。
具体的には、ユーザは、設定画面Ａ1100、設定画面Ｂ1110において、ユーザが設定した復帰判定モデル1105,1111は、ユーザが各設定画面Ａ，Ｂのボタン1106,1119を押下する。これにしたがって、ＣＰＵ201はモデル管理テーブル800の推論使用フラグ802を設定変更し、ユーザが指定した復帰判定モデルを有効設定できる。
【００３４】
以上の説明により、ＭＦＰ101の設置環境毎に得られた人感センサ102のセンス値の時系列変化に基づき好適な復帰判定モデルを選択することができ、機械学習手法を用いて行う人感センサの復帰判定精度を高めることができる。
なお、本発明は上述した説明に限定するものではない。
S603で行う学習処理はＭＦＰ101が備えるＣＰＵ201ではなく、ネットワークで接続された不図示の外部サーバで行う情報処理システムであってもよい。このとき、ＭＦＰ101とＬＡＮ214を介して接続した外部サーバ上に学習モデルを備え、ＣＰＵ201がS602で取得した学習データを外部サーバに送信して、外部サーバ上でS703の学習処理を行う。ＣＰＵ201はS702で取得したモデル選択処理に基づき外部サーバから学習済のモデルの属性情報を取得し、操作部ＣＰＵ215に送信して復帰判定モデルを更新することもできる。外部サーバで学習処理を行うことで、学習に必要なＭＦＰ101の処理リソースを削減できる。また、グラフィックカード等の処理アクセラレータを備えた外部サーバを利用することで学習時間を削減することができる。
【００３５】
また、モデル管理テーブルが備える復帰判定モデル数は、実施例１で説明した２個に限定するものではなく、複数のモデルを備えてもよい。このとき、S603の学習処理、および、S702のモデル選択処理はモデル数分だけ行う。また、モデル選択処理で行うS909の閾値判定において、モデル数に応じた複数の判定閾値を備えて判定処理を行う。また、人感センサのモデル設定画面Ａ，Ｂ1100,1110上に、モデル数分のモデル選択ボタンを表示する。これにより複数のモデルから好適なモデル選択できる。
人感センサのモデル設定画面Ａ，Ｂ1100,1110の表示、及び、設定操作は、全てのユーザが行うことが可能であっても、また管理者等の権限のあるユーザのみができるようにしてもよい。例えば、モデル設定画面Ａ1100を管理者権限のあるユーザのみに設定操作させることで、全てのユーザが複雑で不要な設定を理解する負担を減らすことができる。
【００３６】
(その他の実施例) 
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ＡＳＩＣ)によっても実現可能である。
【符号の説明】
【００３７】
102  人感センサ
201  ＣＰＵ
215  操作部ＣＰＵ
【図１】
2020039069.tif 000003
【図２】
2020039069.tif 000004
【図３】
2020039069.tif 000005
【図４】
2020039069.tif 000006
【図５】
2020039069.tif 000007
【図６】
2020039069.tif 000008
【図７】
2020039069.tif 000009
【図８】
2020039069.tif 000010
【図９】
2020039069.tif 000011
【図１０】
2020039069.tif 000012
【図１１Ａ】
2020039069.tif 000013
【図１１Ｂ】
2020039069.tif 000014