(57)【要約】【課題】人物の移動軌跡から機器の利用者が他の利用者に入れ替わったのか否かを判定することができる画像処理装置、人物検出方法、及びプログラムを提供すること課題とする。【解決手段】画像処理装置であって、所定の範囲内に位置する人物を検出する人物検出手段と、前記人物検出手段により検出された人物の前記所定の範囲内における過去の位置から現在の位置までの移動軌跡を導出し、該移動軌跡に基づき前記所定の範囲内に位置する１以上の人物をそれぞれ区別する区別手段と、前記区別手段により区別された人物に関する情報に基づき、前記画像処理装置を操作する人物が他の人物に入れ替わったのか否かを判定する判定手段と、を有することにより、上記課題を解決する。【選択図】  図２
2016066280.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
所定の範囲内に位置する人物を検出する人物検出手段と、
前記人物検出手段により検出された人物の前記所定の範囲内における過去の位置から現在の位置までの移動軌跡を導出し、該移動軌跡に基づき前記所定の範囲内に位置する１以上の人物をそれぞれ区別する区別手段と、
前記区別手段により区別された人物に関する情報に基づき、前記画像処理装置を操作する人物が他の人物に入れ替わったのか否かを判定する判定手段と、
を有する画像処理装置。
【請求項２】
前記判定手段により前記画像処理装置を操作する人物が他の人物に入れ替わったと判定された場合において、前記人物が操作を終了した時点から所定の時間が経過している場合、該人物のユーザアカウントを前記画像処理装置からログアウトさせるログアウト制御手段を有する請求項１記載の画像処理装置。
【請求項３】
前記判定手段により前記画像処理装置を操作する人物が他の人物に入れ替わったと判定された場合において、前記人物が操作を終了した時点から所定の時間が経過している場合、前記画像処理装置を省電力状態に移行させる制御を行う省エネ制御手段を有する請求項１又は２記載の画像処理装置。
【請求項４】
前記判定手段により前記画像処理装置を操作する人物が他の人物に入れ替わったと判定された場合において、前記人物が操作を終了した時点から所定の時間が経過してる場合、前記画像処理装置の表示部を、予め設定された所定の機能を実行させるための画面に遷移させる制御を行うシステムリセット制御手段を有する請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項５】
前記所定の範囲内の空間に関する情報を示すマップを作成するマップ作成手段を有し、
前記人物検出手段は、
前記マップ作成手段により前記所定の範囲内に人物がいない状態で予め作成された第１のマップと、前記所定の範囲内に人物がいる状態で作成された第２のマップとの差分に基づき、前記画像処理装置から所定の範囲内に位置する人物を検出する、請求項１ないし４のいずれか１項に記載の画像処理装置。
【請求項６】
前記人物検出手段は、
前記画像処理装置の撮像手段により作成される前記所定の範囲内の画像データに基づき、該所定の範囲内に位置する人物を検出し、
前記区別手段は、
前記人物検出手段により検出された人物の前記所定の範囲内における過去の位置に関する１以上の第１の画像データと、該人物の前記所定の範囲内における現在の位置に関する第２の画像データとに基づき、前記人物の前記所定の範囲における前記過去の位置から前記現在の位置までの移動軌跡を導出し、該移動軌跡に基づき前記所定の範囲内に位置する１以上の人物をそれぞれ区別する、請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
前記人物検出手段は、
第１の所定の範囲内に位置する人物を検出する第１の人物検出手段と、
第２の所定の範囲内に位置する人物を検出する第２の人物検出手段と、を有し、
前記区別手段は、
前記第１の人物検出手段又は前記第２の人物検出手段により検出された前記人物の前記第１の所定の範囲内における過去の位置又は前記第２の所定の範囲内における過去の位置と、前記第１の人物検出手段又は前記第２の人物検出手段により検出された前記人物の前記第１の所定の範囲内における現在の位置又は前記第２の所定の範囲内における現在の位置とに基づき、前記過去の位置から前記現在の位置までの前記人物の移動軌跡を導出し、該移動軌跡に基づき前記所定の範囲内に位置する１以上の人物をそれぞれ区別する、請求項１ないし６のいずれか１項に記載の画像処理装置。
【請求項８】
画像処理装置に用いられる人物検出方法であって、
所定の範囲内に位置する人物を検出する人物検出工程と、
前記人物検出工程により検出された人物の前記所定の範囲内における過去の位置から現在の位置までの移動軌跡を導出し、該移動軌跡に基づき前記所定の範囲内に位置する１以上の人物をそれぞれ区別する区別工程と、
前記区別工程により区別された人物に関する情報に基づき、前記画像処理装置を操作する人物が他の人物に入れ替わったのか否かを判定する判定工程と、
を有する人物検出方法。
【請求項９】
画像処理装置を、
所定の範囲内に位置する人物を検出する人物検出手段、
前記人物検出手段により検出された人物の前記所定の範囲内における過去の位置から現在の位置までの移動軌跡を導出し、該移動軌跡に基づき前記所定の範囲内に位置する１以上の人物をそれぞれ区別する区別手段、
前記区別手段により区別された人物に関する情報に基づき、前記画像処理装置を操作する人物が他の人物に入れ替わったのか否かを判定する判定手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、人物検出方法、及びプログラムに関する。
【背景技術】
【０００２】
例えば画像形成装置等の機器において、省電力モードからの復帰時間を短くするために、人物検知センサを用いて機器の利用者の接近を検知して、この利用者が機器の操作を開始する前に省電力モードから復帰する技術が知られている（例えば特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の従来技術においては、機器の周辺に複数の人物がいる場合に機器の利用者を正しく判断することができないことがあった。例えば、複数の人物が何度も入れ替わり機器を利用する場合等では、１人の人物が機器を利用し続けていると誤って判断されることがあった。また、例えば、機器を利用中の人物の近くを他の人物が通り過ぎた場合等では、機器の利用者が入れ替わったと誤って判断されることがあった。したがって、人物検知センサを用いた機器の省電力制御や自動ログオフ制御等が正しく行えない場合があった。
【０００４】
本発明の実施の形態は、上記の点に鑑みてなされたもので、人物の移動軌跡から機器の利用者が他の利用者に入れ替わったのか否かを判定することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の実施の形態は、画像処理装置であって、所定の範囲内に位置する人物を検出する人物検出手段と、前記人物検出手段により検出された人物の前記所定の範囲内における過去の位置から現在の位置までの移動軌跡を導出し、該移動軌跡に基づき前記所定の範囲内に位置する１以上の人物をそれぞれ区別する区別手段と、前記区別手段により区別された人物に関する情報に基づき、前記画像処理装置を操作する人物が他の人物に入れ替わったのか否かを判定する判定手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明の実施の形態によれば、人物の移動軌跡から機器の利用者が他の利用者に入れ替わったのか否かを判定することができる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係るＭＦＰの一例のハードウェア構成図である。
【図２】本実施形態に係るＭＦＰの一例の機能ブロック図である。
【図３】本実施形態に係るＭＦＰの処理の概要の一例を説明するための図である。
【図４】本実施形態に係るＭＦＰの制御処理の一例のフローチャートである。
【図５】パーティクルフィルタを用いたトラッキングの一例を説明するための図である。
【図６】画像データを用いたトラッキングの一例を説明するための図である。
【図７】本実施形態に係るトラッキング処理の一例のフローチャートである。
【図８】本実施形態に係るトラッキング処理の他の例のフローチャートである。
【発明を実施するための形態】
【０００８】
以降、本発明の実施の形態について、図面を参照しつつ詳細に説明する。本実施形態では、画像処理装置の一例としてＭＦＰ（MultiFunction Peripheral）について説明するが、これに限られず、例えば、プロジェクタ、電子黒板、ゲーム機器等の各種電子機器であってもよい。すなわち、本発明の実施形態は、人体検知センサを用いて各種制御を行う電子機器に対して適用され得る。
【０００９】
＜ハードウェア構成＞
まず、本実施形態に係るＭＦＰ１０のハードウェア構成について説明する。本実施形態に係るＭＦＰ１０は、例えば図１に示すようなハードウェア構成により実現される。図１は、本実施形態に係るＭＦＰの一例のハードウェア構成図である。図１に示すように、本実施形態に係るＭＦＰ１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＨＤＤ（Hard Disk Drive）１４、通信Ｉ／Ｆ１５、操作パネル１６、人体検知センサ１７、画像処理エンジン１８等を備え、それぞれがバスＢで相互に接続されている。
【００１０】
ＣＰＵ１１は、ＲＯＭ１２やＨＤＤ１４等の記憶装置からプログラムやデータをＲＡＭ１３上に読み出し、処理を実行することで、ＭＦＰ１０全体の制御や機能を実現する演算装置である。
【００１１】
ＲＯＭ１２は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。ＲＡＭ１３は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。
【００１２】
ＨＤＤ１４は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、例えば、本実施形態を実現するためのプログラム、ＭＦＰ１０全体を制御する基本ソフトウェアであるＯＳ（Operating System）、ＯＳ上において各種機能を提供するアプリケーションソフトウェア等がある。ＨＤＤ１４は格納しているプログラムやデータを所定のファイルシステム及び／又はＤＢ（データベース）により管理している。なお、ＭＦＰ１０は、ＨＤＤの代わりに又はＨＤＤと併せて、ＳＳＤ（Solid State Drive）等を備えていてもよい。
【００１３】
通信Ｉ／Ｆ１５は、例えば、ＬＡＮ等によりネットワークに接続するためのインタフェースである。これにより、ＭＦＰ１０は通信Ｉ／Ｆ１５を介して他の機器とデータ通信を行うことができる。
【００１４】
操作パネル１６は、ユーザからの入力を受け付ける入力部と、表示を行う表示部とを備えているタッチパネルである。ユーザは、操作パネル１６を介してＭＦＰ１０に対して各種情報を入力するための操作を行うことができる。
【００１５】
人体検知センサ１７は、ＭＦＰ１０の周囲（例えば、ＭＦＰ１０の操作パネル１６の前面方向の所定範囲）の人（人物）を検知するセンサである。人体検知センサ１７は、例えば、赤外線、超音波、可視光線等を用いて人を検知するセンサや、カメラ等の撮像手段で撮像することにより生成した画像データを用いて人を検知するセンサ等である。ただし、人体検知センサ１７は、これらに限られず、種々の方法を用いて人を検知する種々のセンサであってもよい。なお、人体検知センサ１７は、人を検知可能な範囲が、人体検知センサ１７の種類又は設定等により決まっており、以降では、このような所定の範囲を「センサ検知範囲」と称する。
【００１６】
また、ＭＦＰ１０は、人体検知センサ１７を２台以上有していてもよい。ＭＦＰ１０は人体検知センサ１７を２台以上有することにより、例えば、一の人体検知センサ１７では死角となる位置に人物が存在する場合でも、他の人体検知センサ１７において検知できる位置であれば、当該人物の存在を検知することができる。すなわち、複数の人体検知センサ１７それぞれが取得する情報を、相互に補完しつつ人物の検知を行うことができる。なお、このようにＭＦＰ１０が人体検知センサ１７を２台以上有する場合、後述する人体検知部１０１はそれぞれの人体検知センサ１７に対応する人体検知手段を有していてもよい。例えばＭＦＰ１０が人体検知センサ１７を２台有する場合、一の人体検知センサ１７のセンサ検知範囲（第１の所定の範囲）における人物を検知する第１の人物検知手段と、他の人体検知センサ１７のセンサ検知範囲内（第２の所定の範囲）における人物を検知する第２の人物検知手段とを有していてもよい。
【００１７】
画像処理エンジン１８は、例えば、プリント機能、コピー機能、スキャン機能等のＭＦＰ１０が有する各種画像処理機能を行う。
【００１８】
本実施形態に係るＭＦＰ１０は、上記したハードウェア構成により後述するような各種処理を実現できる。
【００１９】
＜ソフトウェア構成＞
次に、本実施形態に係るＭＦＰ１０のソフトウェア構成について説明する。本実施形態に係るＭＦＰ１０は、例えば図２に示すような機能ブロックにより実現される。図２は、本実施形態に係るＭＦＰの一例の機能ブロック図である。図２に示すように、本実施形態に係るＭＦＰ１０は、人体検知部１０１、人体検知情報制御部１０２、移動軌跡特定部１０３、人物区別部１０４、利用者判定部１０５、省エネ制御部１０６、自動ログアウト制御部１０７等を有する。また、本実施形態に係るＭＦＰ１０は、人物別検知情報記憶部１０８を利用する。
【００２０】
人体検知部１０１は、例えば、ＣＰＵ１１、人体検知センサ１７等により実現され、センサ検知範囲内の人を検知する。人体検知部１０１により検知された人の情報は、人体検知情報として人体検知情報制御部１０２に渡される。ここで、人体検知情報とは、人体検知センサ１７により検知されたセンサ検知範囲内における人の情報であり、例えば、ある時点におけるセンサ検知範囲内における人の位置情報である。また、人体検知情報は、センサ検知範囲内をカメラ等の撮像手段で撮像して生成した画像データ又はこの画像データから算出された人の位置情報等であってもよい。
【００２１】
人体検知情報制御部１０２は、例えば、ＣＰＵ１１等により実現され、人体検知部１０１から受け取った人体検知情報に基づいて、他の各部に処理を依頼する。例えば、人体検知情報制御部１０２は、人体検知部１０１から人体検知情報を受け取ると、検知された人をトラッキングするために移動軌跡特定部１０３に処理を依頼する。また、人体検知情報制御部１０２は、移動軌跡特定部１０３によりトラッキングされた人体検知情報を、この人体検知情報に含まれる人別に区別するために人物区別部１０４に処理を依頼する。
【００２２】
移動軌跡特定部１０３は、例えば、ＣＰＵ１１等により実現され、人体検知情報制御部１０２から受け取った人体検知情報に基づき、センサ検知範囲内において検知された人の移動軌跡をトラッキングする。これにより、本実施形態に係るＭＦＰ１０では、センサ検知範囲内において、検知された人が移動した場合の移動軌跡がトラッキングされる（すなわち、移動軌跡に関する情報が導出される）。なお、移動軌跡に関する情報とは、センサ検知範囲内において検知された人が、このセンサ検知範囲内において移動した場合（静止している場合も含む）の軌跡に関する情報（つまり、後述するように、各時点における位置情報）である。
【００２３】
人物区別部１０４は、例えば、ＣＰＵ１１等により実現され、移動軌跡特定部１０３により移動軌跡がトラッキングされた人を、人別の情報に区別して、人物別検知情報を作成又は更新する。すなわち、例えば、人体検知情報に複数の人の位置情報等が含まれる場合に、それぞれの人毎の移動軌跡に関する情報からそれぞれ人物別検知情報を作成する。ここで、人物別検知情報とは、センサ検知範囲内において検知された人の人別の移動軌跡に関する情報（トラッキング情報）であり、例えば、ある人の各時点における位置情報である。このように、本実施形態に係るＭＦＰ１０では、センサ検知範囲内において検知された人毎のトラッキング情報（人物別検知情報）が作成される。したがって、ＭＦＰ１０は、人物別検知情報を用いることにより、センサ検知範囲内に複数の人が存在する場合においても各々の人を識別することができる。換言すれば、ＭＦＰ１０は、人物別検知情報により、センサ検知範囲内において、検知された複数の人がすれ違うような場合や検知された人が遮蔽物の後ろを通り過ぎるような場合においても、各々の人を他の人の間違うことなく認識することができる。
【００２４】
利用者判定部１０５は、例えば、ＣＰＵ１１等により実現され、人物別検知情報に基づきセンサ検知範囲内から離れた（センサ検知範囲の外に出た）人が、ＭＦＰ１０の利用者であるか否かを判定する。これにより、本実施形態に係るＭＦＰ１０は、複数の人が入れ替わりＭＦＰ１０を利用する場合等においても、各々の利用者を異なる利用者であると識別することができる。したがって、本実施形態に係るＭＦＰ１０は、例えば、前の利用者が利用し終わった後、間もなく次の利用者がＭＦＰ１０を利用するような場合等においても、自動ログアウト制御部１０７による前の利用者の自動ログアウトが行われる。
【００２５】
省エネ制御部１０６は、例えば、ＣＰＵ１１等により実現され、ＭＦＰ１０を省電力状態（例えば、操作パネル１６のバックライトをＯＦＦにする等）に移行させる制御を行う。すなわち、例えば、ＭＦＰ１０の利用者が利用を終了（これは、ＭＦＰ１０の利用者がセンサ検知範囲から外に出たと判定されることで認識される）した場合において、所定の時間が経過している場合、省エネ制御部１０６は、ＭＦＰ１０を省電力状態に移行させる。
【００２６】
自動ログアウト制御部１０７は、例えば、ＣＰＵ１１等により実現され、ＭＦＰ１０の利用者を、ＭＦＰ１０から自動でログアウトさせる制御を行う。すなわち、上記で説明した省エネ制御部１０６と同様に、例えば、ＭＦＰ１０の利用者が利用を終了した場合において、所定の時間が経過している場合、自動ログアウト制御部１０７は、ＭＦＰ１０の利用者を、ＭＦＰ１０から自動でログアウトさせる。
【００２７】
人物別検知情報記憶部１０８は、例えば、ＨＤＤ１４又はＭＦＰ１０とネットワークを介して接続された記憶装置等により実現され、人物別検知情報を記憶する。人物別検知情報は、上述した通り、センサ検知範囲内において検知された人別の移動軌跡に関する情報（トラッキング情報）である。
【００２８】
＜処理の概要＞
次に、本実施形態に係るＭＦＰ１０の処理の概要について説明する。図３は、本実施形態に係るＭＦＰの処理の概要の一例を説明するための図である。図３では、ＭＦＰ１０の利用者が人物Ａから人物Ｂに入れ替わる場合（図３（ａ））と、ＭＦＰ１０を利用している人物Ａの近くを人物Ｂが通り過ぎる場合（図３（ｂ））とについて説明する。
【００２９】
なお、従来では、図３（ａ）の場合では利用者が入れ替わっていないと誤って判断されることがあり、図３（ｂ）の場合では利用者が入れ替わったと誤って判断されることがあった。
【００３０】
まず、図３（ａ）を用いて、ＭＦＰ１０の利用者が人物Ａから人物Ｂに入れ替わる場合について説明する。
【００３１】
ステップＳ１−１において、人物ＡがＭＦＰ１０を利用するために、ＭＦＰ１０に接近したものとする。このとき、人物ＡがＭＦＰ１０のセンサ検知範囲内に入ると、人体検知センサ１７は人物Ａを検知する。そして、ＭＦＰ１０は、人物Ａの移動軌跡をトラッキングする。なお、このとき、センサ検知範囲内の人数は、１人となる。
【００３２】
ステップＳ１−２において、人物ＡはＭＦＰ１０を利用中である。
【００３３】
ステップＳ１−３において、人物ＡがＭＦＰ１０の利用を終えてＭＦＰ１０を離れ始めるのとほぼ同じタイミングで、人物ＢがＭＦＰ１０を利用するためにＭＦＰ１０に接近したものとする。このとき、人物ＢがＭＦＰ１０のセンサ検知範囲内に入ると、人体検知センサ１７は人物Ｂを検知して、人物Ｂの移動軌跡をトラッキングする。これにより、ＭＦＰ１０は、人物Ａと人物Ｂとが同一人物であると誤認識することなく、別人物であると認識することができる。なお、このとき、センサ検知範囲内の人数は、２人となる。
【００３４】
ステップＳ１−４において、人物ＢがＭＦＰ１０を利用中である一方、人物Ａはセンサ検知範囲から外に出たものとする。このとき、本実施形態に係るＭＦＰ１０は、人物Ａ及び人物Ｂの移動軌跡をトラッキングしているため、人物Ａと人物Ｂとを誤認識することなく、人物Ａがセンサ検知範囲から外に出た一方、ＭＦＰ１０の利用者が人物Ａから人物Ｂに代わったことを認識することができる。したがって、人物ＡがＭＦＰ１０の利用を終えて、センサ検知範囲の外に出た場合、ＭＦＰ１０は所定の場合に省エネ制御や人物Ａのユーザアカウントの自動ログアウト制御等を行うことできる。これにより、本実施形態に係るＭＦＰ１０は、無駄な電力消費等を抑えることができるとともに、他のユーザによるユーザアカウントの不正利用を防止することができる。なお、このとき、センサ検知範囲内の人数は、１人となる。ここで、上記においてユーザアカウントとは、ユーザがＭＦＰ１０を利用するために予め付与されたユーザ名（又はユーザＩＤ）等を含む情報である。利用者（ユーザ）は、ＭＦＰ１０の利用開始時に、自身に付与されたユーザアカウントを用いてログインすることで、このＭＦＰ１０を利用することができる。他方、利用者（ユーザ）は、ＭＦＰ１０の利用終了時に、自身に付与されたユーザアカウントをＭＦＰ１０からログアウトすることで、このＭＦＰ１０の利用を終了させる。換言すれば、ログイン及びログアウトとは、ログイン及びログアウトされたユーザアカウントに対して、それぞれ、ＭＦＰ１０の利用権限を付与する及び剥奪することである。
【００３５】
次に、図３（ｂ）を用いて、ＭＦＰ１０を利用している人物Ａの近くを人物Ｂが通り過ぎる場合について説明する。
【００３６】
ステップＳ２−１において、人物ＡがＭＦＰ１０を利用するために、ＭＦＰ１０に接近したものとする。このとき、人物ＡがＭＦＰ１０のセンサ検知範囲内に入ると、人体検知センサ１７は人物Ａを検知する。そして、ＭＦＰ１０は、人物Ａの移動軌跡をトラッキングする。なお、このとき、センサ検知範囲内の人数は、１人となる。
【００３７】
ステップＳ２−２において、人物ＡはＭＦＰ１０を利用中である。
【００３８】
ステップＳ２−３において、人物ＡがＭＦＰ１０の利用中に、人物ＢがＭＦＰ１０の近く（センサ検知範囲内）を通過するものとする。このとき、人物ＢがＭＦＰ１０のセンサ検知範囲内に入ると、人体検知センサ１７は人物Ｂを検知して、人物Ｂの移動軌跡をトラッキングする。これにより、ＭＦＰ１０は、人物Ａと人物Ｂとが同一人物であると誤認識することなく、別人物であると認識することができる。なお、このとき、センサ検知範囲内の人数は、２人となる。
【００３９】
ステップＳ２−４において、人物ＡがＭＦＰ１０を利用中である一方、人物Ｂはセンサ検知範囲から外に出たものとする。このとき、本実施形態に係るＭＦＰ１０は、人物Ａ及び人物Ｂの移動軌跡をトラッキングしているため、人物Ａと人物Ｂとを誤認識することなく、人物Ｂがセンサ検知範囲から外に出た一方、ＭＦＰ１０の利用者は引き続き人物Ａであることを認識することができる。したがって、ＭＦＰ１０を利用中である人物Ａの近くを人物Ｂが通り過ぎる場合においても、ＭＦＰ１０は省エネ制御や自動ログアウト制御等の誤った制御を行うことがない。なお、このとき、センサ検知範囲内の人数は、１人となる。
【００４０】
以上のように、本実施形態に係るＭＦＰ１０では、人体検知センサ１７で検知された人物の移動軌跡をトラッキングすることで、センサ検知範囲内に位置する各人物をそれぞれ区別して認識することができる。したがって、本実施形態に係るＭＦＰ１０は、人物の誤認識に起因する誤った制御を防止することができる。
【００４１】
＜処理の詳細＞
次に、本実施形態に係るＭＦＰ１０の処理の詳細について説明する。
【００４２】
≪ＭＦＰ１０の制御処理≫
図４は、本実施形態に係るＭＦＰの制御処理の一例のフローチャートである。まず、ＭＦＰ１０を利用したいと所望する人物Ａが、ＭＦＰ１０を利用するためにＭＦＰ１０に近づき、センサ検知範囲内に入ったものとする。
【００４３】
ステップＳ４０１において、人体検知部１０１は、センサ検知範囲内の人を検知する。すなわち、人体検知部１０１は、ＭＦＰ１０のセンサ検知範囲内の人物Ａを検知する。人体検知部１０１は、センサ検知範囲内の人を検知すると、人体検知情報を人体検知情報制御部１０２に送信する。なお、人体検知情報とは、上述した通り、例えば、人体検知部１０１により検知されたセンサ検知範囲内の人の位置情報、又はセンサ検知範囲内をカメラ等の撮像手段で撮像して生成した画像データ若しくはこの画像データから算出された人の位置情報等である。
【００４４】
ステップＳ４０２において、人体検知情報制御部１０２は、人体検知部１０１より受け取った人体検知情報に基づき、人体検知部１０１により検知された人のトラッキングを行い、人物別検知情報を人物別検知情報記憶部１０８に格納させる。人体検知部１０１により検知された人のトラッキングを行うためのトラッキング処理は、例えば、パーティクルフィルタを用いる場合や画像データを用いる場合等がある。以下では、図３（ａ）で示したようにＭＦＰ１０の利用者が人物Ａから人物Ｂに入れ替わる場合について、パーティクルフィルタを用いたトラッキング方法と画像データを用いたトラッキング方法の概略を説明する。
【００４５】
図５は、パーティクルフィルタを用いたトラッキングの一例を説明するための図である。人体検知情報がセンサ検知範囲内における人物の位置情報である場合に、この人物の位置情報の変化をパーティクルフィルタで予測することでトラッキングを行うことができる。この方法によれば、人物ＡがＭＦＰ１０を利用するためにセンサ検知範囲内に入ると、パーティクルフィルタを用いて人物Ａの移動軌跡がトラッキングされる（ステップＳ３−１）。人物ＡがＭＦＰ１０を利用し（ステップＳ３−２）、人物Ａが利用を終えてＭＦＰ１０を離れ始めるのとほぼ同じタイミングで、人物ＢがＭＦＰ１０を利用するためにＭＦＰ１０に接近したものとする。このとき、人物ＢがＭＦＰ１０のセンサ検知範囲内に入ると、人体検知センサ１７は人物Ｂを検知して、パーティクルフィルタを用いて人物Ｂの移動軌跡をトラッキングされる（ステップＳ３−３）。そして、人物ＢがＭＦＰ１０を利用中である一方、人物Ａはセンサ検知範囲から外に出たものとする。このとき、上述したように、パーティクルフィルタを用いて人物Ａ及び人物Ｂの移動軌跡がトラッキングされているため、ＭＦＰ１０は利用者が人物Ａから人物Ｂに代わったことを認識することができる（ステップＳ３−４）。以上のようなパーティクルフィルタを用いたトラッキング処理の詳細については、後述する。
【００４６】
図６は、画像データを用いたトラッキングの一例を説明するための図である。人体検知情報がセンサ検知範囲内における人物の画像の特徴点に関する情報である場合に、この人物の画像の特徴点を用いてマッチングすることでトラッキングを行うことができる。この方法によれば、人物ＡがＭＦＰ１０を利用するためにセンサ検知範囲内に入ると、人物Ａの画像の特徴点を用いたマッチングにより人物Ａの移動軌跡がトラッキングされる（ステップＳ４−１）。人物ＡがＭＦＰ１０を利用し（ステップＳ４−２）、人物Ａが利用を終えてＭＦＰ１０を離れ始めるのとほぼ同じタイミングで、人物ＢがＭＦＰ１０を利用するためにＭＦＰ１０に接近したものとする。このとき、人物ＢがＭＦＰ１０のセンサ検知範囲内に入ると、人体検知センサ１７は人物Ｂを検知して、人物Ｂの画像の特徴点を用いてマッチングすることで、人物Ｂの移動軌跡がトラッキングされる（ステップＳ４−３）。そして、人物ＢがＭＦＰ１０を利用中である一方、人物Ａはセンサ検知範囲から外に出たものとする。このとき、上述したように、それぞれの人物の特徴点を用いてマッチングにより人物Ａ及び人物Ｂの移動軌跡がトラッキングされているため、ＭＦＰ１０は利用者が人物Ａから人物Ｂに代わったことを認識することができる（ステップＳ４−４）。以上のような画像データを用いたトラッキング処理の詳細については、後述する。
【００４７】
ステップＳ４０３において、人体検知部１０１により検知された人がＭＦＰ１０を利用する。例えば、人体検知部１０１により検知された人物ＡがＭＦＰ１０を利用する。
【００４８】
ステップＳ４０４において、人体検知情報制御部１０２は、センサ検知範囲内の人の人数が増加したか又は減少したかを判定する。これは、上述のステップＳ４０２によりセンサ検知範囲内の人の移動軌跡をそれぞれトラッキングすることで生成される人物別検知情報により判定することができる。例えば、人物別検知情報が、人別の各時点における位置情報である場合、人体検知情報制御部１０２は、現時点の位置情報が記録されている人物別検知情報の数を算出することで判定することができる。センサ検知範囲内の人の人数が増加した場合（すなわち、人体検知部１０１により新たに人が検知された場合）は、ステップＳ４０５に進む。他方、センサ検知範囲内の人の人数が減少した（すなわち、センサ検知範囲内からセンサ検知範囲外に人が移動した場合）は、ステップＳ４０６に進む。なお、センサ検知範囲内の人の人数の増減がない場合には、人体検知情報制御部１０２は何もしない。
【００４９】
ステップＳ４０５において、人体検知情報制御部１０２は、人体検知部１０１により新たに検知された人のトラッキングを行い、この検知された人の人物別検知情報を人物別検知情報記憶部１０８に格納させる。このトラッキングを行うための処理は、上述したステップＳ４０２で説明した処理と同様である。
【００５０】
ステップＳ４０６において、人体検知情報制御部１０２は、センサ検知範囲内の人の人数が１人以上が否かを判定する。この判定は、上述したステップＳ４０４と同様に、例えば、人物別検知情報が、人別の各時点における位置情報である場合、人体検知情報制御部１０２は、現時点の位置情報が記録されている人物別検知情報の数を算出することで判定することができる。センサ検知範囲内の人の人数が、１人以上である場合、ステップＳ４０７に進む。他方、センサ検知範囲内の人の人数が、０人である場合、ステップＳ４１３に進む。
【００５１】
ステップＳ４０７において、利用者判定部１０５は、センサ検知範囲外となった人物が、ＭＦＰ１０の利用者（例えば、上述した人物Ａ）であるか否かを判定する。これは、例えば、人物Ａの人物別検知情報から判定することができる。すなわち、例えば、ＭＦＰ１０の利用者であった人物Ａの人物別検知情報において、現時点の位置情報が記録されていない場合、利用者判定部１０５は、人物Ａはセンサ検知範囲外となったと判定される。他方、例えば、人物Ａの人物別検知情報において、現時点の位置情報が記録されている場合、センサ検知範囲の外に移動した人物は、人物Ａ以外であると判定される。センサ検知範囲外となった人物がＭＦＰ１０の利用者である場合、ステップＳ４０９に進む。他方、センサ検知範囲外となった人物がＭＦＰ１０の利用者でない場合、ステップＳ４１０に進む。
【００５２】
ステップＳ４０８において、ＭＦＰ１０は、ある特定の利用者（例えば、上述した人物Ａ）が継続して利用しているものとして動作する。すなわち、この場合、ＭＦＰ１０では自動ログアウト制御や省エネ制御等の各種制御は行われない。
【００５３】
ステップＳ４０９において、自動ログアウト制御部１０７は、自動ログアウトタイマがタイムアップとなっているか否かを判定する。すなわち、例えばセンサ検知範囲外に移動した人物ＡによるＭＦＰ１０に対する最後の操作から所定の時間が経過しているか否かを判定する。自動ログアウトタイマがタイムアップとなっている場合、ステップＳ４１０に進む。他方、自動ログアウトタイマがタイムアップとなっていない場合、ステップＳ４１１に進む。
【００５４】
ステップＳ４１０において、自動ログアウト制御部１０７は、ＭＦＰ１０の利用者（例えば、上述した人物Ａ）を、ＭＦＰ１０から自動でログアウトさせる制御を行う。これにより、ＭＦＰ１０の利用者である人物ＡがＭＦＰ１０の利用後ログアウトせずにセンサ検知範囲外に出た場合、操作終了後所定の時間が経過していれば自動でユーザアカウントがログアウトされる。
【００５５】
ステップＳ４１１において、省エネ制御部１０６は、省エネ移行タイマがタイムアップとなっているか否かを判定する。すなわち、例えばセンサ検知範囲外に移動した人物ＡによるＭＦＰ１０に対する最後の操作から所定の時間が経過しているか否かを判定する。省エネ移行タイマがタイムアップとなっている場合、ステップＳ４１２に進む。他方、省エネ移行タイマがタイムアップとなっていない場合、ステップＳ４０４に戻る。
【００５６】
ステップＳ４１２において、省エネ制御部１０６は、ＭＦＰ１０を省電力状態に移行させる制御を行う。これにより、ＭＦＰ１０の利用者である人物Ａの操作終了後、所定の時間が経過していればＭＦＰ１０は省エネ状態に移行する。
【００５７】
なお、上述したように、ＭＦＰ１０の利用者がセンサ検知範囲外に出た場合に、自動ログアウト制御及び省エネ制御を行う処理について述べたが、これらに限られず、ＭＦＰ１０はその他の各種制御を行ってもよい。例えば、ＭＦＰ１０の利用者がセンサ検知範囲外に出た場合に、ＭＦＰ１０のシステムリセット制御手段（不図示）は、操作パネル１６の表示を初期画面や予め設定された所定の機能を実行させるための画面に遷移する（すなわち、所定の状態にシステムをリセットする）ための制御を行ってもよい。
【００５８】
ステップＳ４１３〜ステップＳ４１６は、それぞれステップＳ４０９〜ステップＳ４１２と同様の処理であるため、説明を省略する。
【００５９】
以上のように、本実施形態に係るＭＦＰ１０は、センサ検知範囲内において検知された人物をトラッキングすることで、各人物を区別して認識する。これにより、ＭＦＰ１０の利用者が他の利用者に入れ替わったのか否か、ＭＦＰ１０の利用者がセンサ検知範囲の外に出たのか否か等を認識することができる。したがって、本実施形態に係るＭＦＰ１０は、自動ログアウト制御や省エネ制御等の各種制御を適切に行うことができる。
【００６０】
≪パーティクルフィルタを用いたトラッキング処理≫
次に、上記のステップＳ４０２及びＳ４０５におけるトラッキング処理について、一例としてパーティクルフィルタを用いたトラッキング処理について説明する。図７は、本実施形態に係るトラッキング処理の一例のフローチャートである。なお、トラッキング処理はパーティクルフィルタを用いる場合に限られず、例えば、カルマンフィルタを用いてもよい。カルマンフィルタとは、現在の観測値と、１つ前の時点（例えば、１つ前のフレーム）の状態推定値とに基づき、現在の状態推定値と１つ後の時点（例えば、１つ後のフレーム）の状態推定値とを算出するものである。カルマンフィルタを用いた場合、パーティクルフィルタと比して推定（予測）精度は低いものの、計算量を抑えることができる。なお、パーティクルフィルタやカルマンフィルタを用いた人物や物体のトラッキング処理は既知の方法であるため、以降では概略を述べる。
【００６１】
ステップＳ７０１において、移動軌跡特定部１０３は、人体検知情報制御部１０２より人物の位置情報を含む人体検知情報を受け取ると、人物の位置情報を現在の観測値（現在の観測状態）として取得する。そして、移動軌跡特定部１０３は、現在の観測状態の付近の位置（位置座標）をパーティクルとする。換言すれば、移動軌跡特定部１０３は、現在の観測状態の付近の位置にパーティクルを撒く。なお、初期状態においては、移動軌跡特定部１０３は、現在の観測値の付近にランダムにパーティクルを撒き、他方、初期状態以外においては、ステップＳ７０５で算出された重み付けに応じてパーティクルを撒く（撒き直す）。
【００６２】
なお、移動軌跡特定部１０３は、人体検知情報制御部１０２より複数の人物の位置を含む人体検知情報を受け取った場合（すなわち、センサ検知範囲内に複数の人物がいる場合）、一の位置情報を取得して、この取得した位置情報を当該人物の現在の観測状態する。この場合、人体検知情報に含まれる人物の位置情報毎に、ステップＳ７０１〜ステップＳ７０５を繰り返す。
【００６３】
ステップＳ７０２において、移動軌跡特定部１０３は、過去の推定値（過去の推定状態）があるか否かを判定する。過去の推定状態がある場合、ステップＳ７０３に進む一方、過去の推定状態がない場合、ステップＳ７０１に戻る。ここで、過去の推定状態とは、現時点により以前のすべての時点におけるにおけるステップＳ７０５の処理において算出された「次の時点の推定状態」である。
【００６４】
ステップＳ７０３において、移動軌跡特定部１０３は、過去の推定状態に基づき、現在の推定状態を算出する。すなわち、移動軌跡特定部１０３は、各パーティクルを所定の状態方正式に基づいて移動させる。
【００６５】
ステップＳ７０４において、移動軌跡特定部１０３は、現在の推定状態に基づき、各パーティクルの尤度を所定の計算式により算出する。ここで算出された尤度が、各パーティクルの「重み」となる。
【００６６】
ステップＳ７０５において、移動軌跡特定部１０３は、各パーティクルの重み付き平均を次の時点の推定状態（次の時点の推定値）として取得する。なお、各パーティクルにおいて最大の重みを持つパーティクルを、次の時点の推定状態としてもよい。
【００６７】
以上のステップＳ７０１〜ステップＳ７０５を、各時点毎に繰り返すことで、人物の移動軌跡をトラッキングすることができる。そして、人物区別部１０４は、各時点毎に、人物毎に人物別検知情報を作成又は更新して、人物別検知情報記憶部１０８に格納する。これにより、人物別検知情報記憶部１０８には、人体検知部１０１により検知された人物毎の移動軌跡に関する情報を示す人物別検知情報が格納される。
【００６８】
≪画像データを用いたトラッキング処理≫
次に、上記のステップＳ４０２及びＳ４０５におけるトラッキング処理について、他の例として画像データを用いたトラッキング処理について説明する。図８は、本実施形態に係るトラッキング処理の他の例のフローチャートである。画像データを用いる場合とは、人体検知センサ１７として、例えばカメラ等の撮像手段を用いる場合である。以降では、画像データに基づき、人物の画像の特徴点を用いたマッチングによりトラッキングする処理について説明する。なお、画像データには、１人以上の人物の画像が含まれるものとする。すなわち、人体検知センサ１７は、センサ検知範囲内に人物が存在する場合のみ撮像するか、又は常にセンサ検知範囲内を撮像する場合には特徴点等に基づき人物が写っている場合のみ人体検知情報を人体検知情報制御部１０２に送信するものとする。ただし、人体検知センサ１７により撮像された画像データには、人物の一部（例えば、顔）のみが写っている場合であってもよい。なお、画像データを用いた特徴点のマッチングによる人物や物体のトラッキング処理は既知の方法であるため、以降では概略を述べる。
【００６９】
ここで、人体検知センサ１７がカメラ等である場合に、撮像により生成された画像データに人物が写って否かは、ＭＦＰ１０のマップ作成手段（不図示）により予め作成されたＭＦＰ１０の周囲の空間を撮像して生成された画像データ（マップ）を用いることにより判定することができる。すなわち、ＭＦＰ１０のマップ作成手段（不図示）は、予め、ＭＦＰ１０の周囲（センサ検知範囲）を人物がいない状態で撮像し、画像データ（これを「第１のマップ」と表す）を生成する。これにより、ＭＦＰ１０の人体検知部１０１は、各時点において撮像により生成された画像データ（これを「第２のマップ」と表す）と、第１のマップとの差分を取ることにより、各時点のおける画像データに人物が写っていることを検知することができる。つまり、第１のマップと第２のマップとに差がある箇所又は差が所定以上の箇所が人物が写っている箇所となる。
【００７０】
ステップＳ８０１において、移動軌跡特定部１０３は、人体検知情報制御部１０２より画像データを含む人体検知情報を受け取ると、この画像データに含まれる人物の画像の特徴点を取得する。なお、画像データに複数の人物が含まれる場合、一の人物の画像の特徴点を取得する。すなわち、画像データに複数の人物が含まれる場合、すべての人物について、人物毎に、当該人物の画像の特徴点を取得して、ステップＳ８０１〜ステップＳ８０５の処理を実行すればよい。ここで、特徴点は、例えば、人物の画像の輪郭（エッジ）やテクスチャ等を特徴点とすればよい。
【００７１】
ステップＳ８０２において、移動軌跡特定部１０３は、現時点（すなわち、現フレーム）の当該人物の特徴点と、１つ前の時点（すなわち、１つ前のフレーム）の画像データに含まれる一の人物の特徴点とをマッチングする。
【００７２】
ステップＳ８０３において、移動軌跡特定部１０３は、上記のステップＳ８０２のマッチング結果に基づき、現時点の画像データに含まれる当該人物と、１つ前の時点に含まれる一の人物とが同一人物か否かを判定する。これは、例えば、現時点の画像データに含まれる当該人物の特徴点と、１つ前の時点に含まれる一の人物の特徴点とが、所定の閾値以上一致する場合に、同一人物であると判定するようにすればよい。マッチング結果に基づき、同一人物であると判定された場合、ステップＳ８０４に進む一方、同一人物であると判定されなかった場合、ステップＳ８０５に進む。
【００７３】
ステップＳ８０４において、人物区別部１０４は、同一人物であると判定された当該人物の人物別検知情報を、作成又は更新する。これにより、１つ前の時点から現時点における当該人物の移動軌跡を示す人物別検知情報が、人物別検知情報記憶部１０８に格納される。
【００７４】
ステップＳ８０５において、移動軌跡特定部１０３は、１つ前の時点の画像データに、上記のステップＳ８０２において特徴点を取得した一の人物以外の他の人物が含まれるか否かを判定する。１つ前の時点の画像データに他の人物が含まれる場合、ステップＳ８０２に戻る。他の人物が含まれない場合、ステップＳ８０６に進む。なお、上記のステップＳ８０４の処理を実行した場合、本ステップの処理は行わなくてもよい。
【００７５】
以上のステップＳ８０１〜ステップＳ８０５を、各時点毎に繰り返すことで、人物の移動軌跡をトラッキングすることができる。すなわち、過去の各時点における画像データ（第１の画像データ）と、現時点の画像データ（第２の画像データ）とから現時点における人物の移動軌跡がトラッキングされる。これにより、人物別検知情報記憶部１０８には、人体検知部１０１により検知された人物毎の移動軌跡に関する情報を示す人物別検知情報が格納される。
【００７６】
＜まとめ＞
以上のように、本実施形態に係るＭＦＰ１０では、人体検知センサ１７のセンサ検知範囲内のいる人物の移動軌跡をトラッキングすることで、各人物を区別して認識する。したがって、ＭＦＰ１０の利用者が他の人物と入れ替わった場合やＭＦＰ１０の利用者の付近を他の人物が通り過ぎた場合等において、利用者と他の人物とを誤認識することなく、各種制御を行うことができる。
【００７７】
なお、人体検知部１０１は、人物検出手段の一例である。移動軌跡特定部１０３及び人物区別部１０４は、区別手段の一例である。利用者判定部１０５は、判定手段の一例である。自動ログアウト制御部１０７は、ログアウト制御手段の一例である。省エネ制御部１０６は、省エネ制御手段の一例である。
【００７８】
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【００７９】
１０      ＭＦＰ
１１      ＣＰＵ
１２      ＲＯＭ
１３      ＲＡＭ
１４      ＨＤＤ
１５      通信Ｉ／Ｆ
１６      操作パネル
１７      人体検知センサ
１８      画像処理エンジン
１０１    人体検知部
１０２    人体検知情報制御部
１０３    移動軌跡特定部
１０４    人物区別部
１０５    利用者判定部
１０６    省エネ制御部
１０７    自動ログアウト制御部
１０８    人物別検知情報記憶部
【先行技術文献】
【特許文献】
【００８０】
【特許文献１】特開２００２−７１８３３号公報
【図１】
2016066280.tif 000003
【図２】
2016066280.tif 000004
【図３】
2016066280.tif 000005
【図４】
2016066280.tif 000006
【図５】
2016066280.tif 000007
【図６】
2016066280.tif 000008
【図７】
2016066280.tif 000009
【図８】
2016066280.tif 000010