(57)【要約】      （修正有）【課題】ユーザの誤判定を防止するとともに、ユーザの利便性の低下を防止することができる情報処理装置を提供する。【解決手段】情報処理装置としての画像形成装置は、撮像領域の画像を撮像するカメラ１１と検出部３００を備える。検出部３００は、撮像領域に存在する人数を取得する人特徴量算出部３１４と、各人物の顔特徴量、各人物距離及び各人物の特徴量に基づいて、顔認証処理の実行を許可するか否かを決定する顔認証実行制御部３２０と、人物の顔認証処理を実行する顔認証処理部３２１とを有する撮像領域に存在する人物の数に応じて、顔認証処理の実行を許可するための条件を変更する。【選択図】図３
2019057036.tif 000002
【特許請求の範囲】
【請求項１】
周囲の画像を撮像する撮像部と、
前記撮像された周囲の画像に含まれる人物の認証処理を実行する認証部と、
前記撮像された周囲の画像に含まれる人物の数を取得する取得部と、
前記撮像された周囲の画像に含まれる人物に関して認証許可条件が満された場合に、前記認証処理の実行を許可する許可部と、
前記取得された人物の数に応じて前記認証許可条件を変更する変更部と、を備えることを特徴とする情報処理装置。
【請求項２】
前記認証許可条件は、前記人物と前記情報処理装置の間の距離に関する条件を含むことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記認証許可条件は、前記画像における前記人物の顔の位置に関する条件を含むことを特徴とする請求項１又は２記載の情報処理装置。
【請求項４】
前記認証許可条件は、前記画像における前記人物の顔の面積に関する条件を含むことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記撮像された周囲の画像に含まれる人物を表示する表示部をさらに備え、
前記表示部は、当該表示部における前記人物の位置の調整を促すことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
周囲の画像を撮像する撮像部と、
前記撮像された周囲の画像に含まれる人物の認証処理を実行する認証部と、
前記撮像された周囲の画像に含まれる人物の数を取得する取得部と、
前記撮像された周囲の画像に含まれる人物が認証領域に存在する場合に、前記認証処理の実行を許可する許可部と、
前記取得された人物の数に応じて前記認証領域を変更する変更部と、を備えることを特徴とする情報処理装置。
【請求項７】
情報処理装置の周囲の画像を撮像する撮像工程と、
前記撮像された周囲の画像に含まれる人物の数を取得する取得工程と、
前記撮像された周囲の画像に含まれる人物に関して認証許可条件が満たされた場合に、当該人物の認証処理の実行を許可する許可工程と、
前記取得された人物の数に応じて前記認証許可条件を変更する変更工程と、
前記認証処理の実行が許可された場合に、前記撮像された周囲の画像に含まれる人物の認証処理を実行する認証工程と、を有することを特徴とする情報処理装置の制御方法。
【請求項８】
情報処理装置の周囲の画像を撮像する撮像工程と、
前記撮像された周囲の画像に含まれる人物の数を取得する取得工程と、
前記撮像された周囲の画像に含まれる人物が認証領域に存在する場合に、当該人物の認証処理の実行を許可する許可工程と、
前記取得された人物の数に応じて前記認証領域を変更する変更工程と、
前記認証処理の実行が許可された場合に、前記撮像された周囲の画像に含まれる人物の認証処理を実行する認証工程と、を有することを特徴とする情報処理装置の制御方法。
【請求項９】
情報処理装置の制御方法をコンピュータに実行させるプログラムであって、
前記情報処理装置の制御方法は、
情報処理装置の周囲の画像を撮像する撮像工程と、
前記撮像された周囲の画像に含まれる人物の数を取得する取得工程と、
前記撮像された周囲の画像に含まれる人物に関して認証許可条件が満たされた場合に、当該人物の認証処理の実行を許可する許可工程と、
前記取得された人物の数に応じて前記認証許可条件を変更する変更工程と、
前記認証処理の実行が許可された場合に、前記撮像された周囲の画像に含まれる人物の認証処理を実行する認証工程と、を有することを特徴とするプログラム。
【請求項１０】
情報処理装置の制御方法をコンピュータに実行させるプログラムであって、
前記情報処理装置の制御方法は、
情報処理装置の周囲の画像を撮像する撮像工程と、
前記撮像された周囲の画像に含まれる人物の数を取得する取得工程と、
前記撮像された周囲の画像に含まれる人物が認証領域に存在する場合に、当該人物の認証処理の実行を許可する許可工程と、
前記取得された人物の数に応じて前記認証領域を変更する変更工程と、
前記認証処理の実行が許可された場合に、前記撮像された周囲の画像に含まれる人物の認証処理を実行する認証工程と、を有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認証処理を行う情報処理装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
ユーザの認証処理を行う情報処理装置、例えば、画像形成装置では、カメラをユーザが接近してくる方向に向けて配置し、カメラが撮像したユーザの顔画像に基づいて認証処理を行う。このような画像形成装置では、ユーザによるパスワード等の手入力を待つこと無く認証処理を開始することができるため、ユーザが画像形成装置に到達したときには認証処理が終了し、ユーザが直ちに画像形成装置を利用できるという利点がある。
【０００３】
ところで、複数の人物が画像形成装置の近傍に存在し、カメラが撮像した画像に複数の人物が含まれる場合がある。この場合において、画像形成装置を使用する可能性が高い人物をユーザとして判定し、当該ユーザの顔画像を用いて認証処理を行うことが提案されている（例えば、特許文献１参照。）。具体的には、画像形成装置の極めて近傍に存在する人物や画像形成装置へ接近してくる人物をユーザとし、当該ユーザの顔画像を用いて顔認証処理を行う。但し、特許文献１の画像形成装置では、複数の人物からユーザを判定するため、どうしても画像形成装置を使用する意思が無い人物をユーザとして誤判定する可能性がある。そこで、カメラによる撮像範囲を狭め、カメラが撮像した画像に複数の人物が含まれる可能性を低減することにより、上述した誤判定を防止することが考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−３３３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、カメラによる撮像範囲を狭めると、ユーザが画像形成装置へかなり接近してから、当該ユーザの顔画像を用いた認証処理が開始されるため、ユーザが画像形成装置に到達したときに、未だ認証処理が終了していない可能性がある。すなわち、ユーザが画像形成装置に到達しても、ユーザが直ちに画像形成装置を利用できず、ユーザの利便性が低下するという問題がある。
【０００６】
本発明の目的は、ユーザの誤判定を防止するとともに、ユーザの利便性の低下を防止することができる情報処理装置、その制御方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の情報処理装置は、周囲の画像を撮像する撮像部と、前記撮像された周囲の画像に含まれる人物の認証処理を実行する認証部と、前記撮像された周囲の画像に含まれる人物の数を取得する取得部と、前記撮像された周囲の画像に含まれる人物に関して認証許可条件が満たされた場合に、前記認証処理の実行を許可する許可部と、前記取得された人物の数に応じて前記認証許可条件を変更する変更部と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザの誤判定を防止するとともに、ユーザの利便性の低下を防止することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施の形態に係る情報処理装置としての画像形成装置を示す外観図である。
【図２】画像形成装置の内部構成を概略的に示すブロック図である。
【図３】検出部のＣＰＵが実行する顔認証機能に対応するプログラムの構成とデータフローを説明するための図である。
【図４】画像形成装置の右側方から各撮像領域を眺めた場合を示す図である。
【図５】画像形成装置の上方から各撮像領域を眺めた場合を示す図である。
【図６】画像形成装置の表示部の一例を示す図である。
【図７】ユーザ距離が変化する場合の撮影画像におけるユーザの特徴量の変化を示す図である。
【図８】本発明の第１の実施の形態に係る情報処理装置の制御方法としての顔認証許可処理を示すフローチャートである。
【図９】図８の顔認証許可処理の具体例を説明するための図である。
【図１０】本発明の第２の実施の形態に係る情報処理装置の制御方法としての顔認証許可処理を示すフローチャートである。
【図１１】図１０の顔認証許可処理の具体例を説明するための図である。
【図１２】本発明の第３の実施の形態に係る情報処理装置としての画像形成装置を示す外観図である。
【図１３】画像形成装置の右側方から各撮像領域を眺めた場合を示す図である。
【図１４】画像形成装置の内部構成を概略的に示すブロック図である。
【図１５】検出部のＣＰＵが実行する顔認証機能に対応するプログラムの構成とデータフローを説明するための図である。
【図１６】検出部の画像選択部が実行する撮像画像選択処理を示すフローチャートである。
【図１７】本発明の第３の実施の形態に係る情報処理装置の制御方法としての顔認証許可処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は実施の形態に記載されている構成によって限定されることはない。まず、本発明の第１の実施の形態について説明する。
【００１１】
図１は、本発明の第１の実施の形態に係る情報処理装置としての画像形成装置を示す外観図である。図１において、画像形成装置１０は、当該画像形成装置１０の周囲の画像を撮像するカメラ１１（撮像部）と、ＬＣＤやＬＥＤ等で構成される表示部１２と、タッチパネルやハードウェアキー等で構成される入力部１３とを備える。カメラ１１、表示部１２及び入力部１３は画像形成装置１０において同一方向を指向するように配置される。例えば、画像形成装置１０の正面視において、カメラ１１は表示部１２の左上方に配置され、入力部１３を操作するユーザを撮像する。カメラ１１には魚眼レンズを用いてもよく、これにより、一般的なレンズを用いた場合に比べてより広角な画像の撮像を行うことができる。また、画像形成装置１０は、プリント機能、スキャナ機能、コピー機能やＦＡＸ機能等の複数の機能を有する。
【００１２】
図２は、図１の画像形成装置１０の内部構成を概略的に示すブロック図である。図２において、画像形成装置１０は、コントローラ１００、操作部２００、検出部３００、スキャナ部４００及びプリンタ部５００を備える。コントローラ１００は、操作部２００、検出部３００、スキャナ部４００及びプリンタ部５００と通信可能である。コントローラ１００は画像形成装置１０の動作を統括する。操作部２００は、ユーザの画像形成装置１０への操作を受け付け、画像形成装置１０とユーザの間で情報の入出力を行う。検出部３００は、人物の検出機能（以下、「人感センサ機能」という。）と人物の顔認証機能（以下、単に「顔認証機能」という。）を実行する。スキャナ部４００は原稿から光学的に画像を読み取って画像データを生成する。プリンタ部５００は電子写真方式に従って記録媒体（用紙）に画像を形成する。
【００１３】
画像形成装置１０において、コントローラ１００は、ＣＰＵ１１０、ＲＡＭ１１１、ＲＯＭ１１２、電源制御部１１３、入出力Ｉ／Ｆ１１４、ＬＡＮコントローラ１１５、ＨＤＤ１１７、デバイスＩ／Ｆ１１８及び画像処理部１１９を有する。これらのコントローラ１００の各構成要素は互いにシステムバス１１６を介して接続される。ＣＰＵ１１０は、ＲＯＭ１１２に格納された制御プログラム等に基づいてコントローラ１００に接続されるスキャナ部４００やプリンタ部５００とのアクセスを統括的に制御するとともに、コントローラ１００が実行する各種処理も統括的に制御する。ＣＰＵ１１０は、入出力Ｉ／Ｆ１１４を介して操作部２００や検出部３００と通信を行う。また、ＣＰＵ１１０は、デバイスＩ／Ｆ１１８を介してスキャナ部４００やプリンタ部５００と通信を行う。ＣＰＵ１１０は、操作部２００が一定時間に亘って操作されない場合等、画像形成装置１０が所定時間に亘って使用されない場合には、電源制御部１１３を介して画像形成装置１０の電力モードをスタンバイモードからスリープモードに移行させる。なお、スタンバイモードはスキャナ部４００の読取動作やプリンタ部５００の印刷動作が直ちに実行可能な状態である。スリープモードはスタンバイモードより消費電力の少ない省電力状態であり、スキャナ部４００やプリンタ部５００への電力の供給が制限され、読取動作や印刷動作を直ちに実行できない状態である。スリープモードでは、この省電力状態から復帰するために必要最小限の構成要素、例えば、ＬＡＮコントローラ１１５、電源制御部１１３、ＣＰＵ２０１や検出部３００のみに電力が供給される。ＲＡＭ１１１はＣＰＵ１１０を動作させるためのシステムワークメモリであり、画像データを一時記憶するためのメモリも兼ねる。ＲＯＭ１１２は画像形成装置１０のブートプログラム等を格納する。電源制御部１１３は画像形成装置１０の電源を制御するブロックであり、ＣＰＵ１１０からの指示やユーザによる節電ボタンの操作に応じて電源を制御する。また、電源制御部１１３は電源スイッチによる電源オフの操作を検出し、検出した電源オフの操作に応じて電源オフ要求をＣＰＵ１１０に通知する。ＣＰＵ１１０は、電源オフ要求の受信に応じて画像形成装置１０を電源オフ可能な状態へと移行させ、電源制御部１１３に対して電源停止を指示する。ＬＡＮコントローラ１１５はＬＡＮ１２０に接続される不図示のＰＣ等の外部装置との間で情報の送受信を行う。ＨＤＤ１１７はハードディスクドライブであり、システムソフトウェアや画像データを格納する。画像処理部１１９は、ＲＡＭ１１１に一時記憶された画像データを読み出し、当該画像データに対して拡大又は縮小、さらには色調整等の画像処理を施す。
【００１４】
操作部２００はＣＰＵ２０１、上述した表示部１２や入力部１３を有する。なお、操作部２００は、携帯端末と近距離無線通信を行うためのインターフェース、例えば、ＮＦＣリーダライタやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等を備えていてもよい。検出部３００はＣＰＵ３０１（変更部）や上述したカメラ１１を有する。ＣＰＵ３０１は、ＣＰＵ１１０からのオン／オフ要求に応じて、人感センサ機能又は顔認証機能の実行を開始又は停止し、カメラ１１への電力の供給を制御する。また、操作部２００や検出部３００は協働してカメラ１１が撮像した画像を表示部１２に表示する。具体的に、まず、ＣＰＵ３０１は、一定時間毎にカメラ１１から撮像された画像を取得し、ＣＰＵ３０１が内蔵するＲＡＭ（図示しない）に画像データを保存する。次いで、ＣＰＵ３０１は内蔵ＲＡＭに保存済みの画像データをコントローラ１００に送信する。ＣＰＵ１１０は受信した画像データをＲＡＭ１１１に保存し、さらに、受信した画像データとメッセージ等の別の画像データとを合成し、合成された画像データを操作部２００へ送信する。操作部２００は、送信された画像データを表示部１２に表示する。なお、ＣＰＵ３０１の内蔵ＲＡＭの容量に比して画像データのサイズが大きいときは、検出部３００へ外付けのＳＤＲＡＭ等の新たな記憶領域を設け、当該記憶領域に画像データを保存してもよい。また、操作部２００及び検出部３００はそれぞれ独自のＣＰＵ２０１,３０１を有するが、１つのＣＰＵを操作部２００及び検出部３００で共有し、当該ＣＰＵが操作部２００及び検出部３００を制御してもよい。
【００１５】
図３は、検出部３００のＣＰＵ３０１が実行する顔認証機能に対応するプログラムの構成とデータフローを説明するための図である。図３中の矢印は画像データ等のデータの流れを示す。図３において、検出部３００は、プログラムを実行するためのモジュールとして、カメラデータ受信部３１１、前処理部３１２、人領域抽出部３１３、人特徴量算出部３１４（取得部）、人検出処理部３１５及び特徴量−距離変換部３１６を有する。また、検出部３００は、上述したモジュールとして、顔領域抽出部３１７、顔特徴量算出部３１８、特徴量データベース３１９、顔認証実行制御部３２０（許可部）及び顔認証処理部３２１（認証部）を有する。
【００１６】
カメラデータ受信部３１１は、カメラ１１から画像データを受信してＣＰＵ３０１の内蔵ＲＡＭに保存する。ここで受信される画像データは、カメラ１１が撮像可能な領域である撮像領域Ａ１の撮像画像である。前処理部３１２は、内蔵ＲＡＭに保存された画像データに対してコントラスト補正、カラー／モノクロ変換、拡大／縮小等の画像処理を施し、下流の各処理部が取り扱える画像データへ変換する。なお、カメラ１１に魚眼レンズが用いられる場合には、撮像画像に歪みが存在するため、前処理部３１２は歪み補正等の画像処理も行う。人領域抽出部３１３は、一般的な移動体検出手法である背景差分法を実行することにより、画像データから画像形成装置１０の前方（正面側）に存在する人物が撮像画像に占める領域（人領域）を抽出する。撮像領域Ａ１に複数の人物が存在する場合、各人物について人領域が抽出される。なお、人領域抽出部３１３による人領域の抽出方法は背景差分法に限らず、例えば、画像セグメンテーションの一手法であるグラフカットや機械学習を用いてもよい。人特徴量算出部３１４は、人領域抽出部３１３が抽出した人領域の数をカウントして撮像領域Ａ１に存在する人数を取得する。また、人特徴量算出部３１４は各人領域の人物について、撮像画像におけるｘ方向（水平方向）及びｙ方向（垂直方向）に関する重心位置や面積、高さ、幅等（特徴量）を算出して取得する。
【００１７】
人検出処理部３１５は、人特徴量算出部３１４で算出された各人物の面積を参照し、最も大きな面積を持つ人領域の人物を人検出処理の対象（対象人物）として選定する。また、人検出処理部３１５は、人特徴量算出部３１４が取得した対象人物の特徴量を参照し、面積が予め定めた閾値より大きい場合、対象人物が画像形成装置１０を使用する可能性が高いユーザであると判定する。人検出処理部３１５は、その判定結果を電源制御部１１３に送信し、これに応じて電源制御部１１３は、画像形成装置１０の電力モードをスリープモードからスタンバイモードに変更する。特徴量−距離変換部３１６は、人特徴量算出部３１４が取得した各人物の特徴量を参照し、各人物から画像形成装置１０までの距離（以下、「人物距離」という。）を算出して取得する。顔領域抽出部３１７は、顔検出のアルゴリズムの一手法である、Ｈａａｒ−ｌｉｋｅ特徴量等を用いた顔検出アルゴリズムを実行して画像データから各人物の顔の領域（顔領域）を抽出する。なお、顔領域抽出部３１７が実行する顔領域の抽出方法は上述した顔検出アルゴリズムに限られず、例えば、深層学習を用いてもよい。
【００１８】
顔特徴量算出部３１８は、顔領域抽出部３１７が抽出した顔領域に関する特徴量（以下、「顔特徴量」という。）を算出して取得する。本実施の形態では、例えば、各人物の顔の面積、顔の重心位置、目、鼻、口の位置関係等を算出して取得する。顔特徴量算出部３１８で算出される特徴量はこれらに限らず、顔特徴量算出部３１８は顔の向きや視線等を取得してもよい。特徴量データベース３１９は、顔認証によって個人を認証するために必要な各人物の顔特徴量を予め含む。本実施の形態では、ＣＰＵ３０１内のＲＡＭ（図示しない）に特徴量データベース３１９が保存される。また、特徴量データベース３１９と同様のデータベースがコントローラ１００のＨＤＤ１１７に保存される。画像形成装置１０では、適当なタイミングで特徴量データベース３１９に含まれる各人物の顔特徴量の全て又は一部が、ＨＤＤ１１７内のデータベースに含まれる各人物の顔特徴量と同期される。顔認証実行制御部３２０は、上述した各人物の顔特徴量、各人物距離及び各人物の特徴量（認証許可条件）に基づいて、顔認証処理の実行を許可するか否かを決定する。顔認証処理部３２１は、顔認証処理の実行が許可された場合、特徴量データベース３１９が含む各人物の顔特徴量と、顔特徴量算出部３１８で算出された対象人物の顔特徴量とを照合することにより、対象人物の顔認証処理を実行する。また、顔認証処理部３２１は、顔認証処理の認証結果をコントローラ１００のＣＰＵ１１０へ送信する。ＣＰＵ１１０は、受信した認証結果に基づいて対象人物の画像形成装置１０へのログインを許可するか否かを判定する。
【００１９】
ところで、上述した図３のプログラムの構成では、画像形成装置１０を使用する意思が無い人物を、画像形成装置を使用する可能性が高いユーザとして誤判定するおそれがある。例えば、撮像領域Ａ１に複数の人物が存在する場合、偶然、画像形成装置１０の近傍に存在するものの画像形成装置１０を使用する意思が無い人物を、画像形成装置１０を使用する可能性が高いユーザであると誤判定することがある。一方、画像形成装置１０を使用するユーザは、画像形成装置１０を使用する際に必ず画像形成装置１０の表示部１２を覗き込む。すなわち、表示部１２を覗き込む人物は、ユーザであると考えられる。そこで、本実施の形態では、撮像領域Ａ１に複数の人物が存在する場合、表示部１２を覗き込む人物について顔認証処理を実行する。また、本実施の形態では、人物が表示部１２を覗き込んでいるか否かを判定するために、撮像領域Ａ１内に該撮像領域Ａ１よりも画角が狭い撮像領域Ａ２を設定する。
【００２０】
図４及び図５は、撮像領域Ａ１と撮像領域Ａ２の位置関係を説明するための図である。図４は画像形成装置１０の右側方から撮像領域Ａ１や撮像領域Ａ２を眺めた場合を示し、図５は画像形成装置１０の上方から撮像領域Ａ１や撮像領域Ａ２を眺めた場合を示す。カメラ１１は、主に画像形成装置１０の正面の領域を映し出すように、画像形成装置１０の正面に配置され、特に、表示部１２を覗き込む人物を確実に撮像できるように、撮像方向がやや斜め上方を指向するように配置される。撮像領域Ａ１は、上述したように、カメラ１１が撮像可能な領域である。撮像領域Ａ２は撮像領域Ａ１の一部であり、表示部１２を覗き込む人物を確実に含むように、撮像領域Ａ１の上方範囲を占め、且つ撮像領域Ａ１のうち表示部１２に対向する範囲を占める。なお、図４及び図５において、撮像領域Ａ２をハッチングにて示す。また、撮像領域Ａ１は破線で示され、撮像領域Ａ２は一点鎖線で示される。画像形成装置１０の表示部１２は顔認証画面１２０を有し、該顔認証画面１２０は撮像領域Ａ２の撮像画像を表示する（図６）。
【００２１】
上述したように、撮像領域Ａ２は、撮像領域Ａ１の上方範囲を占め、且つ撮像領域Ａ１のうち表示部１２に対向する範囲を占める。すなわち、撮像領域Ａ２は、画像形成装置１０の正面に立ったユーザが表示部１２を操作するために画像形成装置１０へ極めて接近したときに、当該ユーザの顔が撮像領域Ａ２の撮像画像のほぼ中心に来るように画角が設定される領域である。したがって、表示部１２を覗き込む人物（ユーザＨ１）は、撮像領域Ａ２の撮像画像、すなわち、顔認証画面１２０の略中央に表示される。顔認証画面１２０には、ユーザＨ１の画像に顔位置ガイド１２１やメッセージ１２２が重畳して表示される。顔位置ガイド１２１は、ユーザＨ１へ当該ユーザＨ１の顔の位置を顔認証画面１２０の中央へ移動させるための指針となるガイドであり、メッセージ１２２は、ユーザＨ１へ当該ユーザＨ１の顔の位置を調整するよう促すためのメッセージである。これにより、ユーザＨ１は当該ユーザＨ１の顔の位置を顔認証画面１２０の中央へ確実且つ容易に移動されることができる。また、ユーザＨ１の顔を顔認証画面１２０の中央に位置させると、顔領域抽出部３１７がユーザＨ１の顔特徴量を正確に取得しやすくなるため、顔認証処理を正確に行うことができる。
【００２２】
図４及び図５に示すように、ユーザＨ１が画像形成装置１０へ近づくにつれて、ユーザＨ１と画像形成装置１０の間の距離（以下、「ユーザ距離」という。）がＤ１からＤ２、さらにＤ３へ変化する。このとき、カメラ１１の撮像画像に占めるユーザＨ１の重心位置や面積、高さ、幅等（特徴量）が変化する。すなわち、ユーザ距離とカメラ１１の撮像画像におけるユーザＨ１の特徴量との間には相関関係が存在する。上述した検出部３００は、カメラ１１の撮像画像におけるユーザＨ１の特徴量に基づいて、上述した相関関係からユーザ距離を取得する。
【００２３】
図７は、ユーザ距離が変化する場合の撮影画像におけるユーザの特徴量の変化を示す図である。図７（Ａ）はユーザ距離がＤ１の場合を示し、図７（Ｂ）はユーザ距離がＤ２の場合を示し、図７（Ｃ）はユーザ距離がＤ３の場合を示す。各図において撮像領域Ａ１に対応する画角は実線で示され、撮像領域Ａ２に対応する画角は一点鎖線で示される。上述したように、撮像領域Ａ２は、撮像領域Ａ１の上方範囲を占め、且つ撮像領域Ａ１のうち表示部１２に対向する範囲を占めるため、各図において、撮像領域Ａ２は撮像領域Ａ１の左上方に位置する。図７（Ａ）〜図７（Ｃ）に示すように、ユーザＨ１が画像形成装置１０へ近づいてユーザ距離がＤ１からＤ３へ変化すると、ユーザＨ１が撮像領域Ａ２へ入り込んでくる。本実施の形態では、図７（Ｃ）に示すように、ユーザＨ１の顔の重心位置７０が撮像領域Ａ２の中央の所定の領域内に存在し、ユーザ距離が所定値以下になったとき、ユーザＨ１が画像形成装置１０を使用する強い意思を持っていると考える。すなわち、当該ユーザＨ１は画像形成装置１０を使用する可能性が高いと考える。なお、所定値としては、例えば、ユーザＨ１から表示部１２まで手が届く距離が該当する。
【００２４】
図８は、本実施の形態に係る情報処理装置の制御方法としての顔認証許可処理を示すフローチャートである。本処理は、ＲＯＭ１１２に格納されている本処理に対応するプログラムをＲＡＭ１１１へ展開し、ＣＰＵ３０１が当該プログラムを実行することにより、実現される。図８において、ＣＰＵ３０１は、人特徴量算出部３１４が取得した撮像領域Ａ１に存在する人数が１以下か否かを判定する（ステップＳ８１）。
【００２５】
人数が１以下であると判定された場合、ＣＰＵ３０１はステップＳ８２の顔認証領域判定処理を実行する。顔認証領域判定処理は、人特徴量算出部３１４が取得する人物の撮像画像におけるｘ方向及びｙ方向に関する重心位置（以下、「人物重心位置」という。）、並びに特徴量−距離変換部３１６が取得する人物距離に基づいて、人物が顔認証領域Ａ３内に存在するか否かを判定する処理である。顔認証領域Ａ３は撮像領域Ａ１に含まれ、且つ撮像領域Ａ１よりも小さい領域であり、例えば、図９（Ａ）〜図９（Ｃ）に示すように、顔認証領域Ａ３の画角は撮像領域Ａ１の画角より狭い（顔認証領域Ａ３は各図中において二点鎖線で示される。）。また、顔認証領域Ａ３に存在する人物の顔特徴量を正確に取得するために、顔認証領域Ａ３はカメラ１１の近くの領域に限られる。なお、顔認証領域Ａ３は撮像領域Ａ２と一致しない。例えば、画角に関しては、表示部１２を覗き込む人物を確実に含めるように、撮像領域Ａ２の画角は、顔認証領域Ａ３よりも表示部１２側へシフトしている。
【００２６】
ステップＳ８２の顔認証領域判定処理において、ＣＰＵ３０１は、まず、人物重心位置が撮像画像における予め定められた領域内に存在するか否かを判定する（ステップＳ８３）。人物重心位置が予め定められた領域内に存在する場合、次いで、ＣＰＵ３０１は、人物距離が所定値以下か否かを判定する（ステップＳ８４）。人物重心位置が撮像画像における予め定められた領域内に存在し、且つ人物距離が所定値以下である場合、ＣＰＵ３０１は、人物が顔認証領域Ａ３内に存在すると判定し、ステップＳ８５へ進む。続くステップＳ８５において、ＣＰＵ３０１は顔認証処理の実行を許可する。人物重心位置が撮像画像における予め定められた領域内に存在しない場合や人物距離が所定値以下でない場合、ＣＰＵ３０１は、ステップＳ８３やステップＳ８４を繰り返して実行する。なお、ステップＳ８２において人物が顔認証領域Ａ３内に存在するか否かを判定するための条件は人物重心位置や人物距離に限られない。例えば、人物の面積や人物の幅等に基づいて人物が顔認証領域Ａ３内に存在するか否かを判定してもよい。
【００２７】
ステップＳ８１において、人数が２以上であると判定された場合、ＣＰＵ３０１はステップＳ８６の認証用顔画像判定処理を実行する。認証用顔画像判定処理は、顔特徴量算出部３１８が取得する顔特徴量に基づいて、撮像領域Ａ１に存在する複数の人物のいずれかが表示部１２を覗き込んでいるか否かを判定する処理である。具体的には、撮像領域Ａ２に存在する複数の人物のいずれの顔の面積が予め定められた閾値以上であるか、さらには、顔の重心位置が撮像領域Ａ２の中央の所定の領域内に存在するかを判定する処理である。
【００２８】
ステップＳ８６の認証用顔画像判定処理において、ＣＰＵ３０１は、まず、撮像領域Ａ２内に存在する人物の顔の面積が予め定められた閾値以上であるか否かを判定する（ステップＳ８７）。次いで、人物の顔の面積が予め定められた閾値以上である場合、ＣＰＵ３０１は、人物の顔の重心位置が撮像領域Ａ２の中央の所定の領域内に存在するかを判定する（ステップＳ８８）。撮像領域Ａ２内に存在する人物の顔の面積が予め定められた閾値以上であり、且つ人物の顔の重心位置が撮像領域Ａ２の中央の所定の領域内に存在する場合は、当該人物が画像形成装置１０を使用するために表示部１２を覗き込んでいる場合と考えられる。そこで、この場合、ＣＰＵ３０１は、当該人物が表示部１２を覗き込んでいると判定し、ステップＳ８５へ進む。続くステップＳ８５において、ＣＰＵ３０１は顔認証処理の実行を許可する。撮像領域Ａ２内に存在する人物の顔の面積が予め定められた閾値より小さい場合や人物の顔の重心位置が撮像領域Ａ２の中央の所定の領域内に存在しない場合、ＣＰＵ３０１は、ステップＳ８７やステップＳ８８を繰り返して実行する。なお、ステップＳ８６において人物が表示部１２を覗き込んでいるか否かを判定するための条件は人物の顔の面積や顔の重心位置に限られない。例えば、人物の顔の向きや人物の視線等に基づいて人物が表示部１２を覗き込んでいるか否かを判定してもよい。また、ステップＳ８６の認証用顔画像判定処理では、ステップＳ８７やステップＳ８８に加え、特徴量−距離変換部３１６が取得した人物距離が所定値以下か否かを判定してもよい。また、撮像領域Ａ２に複数の人物が存在する場合、いずれの人物についてもステップＳ８６の認証用顔画像判定処理を実行するが、画像形成装置１０に最も近い人物のみについてステップＳ８６の認証用顔画像判定処理を実行してもよい。その後、本処理を終了する。
【００２９】
撮像領域Ａ１に存在する人物の数が１である場合、複数の人物から画像形成装置１０を使用する意思が無い人物をユーザとして誤判定することがない。したがって、撮像領域Ａ１に存在する人物の数が１である場合、図８の顔認証許可処理では、単純に、人物が画像形成装置１０の近くの顔認証領域Ａ３内に存在するか否かだけに基づいて顔認証処理の実行が許可される。一方、撮像領域Ａ１に存在する人物の数が２以上である場合、複数の人物から画像形成装置１０を使用する意思が無い人物をユーザとして誤判定する可能性がある。また、上述したように、表示部１２を覗き込んでいる人物は画像形成装置１０を使用する可能性が高い。そこで、撮像領域Ａ１に存在する人物の数が２以上である場合、図８の顔認証許可処理では、人物が顔認証領域Ａ３内に存在するか否かではなく、当該人物が表示部１２を覗き込んでいるか否かに基づいて顔認証処理の実行が許可される。すなわち、撮像領域Ａ１に存在する人物の数に応じて、顔認証処理の実行を許可するための条件が変更される。なお、人物が表示部１２を覗き込んでいると判定されるためには、当該人物が相当、画像形成装置１０に近づいている必要がある。すなわち、表示部１２を覗き込んでいる人物が存在する領域は、顔認証領域Ａ３よりも小さいと考えられる。
【００３０】
図９は、図８の顔認証許可処理の具体例を説明するための図である。まず、１人のユーザＨ１が画像形成装置１０に近づく場合を考える（図９（Ａ））。この場合において、ユーザＨ１が撮像領域Ａ１内に侵入すると、検出部３００はユーザＨ１を検出して撮像領域Ａ１に存在する人物の数が１であると判定し、ユーザＨ１が顔認証領域Ａ３内に侵入したか否かを判定する。次いで、ユーザＨ１が顔認証領域Ａ３内に侵入したとき、検出部３００の顔認証処理部３２１は顔認証処理を実行する。また、ユーザＨ２が既に撮像領域Ａ１に存在し、他のユーザＨ１が画像形成装置１０に近づく場合を考える（図９（Ｂ））。この場合において、ユーザＨ１が撮像領域Ａ１内に侵入すると、検出部３００はユーザＨ２だけでなくユーザＨ１を検出して撮像領域Ａ１に存在する人物の数が２であると判定し、いずれかのユーザが表示部１２を覗き込んでいるか否かを判定する。次いで、いずれかのユーザが表示部１２を覗き込んでいるとき、検出部３００の顔認証処理部３２１は顔認証処理を実行する。さらに、ユーザＨ１だけでなくユーザＨ２も画像形成装置１０へ同時に近づく場合を考える（図９（Ｃ））。この場合において、ユーザＨ１とユーザＨ２がほぼ同時に撮像領域Ａ１内に侵入すると、検出部３００は撮像領域Ａ１に存在する人物の数が２であると判定し、いずれかのユーザが表示部１２を覗き込んでいるか否かを判定する。次いで、いずれかのユーザが表示部１２を覗き込んでいるとき、検出部３００の顔認証処理部３２１は顔認証処理を実行する。
【００３１】
図８の顔認証許可処理によれば、撮像領域Ａ１に存在する人物の数に応じて、顔認証処理の実行を許可するための条件が変更される。例えば、撮像領域Ａ１に存在する人物の数が１である場合、複数の人物から画像形成装置１０を使用する意思が無い人物をユーザとして誤判定することがないため、人物が顔認証領域Ａ３内に存在するか否かだけに基づいて顔認証処理の実行を許可する。一方、撮像領域Ａ１に存在する人物の数が２以上である場合、複数の人物から画像形成装置１０を使用する意思が無い人物をユーザとして誤判定する可能性がある。したがって、いずれかの人物が表示部１２を覗き込んでいるか否かに基づいて顔認証処理の実行を許可する。
【００３２】
上述したように、表示部１２を覗き込んでいる人物が存在する領域は、顔認証領域Ａ３よりも小さいと考えられる。したがって、撮像領域Ａ１に存在する人物の数が１である場合の方が、撮像領域Ａ１に存在する人物の数が２以上である場合よりも、早く顔認証処理の実行が開始される。その結果、撮像領域Ａ１に存在する人物の数が１である場合、ユーザが画像形成装置１０に到達したときには、顔認証処理を終了させることができ、ユーザが直ちに画像形成装置１０を利用できるため、ユーザの利便性の低下を防止することができる。一方、撮像された周囲の画像に含まれる人物の数が２人以上である場合、人物が表示部１２を覗き込んでいるか否かに基づいて顔認証処理の実行を許可する。これにより、画像形成装置１０を使用する意思が無い人物をユーザとして誤判定する可能性を低減することができる。以上より、図８の顔認証許可処理は、ユーザの誤判定を防止するとともに、ユーザの利便性の低下を防止することができる。
【００３３】
次に、本発明の第２の実施の形態について説明する。第２の実施の形態は、その構成、作用が上述した第１の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。第１の実施の形態では、撮像領域Ａ１に存在する人物の数が２以上である場合、いずれかの人物が表示部１２を覗き込んでいるか否かに基づいて顔認証処理の実行を許可した。しかしながら、第２の実施の形態は、撮像領域Ａ１に存在する人物の数が２以上である場合、いずれかの人物が顔認証領域Ａ３よりも狭い他の顔認証領域Ａ４に留まっているか否かに基づいて顔認証処理の実行を許可する点で第１の実施の形態と異なる。
【００３４】
図１０は、本実施の形態に係る情報処理装置の制御方法としての顔認証許可処理を示すフローチャートである。本処理は、ＲＯＭ１１２に格納されている本処理に対応するプログラムをＲＡＭ１１１へ展開し、ＣＰＵ３０１が当該プログラムを実行することにより、実現される。図１０において、ＣＰＵ３０１は、まず、人特徴量算出部３１４が取得した撮像領域Ａ１に存在する人数が１以下か否かを判定する（ステップＳ１０１）。
【００３５】
人数が１以下であると判定された場合、ＣＰＵ３０１はステップＳ１０２の顔認証領域判定処理を実行する。顔認証領域判定処理は、人特徴量算出部３１４が取得する人物重心位置、並びに特徴量−距離変換部３１６が取得する人物距離に基づいて、人物が顔認証領域Ａ３内に存在するか否かを判定する処理である。なお、本実施の形態における顔認証領域Ａ３は、第１の実施の形態における顔認証領域Ａ３と同じである（顔認証領域Ａ３は図１１（Ａ）〜図１１（Ｃ）中において二点鎖線で示される。）。
【００３６】
ステップＳ１０２の顔認証領域判定処理において、ＣＰＵ３０１は、まず、人物重心位置が撮像画像における予め定められた領域内に存在するか否かを判定する（ステップＳ１０３）。人物重心位置が予め定められた領域内に存在する場合、次いで、ＣＰＵ３０１は、人物距離が所定値以下か否かを判定する（ステップＳ１０４）。人物重心位置が撮像画像における予め定められた領域内に存在し、且つ人物距離が所定値以下である場合、ＣＰＵ３０１は、人物が顔認証領域Ａ３内に存在すると判定し、ステップＳ１０５へ進む。続くステップＳ１０５において、ＣＰＵ３０１は顔認証処理の実行を許可する。なお、人物重心位置が撮像画像における予め定められた領域内に存在しない場合や人物距離が所定値以下でない場合、ＣＰＵ３０１は、ステップＳ１０３やステップＳ１０４を繰り返して実行する。
【００３７】
ステップＳ１０１において、人数が２以上であると判定された場合、ＣＰＵ３０１はステップＳ１０６の他の顔認証領域判定処理を実行する。他の顔認証領域判定処理は、人物重心位置及び人物距離に基づいて人物が他の顔認証領域Ａ４内に存在するか否かを判定し、さらに、当該人物が他の顔認証領域Ａ４内に留まっているか否かを判定する処理である。例えば、撮像領域Ａ１に存在する人物の数が２以上である場合、複数の人物から画像形成装置１０を使用する意思が無い人物をユーザとして誤判定する可能性がある。一方、画像形成装置１０を使用する可能性が高いユーザは、画像形成装置１０の極近傍に留まると考えられる。そこで、本実施の形態では、撮像領域Ａ１に存在する人物の数が２以上である場合、顔認証領域Ａ３よりも狭い他の顔認証領域Ａ４がユーザの判定に用いられる。さらに、人物が他の顔認証領域Ａ４に留まっているか否かが判定される。これにより、当該人物が像形成装置１０を使用する可能性が高いユーザであるか否かを正確に判定することができる。例えば、図１１（Ａ）〜図１１（Ｃ）に示すように、他の顔認証領域Ａ４は顔認証領域Ａ３よりも小さい。なお、他の顔認証領域Ａ４の画角は顔認証領域Ａ３の画角と同じである（他の顔認証領域Ａ４は各図中において細破線で示される。）。
【００３８】
ステップＳ１０６の他の顔認証領域判定処理において、ＣＰＵ３０１は、まず、人物重心位置が撮像画像における予め定められた領域内に存在するか否かを判定する（ステップＳ１０７）。次いで、人物重心位置が予め定められた領域内に存在する場合、ＣＰＵ３０１は、人物距離が所定値以下か否かを判定する（ステップＳ１０８）。さらに、人物距離が所定値以下である場合、当該人物が他の顔認証領域Ａ４に滞在する時間が予め定められた期間（閾値）以上であるか否かを判定する（ステップＳ１０９）。人物重心位置が撮像画像における予め定められた領域内に存在し、人物距離が所定値以下であり、且つ人物が他の顔認証領域Ａ４に滞在する時間が閾値以上である場合、ＣＰＵ３０１は、人物が他の顔認証領域Ａ４に留まっていると判定する。その後、ＣＰＵ３０１は、ステップＳ１０５へ進み、顔認証処理の実行を許可する。なお、人物重心位置が撮像画像における予め定められた領域内に存在しない場合や人物距離が所定値以下でない場合、ＣＰＵ３０１は、ステップＳ１０７やステップＳ１０８を繰り返して実行する。また、人物が他の顔認証領域Ａ４に滞在する時間が閾値未満である場合、ＣＰＵ３０１は、ステップＳ１０９を繰り返して実行する。なお、撮像領域Ａ２に複数の人物が存在する場合、いずれの人物についてもステップＳ１０６の他の顔認証領域判定処理を実行するが、画像形成装置１０に最も近い人物のみについてステップＳ１０６の他の顔認証領域判定処理を実行してもよい。その後、本処理を終了する。
【００３９】
上述したように、図１０の顔認証許可処理では、撮像領域Ａ１に存在する人物の数が１である場合、人物が顔認証領域Ａ３内に存在するか否かだけに基づいて顔認証処理の実行が許可される。一方、撮像領域Ａ１に存在する人物の数が２以上である場合、人物が顔認証領域Ａ３内に存在するか否かではなく、当該人物が他の顔認証領域Ａ４に留まっているか否かに基づいて顔認証処理の実行が許可される。すなわち、第２の実施の形態においても、撮像領域Ａ１に存在する人物の数に応じて、顔認証処理の実行を許可するための条件が変更される。
【００４０】
図１１は、図１０の顔認証許可処理の具体例を説明するための図である。まず、１人のユーザＨ１が画像形成装置１０に近づく場合を考える（図１１（Ａ））。この場合において、ユーザＨ１が撮像領域Ａ１内に侵入すると、検出部３００はユーザＨ１を検出して撮像領域Ａ１に存在する人物の数が１であると判定し、ユーザＨ１が顔認証領域Ａ３内に侵入したか否かを判定する。次いで、ユーザＨ１が顔認証領域Ａ３内に侵入したとき、検出部３００の顔認証処理部３２１は顔認証処理を実行する。また、ユーザＨ２が既に撮像領域Ａ１に存在し、他のユーザＨ１が画像形成装置１０に近づく場合を考える（図１１（Ｂ））。この場合において、ユーザＨ１が撮像領域Ａ１内に侵入すると、検出部３００はユーザＨ２だけでなくユーザＨ１を検出して撮像領域Ａ１に存在する人物の数が２であると判定し、いずれかのユーザが他の顔認証領域Ａ４に留まっているか否かを判定する。次いで、いずれかのユーザが他の顔認証領域Ａ４に留まっているとき、検出部３００の顔認証処理部３２１は顔認証処理を実行する。さらに、ユーザＨ１だけでなくユーザＨ２も画像形成装置１０へ同時に近づく場合を考える（図１１（Ｃ））。この場合において、ユーザＨ１とユーザＨ２がほぼ同時に撮像領域Ａ１内に侵入すると、検出部３００は撮像領域Ａ１に存在する人物の数が２であると判定し、いずれかのユーザが他の顔認証領域Ａ４に留まっているか否かを判定する。次いで、いずれかのユーザが他の顔認証領域Ａ４に留まっているとき、検出部３００の顔認証処理部３２１は顔認証処理を実行する。
【００４１】
図１０の顔認証許可処理によれば、撮像領域Ａ１に存在する人物の数に応じて、顔認証処理の実行を許可するための条件が変更される。例えば、撮像領域Ａ１に存在する人物の数が１である場合、複数の人物から画像形成装置１０を使用する意思が無い人物をユーザとして誤判定することがないため、人物が顔認証領域Ａ３内に存在するか否かだけに基づいて顔認証処理の実行を許可する。一方、撮像領域Ａ１に存在する人物の数が２以上である場合、複数の人物から画像形成装置１０を使用する意思が無い人物をユーザとして誤判定する可能性がある。したがって、いずれかの人物が顔認証領域Ａ３よりも狭い他の顔認証領域Ａ４に留まっているか否かに基づいて顔認証処理の実行を許可する。
【００４２】
上述したように、他の顔認証領域Ａ４は顔認証領域Ａ３よりも狭いため、撮像領域Ａ１に存在する人物の数が１である場合の方が、撮像領域Ａ１に存在する人物の数が２以上である場合よりも、早く顔認証処理の実行が開始される。その結果、撮像領域Ａ１に存在する人物の数が１である場合、ユーザが画像形成装置１０に到達したときには、顔認証処理を終了させることができ、ユーザが直ちに画像形成装置１０を利用できるため、ユーザの利便性の低下を防止することができる。一方、撮像された周囲の画像に含まれる人物の数が２人以上である場合、人物が顔認証領域Ａ３よりも狭い他の顔認証領域Ａ４に留まっているか否かに基づいて顔認証処理の実行を許可する。これにより、画像形成装置１０を使用する意思が無い人物をユーザとして誤判定する可能性を低減することができる。以上より、図１０の顔認証許可処理は、ユーザの誤判定を防止するとともに、ユーザの利便性の低下を防止することができる。
【００４３】
次に、本発明の第３の実施の形態について説明する。第３の実施の形態は、その構成、作用が上述した第１の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。第１の実施の形態では、画像形成装置１０が１つのカメラ１１のみを備えた。しかしながら、第３の実施の形態は、画像形成装置２０が２つの第１のカメラ１４及び第２のカメラ１５を備える点で第１の実施の形態と異なる。
【００４４】
図１２は、本発明の第３の実施の形態に係る情報処理装置としての画像形成装置を示す外観図である。図１２において、画像形成装置２０は、画像形成装置１０と同様の構成を備えるが、カメラ１１の代わりに、第１のカメラ１４及び第２のカメラ１５を備える。第１のカメラ１４及び第２のカメラ１５は、画像形成装置２０において同一方向を指向するように配置される。例えば、画像形成装置２０の正面視において、第１のカメラ１４は表示部１２の左上方に配置され、第２のカメラ１５は第１のカメラ１４の下方に配置される。以下、本実施の形態において、第１のカメラ１４が撮像可能な領域を撮像領域Ａ５と称し、第２のカメラ１５が撮像可能な領域を撮像領域Ａ６と称する。
【００４５】
図１３は、撮像領域Ａ５と撮像領域Ａ６の位置関係を説明するための図である。図１３は、画像形成装置２０の右側方から撮像領域Ａ５や撮像領域Ａ６を眺めた場合を示す。第１のカメラ１４及び第２のカメラ１５とも、主に画像形成装置２０の正面の領域を映し出すように、画像形成装置２０の正面に配置される。第１のカメラ１４は、表示部１２を覗き込む人物を確実に撮像できるように、撮像方向がやや斜め上方を指向するように配置される。第２のカメラ１５は、画像形成装置１０の正面の領域を広範囲に撮像できるように、撮像方向が水平であり、画角が広角に設定される。なお、画像形成装置２０では、表示部１２の顔認証画面１２０が撮像領域Ａ５の撮像画像を表示する。撮像領域Ａ５は、上述した撮像領域Ａ２と同様に、画像形成装置１０の正面に立ったユーザが表示部１２を操作するために画像形成装置１０へ極めて接近したときに、当該ユーザの顔が撮像領域Ａ５の撮像画像のほぼ中心に来るように画角が設定される領域である。したがって、表示部１２を覗き込む人物（ユーザＨ１）は、撮像領域Ａ５の撮像画像、すなわち、顔認証画面１２０の略中央に表示される。また、後述するように、第３の実施の形態では、画像形成装置２０に接近する人物のつま先の位置の移動情報を用いて、画像形成装置２０の前方に存在する人物が画像形成装置２０を使用する可能性が高いユーザか否かを判定する。したがって、撮像領域Ａ６は、画像形成装置２０へ接近するユーザＨ１のつま先を含むことが可能なように画角が設定される。また、撮像領域Ａ６は、画像形成装置２０からある程度離れた人物の顔を含むようにも画角が設定される。なお、撮像領域Ａ６には、撮像領域Ａ１と同様に、顔認証領域Ａ３を含む（図示しない）。
【００４６】
なお、本実施の形態でも、第１の実施の形態と同様に、表示部１２を覗き込む人物は画像形成装置２０を使用する可能性が高いユーザであると考え、撮像領域Ａ６に複数の人物が存在する場合、表示部１２を覗き込む人物について顔認証処理を実行する。また、本実施の形態では、人物が表示部１２を覗き込んでいるか否かを判定するために、撮像領域Ａ５を用いる。
【００４７】
図１４は、図１２の画像形成装置２０の内部構成を概略的に示すブロック図である。なお、画像形成装置２０の内部構成は画像形成装置１０の内部構成とほぼ同様の構成を有するため、以下、相違点のみについて説明する。画像形成装置２０は、検出部３００の代わりに、検出部６００を備える。
【００４８】
検出部６００は、人感センサ機能と顔認証機能を実行する。また、検出部６００はＣＰＵ６０１、第１のカメラ１４や第２のカメラ１５を有する。ＣＰＵ６０１は、ＣＰＵ１１０からのオン／オフ要求に応じて、人感センサ機能又は顔認証機能の実行を開始又は停止し、第１のカメラ１４や第２のカメラ１５への電力の供給を制御する。また、操作部２００と検出部６００は協働して第１のカメラ１４が撮像した画像を表示部１２に表示する。具体的に、まず、ＣＰＵ６０１は、一定時間毎に第１のカメラ１４から撮像された画像を取得し、ＣＰＵ６０１が内蔵するＲＡＭ（図示しない）に画像データを保存する。次いで、ＣＰＵ６０１は内蔵ＲＡＭに保存済みの画像データをコントローラ１００に送信する。ＣＰＵ１１０は受信した画像データをＲＡＭ１１１に保存し、さらに、受信した画像データとメッセージ等の別の画像データとを合成し、合成された画像データを操作部２００へ送信する。操作部２００は、送信された画像データを表示部１２に表示する。なお、ＣＰＵ６０１の内蔵ＲＡＭの容量に比して画像データのサイズが大きいときは、検出部６００へ外付けのＳＤＲＡＭ等の新たな記憶領域を設け、当該記憶領域に画像データを保存してもよい。また、操作部２００及び検出部６００はそれぞれ独自のＣＰＵ２０１,６０１を有するが、１つのＣＰＵを操作部２００及び検出部６００で共有し、当該ＣＰＵが操作部２００及び検出部６００を制御してもよい。
【００４９】
図１５は、検出部６００のＣＰＵ６０１が実行する顔認証機能に対応するプログラムの構成とデータフローを説明するための図である。図１５中の矢印は画像データ等のデータの流れを示す。図１５において、検出部６００は、プログラムを実行するためのモジュールとして、第１のカメラデータ受信部６１１、第２のカメラデータ受信部６１２、第１のカメラ用前処理部６１３及び第２のカメラ用前処理部６１４を有する。また、上述したモジュールとして、検出部６００は、人領域抽出部６１５、人特徴量算出部６１６、人検出処理部６１７、画像選択部６１８及び特徴量−距離変換部６１９を有する。さらに、検出部６００は、上述したモジュールとして、顔領域抽出部６２０、顔特徴量算出部６２１、顔認証実行制御部６２２、特徴量データベース６２３及び顔認証処理部６２４を有する。
【００５０】
第１のカメラデータ受信部６１１は、第１のカメラ１４から画像データを受信してＣＰＵ６０１の内蔵ＲＡＭに保存する。ここで受信される画像データは、第１のカメラ１４が撮像可能な領域である撮像領域Ａ５の撮像画像である。第２のカメラデータ受信部６１は、第２のカメラ１５から画像データを受信してＣＰＵ６０１の内蔵ＲＡＭに保存する。ここで受信される画像データは、第２のカメラ１５が撮像可能な領域である撮像領域Ａ６の撮像画像である。第１のカメラ用前処理部６１３は、内蔵ＲＡＭに保存された撮像領域Ａ５の撮像画に対してコントラスト補正、カラー／モノクロ変換、拡大／縮小等の画像処理を施し、下流の各処理部が取り扱える画像データへ変換する。第２のカメラ用前処理部６１４は、内蔵ＲＡＭに保存された撮像領域Ａ６の撮像画像に対してコントラスト補正、カラー／モノクロ変換、拡大／縮小等の画像処理を施し、下流の各処理部が取り扱える画像データへ変換する。人領域抽出部６１５は、人領域抽出部３１３と同様に、画像データから画像形成装置２０の前方（正面側）に存在する人物が撮像領域Ａ６の撮像画像に占める領域（人領域）を抽出する。撮像領域Ａ６に複数の人物が存在する場合、各人物について人領域が抽出される。
【００５１】
人特徴量算出部６１６は、人特徴量算出部３１４と同様に、撮像領域Ａ６に存在する人数を取得し、撮像領域Ａ６に存在する各人物の特徴量を取得する。さらに、人特徴量算出部６１６は、撮像領域Ａ６に存在する各人物のうち、撮影画像において最も大きな面積の人物のつま先の移動情報も取得する。人検出処理部６１７は、人特徴量算出部６１６で取得されたつま先の移動情報を参照し、最も大きな面積を持つ人領域の人物を人検出処理の対象（対象人物）として選定する。当該移動情報が予め定められたパターンに一致した場合、当該移動情報に係る人物が画像形成装置２０を利用する可能性があるユーザであると判定する。人検出処理部６１７は、その判定結果を電源制御部１１３に送信し、これに応じて電源制御部１１３は、画像形成装置２０の電力モードをスリープモードからスタンバイモードに変更する。画像選択部６１８は、人特徴量算出部６１６で取得された撮像領域Ａ６に存在する人数に基づいて、撮像領域Ａ６の撮像画像を顔認証処理に使用するか、撮像領域Ａ５の撮像画像を顔認証処理に用いるかを決定する。特徴量−距離変換部６１９、顔領域抽出部６２０及び顔特徴量算出部６２１は、検出部３００の特徴量−距離変換部３１６、顔領域抽出部３１７及び顔特徴量算出部３１８と同様に動作する。また、顔認証実行制御部６２２、特徴量データベース６２３及び顔認証処理部６２４は、検出部３００の顔認証実行制御部３２０、特徴量データベース３１９及び顔認証処理部３２１と同様に動作する。
【００５２】
図１６は、検出部６００の画像選択部６１８が実行する撮像画像選択処理を示すフローチャートである。本処理は、検出部６００のＲＯＭ（図示しない）に格納されている本処理に対応するプログラムをＣＰＵ６０１が実行することにより、実現される。図１６において、ＣＰＵ６０１は、人特徴量算出部６１６が取得した撮像領域Ａ６に存在する人数が１以下か否かを判定する（ステップＳ１６１）。人数が１以下であると判定された場合、ＣＰＵ６０１は、撮像領域Ａ６の撮像画像を顔認証処理に使用するように設定する（ステップＳ１６２）。これに対応して、後述する図１７の顔認証許可処理の実行前に、ＣＰＵ６０１は、第２のカメラ用前処理部６１４が画像処理を施した画像データを顔領域抽出部６２０へ送信する。人数が２以上であると判定された場合、ＣＰＵ６０１は、撮像領域Ａ５の撮像画像を顔認証処理に使用するように設定する（ステップＳ１６３）。これに対応して、図１７の顔認証許可処理の実行前に、ＣＰＵ６０１は、第１のカメラ用前処理部６１３が画像処理を施した画像データを顔領域抽出部６２０へ送信する。その後、本処理を終了する。なお、ＣＰＵ６０１は、第１のカメラ１４や第２のカメラ１５によるさらなる撮像が不必要となった時点で、第１のカメラ１４や第２のカメラ１５への電力の供給を停止し、消費電力を削減してもよい。
【００５３】
図１７は、本実施の形態に係る情報処理装置の制御方法としての顔認証許可処理を示すフローチャートである。本処理は、ＲＯＭ１１２に格納されている本処理に対応するプログラムをＲＡＭ１１１へ展開し、ＣＰＵ６０１が当該プログラムを実行することにより、実現される。図１７において、まず、ＣＰＵ６０１は、人特徴量算出部６１６が取得した撮像領域Ａ６に存在する人数が１以下か否かを判定する（ステップＳ１７１）。
【００５４】
人数が１以下であると判定された場合、ＣＰＵ６０１はステップＳ１７２の顔認証領域判定処理を実行する。顔認証領域判定処理は、人特徴量算出部６１６が取得する人物重心位置及び特徴量−距離変換部６１９が取得する人物距離に基づいて、人物が顔認証領域Ａ３内に存在するか否かを判定する処理である。なお、本実施の形態における顔認証領域Ａ３は、第１の実施の形態における顔認証領域Ａ３と同じであり、撮像領域Ａ６に含まれる。
【００５５】
ステップＳ１７２の顔認証領域判定処理において、ＣＰＵ６０１は、まず、人物重心位置が撮像画像における予め定められた領域内に存在するか否かを判定する（ステップＳ１７３）。人物重心位置が予め定められた領域内に存在する場合、次いで、ＣＰＵ６０１は、人物距離が所定値以下か否かを判定する（ステップＳ１７４）。人物重心位置が撮像画像における予め定められた領域内に存在し、且つ人物距離が所定値以下である場合、ＣＰＵ６０１は、人物が顔認証領域Ａ３内に存在すると判定し、ステップＳ１７５へ進む。続くステップＳ１７５において、ＣＰＵ６０１は顔認証処理の実行を許可する。人物重心位置が撮像画像における予め定められた領域内に存在しない場合や人物距離が所定値以下でない場合、ＣＰＵ６０１は、ステップＳ１７３やステップＳ１７４を繰り返して実行する。なお、ステップＳ１７２において人物が顔認証領域Ａ３内に存在するか否かを判定するための条件は人物重心位置や人物距離に限られない。例えば、人物の面積や人物の幅等に基づいて人物が顔認証領域Ａ３内に存在するか否かを判定してもよい。
【００５６】
ステップＳ１７１において、人数が２以上であると判定された場合、ＣＰＵ６０１はステップＳ１７６の認証用顔画像判定処理を実行する。認証用顔画像判定処理は、顔特徴量算出部６２１が取得する顔特徴量に基づいて、撮像領域Ａ６に存在する複数の人物のいずれかが表示部１２を覗き込んでいるか否かを判定する処理である。具体的には、撮像領域Ａ６に存在する複数の人物のいずれの顔の面積が予め定められた閾値以上であるか、さらには、顔の重心位置が撮像領域Ａ５の中央の所定の領域内に存在するかを判定する処理である。
【００５７】
ステップＳ１７６の認証用顔画像判定処理において、ＣＰＵ６０１は、まず、撮像領域Ａ５内に存在する人物の顔の面積が予め定められた閾値以上であるか否かを判定する（ステップＳ１７７）。次いで、人物の顔の面積が予め定められた閾値以上である場合、ＣＰＵ６０１は、人物の顔の重心位置が撮像領域Ａ５の中央の所定の領域内に存在するかを判定する（ステップＳ１７８）。撮像領域Ａ５内に存在する人物の顔の面積が予め定められた閾値以上であり、且つ人物の顔の重心位置が撮像領域Ａ５の中央の所定の領域内に存在する場合は、当該人物が画像形成装置２０を使用するために表示部１２を覗き込んでいる場合と考えられる。そこで、この場合、ＣＰＵ６０１は、当該人物が表示部１２を覗き込んでいると判定し、ステップＳ１７５へ進む。続くステップＳ１７５において、ＣＰＵ６０１は顔認証処理の実行を許可する。撮像領域Ａ５内に存在する人物の顔の面積が予め定められた閾値より小さい場合や人物の顔の重心位置が撮像領域Ａ５の中央の所定の領域内に存在しない場合、ＣＰＵ６０１は、ステップＳ１７７やステップＳ１７８を繰り返して実行する。なお、ステップＳ１７６において人物が表示部１２を覗き込んでいるか否かを判定するための条件は人物の顔の面積や顔の重心位置に限られない。例えば、人物の顔の向きや人物の視線等に基づいて人物が表示部１２を覗き込んでいるか否かを判定してもよい。また、ステップＳ１７６の認証用顔画像判定処理では、ステップＳ１７７やステップＳ１７８に加え、特徴量−距離変換部６１９が取得した人物距離が所定値以下か否かを判定してもよい。また、撮像領域Ａ５に複数の人物が存在する場合、いずれの人物についてもステップＳ１７６の認証用顔画像判定処理を実行するが、画像形成装置２０に最も近い人物のみについてステップＳ１７６の認証用顔画像判定処理を実行してもよい。その後、本処理を終了する。
【００５８】
撮像領域Ａ６に存在する人物の数が１である場合、複数の人物から画像形成装置２０を使用する意思が無い人物をユーザとして誤判定することがない。したがって、撮像領域Ａ６に存在する人物の数が１である場合、図１７の顔認証許可処理では、単純に、人物が画像形成装置２０の近くの顔認証領域Ａ３内に存在するか否かだけに基づいて顔認証処理の実行が許可される。一方、撮像領域Ａ６に存在する人物の数が２以上である場合、複数の人物から画像形成装置２０を使用する意思が無い人物をユーザとして誤判定する可能性がある。また、上述したように、表示部１２を覗き込んでいる人物は画像形成装置２０を使用する可能性が高い。そこで、撮像領域Ａ６に存在する人物の数が２以上である場合、図１７の顔認証許可処理では、人物が顔認証領域Ａ３内に存在するか否かではなく、当該人物が表示部１２を覗き込んでいるか否かに基づいて顔認証処理の実行が許可される。すなわち、撮像領域Ａ６に存在する人物の数に応じて、顔認証処理の実行を許可するための条件が変更される。なお、人物が表示部１２を覗き込んでいると判定されるためには、当該人物が相当、画像形成装置２０に近づいている必要がある。すなわち、表示部１２を覗き込んでいる人物が存在する領域は、顔認証領域Ａ３よりも小さいと考えられる。
【００５９】
図１７の顔認証許可処理によれば、撮像領域Ａ６に存在する人物の数に応じて、顔認証処理の実行を許可するための条件が変更される。例えば、撮像領域Ａ６に存在する人物の数が１である場合、複数の人物から画像形成装置２０を使用する意思が無い人物をユーザとして誤判定することがないため、人物が顔認証領域Ａ３内に存在するか否かだけに基づいて顔認証処理の実行を許可する。一方、撮像領域Ａ６に存在する人物の数が２以上である場合、複数の人物から画像形成装置２０を使用する意思が無い人物をユーザとして誤判定する可能性がある。したがって、いずれかの人物が表示部１２を覗き込んでいるか否かに基づいて顔認証処理の実行を許可する。
【００６０】
上述したように、表示部１２を覗き込んでいる人物が存在する領域は、顔認証領域Ａ３よりも小さいと考えられる。したがって、撮像領域Ａ６に存在する人物の数が１である場合の方が、撮像領域Ａ６に存在する人物の数が２以上である場合よりも、早く顔認証処理の実行が開始される。その結果、撮像領域Ａ６に存在する人物の数が１である場合、ユーザが画像形成装置２０に到達したときには、顔認証処理を終了させることができ、ユーザが直ちに画像形成装置２０を利用できるため、ユーザの利便性の低下を防止することができる。一方、撮像された周囲の画像に含まれる人物の数が２人以上である場合、人物が表示部１２を覗き込んでいるか否かに基づいて顔認証処理の実行を許可する。これにより、画像形成装置２０を使用する意思が無い人物をユーザとして誤判定する可能性を低減することができる。以上より、図１７の顔認証許可処理は、ユーザの誤判定を防止するとともに、ユーザの利便性の低下を防止することができる。
【００６１】
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上述した第１乃至第３の実施の形態では、本発明を画像形成装置に適用した場合について説明した。しかしながら、本発明の適用先は画像形成装置に限られず、凡そ、認証処理を行う情報処理装置、例えば、ＰＣやタブレットであれば、本発明を適用することができる。また、上述した第１乃至第３の実施の形態の顔認証許可処理では、顔認証実行制御部が顔認証処理部による顔認証処理の実行のタイミングを制御する。しかしながら、顔認証実行制御部が顔認証処理部による顔認証処理の実行のタイミングを制御せず、顔認証処理部の認証結果をＣＰＵ１１０に送信するタイミングを制御してもよい。この場合、ＣＰＵ１１０は受信した認証結果に基づいて当該人物の画像形成装置１０へのログインを許可するか否かを判定するため、この構成においても第１乃至第３の実施の形態と同様の顔認証機能を実現することができる。
【００６２】
また、上述した第１乃至第３の実施の形態では、画像形成装置１０の人感センサ機能をカメラ１１によって実現した。しかしながら、カメラとは別に設けた焦電センサ、赤外反射センサ、赤外アレイセンサ、超音波センサ等のセンサによって人感センサ機能を実現してもよい。これにより、画像形成装置１０のスリープモードにおける電力を、人感センサ機能をカメラ１１によって実現する場合よりも低減させることができる。また、この場合、人感センサを使って人物距離を測定することもできる。これにより、検出部３００は、カメラから得られた画像データを解析して人物距離を取得する場合よりも、簡易な演算で人物距離を取得することができる。
【００６３】
本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６４】
Ａ１、Ａ２、Ａ５、Ａ６  撮像領域
Ａ３  顔認証領域  
Ａ４  他の顔認証領域
Ｈ１、Ｈ２  ユーザ
１０，２０  画像形成装置
１１  カメラ
１２  表示部
１００  コントローラ
３００，６００  検出部
３０１，６０１  ＣＰＵ
３１４，６１６  人特徴量算出部
３２０，６２２  顔認証実行制御部
３２１，６２４  顔認証処理部
【図１】
2019057036.tif 000003
【図２】
2019057036.tif 000004
【図３】
2019057036.tif 000005
【図４】
2019057036.tif 000006
【図５】
2019057036.tif 000007
【図６】
2019057036.tif 000008
【図７】
2019057036.tif 000009
【図８】
2019057036.tif 000010
【図９】
2019057036.tif 000011
【図１０】
2019057036.tif 000012
【図１１】
2019057036.tif 000013
【図１２】
2019057036.tif 000014
【図１３】
2019057036.tif 000015
【図１４】
2019057036.tif 000016
【図１５】
2019057036.tif 000017
【図１６】
2019057036.tif 000018
【図１７】
2019057036.tif 000019