(57)【要約】【課題】  照合の対象として利用される髪型の変化や顔の経年変化によって利用者の照合精度が劣化しない端末利用者監視システムを提供する。【解決手段】  顔画像データ比較手段Ｂによる判定の結果が略一致である場合に限って今回抽出された顔画像データを顔画像データ記憶手段Ｊに更新して記憶させる顔画像データ更新手段Ｄを設け、顔画像データ記憶手段Ｊに常に利用者の最新の顔画像データを更新して記憶させる。ログイン中の利用者の適否判定に際して、その時点で抽出された顔画像データと顔画像データ記憶手段Ｊに記憶されている最新の顔画像データとを比較することで、利用者の真贋判定の確度を向上させ髪型の変化や顔の経年変化による判定ミスを軽減する。【選択図】図１
2008097647.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ端末の利用状況を監視し、その利用状況に応じて前記端末に使用制限を加える端末利用者監視システムにおいて、
端末利用者の顔が撮影可能な位置に設置された撮像手段と、
前記撮像手段で撮像された画像を解析して人の顔を特定するに足る顔画像データを抽出する顔画像データ抽出手段と、
前記端末へのログインを許容されている利用者の顔画像データを記憶する顔画像データ記憶手段と、
ログイン中に前記顔画像データ抽出手段によって繰り返し抽出される顔画像データと前記顔画像データ記憶手段に記憶されている顔画像データとを比較して両者の一致度を判定する顔画像データ比較手段と、
前記顔画像データ比較手段による判定の結果が不一致である場合に限って前記端末を利用した処理操作を制限する端末ロック手段とを備えたことを特徴とする端末利用者監視システム。
【請求項２】
コンピュータ端末の利用状況を監視し、その利用状況に応じて前記端末に使用制限を加える端末利用者監視システムにおいて、
端末利用者の顔が撮影可能な位置に設置された撮像手段と、
前記撮像手段で撮像された画像を解析して人の顔を特定するに足る顔画像データを抽出する顔画像データ抽出手段と、
前記端末に対するログイン実行時に前記顔画像データ抽出手段によって抽出された顔画像データを記憶する顔画像データ記憶手段と、
ログイン中に前記顔画像データ抽出手段によって繰り返し抽出される顔画像データと前記顔画像データ記憶手段に記憶されている顔画像データとを比較して両者の一致度を判定する顔画像データ比較手段と、
前記顔画像データ比較手段による判定の結果が不一致である場合に限って前記端末を利用した処理操作を制限する端末ロック手段とを備えたことを特徴とする端末利用者監視システム。
【請求項３】
コンピュータ端末の利用状況を監視し、その利用状況に応じて前記端末に使用制限を加える端末利用者監視システムにおいて、
端末利用者の顔が撮影可能な位置に設置された撮像手段と、
前記撮像手段で撮像された画像を解析して人の顔を特定するに足る顔画像データを抽出する顔画像データ抽出手段と、
前記端末に対するログイン実行時に前記顔画像データ抽出手段によって抽出された顔画像データを記憶する顔画像データ記憶手段と、
ログイン中に前記顔画像データ抽出手段によって繰り返し抽出される顔画像データと前記顔画像データ記憶手段に記憶されている顔画像データとを比較して両者の一致度を判定する顔画像データ比較手段と、
前記顔画像データ比較手段による判定の結果が略一致である場合に限って今回抽出された顔画像データを前記顔画像データ記憶手段に更新して記憶させる顔画像データ更新手段と、
前記顔画像データ比較手段による判定の結果が不一致である場合に限って前記端末を利用した処理操作を制限する端末ロック手段とを備えたことを特徴とする端末利用者監視システム。
【請求項４】
前記顔画像データ抽出手段は、前記画像から同時に２以上の顔画像データを抽出する機能を有し、
前記顔画像データ比較手段は、前記顔画像データ抽出手段によって同時に２以上の顔画像データが抽出されると自動的に不一致と判定するように構成されていることを特徴とする請求項１，請求項２または請求項３の何れか一項に記載の端末利用者監視システム。
【請求項５】
前記顔画像データ比較手段による判定の結果が不一致である場合に限って今回抽出された顔画像データを他の端末に自動送信する顔画像データ送信手段を併設したことを特徴とする請求項１，請求項２，請求項３または請求項４の何れか一項に記載の端末利用者監視システム。
【請求項６】
前記顔画像データ比較手段による判定の結果が不一致である場合に限って今回抽出された顔画像データをログ情報と共に記憶する第２顔画像データ記憶手段を併設したことを特徴とする請求項１，請求項２，請求項３，請求項４または請求項５の何れか一項に記載の端末利用者監視システム。
【請求項７】
前記端末ロック手段の作動時にアラーム信号を出力するアラーム出力手段を併設したことを特徴とする請求項１，請求項２，請求項３，請求項４，請求項５または請求項６の何れか一項に記載の端末利用者監視システム。
【請求項８】
前記端末ロック手段の作動後に前記顔画像データ比較手段による判定の結果が略一致となった場合に限って前記端末ロック手段の作動を解除する端末ロック解除手段を併設したことを特徴とする請求項１，請求項２，請求項３，請求項４，請求項５，請求項６または請求項７の何れか一項に記載の端末利用者監視システム。
【請求項９】
前記顔画像データ比較手段による判定の結果が不一致である場合に限って今回抽出された顔画像データをログ情報と共に記憶する第２顔画像データ記憶手段と、前記端末ロック手段の作動後に前記顔画像データ比較手段による判定の結果が略一致となった場合に限って前記端末ロック手段の作動を解除する端末ロック解除手段と、前記端末ロック解除手段の作動時に前記第２顔画像データ記憶手段に記憶されている顔画像データを前記端末のディスプレイに表示する顔画像データ表示手段とを併設したことを特徴とする請求項１，請求項２，請求項３，請求項４または請求項５の何れか一項に記載の端末利用者監視システム。
【請求項１０】
前記端末ロック解除手段は、前記顔画像データ抽出手段によって抽出された顔画像データのスケールを判定するスケール判定機能を有し、該抽出された顔画像データのスケールが設定値に満たない場合には、前記顔画像データ比較手段による判定の結果に関わりなく非作動の状態を維持するように構成されていることを特徴とする請求項８または請求項９の何れか一項に記載の端末利用者監視システム。
【請求項１１】
ログイン中における前記撮像手段と前記顔画像データ抽出手段および前記顔画像データ比較手段の作動周期の設定値を無作為的に変更する監視周期調整手段を併設したことを特徴とする請求項１，請求項２，請求項３，請求項４，請求項５，請求項６，請求項７，請求項８，請求項９または請求項１０の何れか一項に記載の端末利用者監視システム。
【請求項１２】
前記端末ロック手段の作動状態に応じ、前記端末ロック手段が非作動の状態においては、前記撮像手段と前記顔画像データ抽出手段および前記顔画像データ比較手段の作動周期の設定値として相対的に長い周期の設定値を設定する一方、前記端末ロック手段が作動している状態においては、前記作動周期の設定値として相対的に短い周期の設定値を設定する第２監視周期調整手段を併設したことを特徴とする請求項１，請求項２，請求項３，請求項４，請求項５，請求項６，請求項７，請求項８，請求項９，請求項１０または請求項１１の何れか一項に記載の端末利用者監視システム。
【請求項１３】
使用中のアプリケーションプログラムの種類に対応して前記撮像手段と前記顔画像データ抽出手段および前記顔画像データ比較手段の作動周期を設定する第３監視周期調整手段を併設したことを特徴とする請求項１，請求項２，請求項３，請求項４，請求項５，請求項６，請求項７，請求項８，請求項９，請求項１０，請求項１１または請求項１２の何れか一項に記載の端末利用者監視システム。
【請求項１４】
前記撮像手段と前記顔画像データ抽出手段および前記顔画像データ比較手段の作動周期の設定値とは無関係に、使用中のアプリケーションプログラムからの照合要求を受けて、前記撮像手段と前記顔画像データ抽出手段および前記顔画像データ比較手段を強制的に作動させる比較判定強制手段を併設したことを特徴とする請求項１，請求項２，請求項３，請求項４，請求項５，請求項６，請求項７，請求項８，請求項９，請求項１０，請求項１１，請求項１２または請求項１３の何れか一項に記載の端末利用者監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ端末の利用状況を監視し、その利用状況に応じて端末に使用制限を加える端末利用者監視システムの改良に関する。
【背景技術】
【０００２】
コンピュータ端末の不正使用等を防止するための手段としては、ユーザＩＤやパスワード等を用いて端末の利用を制限するようにしたものが一般的である。しかし、ユーザＩＤやパスワード等が一旦もれてしまうとコンピュータ端末の利用が無制限に許容されてしまうといった問題がある。
【０００３】
このため、最近では、コンピュータ端末の利用状況を定常的に監視し、必要に応じて端末に使用制限を加えるといった技術の開発が強く望まれている。
【０００４】
コンピュータ端末の利用状況を監視して端末に使用制限を加える端末利用者監視システムとしては、事前に登録された利用者の顔画像データと端末の使用時に所定周期毎にＣＣＤカメラ等で撮像される利用者の顔画像データとを比較し、その相違が所定の閾値を越えた場合に端末の操作を自動的にロックするようにしたものが、例えば、特許文献１として開示されている。
【０００５】
しかし、このような技術では、顔画像データを登録してから長い時間が経過すると髪型の変化や顔の経年変化によって照合精度が落ち、適正な利用者による端末の使用が制限されてしまったり、あるいは、端末の使用を許容すべきでない第三者を適正な利用者と誤認して端末が不正に利用されてしまうといった可能性がある。
【０００６】
一方、利用者が備える生体的特徴の経年変化による照合精度の劣化を防止して利用者の適不適の判定を達成した技術としては、例えば、特許文献２に開示されるように、端末操作用のマウスに指紋読取装置を配備して利用者の指紋を所定周期毎に検出し、この指紋と事前に登録された利用者の指紋とを比較することで利用者の真贋を判定するようにしたものが提案されている。
【０００７】
確かに、経年変化等によって容易に形の変わらない指紋を照合手段として利用すれば照合精度の劣化といった問題は改善されるかもしれないが、端末の使用中に定常的に指紋を検出するためには利用者の指を常にマウス上の特定位置に置かねばならず、利用者の動きや姿勢が制限されて端末操作の作業性が著しく劣化してしまうといった弊害がある。
【０００８】
また、専ら計算処理に利用されるような端末においては、マウスを操作する機会は実際には殆どなく、利用者の指紋の検出自体が困難であり、指紋の検出を確実化するためにマウスやキーボードのキートップの全てに指紋読取装置を配備して常に指紋を読み取る等といったことは、技術的にもコスト的にも殆ど不可能に近い。
【０００９】
このように、従来のセキュリティシステムでは、照合の対象として利用される髪型の変化や顔の経年変化によって照合精度が劣化したり、あるいは、経年変化の少ない指紋等を照合の対象として接触式の読取装置を利用して認証を行う必要上、利用者の動きや姿勢が制限されて端末操作の作業性が著しく劣化するといった問題があった。
【００１０】
【特許文献１】特開２００３−１４１０８８（図１，図３）
【特許文献２】特開２００２−７３５１（図２，図１５）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
そこで、本発明の課題は、前記従来技術の不都合を解消し、照合の対象として利用される髪型の変化や顔の経年変化によって照合精度が劣化することがなく、また、利用者の動きや姿勢を制限しなくても利用者の適不適を的確に判定することのできる端末利用者監視システムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、コンピュータ端末の利用状況を監視し、その利用状況に応じて端末に使用制限を加える端末利用者監視システムであり、前記課題を達成するため、特に、
端末利用者の顔が撮影可能な位置に設置された撮像手段と、
撮像手段で撮像された画像を解析して人の顔を特定するに足る顔画像データを抽出する顔画像データ抽出手段と、
端末へのログインを許容されている利用者の顔画像データを記憶する顔画像データ記憶手段と、
ログイン中に顔画像データ抽出手段によって繰り返し抽出される顔画像データと顔画像データ記憶手段に記憶されている顔画像データとを比較して両者の一致度を判定する顔画像データ比較手段と、
顔画像データ比較手段による判定の結果が不一致である場合に限って端末を利用した処理操作を制限する端末ロック手段とを備えたことを特徴とする構成を有する。
【００１３】
このような構成を適用した場合、端末へのログインを許容されている利用者の顔画像データを事前に顔画像データ記憶手段に記憶させておくようにする。
コンピュータ端末の利用状況を監視する撮像手段は端末利用者の顔が撮影可能な位置に設置されており、端末がログイン状態となっている間、顔画像データ抽出手段が繰り返し作動して撮像手段で撮像された画像を解析し、顔画像データを抽出する。
顔画像データ比較手段は、ログイン中に顔画像データ抽出手段によって抽出される顔画像データと顔画像データ記憶手段に記憶されている顔画像データとを比較し、両者の一致度を判定する。
そして、顔画像データ比較手段による判定の結果が不一致となった場合には、端末ロック手段が作動して端末を利用した処理操作を制限する。
このように、利用者に対して非接触の状態を保持して利用者の生体的特徴である顔画像データを検出し、この顔画像データを照合の対象として利用するようにしているので、利用者の動きや姿勢を制限せずに利用者の適不適を的確に判定することができ、セキュリティの保持に必要とされる利用者の負担が軽減される。
しかも、コンピュータ端末の利用状況が定常的に監視され、顔画像データ比較手段による判定結果が不一致となった場合には即時的に端末ロック手段が作動するので、ユーザＩＤやパスワード等を用いて端末の利用を制限する場合とは違って、ユーザＩＤやパスワード等を盗用した不適当な利用者が正当な利用者に成り済まして端末を使用することは困難であり、また、利用者が意図的に他の人物にユーザＩＤやパスワード等を教唆して端末を使用させたり、更には、適正な利用者が席を外している間に他の人物が端末を無断使用するといった不正行為も未然に防止される。
【００１４】
また、照合の対象として利用される髪型の変化や顔の経年変化によって照合精度が劣化することを防止するためには、端末に対するログイン実行時に顔画像データ抽出手段によって抽出された顔画像データを記憶するように顔画像データ記憶手段を構成することが望ましい。
【００１５】
このような構成を適用すれば、少なくとも、当日に撮像された顔画像データを比較基準として利用者の適否判定が行われることになるので、照合の対象として利用される髪型の変化や顔の経年変化によって照合精度が大幅に劣化するといった問題を効果的に防止することができる。
【００１６】
更に、照合精度の劣化を確実に解消するためには、端末に対するログイン実行時に顔画像データ抽出手段によって抽出された顔画像データを記憶する顔画像データ記憶手段と、顔画像データ比較手段による判定の結果が略一致である場合に限って今回抽出された顔画像データを顔画像データ記憶手段に更新して記憶させる顔画像データ更新手段とを設けるようにする。
【００１７】
このような構成を適用した場合、顔画像データ記憶手段には常に利用者の最新の顔画像データが更新して記憶され、顔画像データ比較手段は、最新の顔画像データに基いて利用者の適不適に関する認証処理を行うことになるので、照合の対象として利用される髪型の変化や顔の経年変化によって照合精度が劣化するといった問題は、事実上、完全に防止され得る。
なお、撮像手段の撮像周期や顔画像データ抽出手段の処理能力（抽出所要時間）等にもよるが、この場合の髪型の変化や顔の経年変化の意味合いは、利用者の表情の変化および撮像手段から利用者に至る離間距離の変化（具体的には撮像手段の結像面における利用者の顔の大きさの変化）といった変動要素をも経年変化の一態様として含むことが可能である。
つまり、撮像手段の撮像周期が十分に短く顔画像データ抽出手段の処理能力も十分であれば、利用者の表情が激しく変化したり、あるいは、利用者が姿勢を変化させる等して撮像手段の結像面における利用者の顔の大きさや位置および姿勢が変化しても、同一人物を同一人物として、また、別の人物は別の人物として判定することができる。
【００１８】
また、顔画像データ抽出手段が画像から同時に２以上の顔画像データを抽出する機能を有する場合においては、顔画像データ抽出手段によって同時に２以上の顔画像データが抽出された場合に自動的に不一致の判定結果を出力するように顔画像データ比較手段を構成することが望ましい。
【００１９】
このような構成を適用することにより、第三者によるディスプレイの覗き込み等を検知して自動的に端末の使用を制限することができるようになる。
【００２０】
更に、顔画像データ比較手段による判定の結果が不一致となった際に今回抽出された顔画像データを他の端末に自動送信する顔画像データ送信手段を併設するといった構成もセキュリティ保持の面で有効である。
【００２１】
このような構成を適用すれば、適正な利用者に成り済まそうとした第三者、あるいは、不正にディスプレイを覗き込もうとした第三者を遠隔地にある他の端末によって把握することができ、端末の不正利用者を容易に特定することができる。
【００２２】
また、顔画像データ比較手段による判定の結果が不一致となった際に今回抽出された顔画像データをログ情報と共に記憶する第２顔画像データ記憶手段を併設することも可能である。
【００２３】
第２顔画像データ記憶手段を設けた場合には、適正な利用者に成り済まそうとした第三者、あるいは、不正にディスプレイを覗き込もうとした第三者の顔画像データが端末内の第２顔画像データ記憶手段に記憶されることになる。
従って、第２顔画像データ記憶手段の内容を確認することで、前記と同様、不正利用者を容易に特定することが可能である。
ログ情報としては、時刻，当該時点でオープンされていたファイルの名称，当該時点で起動されていたアプリケーションプログラムの名称等を始め、端末が内部的に認識可能な各種の情報を含めることができる。
よって、不正利用者の特定の他、機密が漏洩した可能性のあるファイル等を容易に特定できるメリットがある。
なお、前述の顔画像データ送信手段を利用し、不正利用者である第三者の顔画像データとログ情報とを併せて遠隔地にある他の端末に転送することも可能である。
【００２４】
更に、端末ロック手段の作動時にアラーム信号を出力するアラーム出力手段を設けるようにしてもよい。
【００２５】
このアラーム出力によって警報を起動するようにすれば、端末の不正使用を周囲の人々に警告することができる。
警報手段としては、端末に組み込まれたスピーカ、あるいは、警告灯等を始めとする外部装置等を任意に利用することができる。
【００２６】
また、端末ロック手段の作動後に顔画像データ比較手段による判定の結果が略一致となったことを検知して端末ロック手段の作動を解除する端末ロック解除手段を併設することが望ましい。
【００２７】
既に述べた通り、本発明においては、利用者の表情の変化および撮像手段から利用者に至る離間距離の変化といった変動要素を吸収して適正な認証処理を実現することが可能であるが、利用者が撮像手段から顔を背けている等の格別な事情があった場合には、適正な利用者が端末を使用しているにも関わらず端末の使用が不当に制限されるといった可能性も内在している。
端末ロック手段の作動後に顔画像データ比較手段による判定の結果が略一致となった場合に端末ロック手段の作動を自動的に解除する端末ロック解除手段を併設することにより、判定処理に不都合が生じた場合であっても、ユーザＩＤやパスワードの入力あるいは指紋や網膜パターン等の再入力といった煩わしい作業を行うことなく、適正な利用者が継続して端末を正常に使用することができるようになる。このようにして適正な利用者の負担が軽減される結果、端末を利用した作業の効率も向上する。
【００２８】
更に、第２顔画像データ記憶手段に記憶されている顔画像データを端末ロック解除手段の作動時に自動的に端末のディスプレイに表示する顔画像データ表示手段を併設するようにしてもよい。
【００２９】
適正な利用者が認識されて端末の使用制限が解除された段階で、第２顔画像データ記憶手段に記憶されている顔画像データ、つまり、適正な利用者に成り済まそうとした第三者あるいは不正にディスプレイを覗き込もうとした第三者の情報が自動的に表示されるので、不正利用者を確実に特定することができる。
このような構成を適用することにより、ログ情報の見忘れ等によって生じる端末不正使用の看過といった不都合が未然に防止される。
【００３０】
また、端末ロック解除手段には、顔画像データ抽出手段によって抽出された顔画像データのスケールを判定するスケール判定機能を設け、抽出された顔画像データのスケールが設定値に満たない場合には、顔画像データ比較手段による判定結果と関わりなく端末ロック解除手段の非作動状態を維持するように構成する。
【００３１】
既に述べた通り、本発明においては、利用者の表情の変化および撮像手段から利用者に至る離間距離の変化といった変動要素を吸収して適正な認証処理を実現することが可能であるが、このため、利用者が端末から離れた場合であっても適正な利用者の顔が撮像手段によって撮像されている限り端末ロック手段が起動しない、あるいは、端末から離れている適正な利用者の顔が認識されると一旦ロックされた端末が端末ロック解除手段によって自動的に使用制限を解除されてしまうといった不都合が生じる可能性もある。
抽出された顔画像データのスケールが設定値に満たない場合に端末ロック解除手段の非作動状態を維持することで、不用意な使用制限の解除によって生じる第三者によるディスプレイの覗き込みや端末の不正使用を確実に防止することができる。
【００３２】
更に、ログイン中における撮像手段と顔画像データ抽出手段および顔画像データ比較手段の作動周期の設定値を無作為的に変更する監視周期調整手段を併設することが可能である。
【００３３】
このような構成を適用すれば、撮像手段と顔画像データ抽出手段および顔画像データ比較手段、すなわち、利用者の監視に必要とされる手段の作動タイミングを予測することは不可能となり、各手段が非作動となっている隙を突いて端末が不正使用されるといった可能性を著しく低減することができる。
【００３４】
また、端末ロック手段の作動状態に応じ、端末ロック手段が非作動の状態においては、撮像手段と顔画像データ抽出手段および顔画像データ比較手段の作動周期の設定値として相対的に長い周期の設定値を設定する一方、端末ロック手段が作動している状態においては、この作動周期の設定値として相対的に短い周期の設定値を設定する第２監視周期調整手段を併設するようにしてもよい。
【００３５】
このような構成を適用すれば、端末が適正な利用者によって使用されている状況下における単位時間当たりの画像処理や判定処理の実行回数が減ってＣＰＵの負荷が低減され、アプリケーションプログラム等を用いた処理操作を円滑に行うことができる。
また、一旦端末の使用が制限されて内部処理の負荷が軽減されると、単位時間当たりの画像処理や判定処理の実行回数が自動的に増えるので、適正な利用者が端末の前に着座したことを素早く検知して端末ロック解除手段を作動させることができ、利用者側の無駄な待機時間が解消されて作業性が向上する。
【００３６】
更に、使用中のアプリケーションプログラムの種類に対応して撮像手段と顔画像データ抽出手段および顔画像データ比較手段の作動周期を設定する第３監視周期調整手段を併設することが可能である。
【００３７】
このような構成を適用することにより、例えば、重要なデータを取り扱うアプリケーションプログラムの使用中には単位時間当たりの画像処理や判定処理の実行回数を増やしてアプリケーションプログラムの使用効率よりもセキュリティの確保を優先する一方、機密性の低いデータを取り扱うアプリケーションプログラムの使用中には単位時間当たりの画像処理や判定処理の実行回数を減らしてアプリケーションプログラムの使用効率を優先させるといったこと、あるいは、負荷の少ないアプリケーションプログラムの使用中に単位時間当たりの画像処理や判定処理の実行回数を増やしてセキュリティを確保する一方、高速処理の必要なアプリケーションプログラムの使用中には単位時間当たりの画像処理や判定処理の実行回数を減らしてアプリケーションプログラムの動作を速めるといったことが可能となる。
【００３８】
また、撮像手段と顔画像データ抽出手段および顔画像データ比較手段の作動周期の設定値とは無関係に、使用中のアプリケーションプログラムからの照合要求を受けて即時的に撮像手段と顔画像データ抽出手段および顔画像データ比較手段を作動させる比較判定強制手段を併設するようにしてもよい。
【００３９】
このような構成を適用すれば、使用中のアプリケーションプログラムからの照合要求によって強制的に撮像手段と顔画像データ抽出手段および顔画像データ比較手段が駆動されるので、例えば、機密性を有するデータの表示に際してアプリケーションプログラム側から照合要求が送出されるように構成することにより、利用者の適不適に応じてデータ表示の許可あるいは端末の使用制限を選択的に実行することが可能となり、端末に関わるアクセス権のみならずデータの安全性に関わるセキュリティも向上する。
【発明の効果】
【００４０】
本発明の端末利用者監視システムは、利用者に対して非接触の状態を保持して利用者の生体的特徴である顔画像データを検出し、この顔画像データを利用者の適否判定に利用するようにしているので、利用者の動きや姿勢を制限せずに利用者の適不適を的確に判定することができ、セキュリティの保持に必要とされる利用者の負担が軽減される。
しかも、コンピュータ端末の利用状況が定常的に監視され、顔画像データ比較手段による判定結果が不一致となった場合には即時的に端末ロック手段が作動が作動するので、ユーザＩＤやパスワード等を用いて端末の利用を制限する場合とは違って、不適当な利用者が正当な利用者に成り済まして端末を使用することは極めて困難であり、また、利用者が意図的に他の人物に端末を使用させたり、適正な利用者が席を外している間に他の人物が端末を使用するといった不正行為も確実に防止することができる。
【００４１】
特に、端末に対するログイン実行時に顔画像データ抽出手段によって抽出された顔画像データを顔画像データ記憶手段に記憶して比較基準として利用する構成を適用することで、少なくとも、当日に撮像された顔画像データを比較基準として利用者の適否判定を行うことができるようになり、照合の対象として利用される髪型の変化や顔の経年変化によって照合精度が劣化するといった問題を効果的に防止することができる。
【００４２】
更に、顔画像データ比較手段による判定の結果が略一致である場合に限って今回抽出された顔画像データを顔画像データ記憶手段に更新して記憶させる顔画像データ更新手段を設け、顔画像データ記憶手段に利用者の最新の顔画像データを更新して記憶させる構成を適用することで、照合の対象として利用される顔画像データに影響を与える髪型の変化や顔の経年変化によって照合精度が劣化するといった問題をほぼ完全に防止することができ、更には、利用者の表情の変化および撮像手段から利用者に至る離間距離の変化といった変動要素にも対処して適切な判定結果を得ることが可能となる。
【００４３】
また、顔画像データ抽出手段が画像から同時に２以上の顔画像データを抽出する機能を有する場合においては、顔画像データ抽出手段によって同時に２以上の顔画像データが抽出された場合に自動的に不一致の判定結果を出力するようにしているので、第三者によるディスプレイの覗き込み等を検知して自動的に端末の使用を制限することができる。
【００４４】
更に、顔画像データ比較手段による判定の結果が不一致となった場合に今回抽出された顔画像データを他の端末に自動送信する顔画像データ送信手段を併設したので、適正な利用者に成り済まそうとした第三者、あるいは、不正にディスプレイを覗き込もうとした第三者を遠隔地にある他の端末によって把握することができ、端末の不正利用者を容易に特定することができる。
【００４５】
また、顔画像データ比較手段による判定の結果が不一致となった場合に今回抽出された顔画像データをログ情報と共に記憶する第２顔画像データ記憶手段を設けているので、この記憶手段の内容を確認することで、前記と同様、不正利用者を容易に特定することができる。
この第２顔画像データ記憶手段には、顔画像データ比較手段による判定の結果が不一致となった時刻，当該時点でオープンされていたファイルの名称，当該時点で起動されていたアプリケーションプログラムの名称等を始め、端末が内部的に認識可能な各種の情報を含めることができるので、不正利用者の特定の他、機密が漏洩した可能性のあるファイル等を容易に特定できるメリットがある。
【００４６】
更に、端末ロック手段の作動時にアラーム信号を出力するアラーム出力手段を設けて警報を起動するようにしているので、端末の不正使用を周囲に警告して周辺の人々の注意を喚起することができる。
【００４７】
また、端末ロック手段の作動後に顔画像データ比較手段による判定の結果が略一致となったことを検知して端末ロック手段の作動を解除する端末ロック解除手段を併設しているので、適正な利用者が端末を使用しているにも関わらず端末の使用が不当に制限された場合であっても、ユーザＩＤやパスワードの入力あるいは指紋や網膜パターン等の再入力といった煩わしい作業を行うことなく適正な利用者が継続して端末を使用することができ、セキュリティの保持に必要とされる利用者の負担が軽減されるため、端末を利用した作業の効率も向上する。
【００４８】
更に、第２顔画像データ記憶手段に記憶されている顔画像データを端末ロック解除手段の作動時に自動的にディスプレイに表示する顔画像データ表示手段を併設したので、適正な利用者が認識されて端末の使用制限が解除された段階で、第２顔画像データ記憶手段に記憶されている顔画像データ、つまり、適正な利用者に成り済まそうとした第三者あるいは不正にディスプレイを覗き込もうとした第三者を確実に特定することができ、ログ情報の見忘れ等による端末不正使用の看過といった不都合も解消される。
【００４９】
また、端末ロック解除手段には、顔画像データ抽出手段によって抽出された顔画像データのスケールを判定するスケール判定機能を設け、抽出された顔画像データのスケールが設定値に満たない場合には顔画像データ比較手段による判定の結果に関わりなく端末ロック解除手段の非作動状態を維持するようにしたので、端末から離れた利用者の顔が撮像手段によって撮像されて端末ロック手段が起動しなくなったり、端末から離れている利用者の顔が再認識されて端末ロック解除手段が作動することによって不用意に端末の使用制限が解除されるといった弊害が未然に防止され、不用意な使用制限の解除によって生じるディスプレイの覗き込みや端末の不正使用も確実に防止される。
【００５０】
更に、ログイン中における撮像手段と顔画像データ抽出手段および顔画像データ比較手段の作動周期の設定値を無作為的に変更する監視周期調整手段を併設したので、利用者の監視が実行されるタイミングを予測することは不可能となり、各手段が非作動となっている隙を突いて端末が不正使用されるといった不都合も解消される。
【００５１】
また、端末ロック手段の作動状態に応じて撮像手段と顔画像データ抽出手段および顔画像データ比較手段の作動周期の設定値を変える第２監視周期調整手段を併設しているので、ＣＰＵの負荷を軽減してアプリケーションプログラム等を用いた処理操作を円滑に行うことができ、かつ、端末の使用制限後に適正な利用者が着座した場合には、これを素早く検知して端末ロック解除手段を作動させることができる。
【００５２】
更に、使用中のアプリケーションプログラムの種類に対応して撮像手段と顔画像データ抽出手段および顔画像データ比較手段の作動周期を設定する第３監視周期調整手段を設けているので、重要なデータを取り扱うアプリケーションプログラムの使用中にはアプリケーションプログラムの使用効率よりもセキュリティの確保を優先する一方、機密性の低いデータを取り扱うアプリケーションプログラムの使用中にはアプリケーションプログラムの使用効率を優先させるといったこと、あるいは、負荷の少ないアプリケーションプログラムの使用中にセキュリティを確保する一方、高速処理の必要なアプリケーションプログラムの使用中にはアプリケーションプログラムの動作を速めるといったことも可能となった。
【００５３】
また、使用中のアプリケーションプログラムからの照合要求を受けて撮像手段と顔画像データ抽出手段および顔画像データ比較手段を強制的に作動させる比較判定強制手段を併設したので、アプリケーションプログラム等に簡単な改修を施すだけで、利用者の適不適に応じてデータ表示の許可あるいは禁止を選択的に実行することいったこともできる。
【発明を実施するための最良の形態】
【００５４】
図１は本発明を適用した端末利用者監視システムが有する手段の概略について示した機能ブロック図であり、一例として、コンピュータ端末それ自体を利用して端末利用者監視システムを構築した場合について示している。
【００５５】
これらの各手段のうち、顔画像データ抽出手段Ａ，顔画像データ比較手段Ｂ，端末ロック手段Ｃ，顔画像データ更新手段Ｄ，顔画像データ送信手段Ｅ，アラーム出力手段Ｆ，端末ロック解除手段Ｇ，顔画像データ表示手段Ｈ，監視周期調整手段Ｌ，第２監視周期調整手段Ｍ，第３監視周期調整手段Ｎ，比較判定強制手段Ｐの各々は端末が有するマイクロプロセッサ（以下、ＣＰＵという）を機能実現手段として構成されている。
【００５６】
また、撮像手段Ｉは端末利用者の顔が撮影可能な位置に設置されたＣＣＤカメラ等によって構成され、顔画像データ記憶手段Ｊおよび第２顔画像データ記憶手段Ｋは、ＣＰＵに接続した端末内部の不揮発性メモリの記憶領域等によって構成される。
【００５７】
顔画像データ抽出手段Ａは撮像手段Ｉによって撮像された画像を解析して逐次顔画像データを抽出する。
【００５８】
そして、顔画像データ記憶手段Ｊには、利用者が端末に対してログインした際に顔画像データ抽出手段Ａによって抽出された顔画像データが認証の比較基準として記憶される。
また、端末へのログインを許容されている利用者の顔画像データを事前に顔画像データ記憶手段Ｊに記憶させておくことも可能である。
【００５９】
顔画像データ比較手段Ｂは、利用者が端末にログインしている間に顔画像データ抽出手段Ａによって抽出される顔画像データと顔画像データ記憶手段Ｊに記憶されている顔画像データとを比較し、両者の一致度を判定する。この際、両者の相違が予め設定された閾値の範囲内にあれば略一致、また、相違が閾値を越えていれば不一致となる。
【００６０】
顔画像データ比較手段Ｂによる判定の結果が略一致となっている間は、撮像手段Ｉによる撮像処理と、顔画像データ抽出手段Ａによる顔画像データの抽出処理、および、顔画像データ比較手段Ｂによる判定処理が繰り返し実行されるのみであり、端末に対する使用制限は加えられない。
【００６１】
また、この間、顔画像データ更新手段Ｄは、顔画像データ抽出手段Ａによって新たに抽出された顔画像データ、要するに、利用者の最新の顔画像データを顔画像データ記憶手段Ｊに逐次更新して記憶させる。
従って、顔画像データ比較手段Ｂは常に最新の顔画像データに基いて利用者の適不適に関する認証処理を行うことができ、照合の対象として利用される髪型の変化や顔の経年変化によって照合精度が劣化するといった問題は、事実上、完全に防止される。
【００６２】
一方、顔画像データ比較手段Ｂによる判定の結果が不一致となった場合には、端末ロック手段Ｃが作動して端末を利用した処理操作を制限する。
処理操作の制限とは、例えば、キーボードやマウス等のマニュアル・データ・インプッタからの信号の受け付けをＣＰＵの側で拒否し、アプリケーションプログラムの使用やデータのリード，ライト，モデファイ等を禁止する処理である。
【００６３】
顔画像データ比較手段Ｂによる判定の結果が不一致となる場合としては、次に挙げる三つの可能性がある。
【００６４】
まず、その一つが利用者の入れ替わりである。この場合、顔画像データ記憶手段Ｊに記憶されているログイン済みの利用者の顔画像データと、入れ替わった利用者の顔画像データとは明らかに相違するので、顔画像データ比較手段Ｂによる判定の結果は必然的に不一致となる。
【００６５】
また、顔画像データ抽出手段Ａが同時に２以上の顔画像データを抽出する機能を有する場合においては、顔画像データ抽出手段Ａによって同時に２以上の顔画像データが抽出され、そのうちの一つが顔画像データ記憶手段Ｊに記憶されているログイン済みの利用者の顔画像データと略一致する可能性があるが、同時に２以上の顔画像データが抽出された場合、顔画像データ比較手段Ｂは、ログイン済みの利用者以外の第三者が端末のディスプレイを覗き込んでいるものと判定し、無条件に不一致の判定結果を出力する。
従って、第三者によるディスプレイの覗き込み等を検知して自動的に端末の使用を制限することが可能である。
２以上の顔画像データが抽出された場合には、少なくとも、ログイン済みの利用者以外の第三者が１名以上認識されていることを意味するので、抽出された顔画像データの各々と顔画像データ記憶手段Ｊに記憶されているログイン済みの利用者の顔画像データとを比較するまでもなく、不一致の判定結果を出力して構わない。
【００６６】
また、顔画像データ抽出手段Ａによって抽出された顔画像データのスケールが小さい場合、例えば、その画素数が少ないような場合においては、仮に、顔画像データ抽出手段Ａによって抽出された顔画像データが顔画像データ記憶手段Ｊに記憶されているログイン済みの利用者の顔画像データと略一致した場合であっても、ログイン済みの利用者が端末から席を離れているものと判定し、顔画像データ比較手段Ｂは最終的に不一致の判定結果を出力する。
【００６７】
このように、顔画像データ比較手段Ｂによる判定の結果が不一致となった場合、端末ロック手段Ｃに加え、顔画像データ送信手段Ｅと第２顔画像データ記憶手段Ｋおよびアラーム出力手段Ｆが作動する。
【００６８】
顔画像データ比較手段Ｂによる判定の結果が不一致となって端末ロック手段Ｃが作動した場合、顔画像データ送信手段Ｅは、この時点で顔画像データ抽出手段Ａによって抽出されている顔画像データ、つまり、顔画像データ比較手段Ｂによる判定の結果を不一致とさせた原因となっている顔画像データを社内ＬＡＮまたはインターネット等を介して当該端末に接続されている他の端末、例えば、監視用サーバ等に自動送信する。
各端末の顔画像データ送信手段Ｅから送信された顔画像データを記憶および表示する監視用サーバをネット上に設置しておけば、適正な利用者に成り済まそうとした第三者、あるいは、不正にディスプレイを覗き込もうとした第三者を遠隔地にある監視用サーバによって把握することができ、端末の不正利用者を容易に特定することができる。
【００６９】
また、第２顔画像データ記憶手段Ｋは、顔画像データ比較手段Ｂによる判定の結果が不一致となった場合に、顔画像データ抽出手段Ａによって抽出された顔画像データ、つまり、顔画像データ比較手段Ｂによる判定の結果を不一致とさせた原因となっている顔画像データを各種のログ情報と共に記憶する。
ログ情報としては、時刻，当該時点でオープンされていたファイルの名称，当該時点で起動されていたアプリケーションプログラムの名称等を始め、端末が内部的に認識可能な各種の情報を含めることができる。
従って、第２顔画像データ記憶手段Ｋの内容を後で確認するようにすれば、不正利用者の特定や機密が漏洩した可能性のあるファイル等の特定が可能である。
更に、第２顔画像データ記憶手段Ｋに記憶された顔画像データとログ情報を前述の顔画像データ送信手段Ｅを利用して監視用サーバに転送することもできる。
端末が有する第２顔画像データ記憶手段Ｋに記憶された情報を確認するためには、事後処理として第２顔画像データ記憶手段Ｋからのデータの読み出し作業が必要であり、このデータが確認されるまでの間に第２顔画像データ記憶手段Ｋの内容が不正利用者によって改竄されるといった可能性もあるが、同じデータが顔画像データ送信手段Ｅにより不正利用者の手の届かない監視用サーバに転送されるので、より高いセキュリティ性を保証することができる。
【００７０】
また、アラーム出力手段Ｆは、顔画像データ比較手段Ｂによる判定の結果が不一致となって端末ロック手段Ｃが作動した場合にアラーム信号を出力して警報を起動させ、周囲の人間の注意を喚起させる。
ワークステーションやパーソナルコンピュータ等のコンピュータ端末にはスピーカが組み込まれているのが一般的であるから、このスピーカを警報手段として利用することができる。無論、警告灯等を始めとする外部装置を作動させてもよい。
【００７１】
端末ロック解除手段Ｇは、適正な利用者すなわちログイン済みの利用者に負担をかけることなく端末の利用制限を解除するための手段である。端末ロック解除手段Ｇは、端末ロック手段Ｃの作動後に顔画像データ比較手段Ｂによる判定の結果が略一致となったことを検知して端末ロック手段Ｃの作動を解除し、適正な利用者による端末の継続利用を許容する。
ユーザＩＤやパスワードの入力あるいは指紋や網膜パターン等の再入力といった煩わしい作業を行わなくても適正な利用者が継続して端末を正常に使用することができるので、端末を利用した作業効率の向上に有益である。
【００７２】
更に、この端末ロック解除手段Ｇには、顔画像データ抽出手段Ｂによって抽出された顔画像データのスケールを判定するスケール判定機能が設けられ、抽出された顔画像データのスケールが設定値に満たない場合には、端末ロック解除手段Ｇの非作動状態がそのまま維持されるようになっている。
従って、端末から離間した利用者の顔が認識された際に不用意に端末の使用制限が解除されて第三者によるディスプレイの覗き込みや端末の不正使用といった問題が発生する心配はない。
【００７３】
端末ロック手段Ｃの作動後に顔画像データ比較手段Ｂによる判定の結果が略一致となって端末ロック解除手段Ｇが作動した場合には、端末ロック解除手段Ｇに加え、更に、顔画像データ表示手段Ｈが作動し、第２顔画像データ記憶手段Ｋに記憶されている顔画像データを読み出して自動的に端末のディスプレイに表示する。
適正な利用者が再認識されて端末の使用制限が解除された段階で第２顔画像データ記憶手段Ｋに記憶されていた顔画像データ、つまり、適正な利用者に成り済まそうとした第三者あるいは不正にディスプレイを覗き込もうとした第三者の情報がディスプレイに自動的に表示されるので、不正利用者を確実に特定することができ、また、第２顔画像データ記憶手段Ｋに記憶されたログ情報を適正な利用者が早急に参照できるので、第２顔画像データ記憶手段Ｋに対して不正利用者が行うデータ改竄等も困難となる。
【００７４】
監視周期調整手段Ｌ，第２監視周期調整手段Ｍ，第３監視周期調整手段Ｎの各々は、撮像手段Ｉと顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂ、要するに、利用者の監視と其の真贋判定に必要とされる画像処理や判定処理を行うために必要とされる各手段の作動周期の設定値を調整するためのものである。
【００７５】
このうち、監視周期調整手段Ｌは、ＣＰＵによる乱数発生処理等を利用して撮像手段Ｉと顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂの作動周期の設定値を無作為的に変更し、各手段が非作動となっている監視の隙を突いて端末が不正使用されることを防止する。
【００７６】
また、第２監視周期調整手段Ｍは、端末ロック手段Ｃの作動状態に応じ、端末ロック手段Ｃが非作動の状態においては、撮像手段Ｉと顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂの作動周期の設定値として相対的に長い周期の設定値を設定し、単位時間当たりに実行される画像取り込み処理や顔画像データの抽出処理および抽出された顔画像データと顔画像データ記憶手段Ｊの顔画像データとの比較処理等の回数を減らし、ＣＰＵの負荷を軽減化することによってアプリケーションプログラム等を用いた処理操作を円滑に行えるようにする。
一方、端末ロック手段Ｃが作動している状態、つまり、アプリケーションプログラム等が利用されていない環境下では、撮像手段Ｉと顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂの作動周期の設定値として相対的に短い周期の設定値を設定し、利用者の真贋判定に関わる処理にＣＰＵの処理能力の大半を投入することで、適正な利用者が端末の前に着座したことを素早く検知して端末ロック解除手段Ｇを作動させ、利用者側の無駄な待機時間をなくして利用者の作業性を向上させる。
【００７７】
そして、第３監視周期調整手段Ｎは、使用中のアプリケーションプログラムの種類に対応して撮像手段Ｉと顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂの作動周期の設定値を変更する。
ここでアプリケーションプログラムの種類と作動周期をどのように対応させるかは、その利用目的による。
例えば、重要なデータを取り扱うアプリケーションプログラムの使用中に端末の使用に関わるセキュリティを確保したいとするなら、セキュリティを重要視するアプリケーションプログラムに対応させて短い周期の設定値を設定するようにする。利用者の真贋判定が頻繁に行われるのでアプリケーションプログラムの動作が或る程度は遅れる場合があるが止むを得ない。
また、高速処理の必要なアプリケーションプログラムの動作を妨げないようにしたいといった場合には、高速処理の必要なアプリケーションプログラムに対応させて長い周期の設定値を設定するようにする。この場合、利用者の真贋判定を頻繁に行えなくなるのでセキュリティに関する能力は或る程度落ちるが止むを得ない。
【００７８】
監視周期調整手段Ｌ，第２監視周期調整手段Ｍ，第３監視周期調整手段Ｎは組み合わせて利用することが可能であるが、これらの手段を１つのみ、あるいは、２つ組み合わせて利用することも可能である。
【００７９】
比較判定強制手段Ｐは、使用中のアプリケーションプログラムからの照合要求を受けて即時的に撮像手段Ｉと顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂを作動させるためのものである。
比較判定強制手段Ｐが作動した場合は、監視周期調整手段Ｌ，第２監視周期調整手段Ｍ，第３監視周期調整手段Ｎによる作動周期の設定値は無視され、直ちに、撮像手段Ｉと顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂが作動する。
但し、この比較判定強制手段Ｐを作動させるためには、使用中のアプリケーションプログラムから照合要求を送出する必要があるので、基本的には、この端末で利用されるアプリケーションプログラムの側に、特定の処理操作に応じて照合要求を送出するといった機能を持たせる必要がある。
しかし、例えば、情報の表示に必要とされるハードディスクドライブ等からのデータのリードといった処理は、実質的にはオペレーティングシステムの側の管理で行われるので、アプリケーションプログラムからオペレーティングシステム側へのコマンドの受け渡しの段階で、このリード命令をアプリケーションプログラム側からの照合要求としてオペレーティングシステムが認識するといった内部処理を実行するようにすれば、必ずしも、アプリケーションプログラムそれ自体に改修作業を施すといった必要はない。
また、機密性を有するデータの表示に際してアプリケーションプログラムの側から照合要求が送出されるように構成すれば、利用者の適不適に応じてデータ表示の許可あるいは端末の使用制限を選択的に実行することができるようになり、データの安全性に関わるセキュリティが更に向上する。
【実施例１】
【００８０】
図２は本発明の端末利用者監視システムを適用した一実施例のコンピュータ端末１（以下、端末という）の構成の概略を示した機能ブロック図である。
【００８１】
端末１は、ワークステーションあるいはパーソナルコンピュータ等からなる通常のコンピュータシステムであり、演算手段としてのマイクロプロセッサ２（以下、ＣＰＵという），起動プログラムの一部等を記憶したＲＯＭ３，演算データの一時記憶等に用いられるＲＡＭ４，ハードディスクドライブ等からなる不揮発性メモリ５を備え、その入出力回路６には、マン・マシン・インターフェイスとして機能するキーボードおよびマウス等のマニュアル・データ・インプッタ７，ＣＲＴ等からなるディスプレイ８，スピーカ９が接続されている。
【００８２】
この実施例における撮像手段ＩはＣＣＤカメラ１０によって構成される。ＣＣＤカメラ１０は、入出力回路６を介してＣＰＵ２から入力される画像取り込み指令に応じて撮像処理を行い、撮像した画像を入出力回路６を介してＣＰＵ２に入力する。
インターフェイス１１は外部装置との間でデータの入出力を行なうためのもので、社内ＬＡＮやインターネット等の回線１２を介して他の端末、例えば、ネット上に設置された監視用サーバ１３等に接続されている。
【００８３】
ＣＰＵ２は、不揮発性メモリ５に格納された各種のアプリケーションプログラムの実行手段として従来と同様に機能する他、本実施例においては、図１に示した顔画像データ抽出手段Ａ，顔画像データ比較手段Ｂ，端末ロック手段Ｃ，顔画像データ更新手段Ｄ，顔画像データ送信手段Ｅ，アラーム出力手段Ｆ，端末ロック解除手段Ｇ，顔画像データ表示手段Ｈ，監視周期調整手段Ｌ，第２監視周期調整手段Ｍ，第３監視周期調整手段Ｎ，比較判定強制手段Ｐの実質的な機能実現手段としても機能する。
【００８４】
また、不揮発性メモリ５の記憶領域の一部は、顔画像データ記憶手段Ｊおよび第２顔画像データ記憶手段Ｋとして機能し、更に、利用者が端末１の前に着座していない状態で撮像した背景画像を記憶する背景画像記憶手段としても機能する。なお、背景画像は顔画像データの抽出に際して比較基準として利用されるもので、ＣＰＵ２は、ＣＣＤカメラ１０で撮像された画像と背景画像との差分に基いて人間の存在を認識し、公知の画像処理によって其の顔画像データを抽出する。
不揮発性メモリ５には、また、第２監視周期調整手段Ｍや第３監視周期調整手段ＮがＣＣＤカメラ１０と顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂの作動周期を調整する際に利用する設定値を記憶したテーブルが保存されている（図９参照）。
【００８５】
次に、顔画像データ抽出手段Ａ，顔画像データ比較手段Ｂ，端末ロック手段Ｃ，顔画像データ更新手段Ｄ，顔画像データ送信手段Ｅ，アラーム出力手段Ｆ，端末ロック解除手段Ｇ，顔画像データ表示手段Ｈ，監視周期調整手段Ｌ，第２監視周期調整手段Ｍ，第３監視周期調整手段Ｎ，比較判定強制手段Ｐとして機能するＣＰＵ２の処理動作について、図３〜図７および図８のフローチャートを参照して詳細に説明する。
このうち、図３は端末１へのログインに際して実行される処理の概略を示したフローチャート、図４〜図７はログイン中に実行される端末利用者の監視処理の概略を示したフローチャート、また、図８はログイン中に実行可能なアプリケーションプログラムに付加されたサブルーチンプログラムの一部について簡略化して示したフローチャートであり、少なくとも、図４〜図７の処理はログイン実行後に所定周期毎の処理として繰り返し実行されるようになっている。
【００８６】
端末１に電源が投入されてイニシャライズ処理が完了すると、ＣＰＵ２はステップａ１の判定処理とステップａ２０の判定処理を所定周期毎に繰り返し実行し、利用者が端末１に対してログイン要求を入力するのを待つ待機状態に入る（ステップａ１，ステップａ２０）。
【００８７】
そして、利用者からのログイン要求がステップａ１の判定処理で検出されると、ＣＰＵ２は、ログイン時における顔画像データ抽出処理の失敗回数を数えるカウンタＣ１の値をリセットすると共に（ステップａ２）、入出力回路６を介してＣＣＤカメラ１０に画像取り込み指令を送出し、ＣＣＤカメラ１０で撮像された画像をＲＡＭ４に一時記憶する（ステップａ３）。
【００８８】
次いで、顔画像データ抽出手段Ａとして機能するＣＰＵ２は、ＲＡＭ４に一時記憶された画像と不揮発性メモリ５に予め記憶されている背景画像とを比較して相違部分について画像分析を施すことにより、今回ログインしようとしている利用者の顔画像データを抽出する（ステップａ４）。
【００８９】
そして、ＣＰＵ２は、ステップａ４の処理が適切に行われて利用者の顔画像データが抽出されたか否か（ステップａ５）、抽出された顔画像データが２つ以上あるか否か（ステップａ６）、更には、今回の撮像で取り込まれた利用者の顔画像データのスケールが正常であるか否かを、例えば、顔画像データに含まれる画素数の大小に基いて判定する（ステップａ７）。
【００９０】
ここで、利用者の顔画像データが適切に抽出され、かつ、顔画像データが１つのみであって、しかも、顔画像データのスケールが正常で利用者の顔が一定範囲以内の距離で撮像されていることが確認された場合、要するに、ステップａ５の判定結果が真でステップａ６の判定結果が偽、かつ、ステップａ７の判定結果が真である場合に限り、ＣＰＵ２は、今回抽出された顔画像データを不揮発性メモリ５の顔画像データ記憶手段Ｊに真贋判定の比較基準となる顔画像データとして記憶する（ステップａ８）。
【００９１】
一方、ステップａ４の処理が適切に行われずに利用者の顔画像データが抽出されなかったことがステップａ５の判定処理で確認された場合、または、抽出された顔画像データが２つ以上あったことがステップａ６の判定処理で確認された場合、あるいは、今回の撮像で取り込まれた利用者の顔画像データのスケールが正常でないことがステップａ７の判定処理で確認された場合には、ＣＰＵ２は、顔画像データの実質的な抽出処理に失敗したものと見做してカウンタＣ１の値を１インクリメントし（ステップａ１５）、カウンタＣ１の計数値が予め設定された失敗回数の許容値Ｃ１Ｓに達しているか否かを判定する（ステップａ１６）。
【００９２】
ここで、カウンタＣ１の計数値が許容値Ｃ１Ｓに達していなければ、ＣＰＵ２は、前記と同様にしてステップａ３以降の処理をリトライ処理として繰り返し実行し、適正な顔画像データを抽出すべく試みる。
【００９３】
そして、このような処理が繰り返し実行される間にカウンタＣ１の計数値が許容値Ｃ１Ｓに達してステップａ１６の判定結果が真となると、ＣＰＵ２は、顔画像データの実質的な抽出処理に何等かの問題が発生しているものと見做し、ログアウトの実行もしくはログインに関連するリトライ処理の継続の何れか一方を選択する旨のダイアログをディスプレイ８に表示して利用者に知らせる（ステップａ１７）。
【００９４】
ここで、利用者がログアウトの実行を選択すると、ＣＰＵ２は、ステップａ１８の判定処理で利用者による選択操作を検出し、ログアウト処理を実行した後（ステップａ１９）、ステップａ１およびステップａ２０の判定処理を所定周期毎に繰り返し実行する初期の待機状態に復帰する。
【００９５】
一方、ログインに必要とされる処理操作の継続を利用者が選択すると、ＣＰＵ２は、前記と同様にしてステップａ３以降の処理をリトライ処理として繰り返し実行し、適正な顔画像データを抽出すべく試みる。
【００９６】
そして、最終的に、ステップａ７の判定結果が真となって、今回ログインしようとしている利用者の顔画像データが顔画像データ記憶手段Ｊに適切に記憶されると（ステップａ８）、ＣＰＵ２は、この利用者によるログイン要求を受け付けてログイン処理を実行し、当該利用者による端末１の操作を許容した後（ステップａ９）、ログイン中における顔画像データ抽出処理の失敗回数を数えるカウンタＣ２の値と、ログイン中における顔画像データ比較手段Ｂの不一致判定結果の連続出力回数を数えるカウンタＣ３の値と、顔画像データ抽出処理のリトライ処理の実行中を示すフラグＦ１の値、および、端末ロック手段Ｃの作動中を示すフラグＦ２の値をリセットし（ステップａ１０〜ステップａ１３）、ＣＣＤカメラ１０の撮像周期を制御するタイマｔ１をリセットして再スタートさせ（ステップａ１４）、この周期の処理を終了する。
【００９７】
次周期以降の処理では既にログインが実行されているので、ステップａ１の判定結果が偽かつステップａ２０の判定結果が真となり、ＣＰＵ２によるログイン中の処理が実行されることになる。
【００９８】
ログイン中の処理が開始されると、まず、比較判定強制手段Ｐの一部として機能するＣＰＵ２がアプリケーションプログラムからの照合要求の有無を判定する（ステップａ２１）。
【００９９】
そして、アプリケーションプログラムからの照合要求が検出されなければ、第３監視周期調整手段Ｎの一部として機能するＣＰＵ２が実行中のアプリケーションプログラムの有無と其の種別を判定し、図９に示されるようなテーブルから現時点で実行されているアプリケーションプログラムの種別に応じたレコードを特定し（ステップａ２２）、更に、第２監視周期調整手段Ｍの一部として機能するＣＰＵ２が、この時点で既にフラグＦ２がセットされているか否か、つまり、端末ロック手段Ｃが既に作動しているか否かを判定する（ステップａ２６）。
【０１００】
ここで、ステップａ２６の判定結果が偽となった場合、つまり、端末ロック手段Ｃが作動していないと判定された場合には、第２監視周期調整手段Ｍの一部として機能するＣＰＵ２が、当該レコードの中から相対的に長い周期の設定値を選択し、その値をＣＣＤカメラ１０と顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂの作動周期として設定値記憶レジスタＴ１に記憶させる（ステップａ２７）。
従って、例えば、図９に示されるアプリケーションプログラムＡの実行中に端末ロック手段Ｃが作動していない状況下では、設定値記憶レジスタＴ１に相対的に長い方の設定値Ｔａ１がセットされることになる。
【０１０１】
一方、ステップａ２６の判定結果が真となった場合、つまり、端末ロック手段Ｃが作動していると判定された場合には、第２監視周期調整手段Ｍの一部として機能するＣＰＵ２が、当該レコードの中から相対的に短い周期の設定値を選択し、その値をＣＣＤカメラ１０と顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂの作動周期として設定値記憶レジスタＴ１に記憶させる（ステップａ２８）。
従って、例えば、図９に示されるアプリケーションプログラムＡの実行中に端末ロック手段Ｃが作動していれば、設定値記憶レジスタＴ１に相対的に短い方の設定値Ｔａ２がセットされることになる。
【０１０２】
これに対し、ステップａ２２の判定処理において、第３監視周期調整手段Ｎの一部として機能するＣＰＵ２により、実行中のアプリケーションプログラムがないと判定された場合には、図９に示されるようなテーブルから、実行中のアプリケーションプログラムなしに対応するレコードが特定される。
この場合、第２監視周期調整手段Ｍの一部として機能するＣＰＵ２は、フラグＦ２がセットされているか否か、つまり、端末ロック手段Ｃが作動しているか否かに応じ（ステップａ２３）、端末ロック手段Ｃが作動していなければ、当該レコードの中から相対的に長い周期の設定値ＴＸ１を選択して設定値記憶レジスタＴ１に記憶させ（ステップａ２４）、また、端末ロック手段Ｃが作動していれば、当該レコードの中から相対的に短い周期の設定値ＴＸ２を選択して設定値記憶レジスタＴ１に記憶させる（ステップａ２５）。
従って、アプリケーションプログラムが実行されていない状況下で端末ロック手段Ｃが作動していなければ設定値記憶レジスタＴ１に設定値ＴＸ１がセットされ、また、アプリケーションプログラムが実行されていない状況下で端末ロック手段Ｃが作動していれば、設定値記憶レジスタＴ１に設定値ＴＸ２がセットされることになる。
【０１０３】
端末ロック手段Ｃの作動・非作動に応じて設定値記憶レジスタＴ１の設定を変更するのは、端末１の使用が許容されいる状況下、つまり、端末ロック手段Ｃが非作動の状況下でＣＣＤカメラ１０や顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂを頻繁に作動させると、ＣＰＵ２に過剰な負荷が掛かる恐れがあるからである。
【０１０４】
次いで、監視周期調整手段Ｌとして機能するＣＰＵ２が作動し、この時点で設定値記憶レジスタＴ１に設定されている作動周期の設定値に基いて乱数を生成し、この値を設定値記憶レジスタＴ１に改めて再記憶させる（ステップａ２９）。
【０１０５】
この処理は、例えば、０〜１までの実数値を無作為的に生成する関数ＲＮＤ（Ｘ）を利用し、Ｔ１←２・Ｔ１・ＲＮＤ（Ｘ）の演算式を実行することによって達成され得る。
ここで、仮に、ステップａ２４，ステップａ２５，ステップａ２７もしくはステップａ２８の処理でＴ１の初期値として１０秒が設定されていたとするなら、ステップａ２９の処理で生成される乱数の値は０秒〜２０秒の範囲となり、その平均値は、初期値である１０秒に等しい。
【０１０６】
既に述べた通り、端末ロック手段Ｃが作動していない場合の設定値Ｔ１の値は端末ロック手段Ｃが作動している場合の設定値Ｔ１の値に比べて相対的に長くするのが原則であり、仮に、端末ロック手段Ｃが作動していない場合の設定値Ｔ１の初期値を１０秒、端末ロック手段Ｃが作動している場合の設定値Ｔ１の初期値を５秒とすると、Ｔ１←２・Ｔ１・ＲＮＤ（Ｘ）の例では、端末ロック手段Ｃが作動していない場合の設定値Ｔ１が取り得る値が０秒〜２０秒の範囲、また、端末ロック手段Ｃが作動している場合の設定値Ｔ１が取り得る値は０秒〜１０秒の範囲となり、場合によっては、端末ロック手段Ｃが作動していない場合の設定値Ｔ１の値が端末ロック手段Ｃが作動している場合の設定値Ｔ１の値に比べて相対的に短くなる可能性もある。
【０１０７】
端末ロック手段Ｃが作動していない場合の設定値Ｔ１の値が端末ロック手段Ｃが作動している場合の設定値Ｔ１の値に比べて必ず長くなるようにする必要があれば、例えば、初期値に対して８０％〜１２０％の範囲で乱数値を生成するように構成し、端末ロック手段Ｃが作動していない場合の設定値Ｔ１の値を、端末ロック手段Ｃが作動している場合の設定値Ｔ１の値に比べて１５０％以上の大きさとなるように設定すればよい。乱数の生成処理については設計上の問題である。
【０１０８】
この実施例では、使用中のアプリケーションプログラムの種類に対応して設定値Ｔ１を変更する第３監視周期調整手段Ｎと、端末ロック手段Ｃの作動状態に応じて設定値Ｔ１を変更する第２監視周期調整手段Ｍと、乱数発生処理等を利用して設定値Ｔ１を無作為的に変更する監視周期調整手段Ｌとを直列的に組み合わせることによってＣＣＤカメラ１０と顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂの作動周期の設定値Ｔ１の値を変更するようにしているが、これらの手段を１つのみ、あるいは、２つ組み合わせて設定値Ｔ１を変更するように構成することも可能である。
【０１０９】
次いで、ＣＰＵ２は、顔画像データ抽出処理に関わるリトライ処理の実行中を示すフラグＦ１がセットされているか否かを判定し（ステップａ３０）、リトライ処理が行われていなければ、更に、ＣＣＤカメラ１０による撮像周期を制御するタイマｔ１の計時が設定値Ｔ１に達しているか否かを判定する（ステップａ３１）。
【０１１０】
そして、タイマｔ１の計時が設定値Ｔ１に達していなければ、ＣＰＵ２は、利用者からのログアウト要求が入力されているか否かを判定し（ステップａ３５）、ログアウト要求が入力されていなければ、更に、端末ロック手段Ｃの作動中を示すフラグＦ２がセットされているか否かを判定するが（ステップａ３８）、ログイン直後の現時点では端末ロック手段Ｃは未だ作動していないので、ＣＰＵ２は、利用者による端末１の使用を許可し、各種アプリケーションプログラム等を利用した通常の処理操作を１サイクル分だけ実行して当該周期の処理を終了し（ステップａ３９）、改めて、次周期の処理を開始する。
【０１１１】
その後、ステップａ２１の処理で使用中のアプリケーションプログラムからの照合要求の入力が検出されるか、ステップａ３１の判定処理でタイマｔ１の計時が設定値Ｔ１に達したことが確認されるか、もしくは、ステップａ３５の判定処理で利用者からのログアウト要求が検出されるまでの間、ＣＰＵ２は、次周期以降の処理で前記と同様にしてステップａ１，ステップａ２０〜ステップａ３１，ステップａ３５およびステップａ３８〜ステップａ３９の処理を繰り返し実行し、この間、ステップａ３９の処理の実行が許容されて、各種アプリケーションプログラム等を利用した利用者による通常の処理操作が行われることになる。
【０１１２】
無論、この間に使用するアプリケーションプログラムが変更されたり、使用中のアプリケーションプログラムを終了させたりするといったことも考えられるが、第３監視周期調整手段Ｎはリアルタイムで作動しているので（ステップａ２２〜ステップａ２８参照）、アプリケーションプログラムの使用の有無および其の種別の変更に応じて設定値Ｔ１の値も自動的に更新される。
更に、設定値Ｔ１の値は乱数化処理によって無作為的に変動させられるので、その値を外部から特定するといったことは事実上不可能である。
【０１１３】
このような処理が繰り返し実行される間に、ステップａ３１の判定処理においてタイマｔ１の計時が設定値Ｔ１に達したことが確認されると、ＣＰＵ２は、ＣＣＤカメラ１０による撮像周期を制御するタイマｔ１をリセットして再スタートさせた後（ステップａ３２）、前記と同様にしてＣＣＤカメラ１０に画像取り込み指令を送出し、ＣＣＤカメラ１０で撮像された画像を取り込み（ステップａ３３）、顔画像データ抽出手段Ａとして機能するＣＰＵ２が、ＣＣＤカメラ１０で撮像された画像から利用者の顔画像データを抽出する（ステップａ３４）。
【０１１４】
そして、顔画像データ比較手段Ｂとして機能するＣＰＵ２は、利用者の顔画像データが適切に抽出されたか否か（ステップａ４０）、抽出された顔画像データが２つ以上あるか否か（ステップａ４１）、更には、今回の撮像で取り込まれた利用者の顔画像データとログイン時に顔画像データ記憶手段Ｊに記憶された顔画像データとが略一致しているか否かと（ステップａ４２）、今回の撮像で取り込まれた利用者の顔画像データのスケールが正常であるか否かを判定する（ステップａ４３）。
【０１１５】
そして、利用者の顔画像データが適切に抽出され（ステップａ４０の判定結果が真）、抽出された顔画像データが１つのみであって（ステップａ４１の判定結果が偽）、この顔画像データと不揮発性メモリ５の顔画像データ記憶手段Ｊに記憶されている顔画像データとが略一致し（ステップａ４２の判定結果が真）、かつ、そのスケールが設定値以上であって利用者が端末１の前から遠ざかっていないことが確認された場合に限って（ステップａ４３の判定結果が真）、顔画像データ更新手段Ｄとして機能するＣＰＵ２が、この顔画像データを不揮発性メモリ５の顔画像データ記憶手段Ｊに更新して記憶させる（ステップａ４４）。
【０１１６】
顔画像データのスケールが設定値以上である場合に限って不揮発性メモリ５の顔画像データ記憶手段Ｊの内容を更新することにより、比較基準となる顔画像データの劣化を防止することが可能である。
【０１１７】
次いで、ＣＰＵ２は、端末ロック手段Ｃの作動中を示すフラグＦ２がセットされているか、つまり、この時点で既に端末ロック手段Ｃが作動しているか否かを判定するが（ステップａ４５）、ログイン直後の現時点では端末ロック手段Ｃは作動しておらずフラグＦ２はリセット状態に保持されているので、ＣＰＵ２は、ステップａ３５およびステップａ３８の判定処理実行後、利用者による端末１の使用を許可して各種アプリケーションプログラム等を利用した通常の処理操作を１サイクル分だけ実行して当該周期の処理を終了し（ステップａ３９）、改めて、次周期の処理を開始する。
【０１１８】
以下、所定周期毎に繰り返し実行されるステップａ２１の判定処理で使用中のアプリケーションプログラムからの照合要求の入力が検出されるか、もしくは、ステップａ３５の判定処理で利用者からのログアウト要求が検出されるまでの間、設定周期Ｔ１の経過がステップａ３１の判定処理で確認される毎に、ステップａ４０〜ステップａ４３の判定結果が適正であることを条件に、顔画像データ更新手段Ｄとして機能するＣＰＵ２が、ステップａ４４の処理で新たな顔画像データを不揮発性メモリ５の顔画像データ記憶手段Ｊに更新して記憶させる。そして、この間、利用者による端末１の使用は許容され続ける。
【０１１９】
このように、タイマｔ１が設定値Ｔ１を計時する毎に顔画像データ記憶手段Ｊの内容が最新のものに更新される結果、顔画像データ比較手段Ｂとして機能するＣＰＵ２は常に最新の顔画像データに基いて利用者の適不適に関する認証処理を行うことができ、照合の対象として利用される髪型の変化や顔の経年変化によって照合精度が劣化するといった問題が解消される。
【０１２０】
また、ＣＣＤカメラ１０による撮像周期を制御するタイマｔ１の設定値Ｔ１はＣＰＵ２の処理能力さえ十分であれば短く設定することができるので、髪型の変化や顔の経年変化の他、一時的な髪型の乱れや利用者の表情の変化、更には、利用者の姿勢の変化によるＣＣＤカメラ１０と利用者との離間距離の変化、つまり、ＣＣＤカメラ１０の結像面における顔の大きさの変化といった変動要素にも対処して、同一人物は同一人物として、また、別の人物は別の人物として適正な判定を行うことが可能である。
【０１２１】
一方、このような処理が繰り返し実行される間に、ステップａ３４の処理で利用者の顔画像データが適切に抽出されずにステップａ４０の判定結果が偽となった場合には、利用者が適切な方向を向いていないために顔画像データの抽出ができず、利用者の真贋判定自体が不能となっている可能性がある。
【０１２２】
これに対し、顔画像データのスケールが設定値未満となってステップａ４３の判定結果が偽となった場合には、最初にログインした利用者が１名のみ検出されているものの、利用者の位置が端末１の前から遠ざかっているといった可能性があり、更には、適正な利用者が着座位置から遠ざかっているために利用権限のない第三者がディスプレイ８を覗き込み易い状態となっているといったことも考えられる。
また、この顔画像データが適正な利用者のものであったとしても、この画像データを不揮発性メモリ５の顔画像データ記憶手段Ｊに上書きしてしまうと、情報量（スケール）の不足から、比較基準となる顔画像データに劣化が生じてしまうといった恐れもある。
【０１２３】
これらは何れも顔画像データの実質的な抽出処理が失敗したことを意味する現象であると解釈すことができる。
【０１２４】
従って、このような場合、ＣＰＵ２は、顔画像データ抽出処理のリトライ処理の実行中を示すフラグＦ１をセットしてリトライ処理の開始を記憶すると共に（ステップａ５１）、ログイン中における顔画像データ抽出処理の失敗回数を数えるカウンタＣ２の値を１インクリメントし（ステップａ５２）、該カウンタＣ２の計数値が予め設定された失敗回数の許容値Ｃ２Ｓに達しているか否かを判定する（ステップａ５３）。
【０１２５】
ここで、カウンタＣ２の計数値が許容値Ｃ２Ｓに達していなければ、ＣＰＵ２は、前記と同様にしてステップａ３５およびステップａ３８〜ステップａ３９の処理を繰り返し実行し、各種アプリケーションプログラム等を使用した利用者の通常の処理操作の実行を１サイクル分だけ許容して当該周期の処理を終了し、改めて、次周期の処理を開始する。
顔画像データの実質的な抽出処理が失敗したからといって、直ちに端末１の使用が制限されるわけではない。
【０１２６】
このようにしてフラグＦ１がセットされる結果、次周期の処理ではステップａ３０の判定結果が真となってステップａ３１の判定処理は非実行とされ、撮像周期を制御するタイマｔ１が設定値Ｔ１を計時したか否かに関わりなく、直ちに、ステップａ３３〜ステップａ３４およびステップａ４０〜ステップａ４３に至る利用者の真贋判定に関わるリトライ処理が実行されることになる。
【０１２７】
顔画像データの抽出に関わるリトライ処理は、連続で最高Ｃ２Ｓ回まで許容され、この間、端末１の使用も継続して許容され続ける。
【０１２８】
しかし、顔画像データ抽出処理のリトライ処理が連続してＣ２Ｓ回失敗したことがステップａ５３の判定処理で検出されると、ＣＰＵ２は、この失敗を、利用者が意識的にＣＣＤカメラ１０から顔を背けていることによって生じる画像抽出処理の失敗、あるいは、適正な利用者が端末１から離席していることによって生じる画像抽出処理の失敗、つまり、実質的な真贋判定において顔画像データが不一致となった場合と同程度の重みのある異常が発生したものと見做し、リトライ処理の継続を放棄して、カウンタＣ２およびフラグＦ１をリセットする（ステップａ５４，ステップａ５５）。
【０１２９】
次いで、ＣＰＵ２は、この段階で既にフラグＦ２がセットされているか否か、つまり、この時点で既に端末ロック手段Ｃが作動しているか否かを判定する（ステップａ５６）。
【０１３０】
そして、フラグＦ２が未設定であって端末ロック手段Ｃが作動していなければ、端末ロック手段Ｃとして機能するＣＰＵ２が改めてフラグＦ２をセットし、端末１の使用制限の開始を記憶する（ステップａ６２）。
同時に、アラーム出力手段Ｆとして機能するＣＰＵ２が入出力回路６を介して端末１のスピーカ９にアラーム信号を出力し、スピーカ９を作動させて警報音を出力し、周辺にいる人々に不正使用の発生を警告する（ステップａ６３）。
【０１３１】
この際、入出力回路６の駆動を制限してディスプレイ８に対する表示出力を一時停止したり、あるいは、スクリーンセイバーを起動する等して、オープン中のファイルがログイン済みの利用者以外の第三者によって参照されるのを禁止するようにしてもよい。
【０１３２】
次いで、ＣＰＵ２は、前記と同様にしてステップａ３５，ステップａ３８の判定処理を実行することになるが、前述のようにしてフラグＦ２がセットされる結果、ステップａ３８の判定結果は偽となり、ステップａ３９の処理が非実行とされ、利用者による端末１の使用が完全に禁止される。これが、端末ロック手段Ｃが作動したときの状態である。
【０１３３】
これに対し、ステップａ４１の判定結果が真となって２以上の顔画像データが検出された場合、もしくは、ステップａ４３の判定結果が偽となって、今回取り込まれた顔画像データと不揮発性メモリ５の顔画像データ記憶手段Ｊに記憶されている顔画像データとが不一致となったことが確認された場合には、少なくとも顔画像データの抽出には成功しており、しかも、ディスプレイ８を覗き込んでいる１名以上の第三者もしくは最初にログインした利用者に成り代わろうとしている１名の第三者の顔画像データが抽出されていること、つまり、利用者の顔画像データの真贋判定の結果が明らかに不一致であることを意味する。
【０１３４】
この場合、ＣＰＵ２は、顔画像データ比較手段Ｂの不一致判定結果の連続出力回数を数えるカウンタＣ３の値を１インクリメントし（ステップａ５７）、該カウンタＣ３の計数値が予め設定された失敗回数の許容値Ｃ３Ｓに達しているか否かを判定する（ステップａ５８）。
【０１３５】
ここで、カウンタＣ３の計数値が許容値Ｃ３Ｓに達していなければ、ＣＰＵ２は、前記と同様にしてステップａ３５およびステップａ３８〜ステップａ３９の処理を繰り返し実行し、各種アプリケーションプログラム等を使用した利用者の通常の処理操作の実行を１サイクル分だけ許容して当該周期の処理を終了し、改めて、次周期の処理を開始する。
つまり、前述した顔画像データの抽出処理の失敗の場合と同様、顔画像データ比較手段Ｂによる判定結果が不一致になったからといって、直ちに端末１の使用が制限されるわけではない。但し、Ｃ３Ｓ＝１と設定すれば、顔画像データ比較手段Ｂによる判定結果が最初に不一致となった時点で直ちに端末１の使用を制限することも可能である。
【０１３６】
顔画像データの不一致に関する異常は最高Ｃ３Ｓ回まで許容され、この間、端末１の使用も継続して許容され続ける。
【０１３７】
しかし、顔画像データ比較手段Ｂによる判定結果の異常がＣ３Ｓ回発生したことがステップａ５８の判定処理で検出されると、ＣＰＵ２は、ディスプレイ８を不正に覗き込んでいる第三者が存在するか、もしくは、最初にログインした利用者に成り代わろうとした第三者が端末１の前に着座しているものと見做して、この段階で既にフラグＦ２がセットされているか否か、つまり、この時点で既に端末ロック手段Ｃが作動しているか否かを判定する（ステップａ５９）。
【０１３８】
そして、フラグＦ２が未設定であって端末ロック手段Ｃが作動していなければ、ＣＰＵ２は、今回の抽出処理で抽出された顔画像データ、つまり、ディスプレイ８を覗き込んだ第三者や適正な利用者に成り代わろうとした第三者の情報を保有した顔画像データを不揮発性メモリ５の第２顔画像データ記憶手段Ｋにログ情報と共に記憶させ（ステップａ６０）、更に、顔画像データ送信手段Ｅとして機能するＣＰＵ２が、第２顔画像データ記憶手段Ｋに記憶されている情報に当該端末１に固有のＩＤを加え、これらの情報を、インターフェイス１１および回線１２を介して監視用サーバ１３に転送する（ステップａ６１）。
【０１３９】
ログ情報としては、現在時刻の他、当該時点でオープンされていたファイルの名称や当該時点で起動されていたアプリケーションプログラムの名称等を始め、ＣＰＵ２が内部的に認識可能な各種の情報を含めるようにする。
【０１４０】
このようにして、ディスプレイ８を覗き込んだ１名以上の第三者もしくは最初にログインした利用者に成り代わろうとした第三者の顔画像データが直ちに顔画像データ送信手段Ｅにより不正利用者の手の届かない監視用サーバ１３に転送されるので、仮に、不正利用者が第２顔画像データ記憶手段Ｋのデータを改竄あるいは消去することが技術的に可能であったとしても、監視用サーバ１３の側に不正使用の履歴に関わる情報を確実に残すことができ、高いセキュリティ性が保証される。
【０１４１】
次いで、端末ロック手段Ｃとして機能するＣＰＵ２がフラグＦ２をセットし、端末１の使用制限の開始を記憶し（ステップａ６２）、更に、アラーム出力手段Ｆとして機能するＣＰＵ２が入出力回路６を介して端末１のスピーカ９にアラーム信号を出力し、スピーカ９を作動させて警報音を出力し、周辺にいる人々に不正使用の発生を警告する（ステップａ６３）。
【０１４２】
前記と同様、入出力回路６の駆動を制限してディスプレイ８に対する表示出力を一時停止したり、あるいは、スクリーンセイバーを起動する等して、オープン中のファイルがログイン済みの利用者以外の第三者によって参照されるのを禁止するようにすることが可能である。
【０１４３】
次いで、ＣＰＵ２は、前記と同様にしてステップａ３５，ステップａ３８の判定処理を実行することになるが、前述のようにしてフラグＦ２がセットされる結果、ステップａ３８の判定結果は偽となり、ステップａ３９の処理が非実行とされ、利用者による端末１の使用が完全に禁止される。これが、端末ロック手段Ｃが作動したときの状態である。
【０１４４】
このようにして端末ロック手段Ｃが作動した後、更に、次周期以降の処理で顔画像データ比較手段Ｂによる判定結果が不一致のままであり続けた場合には、カウンタＣ３の値はＣ３＞Ｃ３Ｓに保持されるが、その時点で既にフラグＦ２がセットされているので、ステップａ５９の判定結果は真となり、端末ロック手段Ｃの起動に関わるステップａ６２，ステップａ６３等の処理は非実行とされ、問題のある顔画像データを不揮発性メモリ５の第２顔画像データ記憶手段Ｋにログ情報と共に追加的に記憶させる処理と（ステップａ６４）、これらの追加情報をインターフェイス１１および回線１２を介して監視用サーバ１３に転送する処理のみが実行されて（ステップａ６５）、カウンタＣ３の値がリセットされることになる（ステップａ６６）。
【０１４５】
このようにしてカウンタＣ３の値がリセットされてもフラグＦ２の設定状態は其のまま保持されるので、更に、次周期以降の処理で顔画像データ比較手段Ｂによる判定結果が不一致の状態が継続すれば、顔画像データ比較手段Ｂの不一致判定結果の出力回数を数えるカウンタＣ３の値が設定値Ｃ３Ｓを計数してステップａ５８，ステップａ５９の判定結果が真となる毎に、その時点で問題となっている顔画像データが不揮発性メモリ５の第２顔画像データ記憶手段Ｋにログ情報と共に追加的に記憶され（ステップａ６４）、これらの追加情報がインターフェイス１１および回線１２を介して監視用サーバ１３に逐次転送されることになる（ステップａ６５）。
【０１４６】
そして、顔画像データ比較手段Ｂによる判定結果が不一致の状態が継続する間はフラグＦ２の設定状態が保持されるので、端末１の使用制限も維持して行われる。
【０１４７】
また、端末ロック手段Ｃが一旦作動すると前述した第２監視周期調整手段ＭによってＣＣＤカメラ１０と顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂの作動周期の設定値Ｔ１が相対的に短い値に切り替えられるので、ステップａ３２〜ステップａ３４，ステップａ４０〜ステップａ４３等に示される利用者の真贋判定に関わる画像処理や判定処理が頻繁に行われることになり、適正な利用者が端末１の前に着座した場合には、これを早急に検出することが可能な状態となる。
【０１４８】
そして、このような処理が繰り返し実行される間に、利用者の顔画像データが適切に抽出され（ステップａ４０の判定結果が真）、抽出された顔画像データが１つのみであって（ステップａ４１の判定結果が偽）、この顔画像データと不揮発性メモリ５の顔画像データ記憶手段Ｊに記憶されている顔画像データとが略一致し（ステップａ４２の判定結果が真）、かつ、そのスケールが設定値以上であって利用者が端末１の前に適切に着座したことが確認されると（ステップａ４３の判定結果が真）、顔画像データ更新手段Ｄとして機能するＣＰＵ２が再び作動して当該顔画像データを不揮発性メモリ５の顔画像データ記憶手段Ｊに更新して記憶させる（ステップａ４４）。
【０１４９】
次いで、ＣＰＵ２は、フラグＦ２がセットされているか否か、つまり、この時点で端末ロック手段Ｃが作動しているか否かを判定するが（ステップａ４５）、この場合、端末ロック手段Ｃが作動しているのでステップａ４５の判定結果は真となる。
【０１５０】
このようにして、適正な利用者が端末１の前に着座したことが確認されると、ＣＰＵ２は、アラーム信号の出力を停止してスピーカ９による警報音の出力を終了させると共にカウンタＣ３の値をリセットし（ステップａ４６，ステップａ４７）、更に、端末ロック解除手段Ｇとして機能するＣＰＵ２が、フラグＦ２をリセットして端末１の使用制限を解除する（ステップａ４８）。
【０１５１】
なお、入出力回路６の駆動を制限して表示出力を一時停止していた場合には当該時点で表示出力を再開し、また、スクリーンセイバーを作動させていた場合には、この時点でスクリーンセイバーの作動を停止させるようにする。
【０１５２】
使用制限を解除するためにユーザＩＤやパスワードの入力あるいは指紋や網膜パターン等の再入力といった煩わしい作業を行う必要はなく、適正な利用者が端末１の前に着座すれば自動的に使用制限を解除することができるので、端末１を利用した作業効率が向上する。
【０１５３】
また、端末ロック解除手段Ｇには、顔画像データのスケールが設定値未満となってステップａ４３の判定結果が偽となった場合に端末１の使用制限を其のまま維持するスケール判定機能が設けられているので、端末１から離間した利用者の顔が認識された際に不用意に端末１の使用制限が解除されてディスプレイ８が覗き込まれたり端末１が不正使用されたりするといった不都合はない。
【０１５４】
次いで、顔画像データ表示手段Ｊとして機能するＣＰＵ２が不揮発性メモリ５の第２顔画像データ記憶手段Ｋにアクセスし、第２顔画像データ記憶手段Ｋに顔画像データやログ情報が記憶されているか否かを判定する（ステップａ４９）。
そして、顔画像データやログ情報が記憶されていれば、これらの顔画像データやログ情報、つまり、ディスプレイ８を覗き込んだ第三者や適正な利用者に成り代わろうとした第三者の顔画像データと、これらの不正利用者によって利用された可能性のあるファイルの名称やアプリケーションプログラムの名称および其の使用時刻等をディスプレイ８に表示して、適正な利用者に知らせる（ステップａ５０）。
【０１５５】
このように、第２顔画像データ記憶手段Ｋのデータ内容は端末１の使用制限が解除された時点で自動的にディスプレイ８上に表示されるので、第２顔画像データ記憶手段Ｋの内容を確認する作業を失念するといった心配は全くない。
また、第２顔画像データ記憶手段に記憶された顔画像データやログ情報を適正な利用者に早急に知らせることができるので、第２顔画像データ記憶手段Ｋに対して不正利用者がデータの改竄や消去等を行う機会も減らすことができる。
【０１５６】
次いで、ＣＰＵ２は、前記と同様にしてステップａ３５およびステップａ３８の判定処理を実行するが、この時点では既にフラグＦ２がリセットされているので、ステップａ３８の判定結果は真となる。
【０１５７】
従って、ＣＰＵ２は、端末１の使用を許可し、各種アプリケーションプログラム等を使用した利用者の通常の処理操作の実行を１サイクル分だけ許容して当該周期の処理を終了し（ステップａ３９）、改めて、次周期の処理を開始する。
【０１５８】
このようにしてフラグＦ２がリセットされ、端末ロック手段Ｃの作動が解除されると、前述した第２監視周期調整手段Ｍの処理によってＣＣＤカメラ１０と顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂの作動周期の設定値Ｔ１が相対的に長い値に切り替えられるので、ステップａ３２〜ステップａ３４，ステップａ４０〜ステップａ４３等に示される真贋判定に関わる画像処理や判定処理の単位時間当たりの実行回数は相対的に減少することになり、ＣＰＵ２の実質的な負荷も軽減されるので、利用者は、各種アプリケーションプログラム等を使用した処理を円滑に行うことができる。
【０１５９】
以下、ステップａ２１の判定処理で使用中のアプリケーションプログラムからの照合要求の入力が検出されるか、もしくは、ステップａ３５の判定処理で利用者からのログアウト要求が検出されるまでの間、ＣＰＵ２は、次周期以降の処理で前記と同様にしてステップａ１，ステップａ２０〜ステップａ３５およびステップａ３８〜ステップａ３９の処理を繰り返し実行することになり、この間、ステップａ３９の処理の実行が許容されて、各種アプリケーションプログラム等を利用した利用者による通常の処理操作が行われることになる。
【０１６０】
図８はステップａ３９の通常処理において利用者が実行するアプリケーションプログラムに、比較判定強制手段Ｐを起動するための照合要求を送出する機能を付加するサブルーチンプログラムの一例について簡略化して示したフローチャートである。
【０１６１】
このアプリケーションプログラムの実行中に利用者による重要データの表示要求が入力されると（ステップｂ１）、これを検出したＣＰＵ２がＲＡＭ４に照合要求フラグをセットし（ステップｂ２）、実行中の処理操作、つまり、要求のあったデータの読み込や表示を一時的に停止した後（ステップｂ３）、待機時間を計時するタイマｔ２のリセットおよびスタート処理を実行し（ステップｂ４）、タイマｔ２が設定値Ｔ２を計時するのを待つ待機状態に入る（ステップｂ５，ステップｂ６）。
【０１６２】
このアプリケーションプログラムは次周期以降も繰り返し実行されることになるが、アプリケーションプログラム側の処理は一時停止の状態にあり、ステップｂ１の判定結果は偽、ステップｂ５の判定結果は真、ステップｂ６の判定結果は偽となるので、少なくとも、重要データの読み込みと表示に関わる処理が非実行とされる。
【０１６３】
但し、タイマｔ２の設定値Ｔ２は、前述したＣＣＤカメラ１０や顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂが必要に応じて顔画像データの抽出に関わるリトライ処理を実行して利用者の適不適を判定するに十分な時間を定めるものとする。
【０１６４】
このようにしてＲＡＭ４にセットされた照合要求フラグは、ログイン中の処理を実行するＣＰＵ２によりステップａ２１の判定処理でアプリケーションプログラムからの照合要求として検出される。
【０１６５】
アプリケーションプログラムからの照合要求が検出されると、比較判定強制手段Ｐとして機能するＣＰＵ２は、ステップａ２２〜ステップａ３２に至る各種の設定処理およびタイマｔ１の計測時間に関わる確認処理を全てスキップして、ＣＣＤカメラ１０と顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂの作動周期の設定値Ｔ１を無視し、直ちに、ステップａ３３〜ステップａ３４，ステップａ４０〜ステップａ４２に至る利用者の真贋判定処理を実行し、前記と同様、その判定結果に応じて、フラグＦ２をセットするか、または、フラグＦ２のリセット状態をそのまま保持する。
【０１６６】
一方、アプリケーションプログラムを実行するＣＰＵ２は、待機時間を計時するタイマｔ２が設定値Ｔ２の経過を検出した時点、つまり、ＣＰＵ２による利用者の真贋判定が確実に終了した時点で、フラグＦ２がリセット状態にあるのかセット状態にあるのかを判定する（ステップｂ７）。
【０１６７】
そして、フラグＦ２がリセット状態に保持されている場合、つまり、利用者が適正な利用者である場合に限って、ＲＡＭ４の照合要求フラグをリセットし（ステップｂ８）、要求のあったデータの読み込や表示を許可して、このデータをディスプレイ８に表示する（ステップｂ９）。
【０１６８】
また、フラグＦ２がセット状態にある場合、つまり、利用者が適正な利用者ではないと判定された場合には、前述したステップａ３８の判定処理によって当該アプリケーションプログラム（ステップａ３９）の実行自体が禁止されるので、重要データが不適切な利用者によって盗み見られる心配はない。
【０１６９】
ここでは、一例として、アプリケーションプログラムに簡単な改修を施して当該アプリケーションプログラムの側から照合要求を送出するようにした場合について説明したが、必ずしもアプリケーションプログラムに改修を施す必要はなく、例えば、データのダウンロードや表示といったコマンドを照合要求と解釈して図８と同様の処理を行うように構成することも可能である。
【０１７０】
そして、最終的に、適正な利用者がログアウト要求を入力して端末１の利用を終了すると、ＣＰＵ２は、ステップａ３５の判定処理でログアウト要求を検出し、不揮発性メモリ５の顔画像データ記憶手段Ｊに記憶されている顔画像データ、すなわち、利用者の真贋判定において照合の基準として利用されるデータをクリアしてログアウト処理を実行し（ステップａ３６，ステップａ３７）、ステップａ１およびステップａ２０の判定処理を所定周期毎に繰り返し実行する初期の待機状態に復帰する。
【０１７１】
つまり、この実施例では、ログイン時に顔画像データを記憶された利用者が、ログアウトまでの間、適正な利用者として認知されることになる。
【０１７２】
なお、最初にログインした利用者が適正であるか否かの判定については、従来と同様の処理操作、例えば、ユーザＩＤやパスワードの入力等によって容易に判定することが可能である。
【実施例２】
【０１７３】
次に、図１０〜図１４のフローチャートを参照して、ログインを許容されている利用者の顔画像データを事前に顔画像データ記憶手段Ｊに記憶させておくようにした実施例について簡単に説明する。
【０１７４】
端末１に関連するハードウェア構成については図２と同様であるので説明を省略し、以下の説明では、図２の説明で用いたものと同じ符号を援用するものとする。
【０１７５】
端末１に電源が投入されてイニシャライズ処理が完了すると、ＣＰＵ２はステップｃ１の判定処理とステップｃ２１の判定処理を所定周期毎に繰り返し実行し、利用者が端末１に対してログイン要求を入力するのを待つ待機状態に入る（ステップｃ１，ステップｃ２１）。
【０１７６】
そして、利用者からのログイン要求がステップｃ１の判定処理で検出されると、ＣＰＵ２は、ログイン時における顔画像データ抽出処理の失敗回数を数えるカウンタＣ１の値をリセットすると共に（ステップｃ２）、入出力回路６を介してＣＣＤカメラ１０に画像取り込み指令を送出し、ＣＣＤカメラ１０で撮像された画像をＲＡＭ４に一時記憶する（ステップｃ３）。
【０１７７】
次いで、顔画像データ抽出手段Ａとして機能するＣＰＵ２は、ＲＡＭ４に一時記憶された画像と不揮発性メモリ５に予め記憶されている背景画像とを比較して相違部分について画像分析を施すことにより、今回ログインしようとしている利用者の顔画像データを抽出する（ステップｃ４）。
【０１７８】
そして、ＣＰＵ２は、ステップｃ４の処理が適切に行われて利用者の顔画像データが抽出されたか否か（ステップｃ５）、抽出された顔画像データが２つ以上あるか否か（ステップｃ６）、更には、今回の撮像で取り込まれた利用者の顔画像データのスケールが正常であるか否かを判定する（ステップｃ７）。
【０１７９】
ここで、利用者の顔画像データが適切に抽出され、かつ、顔画像データが１つのみであって、しかも、顔画像データのスケールが正常で利用者の顔が一定範囲以内の距離で撮像されていることが確認された場合、要するに、ステップｃ５の判定結果が真でステップｃ６の判定結果が偽、かつ、ステップｃ７の判定結果が真である場合に限り、顔画像データ比較手段Ｂとして機能するＣＰＵ２が、ログイン要求の際に取り込まれた利用者の顔画像データと顔画像データ記憶手段Ｊに事前に記憶されている利用者の顔画像データとを比較する（ステップｃ８）。
【０１８０】
この場合、利用者の顔画像データを事前に記憶する顔画像データ記憶手段Ｊは必ずしも不揮発性メモリ５内に設ける必要はない。例えば、遠隔地にある監視サーバ１３やデータ管理用のサーバ等に顔画像データ記憶手段Ｊを配備し、回線１２を介して顔画像データ記憶手段Ｊから端末１に利用者の顔画像データを取り込むことが可能である。
【０１８１】
また、顔画像データ記憶手段Ｊには端末１の利用を許容された複数の利用者の顔画像データを事前に記憶させておくことが可能であり、ステップｃ８の判定処理では、ログイン要求の際に取り込まれた利用者の顔画像データと顔画像データ記憶手段Ｊに事前に記憶されている全ての利用者の顔画像データとが比較される。
そして、ログイン要求の際に取り込まれた利用者の顔画像データが顔画像データ記憶手段Ｊに事前に記憶されている利用者の顔画像データの何れか１つと略一致すれば、その判定結果は真となる。
【０１８２】
ここで、ステップｃ８の判定結果が偽となった場合には、利用者のログイン時に顔画像データの抽出処理が適切に行われているにも関わらず、その顔画像データが適正な利用者の顔画像データと略一致しないこと、つまり、現時点でログインしようとしている利用者が適正な利用者ではないことを意味するので、ＣＰＵ２は、強制的にログアウト処理を実行し（ステップｃ２０）、この利用者をログアウトさせる。従って、この利用者による端末１の使用は許容されない。
【０１８３】
一方、利用者の顔画像データが適切に抽出されずにステップｃ５の判定結果が偽となった場合、あるいは、第三者の顔がＣＣＤカメラ１０に写り込んでステップｃ６の判定結果が真となった場合、もしくは、利用者の着座位置に問題がある等してステップｃ７の判定結果が偽となった場合においては、前記と同様の処理をリトライ処理として繰り返し実行することで適正な利用者のログインを許容することが可能である。
【０１８４】
但し、リトライ処理の実行に伴ってカウンタＣ１の値がインクリメントされるため（ステップｃ１６）、リトライ処理の許容回数はＣ１Ｓ回に制限される（ステップｃ１７）。
更にリトライ処理を繰り返す必要がある場合には、ＣＰＵ２の処理でディスプレイ８に表示されるダイアログを参照し（ステップｃ１８）、ログインに必要とされる処理操作の継続を選択するようにする（ステップｃ１９）。
【０１８５】
そして、最終的に、ステップｃ８の判定結果が真となって適正な利用者が端末１の前に着座したことが確認されると、顔画像データ更新手段Ｄとして機能するＣＰＵ２が、今回取り込まれた顔画像データを顔画像データ記憶手段Ｊの対応する記憶領域に更新して記憶させる（ステップｃ９）。
なお、ここでいう対応する記憶領域とは、ステップｃ８の判定処理においてログイン要求の際の顔画像データと略一致するものとして判定された顔画像データを記憶していた記憶領域、つまり、複数の利用者の顔画像データを記憶した顔画像データ記憶手段Ｊにおける一人分の顔画像データの記憶領域である。
【０１８６】
次いで、ＣＰＵ２は、利用者によるログイン要求を許容してログイン処理を実行し（ステップｃ１０）、この利用者による端末１の利用を許可する。
【０１８７】
ステップｃ１１〜ステップｃ３６およびステップｃ３８〜ステップｃ６６の処理は前述の実施例１で説明したステップａ１０〜ステップａ３５およびステップａ３８〜ステップａ６６の処理と実質的に同一であるので説明を省略する。
【０１８８】
この実施例２では、ステップｃ３６の判定処理で適正な利用者のログアウトが検出されても当該利用者に対応する顔画像データをクリアせず、この利用者に対応する最新の顔画像データを顔画像データ記憶手段Ｊに其のまま保持するようにしているので、次の機会に当該利用者が端末１にログインする際には、この最新の顔画像データに基いてステップｃ８の真贋判定を実行することができる。
【０１８９】
つまり、この実施例２では、ログイン時に取り込まれた利用者の顔画像データと事前に顔画像データ記憶手段Ｊに記憶されている全ての顔画像データとを比較して現在ログインしようとしている利用者が適正な利用者であるか否かを判定し、この判定でログインを許容された利用者が、ログアウトまでの間、適正な利用者として認知されることになる。
そして、適正な利用者が端末１からログアウトするまでの間、逐次、この利用者の最新の顔画像データが顔画像データ記憶手段Ｊに更新して記憶され、次に当該利用者が端末１にログインする際には、このログイン時に取り込まれた利用者の顔画像データと事前（前回のログアウト時）に顔画像データ記憶手段Ｊに記憶された当該利用者の最新の顔画像データとの比較によって真贋判定が成されることになる。
【０１９０】
ここで、顔画像データ記憶手段Ｊに複数の利用者の顔画像データを記憶させて複数の利用者による端末１の使用を許容すれば、何れかの利用者が端末１を利用する度に当該利用者の顔画像データを自動的に最新のものに更新することができる。
但し、この場合も、特定の利用者が一旦ログインすれば、その利用者が自らログアウトしない限り、当該端末１を利用できる利用者は、最初にログインした利用者のみに制限される。
【０１９１】
一方、顔画像データ記憶手段Ｊに一人の利用者の顔画像データのみを記憶させた場合では、他の利用者は端末１に対するログインを完全に禁止されるので、端末１のセキュリティを更に高い次元で確保することができる。
【０１９２】
ネット上に複数の端末１が存在するような場合においては、利用者の顔画像データとログイン可能な端末１との関係を一対多あるいは多対一で定義した定義ファイルを顔画像データ記憶手段Ｊと共に配備するようにしてもよい。
【０１９３】
前述の実施例１および実施例２においては、利用者に対して非接触の状態を保持して利用者の生体的特徴である顔画像データのみを検出し、この顔画像データを照合の対象として利用するようにしているので、利用者の動きや姿勢を制限せずに端末１に対する利用者の適不適を的確に判定することができ、ユーザＩＤやパスワードの入力あるいは指紋や網膜パターン等の入力といった従来の認証手段を利用した場合に比べ、セキュリティの保持に必要とされる利用者の負担が軽減される。
【０１９４】
また、端末１の利用状況が定常的に監視され、顔画像データ比較手段Ｂによる判定結果が不一致となった場合には即時的に端末ロック手段Ｃを作動させるようにしているので、ユーザＩＤやパスワード等を用いて端末１の利用を制限する場合とは違って、不適当な利用者が正当な利用者に成り済まして端末１を使用することは困難であり、また、利用者が意図的に他の人物に端末１を使用させたり、適正な利用者が席を外している間に他の人物が端末１を使用するといった不正行為も確実に防止される。
【０１９５】
更に、複数の人間の顔画像データが同時に抽出された場合には、例え、適正な利用者の顔画像データが抽出されている場合であっても、端末１の使用は完全に制限されるので、第三者が適正な利用者を脅迫して端末１を操作させるといったことも実質的に不可能である。
【０１９６】
しかも、ＣＣＤカメラ１０と顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂの作動周期を特定する設定値Ｔ１の値は、監視周期調整手段Ｌの作用で無作為的に変更されるようになっているので、監視の隙を突いて端末１を不正使用するといったことは非常に困難である。
【０１９７】
また、仮に監視の隙を突くことが可能であったとしても、アプリケーションプログラムを利用して重要な情報の読み込や表示を行う際には、アプリケーションプログラムからの照合要求を受けた比較判定強制手段ＰがＣＣＤカメラ１０や顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂを強制的に駆動して利用者の適不適を即時的に判定し、利用者が不適当な場合には、端末１の使用それ自体を制限することで重要な情報を表示しないようにしているので、不適当な利用者によって重要なデータが盗み見られるといった心配は殆どない。
特に、利用者がディスプレイ８を参照して情報を読み取ろうとする際には、利用者が適切な方向に顔を向ける必要があるので、顔画像データを抽出するのに適した位置関係が実現され、利用者の真贋判定を的確に行うことができ、データ自体のセキュリティの確保に有効である。
【０１９８】
また、第２監視周期調整手段Ｍは、端末ロック手段Ｃが非作動の状態においてはＣＣＤカメラ１０と顔画像データ抽出手段Ａおよび顔画像データ比較手段Ｂの作動周期の設定値Ｔ１として相対的に長い周期の設定値を設定する一方、端末ロック手段Ｃが作動している状態においては作動周期の設定値Ｔ１として相対的に短い周期の設定値を設定するようになっているので、端末１が適正な利用者によって使用されている状況下（端末ロック手段Ｃが非作動の状態）においてはＣＰＵ２の負荷を低減してアプリケーションプログラム等を用いた処理操作を円滑に行うことができ、また、一旦端末１の使用が制限されてＣＰＵ２の負荷が軽減された後（端末ロック手段Ｃが作動した状態）では、利用者の真贋判定に関わる処理を頻繁に実行し、適正な利用者を素早く検知して端末ロック解除手段Ｇを作動させることができる。
このようにして、端末１の制限解除を待つ適正な利用者の無駄な待機時間が解消される結果、端末１を利用した作業性が向上する。
【実施例３】
【０１９９】
図１５は前述した実施例１あるいは実施例２の端末１に生体認証手段１４を併設した例について簡単に示した機能ブロック図である。
【０２００】
生体認証手段１４としては、指紋照合装置や声紋照合装置あるいは眼鏡等に装着された網膜パターン照合装置等を利用することができる。
【０２０１】
これらの生体認証手段１４を併用してログインの可否および端末ロック解除手段Ｇの作動の可否を判定することによってセキュリティを更に高めることが可能である。
【０２０２】
この場合、適正な利用者の指紋や声紋あるいは網膜パターンを予め端末１の不揮発性メモリ５や監視サーバ１３もしくはデータ管理用のサーバ等に登録しておき、ログインの可否および端末ロック解除手段Ｇの作動の可否の判定に際して生体認証手段１４の判定結果を併用するようにする。
【０２０３】
所定周期毎の真贋判定処理で生体認証手段１４を利用した判定結果を併用することも可能であるが、利用者の負担を増加させる可能性があるので、この実施例３では、生体認証手段１４の使用はログインの可否および端末ロック解除手段Ｇの作動の可否を判定する場合にだけ生体認証手段１４を利用し、ログイン中の判定処理では利用していない。
【実施例４】
【０２０４】
図１６は前述した実施例１，実施例２，実施例３の端末１に監視状況や操作履歴等の記録を保存するログ情報記憶手段１５を併設したものである。
【０２０５】
監視状況や端末１の操作履歴等の記録はログ情報記憶手段１５に自動的に保存され、システム管理者および適正な利用者（端末１にログイン可能な利用者）が任意に参照することができるようになっている。それぞれの管理者は必要に応じて適切な処置を行なうことが可能である。
【０２０６】
また、顔画像データ抽出手段Ａで顔画像データを検出できなかった場合や、顔画像データ比較手段Ｂによる判定処理に際して顔が一致しない等の処理結果をログ情報記憶手段１５に保存することにより、適正な利用者が離席した場合や、他人がディスプレイ８を覗き込もうとした場合等のログを保管することが可能である。ログに顔画像を付加することにより不正利用者の特定を可能とする。
【０２０７】
更に、他人がディスプレイ８を覗き込もうとして端末ロック手段Ｃが作動した後、本人が着席して端末１の使用制限が解除されたタイミングで、ログ情報記憶手段１５から他人が覗き込もうとしたログを読み出し、端末１を覗き込もうとした人物の顔画像を表示することにより、即座に誰が覗き込もうとしたのかを確認することが可能である。
【産業上の利用可能性】
【０２０８】
コンピュータ端末の使用権限に関するものの他、銀行の預貯金カードの使用あるいは店舗におけるクレジットカードの使用権限の判定等に転用可能な発明である。
【０２０９】
このような分野に本発明を転用する場合、利用者の数が多数となり顔画像データの記憶容量が莫大となって顔画像データの比較判定処理に支障が生じる恐れもあるので、最初に暗証番号等の入力操作に基いて当該暗証番号に対応する利用者の顔画像データを顔画像データ記憶手段から読み込み、この顔画像データとカードの使用時点で撮像手段により取り込まれた顔画像データとを比較して、当該利用者によるカードの使用の適不適を判定するようにする。
【０２１０】
カードの使用が許容された場合には今回取り込まれた顔画像データを顔画像データ記憶手段に更新して記憶させることにより、常に最新の顔画像データを比較基準として利用者の適不適を判定することができるようになる。
【図面の簡単な説明】
【０２１１】
【図１】本発明を適用した端末利用者監視システムが有する手段の概略について示し た機能ブロック図である。（発明を実施するための最良の形態）
【図２】一実施例のコンピュータ端末の構成の概略を示した機能ブロック図である。 （実施例１および実施例２）
【図３】顔画像データ抽出手段，顔画像データ比較手段，端末ロック手段，顔画像デ ータ更新手段，顔画像データ送信手段，アラーム出力手段，端末ロック解除手段，顔画像データ表示手段，監視周期調整手段，第２監視周期調整手段，第３監視周期調整手段，比較判定強制手段として機能するＣＰＵの処理動作の概略について示したフローチャートである。（実施例１）
【図４】ＣＰＵの処理動作の概略について示したフローチャートの続きである。（実 施例１）
【図５】ＣＰＵの処理動作の概略について示したフローチャートの続きである。（実 施例１）
【図６】ＣＰＵの処理動作の概略について示したフローチャートの続きである。（実 施例１）
【図７】ＣＰＵの処理動作の概略について示したフローチャートの続きである。（実 施例１）
【図８】ログイン中に実行可能なアプリケーションプログラムに付加されたサブルー チンプログラムの一部について簡略化して示したフローチャートである。（実施例１）
【図９】作動周期の調整に利用される設定値を記憶したテーブルの一例を示した概念 図である。（実施例１）
【図１０】顔画像データ抽出手段，顔画像データ比較手段，端末ロック手段，顔画像 データ更新手段，顔画像データ送信手段，アラーム出力手段，端末ロック解除手段，顔画像データ表示手段，監視周期調整手段，第２監視周期調整手段，第３監視周期調整手段，比較判定強制手段として機能するＣＰＵの処理動作の概略について示したフローチャートである。（実施例２）
【図１１】ＣＰＵの処理動作の概略について示したフローチャートの続きである。（実施例２）
【図１２】ＣＰＵの処理動作の概略について示したフローチャートの続きである。（実施例２）
【図１３】ＣＰＵの処理動作の概略について示したフローチャートの続きである。（実施例２）
【図１４】ＣＰＵの処理動作の概略について示したフローチャートの続きである。（実施例２）
【図１５】他の一実施例の構成の概略を示した機能ブロック図である。（実施例３）
【図１６】別の一実施例の構成の概略を示した機能ブロック図である。（実施例４）
【符号の説明】
【０２１２】
１  端末
２  ＣＰＵ（顔画像データ抽出手段，顔画像データ比較手段，端末ロック手段，顔画像データ更新手段，顔画像データ送信手段，アラーム出力手段，端末ロック解除手段，顔画像データ表示手段，監視周期調整手段，第２監視周期調整手段，第３監視周期調整手段，比較判定強制手段）
３  ＲＯＭ
４  ＲＡＭ
５  不揮発性メモリ（顔画像データ記憶手段，第２顔画像データ記憶手段）
６  入出力回路
７  マニュアル・データ・インプッタ
８  ディスプレイ
９  スピーカ
１０  ＣＣＤカメラ（撮像手段）
１１  インターフェイス
１２  回線
１３  監視用サーバ
１４  生体認証手段
１５  ログ情報記憶手段
Ａ  顔画像データ抽出手段
Ｂ  顔画像データ比較手段
Ｃ  端末ロック手段
Ｄ  顔画像データ更新手段
Ｅ  顔画像データ送信手段
Ｆ  アラーム出力手段
Ｇ  端末ロック解除手段
Ｈ  顔画像データ表示手段
Ｉ  撮像手段
Ｊ  顔画像データ記憶手段
Ｋ  第２顔画像データ記憶手段
Ｌ  監視周期調整手段
Ｍ  第２監視周期調整手段
Ｎ  第３監視周期調整手段
Ｐ  比較判定強制手段
【図１】
2008097647.tif 000003
【図２】
2008097647.tif 000004
【図３】
2008097647.tif 000005
【図４】
2008097647.tif 000006
【図５】
2008097647.tif 000007
【図６】
2008097647.tif 000008
【図７】
2008097647.tif 000009
【図８】
2008097647.tif 000010
【図９】
2008097647.tif 000011
【図１０】
2008097647.tif 000012
【図１１】
2008097647.tif 000013
【図１２】
2008097647.tif 000014
【図１３】
2008097647.tif 000015
【図１４】
2008097647.tif 000016
【図１５】
2008097647.tif 000017
【図１６】
2008097647.tif 000018