(57)【特許請求の範囲】
【請求項１】
被操作物を操作する操作者の顔画像を撮像して入力する画像入力手段と、
被操作物の操作が開始される時点で、そのとき前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像を初期の顔画像として登録する顔画像登録手段と、
所定のタイミングで前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像と前記顔画像登録手段により登録された顔画像とを照合することにより、操作者が交代したか否かを判定する判定手段と、
この判定手段により操作者が交代したと判定された場合、判定時に取込んだ操作者の顔画像を新たな登録顔画像として前記顔画像登録手段に登録する制御手段と、
を具備したことを特徴とする操作者監視装置。
【請求項２】
被操作物を操作する操作者の顔画像を撮像して入力する画像入力手段と、
被操作物の操作が開始される時点で、そのとき前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像を初期の顔画像として登録する顔画像登録手段と、
この顔画像登録手段による顔画像の登録時に取込まれた操作者の顔画像を、あらかじめ正当な操作者の顔画像が登録されている正当者リストの顔画像と照合することにより、当該操作者は正当な操作者であるか否かを確認する第１の確認手段と、
この第１の確認手段により正当な操作者であると認められた場合、所定のタイミングで前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像と前記顔画像登録手段により登録された顔画像とを照合することにより、操作者が交代したか否かを判定する判定手段と、
この判定手段により操作者が交代したと判定された場合、前記判定手段の判定時に取込まれた操作者の顔画像を前記正当者リストの顔画像と照合することにより、当該操作者は正当な操作者であるか否かを確認する第２の確認手段と、
前記第１、第２の確認手段により正当な操作者でないと認められた場合、あらかじめ定められた所定の動作を行なう制御手段と、
を具備したことを特徴とする操作者監視装置。
【請求項３】
被操作物を操作する操作者の顔画像を撮像して入力する画像入力手段と、
被操作物の操作が開始される時点で、そのとき前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像を初期の顔画像として登録する顔画像登録手段と、
この顔画像登録手段による顔画像の登録時に取込まれた操作者の顔画像を、あらかじめ特定の不正な操作者の顔画像が登録されている不正者リストの顔画像と照合することにより、当該操作者は特定の不正な操作者であるか否かを確認する第１の確認手段と、
この第１の確認手段により特定の不正な操作者でないと認められた場合、所定のタイミングで前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像と前記顔画像登録手段により登録された顔画像とを照合することにより、操作者が交代したか否かを判定する判定手段と、
この判定手段により操作者が交代したと判定された場合、前記判定手段の判定時に取込まれた操作者の顔画像を前記不正者リストの顔画像と照合することにより、当該操作者は特定の不正な操作者であるか否かを確認する第２の確認手段と、
前記第１、第２の確認手段により特定の不正な操作者であると認められた場合、あらかじめ定められた所定の動作を行なう制御手段と、
を具備したことを特徴とする操作者監視装置。
【請求項４】
被操作物を操作する操作者の顔画像を撮像して入力する画像入力手段と、
被操作物の操作が開始される時点で、そのとき前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像を、あらかじめ正当な操作者の顔画像が登録されている正当者リストの顔画像と照合することにより、当該操作者は正当な操作者であるか否かを確認する第１の確認手段と、
この第１の確認手段により正当な操作者であると認められた場合、所定のタイミングで前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像を前記正当者リストの顔画像と照合することにより、当該操作者は正当な操作者であるか否かを確認する第２の確認手段と、
前記第１、第２の確認手段により正当な操作者でないと認められた場合、あらかじめ定められた所定の動作を行なう制御手段とを有し、
前記第１、第２の確認手段のうち少なくともいずれか一方の確認手段は、正当者リストの顔画像との照合の結果、正当な操作者であると認められた場合、さらに、被操作物のハンドルに対する左右への操作者の手の握る圧力の付加順序があらかじめ定められた順序であるか否かによる本人確認手段を用いて再度、当該操作者は正当な操作者であるか否かを確認することを特徴とする操作者監視装置。
【請求項５】
被操作物を操作する操作者の顔画像を撮像して入力する画像入力手段と、
被操作物の操作が開始される時点で、そのとき前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像を初期の顔画像として登録する顔画像登録手段と、
所定のタイミングで前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像と前記顔画像登録手段により登録された顔画像とを照合することにより、操作者が交代したか否かを判定する判定手段と、
この判定手段により操作者が交代したと判定された場合、前記判定手段の判定時に取込んだ操作者の顔画像を新たな登録顔画像として前記顔画像登録手段に登録するとともに、少なくとも当該取込まれた操作者の顔画像を記録媒体に記録するか、あるいは、あらかじめ定められた所へ伝送する制御手段と、
を具備したことを特徴とする操作者監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、たとえば、航空機、走行車両、船舶などの操作者（運転者）を、操作者の顔画像といった生体情報（バイオメトリクス）に基づいた本人認証技術を応用して監視する操作者監視装置に関する。
【０００２】
【従来の技術】
従来、バイオメトリクスとしては、指紋、手形、声紋、サイン、網膜、虹彩などが実用化されている。これらは、方式的には、装置に直に触れる「接触形」と触れる必要のない「非接触形」とに分類することができる。
すなわち、上記バイオメトリクスの例のうち、指紋、手形、サインは「接触形」に属するものである。ただし、サインは本人が署名するという行動を起こさなければならないという点で、指紋などとは多少性質が異なっている。
【０００３】
これに対して、本人が意識する必要があるという点では、同様なバイオメトリクスが声紋（音声）照合であるが、これは「非接触形」に属する。また、カメラから対象部位の画像を取込んで処理するという点で、網膜や虹彩は「非接触形」に属すると言えるが、網膜は眼球の奥に位置し、眼をレンズにほとんど接触させる必要があるため、接触形に近いものである。
なお、虹彩は、眼球の表面に現れているため、離れた位置からのカメラで入力可能であるが、微細パターンであるため、離せる距離にはおのずと限界がある。これに対して最近、注目を集めている非接触形のバイオメトリクスが、顔画像から得られる顔パターンによる個人識別である。顔パターンは虹彩パターンよりもスケールが大きいため、比較的離れた位置からでも入力が可能あること、人間どうしの個人識別においても使われており、人間系との親和性がよい点が大きな特徴である。
【０００４】
【発明が解決しようとする課題】
従来、たとえば、航空機、走行車両、船舶などの特に、公共の交通機関の不正な操作者（運転者）の交代に関しては、管理・防止する有効な一般的手段は存在しなかった。
可能な手段としては、ＩＣカードなどを用いた身分証明手段を携帯して、運転・操作席付近に設置されたＩＣカードリーダに読取らせて自動的に本人確認することが考えられるが、操作性が必ずしも良いとは言えず、また、盗難、故意の貸出しの可能性があるなど、セキュリティレベルが必ずしも高いとは言えない。
【０００５】
一方、従来からの顔画像を用いた個人認証システムは、通常のビデオカメラを適当な位置に１台設置し、正面または正面に近い顔画像を取込んで、あらかじめ同様な条件で登録した顔画像とパターン照合を行なうものであった。
たとえば、文献１（「動画像を用いた顔認識システム」信学技報  PRMU97-50,１９９７年6月；山口、福井、前田著）や、文献２（「形状抽出とパターン照合 の組合せによる顔特徴点抽出」信学論Ｄ−II．Vol.j-80-D-II  No.8  1997年８ 月  ；福井、山口著）に示されるような、カメラをやや下方に設置して、下から見上げた顔画像を取り込んで登録・照合を行なうシステムが提案されている。顔画像による本人確認は、非接触により対象者の顔画像を取込めるという利点を持つが、操作者の確認に効果的に応用された例は従来、見当たらない。
【０００６】
そこで、本発明は、顔画像照合方式の自然さや利便性という長所を最大限活かし、全体としてのセキュリティレベルを従来よりも大幅に向上させ、操作者の交代管理、正当性確認、不正者の検知などを行なうことができる操作者監視装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の操作者監視装置は、被操作物を操作する操作者の顔画像を撮像して入力する画像入力手段と、被操作物の操作が開始される時点で、そのとき前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像を初期の顔画像として登録する顔画像登録手段と、所定のタイミングで前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像と前記顔画像登録手段により登録された顔画像とを照合することにより、操作者が交代したか否かを判定する判定手段と、この判定手段により操作者が交代したと判定された場合、判定時に取込んだ操作者の顔画像を新たな登録顔画像として前記顔画像登録手段に登録する制御手段とを具備している。
【０００８】
また、本発明の操作者監視装置は、被操作物を操作する操作者の顔画像を撮像して入力する画像入力手段と、被操作物の操作が開始される時点で、そのとき前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像を初期の顔画像として登録する顔画像登録手段と、この顔画像登録手段による顔画像の登録時に取込まれた操作者の顔画像を、あらかじめ正当な操作者の顔画像が登録されている正当者リストの顔画像と照合することにより、当該操作者は正当な操作者であるか否かを確認する第１の確認手段と、この第１の確認手段により正当な操作者であると認められた場合、所定のタイミングで前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像と前記顔画像登録手段により登録された顔画像とを照合することにより、操作者が交代したか否かを判定する判定手段と、この判定手段により操作者が交代したと判定された場合、前記判定手段の判定時に取込まれた操作者の顔画像を前記正当者リストの顔画像と照合することにより、当該操作者は正当な操作者であるか否かを確認する第２の確認手段と、前記第１、第２の確認手段により正当な操作者でないと認められた場合、あらかじめ定められた所定の動作を行なう制御手段とを具備している。
【０００９】
また、本発明の操作者監視装置は、被操作物を操作する操作者の顔画像を撮像して入力する画像入力手段と、被操作物の操作が開始される時点で、そのとき前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像を初期の顔画像として登録する顔画像登録手段と、この顔画像登録手段による顔画像の登録時に取込まれた操作者の顔画像を、あらかじめ特定の不正な操作者の顔画像が登録されている不正者リストの顔画像と照合することにより、当該操作者は特定の不正な操作者であるか否かを確認する第１の確認手段と、この第１の確認手段により特定の不正な操作者でないと認められた場合、所定のタイミングで前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像と前記顔画像登録手段により登録された顔画像とを照合することにより、操作者が交代したか否かを判定する判定手段と、この判定手段により操作者が交代したと判定された場合、前記判定手段の判定時に取込まれた操作者の顔画像を前記不正者リストの顔画像と照合することにより、当該操作者は特定の不正な操作者であるか否かを確認する第２の確認手段と、前記第１、第２の確認手段により特定の不正な操作者であると認められた場合、あらかじめ定められた所定の動作を行なう制御手段とを具備している。
【００１０】
また、本発明の操作者監視装置は、被操作物を操作する操作者の顔画像を撮像して入力する画像入力手段と、被操作物の操作が開始される時点で、そのとき前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像を、あらかじめ正当な操作者の顔画像が登録されている正当者リストの顔画像と照合することにより、当該操作者は正当な操作者であるか否かを確認する第１の確認手段と、この第１の確認手段により正当な操作者であると認められた場合、所定のタイミングで前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像を前記正当者リストの顔画像と照合することにより、当該操作者は正当な操作者であるか否かを確認する第２の確認手段と、前記第１、第２の確認手段により正当な操作者でないと認められた場合、あらかじめ定められた所定の動作を行なう制御手段とを有し、前記第１、第２の確認手段のうち少なくともいずれか一方の確認手段は、正当者リストの顔画像との照合の結果、正当な操作者であると認められた場合、さらに、被操作物のハンドルに対する左右への操作者の手の握る圧力の付加順序があらかじめ定められた順序であるか否かによる本人確認手段を用いて再度、当該操作者は正当な操作者であるか否かを確認することを特徴とする。
さらに、本発明の操作者監視装置は、被操作物を操作する操作者の顔画像を撮像して入力する画像入力手段と、被操作物の操作が開始される時点で、そのとき前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像を初期の顔画像として登録する顔画像登録手段と、所定のタイミングで前記画像入力手段により入力された操作者の顔画像を取込み、この取込んだ顔画像と前記顔画像登録手段により登録された顔画像とを照合することにより、操作者が交代したか否かを判定する判定手段と、この判定手段により操作者が交代したと判定された場合、前記判定手段の判定時に取込んだ操作者の顔画像を新たな登録顔画像として前記顔画像登録手段に登録するとともに、少なくとも当該取込まれた操作者の顔画像を記録媒体に記録するか、あるいは、あらかじめ定められた所へ伝送する制御手段とを具備している。
【００１１】
【発明の実施の形態】
まず、本発明の実施の形態を説明する前に本発明の概要について説明しておく。本発明は、大きく分けて以下に示す（１）〜（５）の５つの発明から構成される。
（１）顔照合により操作者の交代の検知、管理を行なう。
・操作者が被操作物（航空機、走行車両、船舶など）を操作しているときの顔画像を取込み可能な位置および向きに少なくとも１個のカメラ（画像入力手段）を設置する（複数個設置も可能）。この場合、カメラは、たとえば、被操作物を操作するハンドルの中心位置、あるいは、操作者の前面に位置する操作卓や操作パネルに設けて、操作者に対し下斜め方向から見た顔画像を撮像する。
【００１２】
・操作が開始される時点で、その時点の操作者の顔画像を取込み、所定の処理を施した顔画像を初期の顔画像として登録する。この場合、操作が開始される時点は、たとえば、被操作物のハンドルに所定値以上の圧力がかかったとき、あるいは、操作者が着座する座席の荷重が所定値以上かかったとき、あるいは、常時、一定周期でカメラより画像を取込み、画像解析により変化を検知したときである。
【００１３】
・所定のタイミングで操作者の顔画像を取込み、登録された顔画像との照合を行なうことにより、操作者が交代したかどうかの判定を行なう。この場合、所定のタイミングは、たとえば、操作者が着座する座席の荷重が一旦ゼロになってから再度荷重が加わった時点、あるいは、常時、一定の周期とする。
【００１４】
・操作者の交代を検知したならば、所定の動作を行なう。この場合、所定の動作としては、たとえば、その時点で取込まれた顔画像を新たな顔画像として登録する。あるいは、その時点で取込まれた顔画像と時間などの属性情報を記録装置で記録するか、あらかじめ決められた所へ伝送する。
（２）顔照合により操作者の交代検知および正当性確認を行なう。
・操作者が被操作物を操作しているときの顔画像を取込み可能な位置および向きに少なくとも１個のカメラ（画像入力手段）を設置する（複数個設置も可能）。
【００１５】
・操作が開始される時点で、その時点の操作者の顔画像を取込み、所定の処理を施した顔画像を初期の顔画像として登録する。同時に、あらかじめ正当な操作者の顔画像が登録された正当者リスト内の顔画像との照合確認を行なう。確認の結果、もし正当な操作者として認められなかった場合は、所定の動作を実行する。
【００１６】
・所定のタイミングで操作者の顔画像を取込み、登録された顔画像との照合を行なうことにより、操作者が交代したかどうかの判定を行なう。操作者の交代を検知したならば、あらかじめ正当な操作者の顔画像が登録された正当者リスト内の顔画像との照合確認を行なう。確認の結果、もし正当な操作者として認められなかった場合は、所定の動作を実行する。
・正当な操作者として認められなかった場合の動作として、当該被操作物の操作を不能とする。あるいは、あらかじめ定められた所（たとえば、本装置を運営する企業の監視センタなど）へ通報する。
（３）上記（２）の変形タイプ１
・操作の開始、操作者の交代時点において、顔画像の照合と他の本人確認手段を組合わせる。この場合、他の本人確認手段としては、被操作物のハンドルに対する左右への操作者の手の握る圧力の付加順序（たとえば、右から左へ、などの順序）を暗証コード代わりとする。すなわち、ハンドルに対する左右への手の握る圧力の付加順序があらかじめ定められた順序であるか否かにより本人確認を行なう。あるいは、操作者の音声照合による本人確認手段であってもよい。
（４）上記（２）の変形タイプ２
・正当者リストとの照合の代わりに、あるいは、正当者リストとの照合により正当な操作者でないと認められた場合に、あらかじめ特定の不正な操作者の顔画像が登録されている不正者リスト（いわゆる、ブラックリスト）内の顔画像との照合確認を行なう。確認の結果、もし不正な操作者として認められる場合は、所定の動作を実行する。
（５）上記（２）の変形タイプ３
・操作者の交代を検知した後に、正当者リストや不正者リスト（ブラックリスト）との照合を行なうのでなく、直ちに、正当者リストや不正者リストとの照合を行なう。
【００１７】
なお、上記（１）〜（５）の発明は、単独であっても、互いに組合せても実施可能であることは説明するまでもないことである。
【００１８】
以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。第１の実施の形態は、前述した（１）の発明に対応している。
図１は、第１の実施の形態に係る操作者監視装置の構成を概略的に示すものである。図１において、画像入力手段としての複数のビデオカメラ（以後、単にカメラと称す。複数でなく１個でもよい）１−１，１−２，…，１−Ｎは、被操作物（たとえば、航空機、走行車両、船舶など）を操作する操作者の顔画像を撮像して入力するもので、本実施の形態では、モノクロの撮影が可能なビデオカメラを採用している。
【００１９】
カメラ１−１，１−２，…，１−Ｎの各出力は、それぞれキャプチャボード２−１，２−２，…，２−Ｎの入力にそれぞれ接続されている。すなわち、カメラ１−１からのビデオ信号（アナログデータ）１は、Ａ／Ｄ変換回路２−１ａによりデジタルデータに変換された後、画像メモリ２−１ｂに一旦格納される。ここでは、説明の簡略化のために、図示を省略しているが、キャプチャボード２−２，…，２−Ｎ内にも、同様にＡ／Ｄ変換回路、画像メモリが配置されており、ビデオ信号２〜Ｎについても、キャプチャボード２−２，…，２−Ｎ内において同様の処理がなされる。
なお、カメラ１−１，１−２，…，１−ＮがＵＳＢ（ユニバーサル・シリアル・バス）インタフェイスを備えている場合には、Ａ／Ｄ変換回路２−１ａは不要となり、ＵＳＢインタフェイスを別途設けることになる。
【００２０】
キャプチャボード２−１，２−２，…，２−Ｎと、記録インタフェイス３、処理プロセッサ４、ワークメモリ５、表示ボード６、登録手段としての辞書７は、システムバス８を介して通信自在に接続されている。表示ボード６には、ディスプレイ９が接続されている。辞書７は、複数の辞書データ（基準の顔特徴データ）が登録（記憶）される。
【００２１】
処理プロセッサ４は、各カメラ１−１，１−２，…，１−Ｎに対して、同期を取るための制御信号を送信し、各カメラ１−１，１−２，…，１−Ｎから送られる顔画像に係るデジタルデータを取込み、当該データに対して、ワークメモリ５や辞書７を用いながら、後述するような顔画像の登録、照合処理を行なう。
【００２２】
記録インタフェイス３には、記録手段としてのハードディスク装置などの記録装置１０が接続されている。記録装置１０は、操作者の顔画像や顔特徴データなどをハードディスクなどの記録媒体に記録するものである。
また、システムバス８には、座席荷重検出手段としての座席荷重検出装置１１が接続されている。座席荷重検出装置１１は、操作者が着座する被操作物の座席の荷重を検出するものである。さらに、システムバス８には、通信制御部１２が接続されている。通信制御部１２は、外部装置、たとえば、本装置を運営する企業の監視センタなどと通信を行なうためのものである。
【００２３】
図２、図３は、カメラの配置例を示している。図２（ａ）は、カメラが１個の場合で、たとえば、被操作物を操作するハンドル２１の中心部にカメラ１−１が設置されていて、操作者の頭部に対し下斜め方向から見た顔画像を撮像するように、位置および向きが設定されている。なお、図２（ｂ）は操作者の頭部２２に対し真上から見た図、図２（ｃ）は操作者の頭部２２に対し真横から見た図を示している。
図３は、カメラが複数個の場合で、たとえば、操作者の前面に位置する操作パネル２３にカメラ１−１，１−２が設置されていて、操作者の頭部に対し下斜め方向から見た顔画像を撮像するようになっている。
図４は、たとえば、図２のカメラ１−１で撮像された操作者の顔画像の一例を示しており、操作者の顔を下斜め方向から見た顔画像を捕らえていることがわかる。
【００２４】
以下、図５に示すフローチャートを参照して、第１の実施の形態に係る操作者監視装置の処理プロセッサ４による顔画像の登録処理を説明する。なお、以下の説明は、たとえば、図２のようにカメラが１つ設置された場合である。
まず、処理プロセッサ４は、管理番号の発行を行なう（ステップＳ１）。次に、カメラ１−１からの入力画像を取込む（ステップＳ２）。次に、入力画像の全体から顔領域を検出する（ステップＳ３）。次に、検出された顔領域内において、ほぼ円形領域とみなせる瞳領域と鼻孔領域を検出し、その領域の中心位置を顔画像の特徴点とする（ステップＳ４）。なお、このステップＳ３，Ｓ４の処理では、たとえば、前記した文献２で述べられている従来方法を採用することができる。
【００２５】
次に、検出した特徴点の位置を基準とした照合領域の切出しを行ない（ステップＳ５）、幾何補正による大きさの正規化を行ない（ステップＳ６）、濃度補正による濃度分布の正規化を行なう（ステップＳ７）。次に、特徴抽出によるベクトルパターン表現を行ない、顔特徴データ（以降、辞書データとも言う）として辞書７に登録する（ステップ８）。この場合、先に発行された管理番号などの属性情報とともに顔特徴データが登録される。
【００２６】
次に、図６に示すフローチャートを参照して、第１の実施の形態に係る操作者監視装置の処理プロセッサ４による顔画像の照合処理を説明する。なお、以下の説明は、たとえば、図２のようにカメラが１つ設置された場合である。
まず、処理プロセッサ４は、カメラ１−１からの入力画像を取込む（ステップＳ１１）。次に、入力画像の全体から顔領域を検出する（ステップＳ１２）。次に、顔領域の検出が成功したか否かを判定し（ステップＳ１３）、成功すれば、検出された顔領域内において、ほぼ円形領域とみなせる瞳領域と鼻孔領域を検出し、その領域の中心位置を顔画像の特徴点とする（ステップＳ１４）。
【００２７】
次に、検出した特徴点の位置を基準とした照合領域の切出しを行ない（ステップＳ１５）、幾何補正による大きさの正規化を行ない（ステップＳ１６）、濃度補正による濃度分布の正規化を行なう（ステップＳ１７）。次に、特徴抽出によるベクトルパターン表現を行ない、入力された顔特徴データとして辞書７の辞書データと照合する（ステップ１８）。すなわち、入力された顔特徴データと辞書７に登録された複数の顔特徴データとをそれぞれ照合することにより類似度が計算され、この求められた類似度があらかじめ設定される所定の閾値よりも大きい場合に照合成功（正当な操作者）となり、それ以外は照合失敗（正当でない操作者）となる。
【００２８】
次に、上記した登録および照合処理を用いた操作者の交代検知処理の流れについて、図７に示すフローチャートを参照して説明する。なお、以下の説明は、たとえば、図２のようにハンドル２１の中央部に１つのカメラ１−１が設置された場合である。また、以下に説明する処理は、主として処理プロセッサ４の処理プログラムに基づく動作によって行なわれる。
【００２９】
まず、座席荷重検出装置１１の出力を参照することにより、操作者が着座する被操作物の座席の荷重があらかじめ定められた所定値以上かかったか否か（すなわち、被操作物の操作開始か否か）を判定する（ステップＳ２１）。この判定の結果、座席の荷重が所定値以上かかった場合、操作者が着座して被操作物の操作を開始したものとみなし、ハンドル２１の中央部に設置されたカメラ１−１からの入力画像を取込み、この取込んだ入力画像から前記同様な動作により顔特徴データを抽出し、この抽出した顔特徴データを初期の登録顔画像として辞書７に登録する（ステップＳ２２）。
【００３０】
次に、このときの入力画像（顔画像）およびそれから抽出した顔特徴データを、当該日時データなどの属性情報とともに記録装置１０で記録するか、あるいは、通信制御部１２により、あらかじめ定められた所（たとえば、本装置を運営する企業の監視センタなど）へ送信する（ステップＳ２３）。
【００３１】
次に、座席荷重検出装置１１の出力を参照することにより、座席の荷重があらかじめ定められた所定値以下になったか否か（すなわち、被操作物の操作終了か否か）を判定する（ステップＳ２４）。この判定の結果、座席の荷重が所定値以下になった場合、操作者が操作を終了して座席から離れたものとみなし、ここで処理を終了する。
【００３２】
ステップＳ２４の判定の結果、座席の荷重が所定値以下になっていない場合、まだ操作者が着座していて操作を終了していないものとみなし、座席荷重検出装置１１の出力を参照することにより、座席の荷重が一旦ゼロになってから再度加わったか否か（すなわち、操作者が交代したか否か）を判定する（ステップＳ２５）。この判定の結果、座席の荷重が一旦ゼロになってから再度加わった状態ではない場合、操作者は交代していないものとみなして、ステップＳ２４に戻り、上記同様な動作を繰り返す。
【００３３】
ステップＳ２５の判定の結果、座席の荷重が一旦ゼロになってから再度加わった状態である場合、操作者は交代しているものとみなして、カメラ１−１からの入力画像を再度取込み、この取込んだ入力画像から前記同様な動作により顔特徴データを抽出し、この抽出した顔特徴データと辞書７に登録されている複数の辞書データ（顔特徴データ）とを照合し、両者の類似度を計算する（ステップＳ２６）。
【００３４】
次に、ステップＳ２６で計算した類似度が、あらかじめ設定される所定の閾値よりも大きいか否かを判定し（ステップＳ２７）、大きい場合、操作者が一度交代したが前回と同じ正当な操作者であるとみなして、ステップＳ２４に戻り、上記同様な動作を繰り返す。
【００３５】
ステップＳ２７の判定の結果、計算した類似度が設定された閾値よりも小さい場合、最終的に操作者は交代したものとみなし、たとえば、ステップＳ２６の照合時に取込んだ顔画像から得た顔特徴データを新たな辞書データとして辞書７に登録するとともに、当該入力画像（顔画像）および顔特徴データを当該日時データなどの属性情報とともに記録装置１０で記録するか、あるいは、通信制御部１２により、あらかじめ定められた所（たとえば、本装置を運営する企業の監視センタなど）へ送信して（ステップＳ２８）、ステップＳ２４に戻り、上記同様な動作を繰り返す。
このように、第１の実施の形態によれば、操作者の顔照合により操作者の交代の検知、管理を行なうことが可能となる。
【００３６】
次に、第２の実施の形態について説明する。第２の実施の形態は、前述した（２）の発明に対応している。
第２の実施の形態は、第１の実施の形態と同様な顔照合により操作者の交代検知および正当性確認を行なうもので、装置構成は第１の実施の形態と同様でよいが、処理の流れが異なっており、以下、それについて図８および図９に示すフローチャートを参照して説明する。
【００３７】
なお、以下の説明は、たとえば、図２のようにハンドル２１の中央部に１つのカメラ１−１が設置された場合である。また、本実施の形態では、正当な操作者は全て正当者リストの形式で、たとえば、ワークメモリ５内に登録（記憶）されているものとする。さらに、以下に説明する処理は、主として処理プロセッサ４の処理プログラムに基づく動作によって行なわれる。
【００３８】
まず、座席荷重検出装置１１の出力を参照することにより、操作者が着座する被操作物の座席の荷重があらかじめ定められた所定値以上かかったか否か（すなわち、被操作物の操作開始か否か）を判定する（ステップＳ３１）。この判定の結果、座席の荷重が所定値以上かかった場合、操作者が着座して被操作物の操作を開始したものとみなし、ハンドル２１の中央部に設置されたカメラ１−１からの入力画像を取込み、この取込んだ入力画像から前記同様な動作により顔特徴データを抽出し、この抽出した顔特徴データを初期の登録顔画像として辞書７に登録する（ステップＳ３２）。
【００３９】
次に、このときの入力画像（顔画像）およびそれから抽出した顔特徴データを、当該日時データなどの属性情報とともに記録装置１０で記録するか、あるいは、通信制御部１２により、あらかじめ定められた所（たとえば、本装置を運営する企業の監視センタなど）へ送信する（ステップＳ３３）。
【００４０】
次に、ステップＳ３２で得た顔特徴データを、全ての正当な操作者の顔特徴データが登録されている正当者リスト内の各顔特徴データとそれぞれ照合し、両者の類似度を計算する（ステップＳ３４）。次に、計算した類似度が、あらかじめ設定される所定の閾値よりも大きい顔特徴データが正当者リスト内に存在するか否か（すなわち、当該操作者は正当な操作者か否か）を判定する（ステップＳ３５）。
【００４１】
この判定の結果、存在しない場合、当該操作者は正当な操作者でないとみなし、当該被操作物の操作（運転）が不能となるように制御するとともに、あらかじめ定められた所、たとえば、本装置を運営する企業の監視センタへ正当でない操作者を検知した旨を通知し（ステップＳ３６）、ここで処理を終了する。
【００４２】
ステップＳ３５の判定の結果、計算した類似度が所定の閾値よりも大きい顔特徴データが正当者リスト内に存在する場合、当該操作者は正当な操作者であるとみなし、再度、座席荷重検出装置１１の出力を参照することにより、座席の荷重があらかじめ定められた所定値以下になったか否か（すなわち、被操作物の操作終了か否か）を判定する（ステップＳ３７）。この判定の結果、座席の荷重が所定値以下になった場合、操作者が操作を終了して座席から離れたものとみなし、ここで処理を終了する。
【００４３】
ステップＳ３７の判定の結果、座席の荷重が所定値以下になっていない場合、まだ操作者が着座していて操作を終了していないものとみなし、座席荷重検出装置１１の出力を参照することにより、座席の荷重が一旦ゼロになってから再度加わったか否か（すなわち、操作者が交代したか否か）を判定する（ステップＳ３８）。この判定の結果、座席の荷重が一旦ゼロになってから再度加わった状態ではない場合、操作者は交代していないものとみなして、ステップＳ３７に戻り、上記同様な動作を繰り返す。
【００４４】
ステップＳ３８の判定の結果、座席の荷重が一旦ゼロになってから再度加わった状態である場合、操作者は交代しているものとみなして、カメラ１−１からの入力画像を再度取込み、この取込んだ入力画像から前記同様な動作により顔特徴データを抽出し、この抽出した顔特徴データと辞書７に登録されている複数の辞書データ（顔特徴データ）とを照合し、両者の類似度を計算する（ステップＳ３９）。
【００４５】
次に、ステップＳ３９で計算した類似度が、あらかじめ設定される所定の閾値よりも大きいか否かを判定し（ステップＳ４０）、大きい場合、操作者が交代したが前回と同じ正当な操作者であるとみなして、ステップＳ３７に戻り、上記同様な動作を繰り返す。
【００４６】
ステップＳ４０の判定の結果、計算した類似度が設定された閾値よりも小さい場合、最終的に操作者は交代したものとみなし、たとえば、ステップＳ３９の照合時に取込んだ顔画像から得た顔特徴データを新たな辞書データとして辞書７に登録するとともに、当該入力画像（顔画像）および顔特徴データを当該日時データなどの属性情報とともに記録装置１０で記録するか、あるいは、通信制御部１２により、あらかじめ定められた所（たとえば、本装置を運営する企業の監視センタなど）へ送信する（ステップＳ４１）。
【００４７】
次に、ステップＳ３９で得た顔特徴データを前記正当者リスト内の各顔特徴データとそれぞれ照合し、両者の類似度を計算する（ステップＳ４２）。次に、計算した類似度が、あらかじめ設定される所定の閾値よりも大きい顔特徴データが正当者リスト内に存在するか否か（すなわち、当該操作者は正当な操作者か否か）を判定する（ステップＳ４３）。
【００４８】
この判定の結果、存在しない場合、当該操作者は正当な操作者でないとみなし、当該被操作物の操作（運転）が不能となるように制御するとともに、本装置を運営する企業の監視センタへ正当でない操作者を検知した旨を通知し（ステップＳ４４）、ここで処理を終了する。
【００４９】
ステップＳ４３の判定の結果、計算した類似度が所定の閾値よりも大きい顔特徴データが正当者リスト内に存在する場合、当該操作者は正当な操作者であるとみなして、ステップＳ３７に戻り、上記同様な動作を繰り返す。
このように、第２の実施の形態によれば、操作者の顔照合により操作者の交代検知および正当性確認を行なうことが可能となる。
【００５０】
次に、第３の実施の形態について説明する。第３の実施の形態は、前述した（３）の発明に対応している。
第３の実施の形態は、第２の実施の形態に対してさらに本人確認機能を強化したもので、装置構成は基本的には第１の実施の形態と同様でよいが、被操作物のハンドルに圧力検知器を設ける点、および、処理の流れが異なっており、以下、それについて説明する。
【００５１】
第３の実施の形態では、たとえば、図１０に示すように、被操作物のハンドル２１の操作者が両手で握る左右の部分にそれぞれ圧力検知器２４ａ，２４ｂが埋設されていて、操作者が両手でハンドル２１を握ったときの左右の圧力を検知するようになっている。
【００５２】
以下、処理の流れについて図１１および図１２に示すフローチャートを参照して説明する。
まず、座席荷重検出装置１１の出力を参照することにより、操作者が着座する被操作物の座席の荷重があらかじめ定められた所定値以上かかったか否か（すなわち、被操作物の操作開始か否か）を判定する（ステップＳ５１）。この判定の結果、座席の荷重が所定値以上かかった場合、操作者が着座して被操作物の操作を開始したものとみなし、ハンドル２１の中央部に設置されたカメラ１−１からの入力画像を取込み、この取込んだ入力画像から前記同様な動作により顔特徴データを抽出し、この抽出した顔特徴データを初期の登録顔画像として辞書７に登録する（ステップＳ５２）。
【００５３】
次に、このときの入力画像（顔画像）およびそれから抽出した顔特徴データを、当該日時データなどの属性情報とともに記録装置１０で記録するか、あるいは、通信制御部１２により、あらかじめ定められた所（たとえば、本装置を運営する企業の監視センタなど）へ送信する（ステップＳ５３）。
【００５４】
次に、ステップＳ３２で得た顔特徴データを、全ての正当な操作者の顔特徴データが登録されている正当者リスト内の各顔特徴データとそれぞれ照合し、両者の類似度を計算する（ステップＳ５４）。次に、計算した類似度が、あらかじめ設定される所定の閾値よりも大きい顔特徴データが正当者リスト内に存在するか否か（すなわち、当該操作者は正当な操作者か否か）を判定する（ステップＳ５５）。
【００５５】
この判定の結果、存在しない場合、当該操作者は正当な操作者でないとみなし、当該被操作物の操作（運転）が不能となるように制御するとともに、あらかじめ定められた所、たとえば、本装置を運営する企業の監視センタへ正当でない操作者を検知した旨を通知し（ステップＳ５６）、ここで処理を終了する。
【００５６】
ステップＳ５５の判定の結果、計算した類似度が所定の閾値よりも大きい顔特徴データが正当者リスト内に存在する場合、たとえば、音声案内あるいは案内メッセージの表示により、ハンドル２１に対して所定の操作を行なうよう案内する（ステップＳ５７）。この案内により、正当な操作者であれば、あらかじめ教えられた所定の操作、たとえば、最初に右手で圧力検知器２４ａの部分を強く握り、次に左手で圧力検知器２４ｂの部分を強く握るなどの操作を行なう。
【００５７】
次に、圧力検知器２４ａ，２４ｂの出力を参照することにより、ハンドル２１に対する左右への操作者の手の握る圧力の付加順序があらかじめ定められた正しい順序であるか否かを判定する（ステップＳ５８）。この判定の結果、握る圧力の付加順序が正しい順序でなかった場合、当該操作者は正当な操作者でないとみなし、当該被操作物の操作（運転）が不能となるように制御するとともに、本装置を運営する企業の監視センタへ正当でない操作者を検知した旨を通知し（ステップＳ５６）、ここで処理を終了する。
【００５８】
ステップＳ５８の判定の結果、握る圧力の付加順序が正しい順序であった場合、当該操作者は正当な操作者であるとみなし、再度、座席荷重検出装置１１の出力を参照することにより、座席の荷重があらかじめ定められた所定値以下になったか否か（すなわち、被操作物の操作終了か否か）を判定する（ステップＳ５９）。この判定の結果、座席の荷重が所定値以下になった場合、操作者が操作を終了して座席から離れたものとみなし、ここで処理を終了する。
【００５９】
ステップＳ５９の判定の結果、座席の荷重が所定値以下になっていない場合、まだ操作者が着座していて操作を終了していないものとみなし、座席荷重検出装置１１の出力を参照することにより、座席の荷重が一旦ゼロになってから再度加わったか否か（すなわち、操作者が交代したか否か）を判定する（ステップＳ６０）。この判定の結果、座席の荷重が一旦ゼロになってから再度加わった状態ではない場合、操作者は交代していないものとみなして、ステップＳ５９に戻り、上記同様な動作を繰り返す。
【００６０】
ステップＳ６０の判定の結果、座席の荷重が一旦ゼロになってから再度加わった状態である場合、操作者は交代しているものとみなして、カメラ１−１からの入力画像を再度取込み、この取込んだ入力画像から前記同様な動作により顔特徴データを抽出し、この抽出した顔特徴データと辞書７に登録されている複数の辞書データ（顔特徴データ）とを照合し、両者の類似度を計算する（ステップＳ６１）。
【００６１】
次に、ステップＳ６１で計算した類似度が、あらかじめ設定される所定の閾値よりも大きいか否かを判定し（ステップＳ６２）、大きい場合、操作者が交代したが前回と同じ正当な操作者であるとみなして、ステップＳ５９に戻り、上記同様な動作を繰り返す。
【００６２】
ステップＳ６２の判定の結果、計算した類似度が設定された閾値よりも小さい場合、最終的に操作者は交代したものとみなし、たとえば、ステップＳ６１の照合時に取込んだ顔画像から得た顔特徴データを新たな辞書データとして辞書７に登録するとともに、当該入力画像（顔画像）および顔特徴データを当該日時データなどの属性情報とともに記録装置１０で記録するか、あるいは、通信制御部１２により、あらかじめ定められた所（たとえば、本装置を運営する企業の監視センタなど）へ送信する（ステップＳ６３）。
【００６３】
次に、ステップＳ６１で得た顔特徴データを前記正当者リスト内の各顔特徴データとそれぞれ照合し、両者の類似度を計算する（ステップＳ６４）。次に、計算した類似度が、あらかじめ設定される所定の閾値よりも大きい顔特徴データが正当者リスト内に存在するか否か（すなわち、当該操作者は正当な操作者か否か）を判定する（ステップＳ６５）。
【００６４】
この判定の結果、存在しない場合、当該操作者は正当な操作者でないとみなし、当該被操作物の操作（運転）が不能となるように制御するとともに、本装置を運営する企業の監視センタへ正当でない操作者を検知した旨を通知し（ステップＳ６６）、ここで処理を終了する。
【００６５】
ステップＳ６５の判定の結果、計算した類似度が所定の閾値よりも大きい顔特徴データが正当者リスト内に存在する場合、音声案内あるいは案内メッセージの表示により、ハンドル２１に対して所定の操作を行なうよう案内する（ステップＳ６７）。
【００６６】
次に、圧力検知器２４ａ，２４ｂの出力を参照することにより、ハンドル２１に対する左右への操作者の手の握る圧力の付加順序があらかじめ定められた正しい順序であるか否かを判定する（ステップＳ６８）。この判定の結果、握る圧力の付加順序が正しい順序でなかった場合、当該操作者は正当な操作者でないとみなし、当該被操作物の操作（運転）が不能となるように制御するとともに、本装置を運営する企業の監視センタへ正当でない操作者を検知した旨を通知し（ステップＳ６６）、ここで処理を終了する。
【００６７】
ステップＳ６８の判定の結果、握る圧力の付加順序が正しい順序であった場合、当該操作者は正当な操作者であるとみなして、ステップＳ５９に戻り、上記同様な動作を繰り返す。
このように、第３の実施の形態によれば、操作の開始、操作者の交代時点において、顔画像の照合と他の本人確認手段を組合わせることにより、さらに本人確認機能を強化することが可能となる。
【００６８】
なお、他の本人確認手段としては、上記したような被操作物のハンドルに対する左右への操作者の手の握る圧力の付加順序によるものに限らず、たとえば、図１０に示すように、ハンドル２１の中央部に音声入力手段としてのマイクロフォン２５を埋設しておき、音声案内あるいは案内メッセージの表示により、あらかじめ定められた所定の暗証コードを音声で入力するよう案内することにより、操作者の音声（声紋）照合による本人確認手段であってもよい。
【００６９】
次に、第４の実施の形態について説明する。第４の実施の形態は、前述した（４）の発明に対応している。
第４の実施の形態は、第２の実施の形態における正当者リストとの照合の代わりに、不正者リスト（いわゆる、ブラックリスト）との照合確認を行なうようにしたもので、装置構成は第１の実施の形態と同様でよいが、処理の流れが異なっており、以下、それについて図１３および図１４に示すフローチャートを参照して説明する。
なお、本実施の形態では、不正な操作者は全て不正者リストの形式で、たとえば、ワークメモリ５内に登録（記憶）されているものとする。
【００７０】
まず、座席荷重検出装置１１の出力を参照することにより、操作者が着座する被操作物の座席の荷重があらかじめ定められた所定値以上かかったか否か（すなわち、被操作物の操作開始か否か）を判定する（ステップＳ７１）。この判定の結果、座席の荷重が所定値以上かかった場合、操作者が着座して被操作物の操作を開始したものとみなし、ハンドル２１の中央部に設置されたカメラ１−１からの入力画像を取込み、この取込んだ入力画像から前記同様な動作により顔特徴データを抽出し、この抽出した顔特徴データを初期の登録顔画像として辞書７に登録する（ステップＳ７２）。
【００７１】
次に、このときの入力画像（顔画像）およびそれから抽出した顔特徴データを、当該日時データなどの属性情報とともに記録装置１０で記録するか、あるいは、通信制御部１２により、あらかじめ定められた所（たとえば、本装置を運営する企業の監視センタなど）へ送信する（ステップＳ７３）。
【００７２】
次に、ステップＳ７２で得た顔特徴データを、特定の不正な操作者の顔特徴データが登録されている不正者リスト内の各顔特徴データとそれぞれ照合し、両者の類似度を計算する（ステップＳ７４）。次に、計算した類似度が、あらかじめ設定される所定の閾値よりも大きい顔特徴データが不正者リスト内に存在するか否か（すなわち、当該操作者は不正な操作者か否か）を判定する（ステップＳ７５）。
【００７３】
この判定の結果、存在する場合、当該操作者は不正な操作者であるとみなし、当該被操作物の操作（運転）が不能となるように制御するとともに、あらかじめ定められた所、たとえば、本装置を運営する企業の監視センタへ正当でない操作者を検知した旨を通知し（ステップＳ７６）、ここで処理を終了する。
【００７４】
ステップＳ７５の判定の結果、計算した類似度が所定の閾値よりも大きい顔特徴データが正当者リスト内に存在しない場合、当該操作者は正当な操作者であるとみなし、再度、座席荷重検出装置１１の出力を参照することにより、座席の荷重があらかじめ定められた所定値以下になったか否か（すなわち、被操作物の操作終了か否か）を判定する（ステップＳ７７）。この判定の結果、座席の荷重が所定値以下になった場合、操作者が操作を終了して座席から離れたものとみなし、ここで処理を終了する。
【００７５】
ステップＳ７７の判定の結果、座席の荷重が所定値以下になっていない場合、まだ操作者が着座していて操作を終了していないものとみなし、座席荷重検出装置１１の出力を参照することにより、座席の荷重が一旦ゼロになってから再度加わったか否か（すなわち、操作者が交代したか否か）を判定する（ステップＳ７８）。この判定の結果、座席の荷重が一旦ゼロになってから再度加わった状態ではない場合、操作者は交代していないものとみなして、ステップＳ７７に戻り、上記同様な動作を繰り返す。
【００７６】
ステップＳ７８の判定の結果、座席の荷重が一旦ゼロになってから再度加わった状態である場合、操作者は交代しているものとみなして、カメラ１−１からの入力画像を再度取込み、この取込んだ入力画像から前記同様な動作により顔特徴データを抽出し、この抽出した顔特徴データと辞書７に登録されている複数の辞書データ（顔特徴データ）とを照合し、両者の類似度を計算する（ステップＳ７９）。
【００７７】
次に、ステップＳ７９で計算した類似度が、あらかじめ設定される所定の閾値よりも大きいか否かを判定し（ステップＳ８０）、大きい場合、操作者が交代したが前回と同じ正当な操作者であるとみなして、ステップＳ７７に戻り、上記同様な動作を繰り返す。
【００７８】
ステップＳ８０の判定の結果、計算した類似度が設定された閾値よりも小さい場合、最終的に操作者は交代したものとみなし、たとえば、ステップＳ７９の照合時に取込んだ顔画像から得た顔特徴データを新たな辞書データとして辞書７に登録するとともに、当該入力画像（顔画像）および顔特徴データを当該日時データなどの属性情報とともに記録装置１０で記録するか、あるいは、通信制御部１２により、あらかじめ定められた所（たとえば、本装置を運営する企業の監視センタなど）へ送信する（ステップＳ８１）。
【００７９】
次に、ステップＳ７９で得た顔特徴データを前記不正者リスト内の各顔特徴データとそれぞれ照合し、両者の類似度を計算する（ステップＳ８２）。次に、計算した類似度が、あらかじめ設定される所定の閾値よりも大きい顔特徴データが不正者リスト内に存在するか否か（すなわち、当該操作者は不正な操作者か否か）を判定する（ステップＳ８３）。
【００８０】
この判定の結果、存在する場合、当該操作者は不正な操作者であるとみなし、当該被操作物の操作（運転）が不能となるように制御するとともに、本装置を運営する企業の監視センタへ正当でない操作者を検知した旨を通知し（ステップＳ８４）、ここで処理を終了する。
【００８１】
ステップＳ８３の判定の結果、計算した類似度が所定の閾値よりも大きい顔特徴データが不正者リスト内に存在しない場合、当該操作者は正当な操作者であるとみなして、ステップＳ７７に戻り、上記同様な動作を繰り返す。
このように、第４の実施の形態によれば、ブラックリストとの照合を行なうことにより、不正な操作者を検知して排除することが可能となる。
【００８２】
次に、第５の実施の形態について説明する。第５の実施の形態は、前述した（５）の発明に対応している。
第５の実施の形態は、第２の実施の形態のように、操作者の交代を検知した後に正当者リストとの照合を行なうのでなく、直ちに正当者リストとの照合を行なうもので、装置構成は第１の実施の形態と同様でよいが、処理の流れが異なっており、以下、それについて図１５に示すフローチャートを参照して説明する。
【００８３】
まず、座席荷重検出装置１１の出力を参照することにより、操作者が着座する被操作物の座席の荷重があらかじめ定められた所定値以上かかったか否か（すなわち、被操作物の操作開始か否か）を判定する（ステップＳ９１）。この判定の結果、座席の荷重が所定値以上かかった場合、操作者が着座して被操作物の操作を開始したものとみなし、ハンドル２１の中央部に設置されたカメラ１−１からの入力画像を取込み、この取込んだ入力画像から前記同様な動作により顔特徴データを抽出し、この抽出した顔特徴データを、全ての正当な操作者の顔特徴データが登録されている正当者リスト内の各顔特徴データとそれぞれ照合し、両者の類似度を計算する（ステップＳ９２）。
【００８４】
次に、計算した類似度が、あらかじめ設定される所定の閾値よりも大きい顔特徴データが正当者リスト内に存在するか否か（すなわち、当該操作者は正当な操作者か否か）を判定する（ステップＳ９３）。この判定の結果、存在しない場合、当該操作者は正当な操作者でないとみなし、当該被操作物の操作（運転）が不能となるように制御するとともに、あらかじめ定められた所、たとえば、本装置を運営する企業の監視センタへ正当でない操作者を検知した旨を通知し（ステップＳ９４）、ここで処理を終了する。
【００８５】
ステップＳ９３の判定の結果、計算した類似度が所定の閾値よりも大きい顔特徴データが正当者リスト内に存在する場合、当該操作者は正当な操作者であるとみなし、再度、座席荷重検出装置１１の出力を参照することにより、座席の荷重があらかじめ定められた所定値以下になったか否か（すなわち、被操作物の操作終了か否か）を判定する（ステップＳ９５）。この判定の結果、座席の荷重が所定値以下になった場合、操作者が操作を終了して座席から離れたものとみなし、ここで処理を終了する。
【００８６】
ステップＳ９５の判定の結果、座席の荷重が所定値以下になっていない場合、まだ操作者が着座していて操作を終了していないものとみなし、座席荷重検出装置１１の出力を参照することにより、座席の荷重が一旦ゼロになってから再度加わったか否か（すなわち、操作者が交代したか否か）を判定する（ステップＳ９６）。この判定の結果、座席の荷重が一旦ゼロになってから再度加わった状態ではない場合、操作者は交代していないものとみなして、ステップＳ９５に戻り、上記同様な動作を繰り返す。
【００８７】
ステップＳ９６の判定の結果、座席の荷重が一旦ゼロになってから再度加わった状態である場合、操作者は交代しているものとみなして、カメラ１−１からの入力画像を再度取込み、この取込んだ入力画像から前記同様な動作により顔特徴データを抽出し、この抽出した顔特徴データと辞書７に登録されている複数の辞書データ（顔特徴データ）とを照合し、両者の類似度を計算する（ステップＳ９７）。
【００８８】
次に、ステップＳ９７で計算した類似度が、あらかじめ設定される所定の閾値よりも大きいか否かを判定し（ステップＳ９８）、大きい場合、操作者が交代したが前回と同じ正当な操作者であるとみなして、ステップＳ９５に戻り、上記同様な動作を繰り返す。
【００８９】
ステップＳ９８の判定の結果、計算した類似度が設定された閾値よりも小さい場合、不正な操作者に交代したものとみなしてステップＳ９４に進み、前述同様な処理を行なった後、処理を終了する。
このように、第５の実施の形態によれば、操作者の交代を検知した後に正当者リストとの照合を行なうのでなく、直ちに正当者リストとの照合を行なうことが可能となる。
【００９０】
次に、第６の実施の形態について説明する。第６の実施の形態は、前述した（４）の発明に対応している。
第６の実施の形態は、第４の実施の形態において、正当者リストとの照合により正当な操作者でないと判定された場合に、不正者リストとの照合確認を行なうようにしたもので、装置構成は第１の実施の形態と同様でよいが、正当者リストとの照合処理が追加されており、以下、それについて図１６および図１７に示すフローチャートを参照して説明する。
なお、図１６および図１７は、図１３および図１４に対して正当者リストとの照合処理を追加したもので、その他は図１３および図１４と同様であり、よって異なる部分（正当者リストとの照合処理）についてだけ説明する。
【００９１】
ステップＳ７３の処理が終了すると、ステップＳ７２で得た顔特徴データを、全ての正当な操作者の顔特徴データが登録されている正当者リスト内の各顔特徴データとそれぞれ照合し、両者の類似度を計算する（ステップＳ８５）。次に、計算した類似度が、あらかじめ設定される所定の閾値よりも大きい顔特徴データが正当者リスト内に存在するか否か（すなわち、当該操作者は正当な操作者か否か）を判定する（ステップＳ８６）。
【００９２】
この判定の結果、計算した類似度が所定の閾値よりも大きい顔特徴データが正当者リスト内に存在する場合、当該操作者は正当な操作者であるとみなして、ステップＳ７７に戻り、上記同様な動作を繰り返す。
ステップＳ８６の判定の結果、計算した類似度が所定の閾値よりも大きい顔特徴データが正当者リスト内に存在しない場合、当該操作者は正当な操作者でないとみなして、ステップＳ７４に進み、正当者リストとの照合を行なう。
【００９３】
また、ステップＳ８１の処理が終了すると、ステップＳ７９で得た顔特徴データを、全ての正当な操作者の顔特徴データが登録されている正当者リスト内の各顔特徴データとそれぞれ照合し、両者の類似度を計算する（ステップＳ８７）。次に、計算した類似度が、あらかじめ設定される所定の閾値よりも大きい顔特徴データが正当者リスト内に存在するか否か（すなわち、当該操作者は正当な操作者か否か）を判定する（ステップＳ８８）。
【００９４】
この判定の結果、計算した類似度が所定の閾値よりも大きい顔特徴データが正当者リスト内に存在する場合、当該操作者は正当な操作者であるとみなして、ステップＳ７７に戻り、上記同様な動作を繰り返す。
ステップＳ８８の判定の結果、計算した類似度が所定の閾値よりも大きい顔特徴データが正当者リスト内に存在しない場合、当該操作者は正当な操作者でないとみなして、ステップＳ８２に進み、正当者リストとの照合を行なう。
【００９５】
このように、第６の実施の形態によれば、正当者リストとの照合により正当な操作者でないと判定された場合に、ブラックリストとの照合を行なうことにより、より一層、本人確認機能が強化される。
【００９６】
次に、第７の実施の形態について説明する。第７の実施の形態は、前述した（５）の発明に対応している。
第７の実施の形態は、第５の実施の形態における正当者リストとの照合の代わりに、不正者リストとの照合確認を行なうようにしたもので、装置構成は第１の実施の形態と同様でよいが、処理の流れは図１８に示すようになり、図１５の正当者リストとの照合処理を行なうステップＳ９２が、不正者リストとの照合処理を行なうステップＳ９９に変わった点が異なり、それ以外は図１５と同様であるので、説明は省略する。
このように、第７の実施の形態によれば、操作者の交代を検知した後に不正者リストとの照合を行なうのでなく、直ちに不正者リストとの照合を行なうことが可能となる。
【００９７】
以上説明したように、上記実施の形態によれば、顔画像のパターン照合方式の自然さ（ユーザ負担が非常に小さい）や利便性という長所を最大限生かし、全体としてのセキュリティレベルを従来よりも大幅に向上させることが可能となる。そして、顔画像認識方式の非接触性の利点を活かし、操作者の交代管理、正当性確認、不正者の検知などを行なうことができる。
【００９８】
なお、前記実施の形態では、顔画像を入力する画像入力手段としてモノクロカメラを用いたが、カラーカメラを用いてもよく、その場合は、顔画像の取込み後にモノクロ画像に変換する処理を追加すればよい。
また、１枚の顔画像（静止画）を処理対象としたが、入力条件の変動を考慮して、一定時間間隔で複数の連続した顔画像（動画像）を取込んで、図１のキャプチャボードの画像メモリにバッファリングしてもよい。
【００９９】
動画像を用いる際にも、登録のときのみ用いる場合と、登録と照合の両方において用いる場合の２通りが可能である。動画像を処理対象とする場合の処理の流れとしては、辞書登録や辞書照合においてのみ変更を加えればよく、複数の特徴ベクトルから主成分分析などの統計的処理を行なってパターンの登録、照合処理を行なう。この処理は従来方法でよく、たとえば、前記文献２に示されている処理方法が適用可能である。
【０１００】
【発明の効果】
以上詳述したように本発明によれば、顔画像照合方式の自然さや利便性という長所を最大限活かし、全体としてのセキュリティレベルを従来よりも大幅に向上させ、操作者の交代管理、正当性確認、不正者の検知などを行なうことができる操作者監視装置を提供を提供できる。
【図面の簡単な説明】
【図１】第１の実施の形態に係る操作者監視装置の構成を概略的に示すブロック図。
【図２】カメラが１つの場合の配置例を示す模式図。
【図３】カメラが複数の場合の配置例を示す模式図。
【図４】カメラにより取込まれた操作者の顔画像の一例を示す図。
【図５】処理プロセッサによる顔画像の登録処理を説明するフローチャート。
【図６】処理プロセッサによる顔画像の照合処理を説明するフローチャート。
【図７】第１の実施の形態に係る操作者の交代検知処理の流れについて説明するフローチャート。
【図８】第２の実施の形態に係る操作者の交代検知および正当性確認を行なう処理の流れについて説明するフローチャート。
【図９】第２の実施の形態に係る操作者の交代検知および正当性確認を行なう処理の流れについて説明するフローチャート。
【図１０】第３の実施の形態における圧力検知器の配置例を示す模式図。
【図１１】第３の実施の形態に係る操作者の交代検知および正当性確認を行なう処理の流れについて説明するフローチャート。
【図１２】第３の実施の形態に係る操作者の交代検知および正当性確認を行なう処理の流れについて説明するフローチャート。
【図１３】第４の実施の形態に係る操作者の交代検知および正当性確認を行なう処理の流れについて説明するフローチャート。
【図１４】第４の実施の形態に係る操作者の交代検知および正当性確認を行なう処理の流れについて説明するフローチャート。
【図１５】第５の実施の形態に係る操作者の交代検知および正当性確認を行なう処理の流れについて説明するフローチャート。
【図１６】第６の実施の形態に係る操作者の交代検知および正当性確認を行なう処理の流れについて説明するフローチャート。
【図１７】第６の実施の形態に係る操作者の交代検知および正当性確認を行なう処理の流れについて説明するフローチャート。
【図１８】第７の実施の形態に係る操作者の交代検知および正当性確認を行なう処理の流れについて説明するフローチャート。
【符号の説明】
１，１−１〜１−Ｎ…カメラ（画像入力手段）、２，２−１〜２−Ｎ…キャプチャボード、４…処理プロセッサ、５…ワークメモリ、７…辞書（登録手段）、９…ディスプレイ、１０…記録装置（記録手段）、１１…座席荷重検出装置（座席荷重検出手段）、１２…通信制御部、２１…ハンドル、２２…操作者の頭部、２３…操作パネル、２４ａ，２４ｂ…圧力検知器（圧力検知手段）、２５…マイクロフォン（音声入力手段）。
【図１】
0003999983.tif 000002
【図２】
0003999983.tif 000003
【図３】
0003999983.tif 000004
【図４】
0003999983.tif 000005
【図５】
0003999983.tif 000006
【図６】
0003999983.tif 000007
【図７】
0003999983.tif 000008
【図８】
0003999983.tif 000009
【図９】
0003999983.tif 000010
【図１０】
0003999983.tif 000011
【図１１】
0003999983.tif 000012
【図１２】
0003999983.tif 000013
【図１３】
0003999983.tif 000014
【図１４】
0003999983.tif 000015
【図１５】
0003999983.tif 000016
【図１６】
0003999983.tif 000017
【図１７】
0003999983.tif 000018
【図１８】
0003999983.tif 000019