(57)【特許請求の範囲】
【請求項１】
利用者固有の異なる複数の特徴を蓄積する手段と、前記蓄積されている複数の特徴と同種の特徴を入力する手段と、前記入力された特徴と予め蓄積してある特徴とを各特徴毎に照合する手段と、前記各特徴毎の照合結果を統合する手段と、前記統合手段の結果に基づいて利用者に入力させるパスワードの桁数を指定する手段とを備え、前記利用者固有の特徴が利用者の顔画像及び音声から抽出された特徴量であることを特徴とする利用者照合装置。
【請求項２】
利用者の顔画像及び音声から抽出された特徴を蓄積する手段と、利用者の顔画像を入力しその特徴を抽出する手段と、前記入力された顔画像の特徴と予め蓄積してある特徴とを照合しその一致度を求める手段と、前記求めた一致度に応じて利用者に音声入力させる発話内容を選択する手段と、前記発話された音声から求められた特徴量と前記蓄積された音声の中の発話された音声と同一の音声の特徴を照合する手段と、前記画像特徴と音声特徴の照合結果を統合する手段と、前記統合手段の結果に基づいて利用者に入力させるパスワードの桁数を指定する手段を備えたことを特徴とする利用者照合装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は利用者照合装置に関するものであり、特に効率的で利用環境の変化に頑強な利用者照合を行う手段を備えた利用者照合装置に関する。
【０００２】
【従来の技術】
従来の利用者照合装置としては、例えば図６に示した様に構成されている。図６においては、６01は利用者照合のための情報入力するための手段で、例えばビデオカメラである。６02は情報処理装置で、例えばコンピュータである。６03は入力された情報を表示するための表示装置、６04は他の情報処理装置と接続するためのネットワーク装置である。
【０００３】
以上のように構成された従来の利用者照合装置においては、情報入力の開始に当たってビデオカメラで入力された利用者の顔画像を取り込み、情報処理装置６02に予め蓄積されている登録利用者の情報と照合する事によって現在の利用者が予め登録されている利用者であるか否か判定し、利用者が登録利用者と判定されたときには情報処理装置６02を利用できるようになる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記のような従来の構成では、利用者の顔画像を取り込む時の照明条件等の変化により利用者の顔画像が照合できなかった場合に、正規の利用者が情報処理装置の利用ができなくなってしまうといった問題点があった。
【０００５】
本発明は情報処理装置の利用者の照合を利用環境の変化に影響されずにより効果的に行うことのできる利用者照合装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、利用者固有の特徴を蓄積する手段と、前記蓄積されている特徴と同一の特徴を入力する手段と、前記入力された特徴と予め蓄積してある特徴とを照合する手段と、前記照合結果に基づいて利用者に入力させるパスワードの桁数を指定する手段を備え、前記利用者固有の特徴が利用者の顔画像及び音声から抽出された特徴量であることを特徴とする利用者照合装置である。
【０００７】
【発明の実施の形態】
（実施の形態１）
以下本発明の第１の実施の形態について図面を参照して説明する。図１は本発明の第１の実施の形態における利用者照合装置の構成図を示すものである。
【０００８】
図１において、100は利用者が使用する情報処理装置、101利用者の顔画像などの画像を入力するための画像入力装置、102は画像入力装置101によって入力された画像の特徴を抽出するための画像特徴抽出装置、103は画像特徴抽出装置102で抽出された画像特徴量と予め蓄積されている利用者の画像特徴量を照合する画像照合装置、104は利用者の画像特徴量を蓄積しておくための登録者画像特徴蓄積装置、105は画像照合装置103の照合結果に基づき利用者に入力させるパスワードの桁数を選択するパスワード桁数選択装置である。
【０００９】
以上のように構成された第１の実施の形態の利用者照合装置について、以下その動作を説明する。画像入力装置101によって入力された利用者の画像は画像特徴抽出装置102に入力され、利用者の画像に含まれる個人性情報を抽出する。入力された画像は画像に含まれる個人性情報としては、顔画像の輝度情報、輝度情報の位置微分情報、顔画像の色情報を用いている。画像特徴抽出装置102で抽出された特徴量は画像照合装置103に入力され、登録者画像蓄積装置104に蓄積されている画像特徴量と比較され、入力された画像が、予め登録されている利用者の画像との照合が行われる。ここで用いる照合方法としては、例えばテンプレートマッチング等の公知の各種パターンマッチング手法を利用することが可能である。
【００１０】
パスワード選択装置105は画像照合装置103の出力である照合結果に基づき利用者に入力させるパスワード桁数を選択して情報処理装置100に出力する。利用者は情報処理装置100がモニターに出力する桁数を入力する。すなわち、画像照合装置103での照合結果が良好な場合には少ない桁数、照合結果が悪い場合には多い桁数を利用者に入力させるようにする。利用者はパスワード選択装置105が出力する桁数のパスワードを情報処理装置100に入力する。その入力を情報処理装置100は判定し、正しいパスワードが入力された場合に利用者の情報処理装置100の利用を許可する。
【００１１】
以上のように本実施の形態によれば、顔画像情報を用いて、まず、利用者の照合を行い、その照合結果に基づきパスワード入力を行わせることによって、従来のキーボードからパスワードを入力するだけではさけることのできない情報処理装置の不正利用を防ぐことができる。
【００１２】
なお、本実施の形態では利用者の照合を顔画像を用いて行っているが、図２に示したように、利用者の音声を用いても、同様な効果を実現することができる他、指紋、身長、体重等の個人性情報を用いても同様の効果を発揮できる。
【００１３】
尚、図中200は利用者が使用する情報処理装置、201は利用者の音声を入力する音声入力装置、202は入力された音声の特徴を抽出する音声特徴抽出装置、203は抽出された音声特徴と予め蓄積されている利用者の音声特徴量を照合する音声照合装置、204 は利用者の音声特徴量を蓄積しておくための登録者音声特徴蓄積装置、205は音声照合装置203の照合結果に基づき利用者に入力させるパスワードの桁数を選択するパスワード桁数選択装置である。
【００１４】
（実施の形態２）
以下発明の第２の実施の形態について図面を参照して説明する。図３は本発明の第２の実施の形態における利用者照合装置の構成を示すものである。
【００１５】
図３において、300は利用者が使用する情報処理装置、301は利用者の音声を入力するための音声入力装置、302は音声入力装置301によって入力された音声の特徴を抽出するための音声特徴抽出装置、303は音声特徴抽出装置302で抽出された音声特徴量と予め蓄積されている利用者の音声特徴量を照合する音声照合装置、304は利用者の音声特徴量を蓄積しておくための登録者音声特徴蓄積装置、305は利用者の画像を入力するための画像入力装置、306は画像入力装置305によって入力された画像の特徴を抽出するための画像特徴抽出装置、307は画像特徴抽出装置306で抽出された画像特徴量と予め蓄積されている利用者の画像特徴量を照合する画像照合装置、308は利用者の画像特徴量を蓄積しておくための登録者画像特徴蓄積装置、309は音声照合装置303と画像照合装置307の照合結果を統合して現在の利用者が登録された利用者である信頼度を求める統合信頼度評価装置、310は統合信頼度評価装置309の出力である信頼度に基づき利用者に入力させるパスワードの桁数を選択するパスワード桁数選択装置である。
【００１６】
以上のように構成された第２の実施の形態の利用者照合装置の動作を以下に説明する。音声入力装置301によって入力された利用者の音声は音声特徴抽出装置302に入力され、利用者の音声に含まれる個人性情報を抽出する。入力された音声に含まれる個人性情報としては、音声の平均スペクトル、ピッチ、パワー、フォルマント周波数を用いている。音声特徴抽出装置302で抽出された特徴量は音声照合装置303に入力され、登録者音声蓄積装置304に蓄積されている音声特徴量と比較され、入力された音声と、予め登録されている利用者の音声との照合が行われる。ここで用いる照合方法としても公知の各種パターンマッチング手法を利用することが可能である。
【００１７】
画像入力装置305によって入力された利用者の画像は画像特徴抽出装置306に入力され、利用者の画像に含まれる個人性情報を抽出する。入力された画像は画像に含まれる個人性情報としては、第１の実施の形態と同様に顔画像の輝度情報、輝度情報の位置微分情報、顔画像の色情報を用いている。画像特徴抽出装置305で抽出された特徴量は画像照合装置307に入力され、登録者画像蓄積装置308に蓄積されている画像特徴量と比較され、入力された画像が、予め登録されている利用者の画像との照合が行われる。音声照合装置303の出力である現在の利用者の入力した音声の照合結果と画像照合装置307の出力である現在の利用者の入力した画像の照合結果は統合信頼度評価装置309に入力され、現在の利用者の入力した音声と画像を統合した信頼度を評価してパスワード桁数選択装置310に入力する。統合手法としては、例えば音声照合装置303の出力と画像照合装置307の積を計算することで行っている。
【００１８】
パスワード桁数選択装置310は統合信頼度評価装置309の出力である信頼度に基づき利用者にから入力させるパスワード桁数を選択して情報処理装置300に出力する。すなわち、統合信頼度評価装置309での信頼度評価結果が、よい場合には少ない桁数、信頼度評価結果が悪い場合には多い桁数を利用者に入力させ、著しく信頼度評価結果が悪いときには現在の利用者が登録利用者でないと判断して利用を却下するるようにする。利用者はパスワード桁数選択装置310が出力する桁数のパスワードを情報処理装置300に入力する。入力されたパスワードを情報処理装置300は判定し、正しいパスワードが入力された場合に利用者の情報処理装置300の利用を許可する。
【００１９】
以上のように本実施の形態によれば、利用者の発する音声情報と利用者の顔画像情報という利用者固有の特徴を用いて登録された利用者であるかを統合的に判断し、その結果を用いてパスワード入力を利用者に行わせることによって、情報処理装置の利用者の判定をより厳密に行うことができる。
【００２０】
なお、本実施の形態では利用者の音声情報と顔画像情報を組み合わせて入力するパスワード入力の桁数を決定しているが、指紋、身長、体重等の個人性を反映する特徴を組み合わせて用いても、同様な効果を実現することができる。また統合手法としては音声照合装置303の出力と画像照合装置307の積を計算することで行う他にも、音声照合装置303の出力と画像照合装置307の小さな方の値を用いたり、音声照合装置303の出力と画像照合装置307の値に重みづけして積を計算する等の方法も用いることが容易にできる。
【００２１】
（実施の形態３）
以下本発明の第３の実施の形態について図面を参照して説明する。図４は本発明の第３の実施の形態における利用者照合装置の構成図を示すものである。
【００２２】
図４において、400は利用者が使用する情報処理装置、401は利用者の画像を入力するための画像入力装置、402は画像入力装置401によって入力された画像の特徴を抽出するための画像特徴抽出装置  403は画像特徴抽出装置402で抽出された画像特徴量と予め蓄積されている利用者の音声特徴量を照合する画像照合装置、404は利用者の情報を蓄積しておくための登録者情報蓄積装置、405は画像照合装置403で求められた照合結果がリジェクト基準以上の時に利用者に利用者入力させるパスワードを選択するためのパスワード選択装置、406は利用者が入力したパスワードをチェックするためのパスワードチェック装置、407は利用者の音声を入力するための音声入力装置、408は音声入力装置407によって入力された音声の特徴を抽出するための音声特徴抽出装置、409は音声特徴抽出装置408で抽出された音声特徴量と予め蓄積されている利用者の音声特徴量を照合する音声照合装置、410は音声照合装置409で求められた照合結果がリジェクト基準以上の時に利用者に利用者入力されるパスワードを選択するためのパスワード選択装置、411は利用者が入力したパスワードをチェックするためのパスワードチェック装置である。
【００２３】
以上のように構成された第３の実施の形態の利用者照合装置について、以下その動作を説明する。まず、画像入力装置401 によって入力された利用者の画像は画像特徴抽出装置402 に入力され、利用者の画像に含まれる個人性情報を抽出する。入力された画像に含まれる個人性情報としては、第１の実施の形態と同様に顔画像の輝度情報、輝度情報の位置微分情報、顔画像の色情報を用いている。画像特徴抽出装置402で抽出された特徴量は画像照合装置403に入力され、登録者情報蓄積装置404に蓄積されている画像特徴量を用いて、入力された画像と予め登録されている利用者の画像との照合が行われる。照合方法としては公知の各種パターンマッチング手法を利用することが可能である。画像照合装置403の照合結果が予め設定してあるリジェクト基準以上かつ画像判定基準以上の時にパスワード選択装置405は利用者に入力させるパスワードを画像照合装置403の照合結果に基づき選択し、利用者にそのパスワードを入力させる。
【００２４】
パスワードチェック装置406は入力されたパスワードが適切なパスワードであるか否かをチェックして、適切なパスワードが入力されたと判断したときに利用者が情報処理装置400を使用する許可を与える。一方画像照合装置403の照合結果が予め設定してあるリジェクト基準以上ではあるが画像判定基準よりも低い時には、音声入力装置407は利用者に予めシステムに登録している音声を入力させる。音声特徴抽出装置408は入力された音声に含まれる個人性情報を抽出する。音声に含まれる個人性情報としては、音声の平均スペクトル、ピッチ、パワー、フォルマント周波数を用いている。
【００２５】
音声特徴抽出装置408で抽出された特徴量は音声照合装置409に入力され、登録者情報蓄積装置404に蓄積されている音声特徴量と比較され、入力された音声と予め登録されている利用者の音声との照合が行われる。ここで用いる照合方法としても公知の各種パターンマッチング手法を利用することが可能である。音声照合装置409の照合結果が予め設定してあるリジェクト基準以上の時にパスワード選択装置410は音声照合装置409の照合結果が低かった時には長めのパスワードを、照合結果が良好だった時には長めのパスワードを選択し、利用者にそのパスワードを入力させる。パスワードチェック装置411は入力されたパスワードが適切なパスワードであるか否かをチェックして、適切なパスワードが入力されたと判断したときに利用者が情報処理装置400を使用する許可を与える。一方音声照合装置409の照合結果が予め設定してあるリジェクト基準以下の低い時には、現在の利用者の情報処理装置400の使用を却下する。
【００２６】
以上のように本実施の形態によれば、利用者の顔画像情報と登録されている利用者の画像情報を照合し、その照合結果に基づき利用者に入力させるパスワードを選択し入力させることにより、入力された画像情報が照明条件などの変化のために照合度が低かった時には長めのパスワードを利用者に行わせる。このように長いパスワードを入力させることで、利用者の認定を厳密に行うことができる。また、照明条件等の悪化により、画像情報の照合結果が判定基準に満たなかった場合、利用者の音声に含まれる個人性情報を用いた利用者の認定を行うことで画像情報の劣化による利用者認定の信頼性の低下を補うことができるとともに、利用者固有の特徴を用いて厳密な利用者の照合を行うことができる。
【００２７】
尚、本実施の形態では利用者の顔画像情報と音声情報とを組み合わせて入力するパスワードを決定しているが、利用者の音声、画像以外の、指紋、身長、体重等の個人性を反映する特徴を組み合わせて用いても、同様な効果を実現することができる。
【００２８】
（実施の形態４）
以下本発明の第４の実施の形態について図面を参照して説明する。図５は本発明の第４の実施の形態における利用者照合装置の構成図を示すものである。
【００２９】
図５において、500は利用者が使用する情報処理装置、501は利用者の画像を入力するための画像入力装置、502は画像入力装置501によって入力された音声の特徴を抽出するための登録者画像特徴抽出装置、503は登録者画像特徴抽出装置502で抽出された画像特徴量と予め蓄積されている利用者の画像特徴量を照合する画像照合装置、504は利用者の情報を蓄積しておくための登録者情報特徴蓄積装置、505は利用者の音声入力の内容を選択する発話内容選択装置、506は利用者の音声を入力するための音声入力装置、507は音声入力装置506によって入力された音声の特徴を抽出するための登録者音声特徴抽出装置、508は登録者音声特徴抽出装置507で抽出された音声特徴量と予め蓄積されている利用者の音声特徴量を照合する音声照合装置、509は音声照合装置508と画像照合装置503の照合結果を統合して現在の利用者が登録された利用者である信頼度を求める統合信頼度評価装置、510は統合信頼度評価装置509の出力である信頼度に基づき利用者に入力させるパスワードを選択するパスワード選択装置である。
【００３０】
以上のように構成された第４の実施の形態の利用者照合装置について、以下その動作を説明する。画像入力装置501によって入力された利用者の画像は登録者画像特徴抽出装置502に入力され、利用者の画像に含まれる個人性情報を抽出する。入力された画像に含まれる個人性情報としては、第１の実施の形態と同様に顔画像の輝度情報、輝度情報の位置微分情報、顔画像の色情報を用いている。登録者画像特徴抽出装置502で抽出された特徴量は画像照合装置503に入力され、登録者情報特徴蓄積装置504に蓄積されている画像特徴量と比較され、入力された画像と予め登録されている利用者の画像との照合が行われる。登録者情報特徴蓄積装置504はたとえばＩＣカードで実現される。
【００３１】
発話内容選択装置505は画像照合装置503の照合結果に基づき、照合結果が低い時には長めの単語を、照合結果が良好の時には短い単語を選択し、音声入力装置506に出力する。音声入力装置506は発話内容選択装置505の選択した発話内容を利用者に発話させる。入力された利用者の音声は登録者音声特徴抽出装置507に入力され、利用者の音声に含まれる個人性情報を抽出する。音声に含まれる個人性情報としては、音声の平均スペクトル、ピッチ、パワー、フォルマント周波数を用いている。登録者音声特徴抽出装置507で抽出された特徴量は音声照合装置508に入力され、登録者情報特徴蓄積装置504に蓄積されている音声特徴量と比較され、照合が行われる。音声照合装置508の出力である現在の利用者の入力した音声の照合結果と画像照合装置503の出力である現在の利用者の入力した画像の照合結果は統合信頼度評価装置509に入力される。
【００３２】
パスワード選択装置510は音声の照合結果と画像の照合結果に基づき算出された利用者の信頼度に基づき統合信頼度評価装置509が出力するパスワードを情報処理装置500に出力する。利用者は情報処理装置500がモニターに出力する桁数を入力する。即ち、統合信頼度評価装置509での信頼度評価結果がよい場合には少ない桁数、信頼度評価結果が悪い場合には多い桁数を利用者に入力させ、著しく信頼度評価結果が悪いときには現在の利用者が登録利用者でないと判断して利用を却下するようにする。利用者はパスワード選択装置510が出力する桁数のパスワードを情報処理装置500に入力する。その入力を情報処理装置500は判定し、正しいパスワードが入力された場合、利用者の情報処理装置500の利用を許可する。
【００３３】
以上のように本実施の形態によれば、利用者の顔画像情報と登録されている利用者の画像情報という複数の利用者特有の情報を用いて利用者照合を行い、その照合結果に基づき利用者に入力させるパスワードの桁数を選択し入力させることにより行う。このように音声情報と画像情報の照合結果を統合判断し、その結果を用いてパスワード入力を利用者に行わせることによって、情報処理装置の利用者の認定を画像や音声を単体で用いる場合よりもより厳密に行うことができる。なお、本実施の形態では利用者の音声情報と顔画像情報を組み合わせて入力するパスワードを決定しているが、利用者の音声、画像以外の、指紋、身長、体重等の個人性を反映する特徴を組み合わせて用いても、同様な効果を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像を用いた利用者照合装置の構成図
【図２】本発明の第１の実施の形態における音声を用いた利用者照合装置の構成図
【図３】本発明の第２の実施の形態における利用者照合装置の構成図
【図４】本発明の第３の実施の形態における利用者照合装置の構成図
【図５】本発明の第４の実施の形態における利用者照合装置の構成図
【図６】従来の利用者照合装置の構成図
【符号の説明】
１００  情報処理装置
１０１  画像入力装置
１０２  画像特徴抽出装置
１０３  画像照合装置
１０４  登録者画像特徴蓄積装置
１０５  パスワード桁数選択装置
２００  情報処理装置
２０１  音声入力装置
２０２  音声特徴抽出装置
２０３  音声照合装置
２０４  登録者音声特徴蓄積装置
２０５  パスワード桁数選択装置
３００  情報処理装置
３０１  音声入力
３０２  音声特徴抽出装置
３０５  画像入力装置
３０３  音声照合装置
３０４  登録者音声特徴蓄積装置
３０６  画像特徴抽出装置
３０７  画像照合装置
３０８  登録者画像特徴蓄積装置
３０９  統合信頼度評価装置
３１０  パスワード桁数選択装置
４００  情報処理装置
４０１  画像入力装置
４０２  画像特徴抽出装置
４０３  画像照合装置
４０４  登録者情報蓄積装置
４０５  パスワード選択装置
４０６  パスワードチェック装置
４０７  音声入力装置
４０８  音声特徴抽出装置
４０９  音声照合装置
４１０  パスワード選択装置
４１１  パスワードチェック装置
５００  情報処理装置
５０１  画像入力装置
５０２  登録者画像特徴抽出装置
５０３  画像照合装置
５０４  登録者情報特徴蓄積装置
５０５  発話内容選択装置
５０６  音声入力装置
５０７  登録者音声特徴抽出装置
５０８  音声照合装置
５０９  統合信頼度評価装置
５１０  パスワード選択装置
【図１】
0003829355.tif 000002
【図２】
0003829355.tif 000003
【図３】
0003829355.tif 000004
【図４】
0003829355.tif 000005
【図５】
0003829355.tif 000006
【図６】
0003829355.tif 000007