(57)【特許請求の範囲】
【請求項１】
被験者の行動を分析するための自動化された方法であって、
被験者に対して、身体内部への立入を行うことなく、１つ又は複数の、視覚的に行う観察を、所定の時間に亘って多数の測定をすることにより行う工程と、
前記観察は、多数の映像フレームを準備するようにして、被験者の１つ又は多数の画像を取り込むことにより行われ、
前記観察を多数のチャンネルにコード化する工程と、
前記コード化する工程は、
（i）多数のフレームから予め定義された特徴を、対象物位置測定器を使って抽出するステップと、
（ii）前記抽出された予め定義されたそれぞれの特徴に対して、パターン検出器を使用して、パターンとして認識するステップと、
（iii）対象物位置測定器からのデータとパターン検出器からのデータを多数のチャンネルにコード化するステップと、
（iv）各チャンネルからのデータを照合して前記所定の時間に亘って全てのチャンネルの統計量を表すベクトルを生成するステップと、
からなり、
前記ベクトルを分析するための、人工知能手段又は統計的分類手段からなる自動分類機械を使用して、前記チャンネルを分析して、該被験者の行動が虚偽に基づくものであるか、そうではないかを、高水準の分類で行い、それに従った情報を出力する工程とからなる
ことを特徴とする方法。
【請求項２】
被験者の身体内部へ立ち入らない観察において、
被験者の行動の観察が、被験者の多数の映像からなり、
前記観察から多数のチャンネルへのコード化が、多数のその映像からの特徴を抽出することからなる請求項１に記載の方法。
【請求項３】
被験者の１つまたは複数の観察が、カメラを使って行う工程を有し、
測定された結果または観察の結果から複数のチャンネルへのコード化の工程が、
対象物位置測定器、パターン検出器、チャンネルコーダー、及びグループ化チャンネルコーダーを使って行われ、さらに、対象物位置測定器、パターン検出器は教育されたニューラルネットワークを使い、
チャンネルを分析する工程は、ニューラルネットワークからなる分類機構を使用する
請求項１に記載の方法。
【請求項４】
カメラがビデオカメラである請求項３に記載の方法。
【請求項５】
前記コード化する工程が、対象物の位置測定と対象物のパターン認識に対してニューラルネットワークを使用し、
前記分析する工程が、グループ化されたチャンネルデータを分類する作業に対してニューラルネットワークを使用する
請求項１〜４のいずれか１項に記載の方法。
【請求項６】
被験者の１つ又は複数の観察をする工程において、フレームシーケンスデータを生成するためにカメラを使用し、そのときに、１つのチャンネルが、現在のフレームに存在するものを表すようにしている請求項１〜５のいずれか１項に記載の方法。
【請求項７】
被験者の１つ又は複数の観察をする工程において、フレームシーケンスデータを生成するためにカメラを使用し、そのときに、１つのチャンネルが、現在のフレームと１つ又はそれ以上前のフレームとの間の関係を表すようにしている請求項１〜５のいずれか１項に記載の方法。
【請求項８】
少なくとも１つのチャンネルは、相対的な対象物の位置、対象物の位置の変化又は対象の画素に作用する基本的な機能による基本チャンネルである請求項１〜７のいずれか１項に記載の方法。
【請求項９】
少なくとも１つのチャンネルが、パターン検出器を使用し、各フレームについて簡単な判定をする単純チャンネルである請求項３または、請求項４〜８のいずれか１項に記載の方法。
【請求項１０】
コード化を行う工程が、所定の時間にわたって行われ、各チャンネルからのデータの統計処理を行い、それらを連結して、問題となる所定時間にわたって全てのチャンネルの統計値を表すベクトルを生成する工程を含む請求項１〜９のいずれか１項に記載の方法。
【請求項１１】
チャンネルを分析する工程において、分類機構が使用され、分類機構が、機械学習、遺伝子アルゴリズム、デシジョンツリー、ファジィー論理、シンボリックルール又はそれらの組み合わせである請求項３〜１０のいずれか１項記載の方法。
【請求項１２】
被験者の行動を自動的に分析するための装置であって、検出手段と、コード化手段と、自動機械分類手段とからなり、
所定時間にわたる多数の測定からなる、被験者の身体内部への立入をすることなく行われる、１つ又は複数の視覚的な観察を被験者に対して行うための検出手段と、
前記検出手段は、多数のフレームの形態で、被験者の映像を提供する１つ又は複数のカメラからなり、
コード化手段は、
（i）前記多数のフレームから予め定義された特徴を抽出されるように構成された対象物位置測定器と、
（ii）対象物位置測定器によって抽出されたそれぞれの特徴に対してパターンを認識するように構成されたパターン検出器と、
（iii）対象物位置検出器及びパターン検出器からのデータを多数のチャンネルにコード化するための手段と、
（iv）所定の時間に亘り、全てのチャンネルの統計量を表すベクトルを生成するために、各チャンネルからのデータを照合するための手段と
からなり、
自動機械分類の手段は、前記ベクトルを分析し、被験者の心理状態に関連する情報を出力するようになっており、自動機械分類手段が、人口知能手段または統計的な分類手段である、
装置。
【請求項１３】
被験者の行動の観察は、被験者の身体内に立ち入らずに行われ、
検出手段は、被験者の多数の映像を提供できる手段であり、
コード化の手段は、前記映像から特徴を抽出することができる抽出手段を含む請求項１２に記載の装置。
【請求項１４】
検出手段がカメラであり、
コード化手段が、対象物位置測定器、パターン検出器、チャンネルコーダー、グループチャンネルコーダーからなり、対象物位置測定器とパターン検出器には教育されたニューラルネットワークが使われ、
機械による自動分類技術の手段が、ニューラルネットワークからなる分類機構を使用する請求項１２または１３に記載の装置。
【請求項１５】
前記カメラがビデオカメラである請求項１４に記載の装置。
【請求項１６】
コード化手段が、対象物位置測定器と対象物パターン認識に対してニューラルネットワークを使用し、
機械による自動分類技術の手段が、グループ化されたチャンネルデータの分類にニューラルネットワークが使われる請求項１２〜１５のいずれか１項に記載の装置。
【請求項１７】
検出手段が、フレームシーケンスデータを生成するためのカメラであり、１つのチャンネルが現在のフレーム中に存在するものを表す請求項１２〜１６のいずれか１項に記載の装置。
【請求項１８】
検出手段が、フレームシーケンスデータを生成するためのカメラであり、それにより、１つのチャンネルが現在のフレームと１つ又はそれ以上前のフレームとの間の関係を表すようにしている請求項１２〜１７のいずれか１項に記載の装置。
【請求項１９】
少なくとも１つのチャンネルが、相対的な対象物の位置、対象物の位置の変化又は対象物の画素に作用する基本的な機能による基本チャンネルである請求項１２〜１８のいずれか１項に記載の装置。
【請求項２０】
少なくとも１つのチャンネルが、パターン検出器を使い、各フレームに対して簡単な判定を行う単純チャンネルである請求項１４〜１９のいずれか１項に記載の装置。
【請求項２１】
コード化手段は、所定時間にわたって各チャンネルからの統計値を生成する手段と、それらの値を結合して１つのベクトルを発生させ、前記ベクトルが問題となっている時間にわたる全てのチャンネルからの統計値を示すようになっている請求項１２〜２０のいずれか１項に記載の装置。
【請求項２２】
機械による自動分類技術の手段が、１つの分類機構からなり、分類機構は、学習機械、遺伝子アルゴリズム、デシジョンツリー、ファジー理論、シンボリックルール又はそれらの組み合わせを使ったニューラルネットワークからなる請求項１２〜２１のいずれか１項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人工知能を用いて被験者の行動を解析する方法および装置に関し、特に、人工ニューラルネットワーク（Artificial Neural Networks）を用いて被験者の非言語的視覚的行動の解析を参照しながら（これに限るものではないが）被験者の行動を解析する方法および装置に関する。
【背景技術】
【０００２】
ある事実を吐露することをしぶっているか又は本当にそれができない被験者に関する情報を取得するためにその被験者の心理学的なプロファイリングを行う技術には大きな関心が持たれている。その代表的例は虚偽を検出する分野である。
【０００３】
この目的のために、各種の虚偽検出器（所謂「嘘発見器」）が用いられている。これらの装置は、虚偽を示唆する何らかの手がかりを検出するものではあるが、その他の精神的、行動的および／または身体上の状態を検出するには適していないのが一般的である。
米国特許第5,507,291号には、被験者の感情状態に関する情報を遠隔測定する方法であって、離れて位置している被験者に波形エネルギーを無線伝送する方法が開示されている。この方法では、被験者から発せられる波形エネルギーを検出し、その測定値を基準値と比較することにより自動分析して、被験者の感情状態に関する情報を取得している。
【０００４】
よく知られた装置の１つは、1920年代に初めて開発されたポリグラフである。米国においては、この装置は、就職のための面談や保険の請求に使用されることがあり、ニューメキシコ州では法廷で用いられることも許可されている。ポリグラフは、通常、心拍数、呼吸数および発汗度を記録するものである；呼吸数を監視するためには胸の周りにチューブを締結し；心拍数を監視するには、袖口をまくって血圧を測定し；発汗度を監視するには指先の電気的な皮膚応答を測定する。そして、オペレーターが検査中、記録紙をチェックすることにより、身体的な応答と特定の語句や質問を相関させる。このようなテストは人に対して侵犯的であることは当業者には明らかであろう。
【０００５】
テスト記録の解析を自動化する試みもなされてはいるが、テストの信頼度は、テストを実施するオペレーターの熟練レベルおよびテストの記録を解析する専門的知識に依存する。さらに、テスト結果は被験者にも依り、人によっては自分の応答を制御してテスト結果を歪めることができる者もいる。
【０００６】
ポリグラフテストは、ストレスを示す僅か３つの測定値（チャネル）に依存している。無実の人であっても、例えば、有罪であると言われると、ストレスを感じたり困惑してしまうことはあり得る。苛立ち、困惑、恐怖、怒り、または無実の罪などの感情がストレス応答を生じる可能性もある。したがって、無実の被験者からの応答が間違って虚偽であると判断してしまうこともあり得る。もう一つの問題は、幾つかの簡単なトリックを知っている不実な人間（または正直な人であっても）は、ストレス応答を制御してポリグラフのオペレーターを騙すことができることである。この結果、この器械によって無実の者が損なわれることになる。
【０００７】
別の虚偽検出装置は、音声（ボイス）分析装置であり、これは、声の基本周波数の変化を記録し測定することによりリアルタイムで虚偽を検出しようとするものである。人はストレスを受けると、声帯中の血液量が低下する。神経が不随意的に干渉されると、声帯から僅かに異なる周波数のゆがんだ音波が発せられる。ここでも、ストレスに関係する測定値であるので、被験者が自分のストレス応答を制御する（特に自分がモニターされていることを知っている場合）ことができることもある。如上の装置によって得られるストレスの測定値が適用できるのは、被験者が正直であることを評価する場合のみである。
【０００８】
非言語的視覚的行動が、被験者の心理的プロフィルを示唆し得ることは知られている。ここで、非言語的「視覚的」行動とは、傍観者によって観察される被験者の外的な特質を意味し、例えば、被験者の動きである。これは、心臓の鼓動や声のような非視覚的行動のような非視覚的行動と対象をなす。
【０００９】
Charles Darwinは、ヒトおよび動物における非言語的非視覚的行動のパターンを体系的に研究した最初の科学者であったと言えるだろう。古典的な研究においては、「フレーム・バイ・フレーム（frame by frame）」法により非言語的行動を解析することがEfronにより提唱された（Efron, D., Gesture
and Environment, 1941, King’s Crown, New York）。「フレーム・バイ・フレーム」法では、被験者のフィルムまたはビデオを記録し、そのフィルムの各フレームからの「チャネル」データを人間のジャッジが観察して手でコード化する。チャネルとは、心理分析の分野でよく知られた術語であり、被験者によって示される行動全体の１つの様相を意味する。チャネルとは、例えば、視線を合わすこと（アイコンタクト）、熟視、または身体の移動などである。コード化は、例えば、特定の行動がとられたか否かを単に記録し、または、（幾つかのフレームにわたる）チャネルを測定したり、または、ジャッジの主観的な意見から成る。
【００１０】
一般的には、ある一つの検査に対して多数のチャネルが選ばれるので、各チャネルに対して１回の多数回のフレーム・バイ・フレーム法を実施しなければならない。１人のジャッジが何回もビデオをとることによってこれを行うか、あるいは、１人のジャッジが１つまたは２つのチャネルを担当するようにして、多数のジャッジがビデオを観察することになる。
【００１１】
チャネルデータは、次に、一定の時間毎、または或る事象（例えば質問に対する回答）に応じた時間毎に分類される。分類されたデータは、次いで、非言語的行動について経験を有し且つ特定のチャネルセットに関して解析経験を有する者によって解析される。何らかの精神的、行動的または身体上の状態を示すようなパターンがデータ中に検出されることが望まれる。
【００１２】
以下に述べるように、マニュアル（人の手）で「フレーム・バイ・フレーム」法を行うには多くの課題と欠点がある。
先ず、「フレーム・バイ・フレーム」法においては、ジャッジになる人が、チャネル毎に各フレームをマニュアルでコード化しなければならない。所要時間は、少なくともチャネルの数に応じて長くなり、解析に更なる時間が必要となる。最良の場合でも、最終的な結果が得られるのは、事象の数時間後になるであろう。幾日も、または幾週間も要することの方が多いであろう。
第２に、多くの高度に熟達したジャッジや経験豊富なアナリストを採用するには費用がかかる。
第３に、或る特定の心理調査において、互いに異なるチャネルの相対的な重要性は未知である。マニュアルによる調査においては、コスト面から、現実に集められ解析されるチャネルの数が制限されるであろう。チャネルの選択は、例えば、調査する者の以前からの知識、風聞、あるいは文献に基づいてなされることになろう。幾つかのチャネルが重要性において同一視されたり、または、調査する者によって１つのチャネルが過度に重要視されることがあるかも知れない。
【００１３】
主観的になることの他に、人間のジャッジは、例えば疲労に因り、ばらつき、一貫しないチャネル情報をコード化し、間違いをおかすこともある。調査する者が異なれば、選択するチャネル、コード化法あるいは解析法が異なり、したがって、同じ一連のフレームに対して異なる結果を生じることになる。すなわち、解析は本質的に恣意的である。
【００１４】
第４に、多数のフレーム群に対して多数のチャネルを解析する場合には、データが高次元となるので解析は特に複雑化する。チャネルの数が増加するに従い、データ中の重要なパターンを見落とす可能性が多くなる。人間は、限られた数に対してのみ集中することができるので、うっかりして重要なチャネルが無視されることもあり得る。
【００１５】
以上のことから明らかなような、従来のフレーム・バイ・フレーム法によるチャネルのコード化およびそれに引き続く解析は、時間がかかり、コスト高であり、複雑で、間違いを生じ易い。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
かくして、虚偽などの行動を解析するため改良された方法と装置が長く要望されてきた。
本発明は、このような要望に応じ、これまでの問題と欠点を解消しようとするものである。
疑義をなくすために、「非言語的行動（nonverbal
behaviour）」という語は、被験者（subject）によって発せられる意味のある言語を除く、被験者によって示される全ての行動を指称する。「非言語的視覚的行動（nonverbal visual behaviour）」とは、傍観者により見られることのできる被験者の外部的な特質を意味し、例えば、被験者の動きである。これは、心臓の鼓動や声の調子のような「非言語的非視覚的行動（nonverbal, nonvisual behaviour）」と対照をなす。
【課題を解決するための手段】
【００１７】
本発明に従えば、先ず、被験者の行動を解析するための自動化された方法であって：
被験者について１つまたはそれ以上の測定または観察を行う工程；
その測定または観察結果を複数のチャネルにコード化する工程；および
自動分類技術を用いて前記チャネルを解析して、被験者の心理状態に関係する情報を出力する工程；
を含む方法が提供される。
【００１８】
本発明の方法には数多くの利点がある。本発明の方法は、自動化されており、きわめて迅速であり、リアルタイムでまたはほぼリアルタイムで、被験者の解析と情報を出力することができる。「自動化」とは、方法が機械によって実行され、人間の介在がないということである。本発明の方法は、きわめて経済的であり、客観的であり、首尾一貫して信頼性がある。重要なことは、本発明の方法は、所与の或るチャネル内に含有されている（一時的に含有されていても）重要な行動上の情報を偏重することなく且つ見落とすことなく、多数のチャネルを受け入れ解析できることである。この能力は、特に正確さと信頼度を向上させる。というのは、例えば、虚偽の行動をしている被験者は、幾つかの行動に関するチャネルを制御することができるかも知れないが、一定期間にわたって終始一貫している全てのチャネルを制御できることはきわめてあり得ないからである。
【００１９】
好ましい態様においては、自動分類技術が人工知能を含むようにする。しかし、例えば、装置を用いる他の手法、例えば、統計学的な分類手法を用いることもできる。そのような統計学手法は純粋に数学的なものであり人工知能を含まない。分類手法は、コンピュータまたはその他のマイクロプロセッサを用いて実施することができる。自動装置による分類手法を用いることにより、人間のジャッジに由来する欠点が解析される。
チャネルを解析するための人工知能として、人工ニューラルネットワーク、遺伝子アルゴリズム、ディシジョンツリー（決定木）、ファジー理論、記号ルール、機械学習、およびその他の方法論を用いてもよい。これらを複雑に用いたり幾つか組み合わせて使用することもできる。
【００２０】
本発明によれば、被験者の非言語的行動を測定することができ、それは、被験者の非言語的非視覚的行動を測定することである。すなわち、被験者の動きを監察することができる。そのような観察は、本質的に視覚的なものであり、したがって、被験者に対して非侵犯的であるという利点を有する。他の利点は、多数の重要な情報が被験者の動きによって示されることである。別の利点は、被験者の動きから多数のチャネルをコード化できることである。更に別の利点は、単一の観察セット（例えば、単一のビデオカメラを用いて取得されるフレームシーケンス）から多数チャネルをコード化することができることである。
【００２１】
被験者の動きの観察は、複数の被験者像から成り、この観察（結果）を複数のチャネルにコード化するには、それらのイメージ（像）から特徴を抽出することが含まれる。
チャネルには、目の動き（例えば、まばたき、凝視）、顔の動き（例えば、上下、左右の動き、または頭を傾けたりすることや顔面の動き）、さらには、被験者の手、脚、または胴の動きなどが含まれる。これらは全て、被験者の動きを例示するものである。
【００２２】
本発明においては、被験者の動きの観察に加えて、またはその代わりに、他の非言語的行動の測定または観察を行ってもよい。そのような他の測定または観察の例には、心拍数、発汗度、呼吸数、脳波形、サーマルイメージング、被験者が座っているいすの震えを検出すること、およびパラ言語測定が挙げられる（Zuckerman, M., Driver, R.E., Telling Lies: verbal and nonverbal
correlates of deception, in Mathematical integrations of nonverbal behaviour, Eds: A. W. Siegmans S. Feldstein, 1985）。測定項目および観察項目、ならびにチャネルの選択に当たっては（既述のポリグラフのような従来技術とは対照的に）被験者が自分の応答を制御してこの手法を「欺く」ことができないようにしなければならない。
【００２３】
非言語的行動の測定または観察に加えて、あるいはその代わりに、言語的行動（すなわち、意味のある言語の発声）の測定または観察を行うこともできる。
被験者の行動が虚偽であるか否かを判定するためにチャネルを解析する。これは、おそらく、検出するのが最も困難な心理学的行動であろう。しかし、本発明は、優れた正確さで虚偽行動を検出することができる。
【００２４】
別の適用分野においては、被験者の精神的、行動上および／または身体上の状態を測定するためにチャネルの解析を行うこともでき、その例としては、ストレス、罪悪感、幸福感、恐怖、自信といった感情的な特性；内向性、外向性、協調性、誠実性、何でも体験しようとする性格、感情に動かれやすい性格、威張る性格、迎合的などの性格上の特質、さらには、本当に痛みがあるとか精神病であるといった医学的な特性などが挙げられる。
【００２５】
本発明の第２の側面に従えば、被験者の行動を自動的に解析するための装置であって：
被験者について１つまたはそれ以上の測定または観察を行うための検出手段；
前記の測定または観察の結果を複数のチャネルにコード化するためのコード化手段；および
前記チャネルを解析し被験者の心理状態に関係する情報を出力できるようにした自動分類手段；
を含む装置が提供される。
【００２６】
検出手段は、被験者の非言語的行動を測定または観察するものであり、これは被験者の非言語的視覚的行動の測定または観察を含む。この検出手段により、被験者の動きが観察される。また、検出手段は、被験者の複数のイメージを提供し；そして、コード化手段は、それらのイメージから抽出された特徴を抽出するための特徴抽出手段を含む。
コード化手段は、目の動きに関係する１つまたはそれ以上のチャネルに観察結果をコード化する。
コード化手段は、顔の動きに関係する１つまたはそれ以上のチャネルに観察結果をコード化する。
コード化手段は、被験者の手、脚または胴の動きに関連する１つまたはそれ以上のチャネルに観察結果をコード化する。
総括すれば、本発明において検出手段は、非言語的視覚的行動、非言語的非視覚的行動および／または言語的行動に関係する１つまたはそれ以上のチャネルに、測定または観察結果をコード化する。
【００２７】
検出手段は、１つまたはそれ以上のカメラまたはその他のイメージ捕捉手段を有するようにする。かくして、例えば、コード化手段が被験者の非言語的非視覚的行動の測定または観察結果を１つまたはそれ以上のチャネルにコード化できる。
また、検出手段はマイクロホンを有していてもよい。
【００２８】
好ましい態様として、自動機械分類手段は人工知能手段を有しており、その人工知能手段としては、人工ニューラルネットワーク（人工神経回路網）、遺伝子アルゴリズム、ディシジョンツリー、ファジー理論、記号ルール、機械学習、およびその他の知的ベースシステムが挙げられる。これらの複数を用いたりおよび／または組み合わせて使用してもよい。他の形態の自動分類手段、例えば、統計学的分類手段を用いることもできる。統計学的分類手段は、マイクロプロセッサを備えていて、例えばソフトウェアを実行することにより、統計学的手法が利用できるように構成されている。
人工知能手段は、被験者の行動が虚偽であるか否かを判定できるように構成されている。
【００２９】
さらに、人工知能手段は、被験者の精神的、行動上および／または身体上の状態を判定するように構成されることもでき、そのような状態の例としては、ストレス、罪悪感、幸福感、恐怖、自信といった感情的な特性；内向的、外向的、強調的、誠実性、何でも体験しようとする性格、感情に動かれやすい性格、威張る性格、迎合的な性格などの性格上の特質、さらには、本当に痛みがあるか精神病であるといった医学的な特性などが挙げられる。
人工知能手段は、被験者の性格上の特質に関する情報を出力（アウトプット）できるように構成される。
【発明を実施するための最良の形態】
【００３０】
以下に、添付図面を参照しながら、本発明の方法と装置の実施例について説明する。
本発明は、人工知能を利用して、被験者の行動に関するチャネルを解析する。好ましい実施例においては、人工ニューラルネットワークを使用するが、これに限られるものではない。
【００３１】
ニューラルネットワークは、複数の簡単なプロセッサーから成る大規模の並列的なネットワーク、すなわち、「ニューロン」であり、実験から得られる知識を記憶する能力を有する。知識は、プログラミングではなく、トレーニングによって取得され、ネットワーク中のニューロン間の結合力として記憶される（例えば、hassoun, MH,
Fundamentals of Artificial Networks, 1995, MIT Press参照）。
【００３２】
そのような機械を基礎にしているシステムにとっては、チャネルの相対的な重要性は問題にならない。その理由は「ニューラルネットワーク」は、提供される全てのチャネルを受け入れ、どのチャネルが重要であるか、重要でないか、または余分であるかを自ら判断するからである。当初のトレーニングにおいては、事実上全てのチャネルが同じ重要性を有しているが、トレーニングが進むに従い、機械はそれぞれのチャネルについて重要性のレベルを自ら決める。一般的に言えば、トレーニングに採用される人間およびチャネルが多いほど、初めての人間の評価を行うのにニューラルネットワークを用いる後の結果がより正確になる。高次元の入力がある場合（すなわち、多数のチャネルを用いる場合）においても、ニューラルネットワークは被験者の行動に関するデータ内のパターンを検出することができる。トレーニングの間に自動的にチャネルに好適な重みがつけられる。トレーニングが行われると、被験者の行動に関して新しく提供されたデータパターンは迅速に分類され、重要なパターンが見落とされることはない。
【００３３】
図１は、被験者の行動を解析するための本発明の装置の一般的な実施態様を示すものである。本発明の装置は、
被験者について１つまたはそれ以上の測定または観察を行うための検出手段12；
前記の測定または観察結果を複数のチャネルにコード化するためのコード化手段14、16、18、20；および
前記のチャネルを解析し、被験者の心理状態に関する情報を提供するように構成された人工知能手段22を含む。
【００３４】
図２は、非言語的視覚的行動を解析するための本発明装置の特定の実施例を示すものである。
この特定の実施例においては、検出手段12は、カメラ（例えばビデオカメラ）であり、すなわち、複数のフレームとして被験者のイメージを提供する記録されたフレーム群である。
【００３５】
「対象探知装置（オブジェクトロケーター）」14は、イメージ上の対象（例えば、顔、目、鼻など）を見つける。「パターン検出装置（パターンディテクター）16は、対象域内のパターン（例えば、閉じた目、細くしている目、または左側を向いている眼球など）を検出する。この実施例においては、これらの対象探知装置およびパターン検出は、トレーニングを受けたニューラルネットワーク14a／16aを使用している。チャネルコード化装置（チャネルコーダー）18は、パターン検出装置16および対象探知装置からのデータを用いてチャネルデータを自動的にコード化する。分類後のチャネルのコード化装置（グループドチャネルコーダー）20が、一定時間または可変時間にわたるデータを照合することにより、評価を受けた（スケールド）結果が得られる。
図示の特定の実施例においては、判定装置（クラシファイヤー）22（これはニューラルネットワーク22aを有する）が、分類後チャネルコード化装置20からのデータを用いて、被験者の心理状態に関する最終的な判断を行う。
【００３６】
図３は、コード化装置14、16、18、20および人工知能手段22の階層を更に詳細に示すものである。図２に用いられたのと同じ参照番号を用いて、体象探知装置18、分類後チャネルコード化装置20および判定装置22などの構成要素を表している。図３においては、これらの数字は、以上のような要素の全体的な位置を示している。図３においては、それぞれの数字の上方に、その構成要素に共通のエレメントを縦方向に並べて配置している。すなわち、例えば、対象探知装置14は、多数の個々のエレメント、例えば、顔の探知装置24、目の探知装置26、およびまゆの探知装置28から成り、そして、それらは、それぞれ、顔の探知装置用ニューラルネットワーク26a、およびまゆの探知装置用ニューラルネットワーク28aを有する。図３に示されるエレメントは、これで全てというわけではなく、他の特質を採用してもよく、他のチャネルをコード化してもよい。図３において破線で表されるエレメント30は、そのような他の処理用エレメントを示そうとするものである。分類後チャネルコード化装置20からのチャネルは、有罪判定装置32および虚偽判定装置34に送られる。それぞれの判定装置には、ニューラルネットワーク32a、34aが結合されている。有罪に関連する行動は、虚偽に関連する行動に類似して出現することがある。有罪に関連する行動は虚偽に関連する行動に対する「偽陽性」という結論を導く可能性があるので、如上の類似性により従来の虚偽システムの精度が妨げられていた。しかしながら、（本明細書で記述したような）多数のチャネルに基づき、有罪行動と虚偽行動との間の全体的な相違は明らかになっている。有罪行動を認識するように特定的にトレーニングされた判定装置と、それとは別に、虚偽行動を認識するように特定的にトレーニングされた判定装置34を設けることにより、有罪行動は虚偽行動から分別される。ちなみに、或る被験者が有罪であり且つ虚偽をしていることもあり得る。
【００３７】
当業者には明らかなように、この実施例においては、３つの領域でニューラルネットワークが用いられている。すなわち、対象探知、対象パターン認識、および分類後のチャネルデータを判定するために用いられている。対象探知用のニューラルネットワーク14aおよび対象パターン認識用のニューラルネットワーク16aを用いることにより、フレーム毎にチャネルデータが生成し、したがって多数のフレームに対して分類されたチャネルデータが生成する。判定装置用ニューラルネットワーク22aは、分類されたチャネルデータを用いて、被験者の精神的、行動上および／または身体上の状態に関する判定を行う。
【００３８】
ニューラルネットワークを使用することにより、コード化およびコード化されたデータの解析がきわめて強力で適応性があり且つ迅速になる。但し、当業者であればこれらの機能を果たす他の手法を想到するであろうし、ニューラルネットワーク（またはその他の人工知能技術）を使用することが本発明を制限することものではない。
以下に更なる実施例を示すが、本発明はこれに限定されるものではない。
【００３９】
装置の実施例の詳細な説明
非言語的視覚的行動の場合、検出手段12として最も可能性のあるのはビデオカメラである。フレームシーケンスデータは、対照探知装置に入る。
【００４０】
対象探知装置
対象探知装置は、フレームシーケンスから所定の特徴（特質）を抽出する。探知すべき重要な対象の一つは顔である。顔が見つけられると、顔の特徴や身体の他の部分の位置を仮定することができる。
【００４１】
イメージの中から顔を探知するのは複雑な仕事である。イメージには処理すべき大量のデータが含まれている。イメージの中のいろいろな場所、いろいろなスケールや順序で顔が現われ得る。被験者は、化粧をしていることもあれば、メガネをかけたり、あごひげや口ひげをはやしていたり、あるいは顔が隠れるような帽子をかぶっていたりヘアスタイルをしていることもある。光の強さや方向が違っていたり、背景が複雑な場合もある。さらに、リアルタイムにチャネルのコード化を行い解析しなければならないという要求から主たる対象を迅速に見つけなければならない。顔を検出するには各種の方法がある。
【００４２】
現在行われている構成では、学習能力のある２つのニューラルネットワークを使用して、顔のイメージと顔以外のイメージの違いを認識するようにしている。一方のネットワークはピクセル（画素）データを圧縮するように機能し他方のネットワークは圧縮されたデータを判定するように機能する。ネットワークをトレーニングするために、マニュアルで集められたイメージセット（顔に関するベクターのセットおよび顔以外に関するベクターのセット）が利用される。トレーニングを受ければ、それらのネットワークは、フレームから特定の領域が「顔」か「顔でない」かを判定することができる。
【００４３】
他の対象、例えば、鼻、口、まゆ、手なども類似の方法で見つけることができる。対象の数が増すほど、システムは強固になる。例えば、目に関する知見から顔の探知操作を微調整することができる。それぞれの対象は他の対象を探知するための精度をあげる助けとなる。例えば、顔の各造作の間には比較的はっきりした比率があり、また、幾つかの簡単な決まり（例えば、目は鼻の上方にあること）を利用できるからである。
１つの対象が正しく探知されれば、他の対象由来の結果から妥当な応答が得られる。ニューラルネットワークは、パターンの微少なずれには寛容である。多数の対象に基づく多数のチャネルがあれば、１つや２つのチャネルエラーは殆ど影響を与えない。
【００４４】
パターンの検出装置
パターン検出装置（パターンディテクター）は、探知された対象のパターンを認識するものである。例えば、「閉じた目」を特異的に認識するようにトレーニングされたネットワークは、閉じた目に対しては「１」とし、開いた目に対しては「−１」とする。かくして、目という対象は、圧縮形態で利用できるようになっており、それぞれの目のパターン検出装置に入力として用いられるので、各ネットワークは比較的小規模であり、従って処理が迅速であるという利点を有する。
【００４５】
パターン検出装置は、或る特定の対象について大量のパターン変動を示すデータセットを用いてトレーニングされる。ここで、記述している実施例では、それぞれの対象パターンについて「マルチプル・チョイス（multiple-choice）」コード化法を用いている。この方法は、複雑でないコードを与え、そして、コード化装置がトレーニングを受ける必要がなく対象が顔に基づくことを要しないという利点を有する。しかし、他のより精巧な方法、例えば、Ekman’s Facial
Action Coding System (FACS) [Ekman, P., Friesen, W.V.
(1978) Consulting Psychologists Press, Palo Alto, CA, US]を用いることも本発明の範囲に属する。FACSは、顔の筋肉の動きに関係する徹底したコード化システムであり、コード化装置のトレーニングが必要とされる。
【００４６】
チャネルデータおよび分類後のチャネルデータの抽出
次の段階は、フレーム毎のチャネル情報を抽出することである。そのようなチャネルは、１つまたはそれ以上の対象の位置またはパターン検出装置に依存している。それぞれのチャネルについて、分類後の（grouped）チャネルデータを統計学処理することにより更に情報が得られる。チャネルデータは二元デジタル法またはアナログ法により集められる。チャネルは、現在のフレームが何であるかを示し、あるいは、現在のフレームと１つまたはそれ以上前のフレームとの間の関係を示す。チャネルの信号は本質的に二次元であり、例えば、「０」もしくは「１」であるか、または「アナログ」であり、一定範囲の数値（例えば、「−１」から「１」の間の実数）を有する。また、単一のチャネルは、データ（例えば、小画素領域）から二元的またはアナログ的な収集によって表すことができる。ビデオのイメージの場合、チャネル抽出には、３つの種類があり、ここでは「基本」、「単純」および「複雑」チャネルと呼ぶ。
【００４７】
基本チャネル
このタイプのチャネルは、対象の相対的な位置関係、対象の位置の変化または対象の画素に作用する基本的な機能に依る。例えば、「頭の動き」のチャネルは、各フレームにおける顔の位置に依存する。被験者とカメラの距離は、ビデオが異なれば変化し同一のビデオ内で変化し得るので、位置測定は共通の測定に依る。顔の幅と長さを用いて、相対的な距離または動きを決める。数値は、「−１」および「１」との間の数に規格化（正規化）する。
【００４８】
対象と対象の間の単純な距離の場合（例えば、手と顔）、「−１」は選択した最小距離（例えば、顔の幅０ヶ分）に関するものとし、「１」は選択した最大距離（例えば、顔の幅10ヶ分）に関するとする。口または鼻また顔の近傍を手で覆うことは、「隠蔽（concealment）」の合図とする。
【００４９】
別の方法として、対象間の垂直および水平の両方向の距離を測定してもよい。垂直方向の数値が負であることは、対象「a」は対象「ｂ」より上方にあることを示し、正の値になれば対象「ｂ」は対象「a」の上方にあるということになろう。また、負の数字は一方向に動いたことを示し正の数字はその反対方向に動いたことを示すようにすることもできる。
【００５０】
基本的機能の例は、顔の赤面度を判定することである。対象である顔の赤色の構成部分をとりあげ、以前のフレームと比較することにより、顔が赤くなったり青白くなったりしていないかを見る。最大値および最小値の基準に従い、結果を「−１」から「１」の間にあてはめる。
【００５１】
データを分類する（グルーピングする）と、それぞれのチャネルに対して１種またはそれ以上の統計量を得ることができる。例えば、有効データから平均値、メジアンおよびモード値が得られる。別の場合として、有効データから単一の統計量（例えば、「−１」から「１」の範囲に規格化されたもののうち「１」の占めるパーセント）が得られることもある。他の変換法を用いてデータをコード化してもよい。
【００５２】
単純チャネル
このタイプのチャネルは、パターン検出装置を使用し各フレームについて簡単な判定を行うものである。例えば、「目を閉じている」というチャネルは４つの結果、すなわち、「左目を閉じている」、「右目を閉じている」、「左目を完全にまたは半分閉じている」、「右目を完全または半分閉じている」ということに依存する。それぞれのネットワークは、「−１」から「１」の１つの出力を与える。チャネルは、ネットワークの応答の平均値としたり、あるいは何らかの理論的判定を行う。結果を分類（グルーピング）すると、チャネル毎に１種またはそれ以上の統計量（例えば、「−１」から「１」の範囲に規格化されたもののうち、「１」の占めるパーセント）を得ることができる。
【００５３】
複雑チャネル
このタイプのチャネルは、より複雑な手法でパターン検出装置を用いる。例えば、まばたきは、目を閉じた直後に目を開いた場合に起こったものとみなす。床を眺めている被験者やフレームのネットワークエラーとまばたきとの混同を防止するように知見を利用する。
【００５４】
統計量を得ることは、さらに複雑である。時間に相関した最小値と最大値を考慮しなければならないからである。単純チャネルの場合、最小値は１秒毎の基準０であり最大値はフレーム毎の基準fpsであり、ここで、fpsは1秒毎のフレームとなる。複雑チャネルは、一般に、非標準的な最小値と最大値を有する。例えば、まばたきに対する最小値は、1秒毎に０と設定し、最大値は単に1秒毎に２と設定したりする。
【００５５】
分類後のチャネルの統計量
多数のフレームについてチャネル信号（シグナル）を集める。或る１つのチャネルに対して1種またはそれ以上の統計量、例えば、「−１」から「１」の範囲に規格化されたもののうち「１」の占めるパーセント、平均値、画素アレイの平均、選択した最大値と最大値に関係する「１」の数などが得られる。
【００５６】
統計量は、一定期間または不変期間（例えば、質問に対する特定の回答に要する時間）について算出することができる。いずれの場合においても、収集された有効データの量が一定の割合を超えたときにのみ有効なチャネル統計量が算出される。
或るフレームにおいて或る対象が見出されない場合は、対象の位置（ポジション）は「無効（invalid）」であり、その対象に依るパターン検出装置は「無効」な結果を有し、そして、その対象に依るチャネル出力は「無効」である。但し、分類後（グルーピング後）のチャネルの統計量は、先行するチャネルデータの結果の数に応じて「有効」になったり、「無効」になったりする。１例として、収集された有効データの量は95％より大きくすべきである。
【００５７】
チャネル統計量の照合
各チャネルに由来する統計量（「−１」から「１」の範囲にある）を連結することにより、所定の期間にわたるすべてのチャネル統計量を表すベクトルが得られる。ベクトルの幾つかは、トレーニング用およびテスト用に記憶される。使用に際しては、以前には「未知（unseen）」であった他のベクトルが判定される。
行動には緩慢なパターンを有するものであれば素早いものもあるので、ベクトルを得るに当たっては１つ以上の期間に由来するチャネル統計量を照合する方が好都合である。各チャネルはそれに特有の最適な測定期間を有している。
【００５８】
照合されたチャネル統計量の解析
以前には未知のベクトルが含まれている場合には、照合後のチャネル統計量ベクトルを用いてニューラルネットワークをトレーニングして、被験者の心理状態に関係する情報を出力する。
トレーニングしテストを行っておけば、ネットワークは、類似の被験者群に関する類似の状況について類似の結果を与える。できるだけ多くの人、状況および行動を含むようにトレーニングテストの数を大きくしておくほど、ネットワークの普遍性が増すであろう。「精巧に調製された（fine-tuned）」トレーニングとテストの組み合わせ（例えば、男性のコーカサス精神病質者／非精神病質者によるもの）を用いれば、或る特定領域については優れた成果が得られる。
【００５９】
１つまたはそれ以上の判定装置用ネットワークの出力は、異なる用途のネットワークに付加的な入力を与え得る。例えば、判定装置が「虚偽」、「虚偽らしい」および「有罪」ということを判定するためのものである場合、「虚偽らしい」用ネットワークおよび「有罪」用ネットワークからの出力は、「虚偽」と判定する判定装置用ネットワークに２種類の付加的な入力を提供して後者の性能を向上させることができる。
【００６０】
上述した実施例は単なる例示であり、当業者であれば多くの可能性が存在し得ることが理解される。特質を抽出するのに上述したのとは別のアルゴリズムおよび／またはネットワークを用いることもできる。より迅速な処理法（多分、並列プロセッサを用いる）を利用すれば有利である。デジタル信号プロセッサ、ニューラルネットワーク加速装置およびアナログ処理装置のような補助的なハードウェアを用いてもよい。いろいろな形態でシステムにアクセス（例えば、インターネットを介するようなリモートアクセス）することも可能であり、また、各種のセンサー、例えば、音声ストレスまたは音調センサー、パラ言語または言語的行動用のマイクロホン、熱イメージングカメラ、ロードセル、マイクロ波摂動検出器、皮膚抵抗モニター、心拍数測定器、血圧計、呼吸数測定器および／またはEEGモニターのようなバイオ測定装置などを用いて、既述の手法による観察を補充したり、それと置き換えることもできる。
【００６１】
言語的行動、すなわち、発せられた言語の意味は人工知能解析の対象となり得る。例えば、「not」とか「never」のような否定語の数、および「me」、「mine」および「I」といった所有語の数を分析する。文献の示すところによれば、虚偽があると否定語の数が増加するとともに所有語の数が減少するとのことである。チャネルは、データログ装置のようなインターフェイスを介して二元系またはアナログとして供給することができる。適当な技術と組み合わせることにより、被験者との相互作用を変化させることができ、そのような適当な技術の例としては、Conversational Agent（例えば、”The Zen of Scripting Verbots” (RTM)
virtual personalities Inc, VPI, Los Angeles, USA参照）が挙げられる。別の可能性は、一度に複数の被験者を解析することである。外的な刺激を与える手法の代わりに、またはその手法と組み合わせながら、被験者が互いに影響し合う手法からも情報を収集することができる。
【００６２】
人工ニューラルネットワークの代わりに、他の人口パラダイム（例えば、非監視方式の学習性パラダイム）を用いることもできる。さらに、ここで記述している実施例や他の態様のいろいろな段階において、各種のニューラルネットワークが使用できることは当業者には明らかであろう。いろいろなチャネルを解析するようにし、そして、被験者の身体（特に全身）の多くの部分を1ヶ以上のカメラで記録し、そのようなチャネルが得られるようにする。
【００６３】
本発明は、多くの分野に利用することができ、虚偽および有罪の検出に限定されるものではない。例えば、本発明は被験者が仕事でストレスを受けているか否かを評価し、あるいは、特定の業務や役割に対する被験者の適正を評価するのにも用いることができる。
【実施例】
【００６４】
秘密検査として、いろいろな人種的背景の41人のボランティアに簡単な仕事をしてもらい、その話についてインタビュー（面接）した。データの収集法は非言語的行動に関する文献に沿った。
到着したときに各ボランティアにインホメーションシートを渡した。シートには、調査の目的とともに、ボランティア達が嘘をつきたくなるような情報を記した。例えば、嘘をつくことは１種の特殊技能とみなすことができ、また、我々はときおり方便として人を騙さなければならないと記述しておいた。さらに、ボランティアには、彼らの挙動は、インタビュアー、彼らの同僚およびコンピュータにより綿密に調べられていることを告げた。次に、箱の中からランダムに数を引きあて、インタビュー室に入り指示シートを読むように求めた。
【００６５】
指示シートは、被験者が椅子の下から箱を取り出し、その内側を見て、箱の中味を取り出し／調べるように指示していた。箱には１対の眼鏡と10ポンド札が入れられていた。被験者が奇数を引き当てていたときは、その被験者はお金を自分のポケットに入れるように要求されていた(仕事１)。被験者が偶数を引き当てていたときは、その被験者はお金を箱に入れるように要求されていた（仕事２）。箱は椅子の下に戻すものとしていた。被験者には、お金の場所についてインタビューを受ける予定であること、そしてお金を盗んだと訴えられることになっている旨が告げられた。ポケットの中にお金を入れた被験者にはそれを認めないよう指示が与えられた。また、各被験者は、質問に対して文章で回答し、指示シートをもとの場所に戻すよう指示された。
【００６６】
数分後、インタビュアーが到着した。簡単な挨拶の後、インタビュアーは10ヶの質問を順番に行った。インタビュー中、インタビュアーは或るボランティアが嘘をついているか真実を告げているかを知らなかった。
少し経ってから、ボランティアは前に行っていなかった仕事を実行し、第２のインタビューが開始された。第１のインタビューと同じ質問が同じ順序で再び行われた78ヶのビデオが用いられた。
【００６７】
マイクロホン付きの３ケのビデオでインタビューを記録した。１つのカメラは、被インタビュー者の全身を記録し、そして第３のカメラは被インタビュー者の動きを記録した。イメージと音の両方から非言語的チャネルを得た。各インタビューについて、カメラのオペレータは、インタビュアーがカメラを始動させる直前に入室した。インタビュアーが退室した後、カメラを停止しカメラオペレータが退室した。
【００６８】
この実施例においては、被験者の頭部および肩用のカメラのみを解析に使用し、音は解析から除いた。他のビデオに含まれていた他の付加的な情報および音の記録を利用することも本発明の範囲内にある。各ビデオは、低コストのキャプチャカードを用いて１秒のAVIフィルム当たり15ヶのフレームにデジタル化された。多量のデータが生じるので、キャプチャパラメータは品質と貯蔵サイズとが妥協したものを採用した。ビデオフレームは幅380ピクセル×高さ288ピクセルとした。頭部および肩用ビデオイメージのそれぞれから10ヶのグレイスケールのフレームをセーブして780ヶの静的フレームを得た。これらのフレームの選択に当たっては、イメージ間で幅の変動があるようにした。
【００６９】
各フレームから顔のある領域の上部（目および鼻）をマニュアルで抽出して両目を結ぶ線が水平となり且つ両目の間の距離をスケール化した。得られたイメージを採取した。文献の示すところによれば、目と鼻は顔の検出に用いることができる。採取したイメージは幅12ピクセル×高さ10ピクセルで、目の中心間の距離が8ピクセルとなるように縮小した。サイズを小さくすることにより、検査のスピードを迅速にし、位置に関するエラーに対して耐性が増しながらも、顔であるかそうでないかの判定に信頼性を与える。縮小イメージをヒストグラム方式で規格化し、スムーズ処理（平滑化処理）し、コピーし、且つミラーリングすることにより、顔に関するデータセット1560を得た。全フレーム（特に頭部域）からランダムに「顔以外」のイメージ7800を抽出した。これらのイメージも縮小し、ヒストグラム規格化し、スムーズ処理した。
【００７０】
ピクセルマトリクスの各列を連結し、簡単な関数P(x)＝(x*2/255)−1を用いることにより、「−1」から「1」の範囲の規格化されたエレメントを有する120−エレメントベクトルにイメージを変換した。
1つのニューラルネットワークをトレーニングして顔の低次元表示（画像）を提供するようにした。別のネットワークは、低次元画像を顔か顔でないかを判定するようにトレーニングした。これらのネットワークはいずれも、それぞれバイアスを有し全連結された(fully-connected）3層ネットワークであり、二極シグモイドスカッシュ機能を有するストレートフォワード・バック伝搬アルゴリズムを用いてトレーニングされた。バック伝搬(back-propagation)式ネットワークは、当業者には既知の一般的なネットワークの1つである（例えば、既述のHassoun、MH参照）。
【００７１】
ネットワークの１つは、「圧縮（compression）」型のネットワークであり、インプット（入力）と同じ数（120）のアウトプット（出力）を有するが、隠蔽層のニューロンは少数（14）のものを用いた。ネットワークのウエイトは、ランダムの小さな値に初期化し、トレーニングが進むに従い段階的に下げながらウエイトを調整することにより、圧縮式ネットワークを刺激してアウトプットレベルの像を復元した。バック伝搬は、インプットベクトルから規則性（有意な特質）を抽出して、アウトプット層における像の復元を可能にするためのものである。隠蔽層からは、顔のトレーニングデータとなる低次元の分布画像が得られた。
【００７２】
圧縮の機能は２つある。第１に、圧縮表示（画像）を用いることにより、インプットの数が減少し、したがって、顔検出用ネットワークのための接続の数が少なくなり、その結果、いろいろな「顔」／「顔以外のもの」に関するサブセットを用いて顔を検出する学習および再学習を迅速にすることができる。さらに、単純なグレーレベルが、一定の明るさで或る一つの顔の画像の変化を適切に表示しながら、複数の顔の画像については予備的な処理（プロセシング）を利用して、重要な特質を抽出することができる。
【００７３】
圧縮型ネットワークのトレーニングを終了した後に、該ネットワークに顔および顔以外のイメージを通し、隠蔽層に14−エレメントのベクトルを記録した。次に、これらのベクトル（「−1」から「1」の範囲のエレメントも有している）を用いて、顔検出用ネットワークのトレーニングとテストを行った。この顔検出用ネットワークは隠蔽層に６つのニューロンを有するが、オウトプットニューロンは１つのみである。ネットワークを刺激して顔に対しては「1」、顔以外に対しては「−1」を発生するようにした。
【００７４】
ネットワークをトレーニングすると、ビデオフレーム中に顔を検出することができた。移動した領域、エッジまたは高コントラストの領域から、当初の検査領域を定めた。この当初の検査領域に、いろいろなスケールで、中心から始めて外側に渦巻式に移動させながら（カメラ）ウインドーの位置を変化させた。ウインドーのコンテントを縮小し、ヒストグラム規格化し、スムーズ処理を行い配列処理することにより、ウインドーポジション毎に120−エレメントのベクトルを得た。このベクトルをトレーニング後の圧縮型ネットワークに供給して、14−エレメントのベクトルを得た。次に、これを顔検出用ネットワークに供給した。アウトプットが、限界値（或る実施例では0.997）を超えると、顔が検知されたものとし、検査を終了した。検出されたポジションにおいて、少しスケールの異なる顔をテストし、最も良い顔を選択した。
【００７５】
次のフレームについては、以前のフレームで検知された顔領域とスケールに加えてユーザーの定める境界の大きさに基づいて、新しい検査領域を定めた。ここでも、上記と同様に中心から始めて渦巻方式で検査を進めた。フレーム速度を大きくし、顔の速度と方向を合理的に推量することにより顔のトレーシング性能を向上させることができる。
【００７６】
顔が見出されなかったときは、検査領域はそのままにして次のフレームを調べた。数個のフレームについて顔が探知されなくても、全体的な結果に影響を与えることはなかった。チャネルの統計量は多数フレームからの結果に依るからである。このことは、非言語的視覚的チャネルおよび言語的チャネルが利用できる場合に、特にあてはまる。多くのフレームについて顔が見出されなかった場合は、有効データのパーセントが小さくなり、判定装置は「未知」とみなされる結果を示す。
【００７７】
顔が見出されたときは、顔の造作の相対的な大きさと位置、および胴部の大体の位置を仮定することができた。
例えば、目の位置は頭部と同様に検出された。この実施例（4680）では、48×40から成る顔の高分解イメージから16×12の目のトレーニング用イメージをマニュアルで抽出した。
【００７８】
顔が既に探知されていたので、それぞれの目のかなり正確な位置も既知となった。顔の位置は、12×10のスケールのウインドーを用いて判定した。16×12のスケールから成る目の探知用ウインドーにより、正確に目の位置を探知できた。当初の位置を推定し、渦巻き方式で検査を進めた。目が見出されたと結論されたときに（例えば、ネットワークのアウトプットが0.99となったとき）、検査を停止した。これ以外に、3つの手法を選択した。第１の選択では、例えばネットワークが0.8というアウトプットを与えたような場合に、検査領域内で「最良の」目として選んだ。これは多分、目であると考えられるが、信頼度は低い。しかし、顔を含む領域に由来し且つ目があると予想される近傍にあるので、目である可能性ありとした。第２の選択では、顔探知装置によって判定された目の位置を採択した。第３の選択では、目の探知は無効であると判断した。この場合は目のネットワークに依存するチャネルは全て無効となる。
【００７９】
この実施例では、まゆを対象とする探知装置および鼻を対象とする探知装置も使用して、目が有効に見出されたか否かを判定するのに役立てた。右目と右のまゆを検出するためにピクセルをミラーリングし、左目および左のまゆを対象とする探知装置に通した。
パターン検出装置は、当初、目のパターンを基礎にした。それぞれの対象（目）に関し3種類の多肢選択質問を行った。
Ｑ１：目は開いているか？
・大きく開いている。
・少し大きく開いている。
・普通に開いている。
・少し閉じている。
・完全に閉じている。
・少し細めている。
・完全に細めている。
Ｑ２：水平方向の見方は？
・完全に右を見ている。
・少し右を見ている。
・水平方向に中央を見ている。
・少し左を見ている。
・完全に左を見ている。
・Ｎ／Ａ（完全に閉じている／細めている）
Ｑ３：垂直方向の見方は？
・完全に上を見ている。
・少し上を見ている。
・垂直方向に中央を見ている。
・少し下を見ている。
・完全に下を見ている。
・Ｎ／Ａ（完全に閉じている／細めている）
左上方を見ていた目については次の回答が生じたことになる。
Ｑ１に対して：普通に開いている。
Ｑ２に対して：完全に左を見ている。
Ｑ３に対して：完全に上を見ている。
【００８０】
このように、目に関しては、上記の多肢選択質問に対して17種類に分類した。マニュアルで分類した4680の目を用いて、17の異なる基本ネットワークをトレーニングしテストした。例えば、「完全に右を見ている目」用ネットワークは、完全に右を見ている目は「1」とし、データ中の他の目、すなわち、少し右を向いている目、水平方向に中央を見ている目、少し左を見ている目、完全に左を見ている目およびＮ／Ａは「−1」とするようにトレーニングされた。この場合、右を見ている目を認識するようにトレーニングされたネットワークは、右下方を見ている目、および右上方を見ている目も包含するものとした。他のネットワーク、例えば「完全にまたは少し右を見ている目」用のネットワークも同様にトレーニングされて次の段階の強さを高めた。「目」であるか目以外のものであるかについてのネットワークについても同様にトレーニングが行われた。
この実施例では以下のチャネルを選択した。
【００８１】
【表１】
0004401079.tif 000002
【００８２】
動きと距離については、単純に、或る特定の値を超えたら「１」とし、その値より小さければ「−１」とした。データの分類（グルーピング）に当たっては、「１」の占めるパーセントを「−１」から「１」の範囲に規格化した。単純チャネル（例えば、目を閉じていること）に関しては、多数のパターン検出装置に基づき論理的判断を行った。ここでも、データの分類に際して「１」の占めるパーセントを「−１」から「１」の範囲に規格化した。「まばたきしている」ことに関する複雑チャネルでは、現在および以前のフレームからのパターン検出装置に由来するアウトプットを利用するとともに、人間におけるまばたきの頻度に関する知見も参酌した。
【００８３】
或る一人の被験者によって発せられた回答全部につき且つ3秒という一定時間につき、統計量を集めた。各回答は、被験者が自分の口を動かし始める1秒前から、口を動かすのを止める2秒後に開始されるものとみなした。各チャネルについて、その回答時間に充分量のマルチプルエレメントの記憶領域が形成された。1つのエレメントが1つのフレームのチャネルデータを保持するようにした。その記憶領域における各ロケーション（フレーム毎に1つ）は、全てのロケーションに記憶されている「88」により「無効」になるよう初期設定した。処理後の新しいフレーム毎に、チャネル用に所要されている対象が見出された場合には、そのチャネルデータを次の記憶ロケーションに追加し、そうでない場合には、次の記憶ロケーションに「88」を加えた。
【００８４】
各記憶ロケーションにアドレスが送られたら、エレメントの統計量を算出した。記憶領域における有効データの量が95％より大きくなったり、新しいフレームが生じた場合にチャネル統計量を算出した。ビデオのフレーム速度は1秒当たり15フレームであるので、3秒という期間に、記憶領域は45フレームのデータを保持した。データの95％またはそれ以上が有効である場合（すなわち、43〜45の有効フレームがある場合）においてのみ統計量が得られる。
【００８５】
照合後のチャネル統計量の40％を用いて、3台の全結合、3層のバック伝搬式の判定用ネットワークをトレーニングした。また、照合後のチャネル統計量の20％は、有効性を調べる目的に使用し、残りの40％をテストに用いた。判定用ネットワークは、虚偽の期間、罪悪感およびインタビューが全体として虚偽であるか否かを検出するようにトレーニングされた。各ネットワークは、インプットとして14−エレメントのインプットベクトル、隠蔽層に8つのニューロン、さらにアウトプット層に1つのニューロンを有するようにした。
【００８６】
回答の長さに応じてチャネル統計量を蓄積すると、殆どの回答に対して明確な判定を行い、回答が真実であるか嘘であるかということを知ることができた。
3秒間という時間についてチャネル統計量を蓄積する場合には、3つの点を考慮した。先ず、この時間は、被験者が虚偽をしていた場合に関係していることがあり、このときは所望のアウトプットは「１」とした。別の場合は、被験者が真実を言っていた場合である（−１）。しかし、この時間が交差点上にある場合もある。所望のアウトプットは「−１」から「１」の範囲にしているので、1.5秒が真実を言っている場合であったり虚偽を言っている場合であれば、所望のアウトプットは「０」とした。
【００８７】
2番目に考慮したことは、回答間の「ギャップ」である。これらのベクトルは無視したが、別のやり方として「所望のアウトプット」を０にすることもできる。その他の手法も可能である。
【００８８】
第３の考慮は、被験者が話し始める1秒前、および話し終わってから2秒後に回答が開始されるとみなしたので、2つの回答が重複することもあるということである。もし、一方の回答が真実で他方が虚偽であった場合、同一の時間について2つのベクトルが生じるが、1つのベクトルは真実用であり、他方のベクトルは虚偽用ということになる。一般的に、このようなベクトルが生じることは殆どないので、この状況はそのままにした。より厳密な手法でこの状況に対処すれば、トレーニングおよびテストの結果を更に向上させることができるであろう。
【００８９】
一般的には、得られた結果は、充分に適用化能なものであった。上述したようなチャネルセットおよびそれを若干拡大したチャネルセットを用いた初期の実験では、虚偽の検出精度は75〜85％であった。
【図面の簡単な説明】
【００９０】
【図１】本発明に従う装置を模式的に示す。
【図２】非言語的視覚的行動を解析する装置を模式的に示す。
【図３】図２に示す装置の対象探知装置、パターン検出装置、チャネルコード化装置、分類後のチャネルコード化装置および判定装置の構成要素を模式的に示す。
【図１】
0004401079.tif 000003
【図２】
0004401079.tif 000004
【図３】
0004401079.tif 000005