(57)【要約】【課題】  後に感情情報を撮像画像と関連付けるために、シーンの画像を撮像する瞬間に、シーンに対するユーザの感情的な反応を記録及び解釈する方法を提供する。【解決手段】  本発明の撮像方法は、シーンの画像を撮像する撮像ステップと、撮像時の感情情報を収集する収集ステップと、シーン画像と感情情報を、画像の受け手に伝送する伝送ステップとを備える。【選択図】図１ａ
2004213623.tif 000002
【特許請求の範囲】
【請求項１】
シーンの画像を撮像する撮像ステップと、
撮像時の感情情報を収集する収集ステップと、
前記シーンの画像と前記感情情報を、画像の受け手に送信する送信ステップと
を備える撮像方法。
【請求項２】
遠隔フィードバックを得る反応性画像生成方法であって、
ユーザに直面するシーンの画像を撮像する撮像ステップと、
ユーザの識別情報を取得する取得ステップと、
撮像時の感情情報を収集する収集ステップと、
前記感情情報と前記ユーザの識別情報を前記画像に関連付ける関連付けステップと、
撮像された前記画像、前記感情情報、及び前記ユーザの識別情報を、受け手に送信する送信ステップと、
前記受け手から、指図とともに反応を受け取る受け取りステップと、
前記反応をユーザに提示する提示ステップと
を備える方法。
【請求項３】
少なくとも２つの画像生成装置を備える反応性画像生成システムであって、
各々の前記画像生成装置は、
ユーザに直面するシーンの画像を撮像する撮像システムと、
撮像された前記画像を記憶するメモリと、
撮像時にユーザから感情信号を撮像するセンサの集合と、
前記センサの集合からの前記感情信号に基づいて感情情報を決定し、前記感情情報を前記画像に関連付ける第１の処理装置と、
前記画像と、前記感情情報を、受け取りノードに送信する送信機と、
送信された前記画像と、前記感情情報とを受けとる受け取りノードと
を備え、
前記受け取りノードは、送信された前記画像、及び前記感情情報を解析し、送信された前記画像と前記感情情報に基づいて反応を決定する第２の処理装置を有するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像を撮像するシステムに関し、より詳細には、デジタル画像を撮像し、それらを感情情報に関連づけるシステムに関する。
【背景技術】
【０００２】
日常生活の外界の出来事は、個人の特定の感情的、行動的、及び／又は生理的反応を引き起こす、又は誘発する。これらの反応は、治療者、又は治療専門家にとって、問題、すなわち機能障害を識別し、且つ治療を提案する、又は個人に合わせた治療手段を開発するために、重要な情報ソースを提供する。また、これらの反応を再検討すること、及び解析することは、個人が、特定の状況に対する反応パターンを自覚し、その態度を改善することの手助けになりうる。実際に、認識、行動等の種々の心理学的治療は、個人に、心配、憂鬱、又は怒りを感じさせる習慣的な態度、及び反応パターンを識別して、変化させることを目的とする。
【０００３】
従って、外界の出来事、及びこれらの出来事に対する個人的な行動的、感情的、及び／又は生理的な反応を追跡する能力は、種々の健康用途にとって、非常に有用なツールでありうる。また、そのようなシステムは、特定の感情的、又は生理的反応が、危険、及び緊急に基づいて、友人、親戚、又は特定の業者に警告を行う信号の選択的伝達を誘発するとき、個人の安全のために使用できる。
【０００４】
個人の遠隔モニタリングを提供するよう設計された多くのシステムが知られている。
【０００５】
そのような健康管理システムの典型的な構造は、管理される患者についての生体測定信号を感知するセンサ部を含む、センサによって収集されるデータを記録する患者の電子データ収集システムとして説明できる。また、処理部も設けられる。その処理部は、記録されたデータを解析、圧縮、又は処理する。典型的に、遠隔通信ネットワーク、診療機関、又はデータベースを介して、中央サーバに無線で信号を伝達するために使用される通信部が、設けられる。上記の特性を有する装用性の装置は、１９９９年６月３０日に出願された、Ｌｕｇｏによる「患者モニタ（Ｐａｔｉｅｎｔ Ｍｏｎｉｔｏｒ）」と題する米国特許第６２８７２５２号、２００２年２月１４日に発行された、Ｓｃｈｕｌｚｅ等による「無線インターネット生体遠隔測定モニタリングシステム、及びインタフェース（Ｗｉｒｅｌｅｓｓ Ｉｎｔｅｒｎａｔ Ｂｉｏ−Ｔｅｌｅｍｅｔｒｙ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ Ａｎｄ Ｉｎｔｅｒｆａｃｅ）」と題する米国特許公開公報ＵＳ２００２／００１９５８４、２００１年４月１２日に発行された、Ａｎｄｅｒｓｏｎ等による「遠隔患者評価システム（Ｒｅｍｏｔｅ Ｐａｔｉｅｎｔ Ａｓｓｅｓｓｍｅｎｔ Ｓｙｓｔｅｍ）」と題する国際公開公報ＷＯ０１／２６０２１、２００１年９月２７日に発行された、Ｏ’Ｙｏｕｎｇによる「個人の健康プロファイリングシステム、及び方法（Ｐｅｒｓｏｎａｌｉｚｅｄ Ｈｅａｌｔｈ Ｐｒｏｆｉｌｉｎｇ Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ）」と題する国際公開公報ＷＯ０１／７１６３６号、及び２００２年４月４日に発行された、Ｗｈｉｔｔｉｎｇｔｏｎ等による「中央サーバに対する検知データの無線通信のためのシステム、及び方法」と題する国際公開公報ＷＯ０２／２７６４０号に開示される。これらのシステムのいくつかにおいては、患者の識別、及びデータベース等へのアクセスの承認等、追加の情報も利用可能である。
【０００６】
特許文献に見られる他の個人的な携帯システムは、主に、セキュリティ用途及び追跡用途用に設計される。従って、適当な人材に警告し、困っている個人のニーズに向かわせる探索及び追跡システムと組み合わされた、困っている個人に対して警告を伝える信号伝達システムが、Ｈｏｆｆｍａｎ等によって１９９８年４月２１日に出願された、「個人セキュリティ及び追跡システム（Ｐｅｒｓｏｎａｌ Ｓｅｃｕｒｉｔｙ Ａｎｄ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ）」と題する米国特許第５７４２２３３号に開示された。説明されているシステムは、携帯可能な信号伝達ユニットと、遠隔アラームスイッチ装置と、中央発信局と、セルラーすなわち電話システム、及びＧＰＳ又は同様のシステム等の無線通信システムとを備える。携帯可能な信号伝達ユニット、及び遠隔アラームスイッチは、個人の体の様々な位置に装着可能である。着用者が、危険な状況で、遠隔アラームスイッチ若しくは手動アラームスイッチを稼動させるとき、又は信号伝達ユニット、若しくはそのアラームスイッチが無理やり外されるとき、データが中央発信局に伝達され、その中央発信局において、ユーザ識別、記憶された個人情報、警告の性質、及び携帯者の位置が表示される。
【０００７】
救難信号を生成できるより洗練されたシステムが、Ｃａｌａｍａｎによって２００１年９月２５日に出願された、「出来事の検知を経由して個人の安全を提供するシステム（Ｓｙｓｔｅｍ Ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｐｅｒｓｏｎａｌ Ｓｅｃｕｒｉｙ Ｖｉａ Ｅｖｅｎｔ Ｄｅｔｅｃｔｉｏｎ）」と題する米国特許第６２９４９９３号に開示される。このシステムにおいて、出来事検知は、生理的信号の変化を検知する装用性センサを検知することによって実行される。そのシステムの実施の形態の１つは、肌の伝導度の変化であるガルバニック肌反応の変化を検知するセンサを使用する。また、そのシステムは、ユーザが、救難信号を手動で開始するとき等にマニュアルモードで動作しうる。センサが、緊急事態が発生したことを検知するとき、適当な緊急管理サービスに連絡される。
【０００８】
説明された装置のいくつかが、ユーザの生理的な信号、又は手動で入力された緊急の信号を記録及び伝達する一方、そのどれもが、画像又はビデオの形態で外界の出来事を追加して登録することができない。それ故、これらのシステムは、ユーザの健康及び治療のために、特別な外界の出来事と、それらに対する個人の反応との間の関連を確立することを不可能にする。これらの種類のシステムは、外部の出来事が、緊急サービスロケーションにおいて未知のままであるので、実際の危険、又はセキュリティ用途におけるその原因の独立した評価を許さない。
【０００９】
画像に対するユーザの反応に基づいて感情情報を配信する種々の方法が当業界で既知である。生理的状態をモニタして感情情報を配信するシステムの一例は、人体からの生態的信号に基づいて重要又は非重要として画像を分類することを可能にする携帯可能な撮像システムである。このシステムは、電気電子技術者協会（ＩＥＥＥ）の会報８６（１９９８年、２１２３−２１５１頁）において公開された、Ｍａｎｎによる「人知：新しいフレームワークとしての「Ｗｅａｒ Ｃｏｍｐ」及び知能の信号処理の用途（Ｈｕｍａｎｉｓｔｉｃ Ｉｎｔｅｌｌｉｇｅｎｃｅ："ＷｅａｒＣｏｍｐ" ａｓ ａ ｎｅｗ ｆｒａｍｅｗｏｒｋ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｆｏｒ ｉｎｔｅｌｌｉｇｅｎｔ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ）と題する記事で説明された。Ｍａｎｎは、自身の論文において、携帯者が、強盗による散弾銃の行使、及び現金の要求にみまわれた状況で、システムがどのように動作する可能性があるかという一例を説明する。この場合において、システムは、対応する足音の速さではなく、携帯者の心拍数の急激な増加等の生理学的信号を検知する。その後、システムは、生態学的信号から、重要性の高い視覚的な情報について推測する。これは、順に、携帯者のカメラから画像を記録し、これらの画像を危険の度合いを判断するであろう友人や親族に送るきっかけとなる。
【００１０】
そのようなシステムの別の例が、Ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｗｅａｒａｂｌｅ Ｃｏｍｐｕｔｅｒｓ １９９８の会報に公開された、Ｈｅａｌｅｙ等による「スタートルカム：人工頭脳学的携帯カメラ（ＳｔａｒｔｌｅＣａｍ：Ａ Ｃｙｂｅｒｎｅｔｉｃ Ｗｅａｒａｂｌｅ Ｃａｍｍｅｒａ)」と題する論文で説明された。この論文で提案されたシステムにおいて、コンピュータ、及び肌の伝導度をモニタする生理的センサを備えた携帯可能なビデオカメラが使用される。そのシステムは、驚愕反応、例えば、肌の伝導度における急速な変化の検知に基づく。そのような肌の伝導度における変化は、しばしば、急な覚醒、恐怖、又はストレスの反応に関連する。驚愕反応が検知されるとき、携帯者のデジタルカメラによって最近撮像されたデジタル画像のバッファが保存され、随意的に、遠隔コンピュータに無線で送信される。驚愕検知器に対する高い閾値を設定することによって、その装置は、最も刺激的な、又は脅迫的な出来事のみを記録する。この操作モードは、脅迫的な出来事の画像が、携帯者の、友人及び家族の「セーフティーネット」の安全なウェブサイトに送信されるセキュリティ用途にとって、最も有効である。別のモードにおいて、カメラは、携帯者から反応がほとんど検知されなかったとき、注意レベルが下がったことを示す画像を、特定の周波数で、自動的に記録するように設定できる。このモードは、会議又は講義で有効でありうる。デジタル画像のこのような選択的な記憶は、携帯者自身の選択的な記憶反応を真似ることを目的とする携帯者に対して、「メモリ」アーカイブを生成する。
【００１１】
Ｍａｎｎ、及びＨｅａｌｅｙ等によって提案されたシステムは、生理的信号を使用して、画像を、「重要」（ストレスが大きい）（すなわち、生物学的反応の急速な変化を引き起こす）と、「非重要」（通常）（すなわち、生物学的反応の急速な変化を引き起こさない）に分類し、携帯可能なカメラが、「重要」な画像のみを記憶及び／又は送信するきっかけとなる。しかし、それらのシステムは、いくつかの欠点を有する。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
説明されたシステムは、生理的信号（又は、他の「重要」識別子）を、対応する画像に関連付けて記憶し、かつ送信することを行わない。結果として、「重要」な画像は、データベースにおける他の画像間で、容易に失われる可能性がある。なぜなら、「重要」な画像において、これらの画像が「重要」であることを示すものが全くないからである。これは、例えば、デジタル画像ファイルが異なるシステムで使用されるとき、画像がＣＤ−Ｒ又は他の媒体を経由して転送されるとき、及び画像がオンライン写真サービスプロバイダ等にアップロードされるときに起こる。また、説明されたシステムは、ユーザの識別子に、対応する画像を関連づけて記憶せず、ユーザの識別子を対応する画像とともに送信しない。それ故、システムが、１以上のユーザによって使用されるとき、どのユーザが、その画像に対して「重要」又は意義深いものとして応答しているかを区別することができない。
【００１３】
さらに、上述のシステムは、「重要−非重要」又は「ストレスが大きい−通常」の２つの分類しか提供せず、撮像された画像の間の相対的な重要性の程度の細かい区別を可能にしない。
【００１４】
加えて、説明されたシステムは、「重要」な条件に基づいてのみ、画像分類を提供する。例えば、それらは、重要な画像が、ユーザに積極的（楽しい）な反応を引き起こすのか、消極的（悲しい）な反応を引き起こすのかを区別することができる。それ故、広い範囲の人間の感情的応答（例えば、喜び、悲しみ、怒り、不安、興味深い、その他）が、システムで考慮されず、モニタ及び解析目的で使用できない。
【００１５】
上述のシステムのうちいくつかは、ガルバニック肌反応によって提案されるように、出来事に対するユーザの特別の反応を示す生理的信号によって、対応する画像の記憶及び送信が引き起こされるが、これらのシステムは、特定の対象（すなわち、家族の一員）、シーンの種類（すなわち、屋内−屋外）等の、予め特定された画像の特徴によって引き起こされる性能を有しない。
【００１６】
最後に、上述のシステムは、外界の出来事に対する個人の反応に関して、ユーザにフィードバックを提供する手段も有しない。その手段は、特定の健康、及び安全に関連する目的のために重要である場合がある。
【００１７】
上述のシステムにおけるこれらの特徴の欠陥は、健康、及び安全に関連した用途に関して、例えば、その後における、人の識別子、及び生理的信号との関連がないある状況に対する人の反応の更なる解析を妨げることによって、有効性の範囲を制限する。また、治療のために有用な、（引き起こされた特別な出来事の撮像ではなく）経時的な同様の状況に対する反応の変化を追跡する処理は、サポートされない。
【００１８】
結果として、後に感情情報を撮像画像と関連付けるために、シーンの画像を撮像する瞬間に、シーンに対するユーザの感情的な反応を記録及び解釈する改善されたシステム及び方法の追加の必要性が存在する。ユーザの識別子は、特徴的な画像に関連付けられたユーザの撮像された反応と同様に、特徴的な反応に関連付けられた撮像画像と一緒に転送されることが引き起こされる。
【課題を解決するための手段】
【００１９】
本発明のある態様において、撮像方法が提供される。その撮像方法に従って、シーンの画像が撮像され、撮像時の感情情報が収集される。そのシーンの画像と感情情報は、画像の受け手に送信される。
【００２０】
本発明の別の態様において、撮像方法が提供される。その撮像方法に従って、シーンの画像が撮像され、撮像時の感情情報が収集される。その撮像画像と、収集された感情情報は、送信基準が満たされるかどうかを判断するために解析される。送信基準が満たされたとき、撮像画像と、収集された感情情報は、画像の受け手に送信される。
【００２１】
本発明の別の態様において、反応画像生成方法が提供される。その方法に従って、ユーザに直面するシーンの画像が撮像され、ユーザの識別情報が取得される。感情情報が、撮像時に収集される。感情情報とユーザ情報は、画像に関連付けられる。撮像画像、感情情報、及びユーザの識別情報は、受け手に送信される。反応は、受け手から受け取られる。その反応は、ユーザに提示される。
【００２２】
本発明の別の態様において、画像生成システムが提供される。その画像生成システムは、シーンの画像を撮像する撮像システムと、その撮像された画像を記憶するメモリとを有する。センサの集合は、撮像時に、ユーザからの感情信号を収集する。処理装置は、感情信号に基づいて、感情情報を決定し、その感情情報を、撮像画像に関連付ける。送信装置は、そのシーン画像と感情情報を、受け手に送る。
【００２３】
本発明の別の態様において、画像生成システムが提供される。その画像生成システムは、シーンの画像を撮像する撮像手段と、撮像時に、ユーザから感情情報を収集する感情センサを有する。送信手段は、シーン画像と感情情報を、受け手に送信する。
【００２４】
本発明のさらなる態様において、少なくとも２つの画像生成装置を有する反応性画像生成システムが提供される。各々の画像生成装置は、ユーザに直面するシーンの画像を撮像する撮像システムと、シーン画像を記憶するメモリとを有する。また、画像生成装置は、撮像時に、ユーザから感情信号を撮像するセンサの集合と、そのセンサの集合からの信号に基づいて感情信号を決定し、感情情報を、シーン画像に関連付ける処理装置とを有する。送信機は、シーン画像と、関連した感情情報を、受け取りノードに送信する。その受け取りノードは、送信された画像、及び関連する感情情報を受け取る。受け取りノードは、送信された画像、及び感情情報を解析し、送信された画像及び感情情報に基づいて反応を決定する処理装置を有する。
【発明を実施するための最良の形態】
【００２５】
本発明は、特定のユーザがシーンを見るときの感情情報を収集し、その感情情報のその後の使用のために、この情報とその解釈を、特定のシーンの撮像された画像に関連付ける方法を提供する。また、本発明は、個人的な健康及びセキュリティ用途に有用な方法で画像に関連する有用な非画像データを収集し、かつ関連付ける方法を提供する。
【００２６】
特定のシーン、又はシーンの画像に対するユーザの心理的、生理的、及び行動的反応を表現する情報は、本明細書において、感情情報と呼ばれる。感情情報は、生の生理的信号、及び行動的信号（例えば、ガルバニック肌反応、心拍数、顔の表情等）、それらの心理的解釈（例えば、好ましい、好ましくない）、及び感情部類（例えば、恐れ、怒り、幸せ）との関連付けを含む。感情情報は、ユーザの心理学的反応が変化するとき、変化する。これは、例えば、ユーザが、急に、危険な事故、驚くべき行動、又は美しい風景を見るときに起こる。
【００２７】
感情情報の解釈は、ユーザの好みの複数の段階（例えば、ユーザが、そのシーンを好む、又は嫌う程度）を提供しうる。また、ユーザに対し、シーンの重要性の相対的程度の指示を与えてもよい。加えて、感情情報の解釈は、シーンによって引き起こされる特定の感情（例えば、幸せ、悲しみ、恐れ、怒り、その他）についてなされてもよい。
【００２８】
シーンは、見る者によって見られるものとして定義される。それは、行為や出来事が起こる場所、見る者によって見られる対象の集合、一連の行為及び出来事、風景又は風景の一部、及び景色等と呼ばれる。画像生成撮像装置によって記録、又は表示されるシーンは、シーンの画像と呼ばれる。撮像装置の例は、デジタルスチルカメラ、手持ち式ビデオカメラ、携帯式ビデオカメラ、静止画又は動画の画像等の画像をフィルムに記録する従来の写真カメラ、及びアナログビデオカメラ等を含む。ユーザは、直接、又はカメラのビューファインダを通して、又はビューファインダとしての機能を果たすカメラプレビュースクリーン上で、シーンを観察することができる。
【００２９】
本明細書で使用されるように、単一の画像、及び複数の画像という語は、これらに限られないが、静止画像、動画像、及びステレオ画像、又は他の深さ画像等の複数視野画像、並びにその他の形式の没入型（ｉｍｍｅｒｓｉｖｅ）静止画像、及び動画像を含む。
【００３０】
シーンの画像から抽出された情報は、場所、場所の種類、出来事の説明又は分類のシーンについての知識、及び、シーンの画像から抽出できる色、対象、人等のシーンの要素についての知識に関連する。
【００３１】
非画像データは、画像に関連した他の種類の利用可能な情報をいう。画像に関連した非画像データの例は、カメラによって提供される、画像が撮像されたときの日付と時刻である。
【００３２】
人々は、種々の目的及び用途のために、異なるシーンの画像を撮像する。記念すべき出来事を撮像することは、通常の人々、プロの写真家、ジャーナリストが共通して有する行動の一例である。これらの出来事は、個人、又は個人の集合にとって、意味があり、感情的に重要である。そのような出来事の画像は、特別の注意を引き、記憶を引き出し、感情を呼び起こし、又は、一般的な言い方をすると、それらは、心理的反応を生成する。これらの心理的反応は、しばしば、生理的及び／又は行動的変化を伴う。
【００３３】
感情タギングは、感情情報を決定し、その感情情報を、特定のシーンの画像と関連させて記憶する工程として定義される。感情情報がユーザの識別子と関連付けて記憶されるとき、それは、本明細書において、「個人的な感情情報」と呼ばれる。ユーザの識別子は、特定のユーザが識別されることを可能にする種類の情報であってよい。ユーザの識別子は、グローバル一意ＩＤ（ＧＵＩＤ）、ユーザ番号、社会的セキュリティ番号、又はそれに類似するもの等の個人識別コードであってよい。また、ユーザ識別子は、完全な正式名称、ニックネーム、コンピュータのユーザ名、又はそれに類似するものであってよい。または、ユーザ識別子は、顔の画像若しくは説明、指紋の画像若しくは説明、網膜走査、又はそれに類似するもの等の情報を含んでもよい。また、ユーザ識別子は、インターネットアドレス、携帯電話の番号、又は他の識別であってもよい。
【００３４】
個人的な感情情報が、対応する画像に関連して記憶されるとき、「個人の感情タグ」と呼ばれる。感情情報、及びユーザ識別子は、画像に関連した任意の非画像情報に使用される言葉である、画像「メタデータ」の種類である。感情タグに記憶される個人的な感情情報に含まれうる画像メタデータの他の種類の例は、シーン画像から抽出された情報や、撮像時間、撮像装置の種類、撮像場所、撮像の日付、撮像パラメータ、画像編集経緯等の非画像データを含む。
【００３５】
個人的な感情情報は、例えば、Ｅｘｉｆ画像ファイル内のタグつき画像ファイルフォーマットＩＦＤを用いて、画像ファイル内の個人的な感情情報を記憶することによって、デジタル画像に関連付けできる。あるいは、その感情情報は、ＪＰＥＧ標準フォーマットＩＳＯ１０９１８−１（ＩＴＵ−Ｔ．８１）に従って、第１の画像（又は、第２の画像）を含むＪｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｏｒｔ Ｇｒｏｕｐファイルにおける１以上の用途セグメントに記憶されてもよい。これは、単一の業界標準画像ファイルが、通常のＪＰＥＧ画像として記憶された、ＪＰＥＧ形式で圧縮された第１の画像、及び通常のＪＰＥＧリーダによって無視される独自仕様の形態で記憶される感情情報の両方を含むことを可能にする。さらに別の代替において、個人の感情情報は、画像とは別個のデータベースで記憶できる。また、この情報は、情報に対する許可されないアクセスを防ぐために、セキュリティ及びアクセス許可情報と共に記憶されてもよい。
【００３６】
感情タギングは、ユーザが、撮像装置を用いて、特定のシーン、又はそのシーンの画像を見るときに、手動で、又は自動的になされてよい。手動の感情タギングの場合、ユーザは、カメラのノブ、タッチスクリーンディスプレイ、又は声認識インタフェースを用いて、シーンに対する彼／彼女の反応を提供することができる。例えば、驚いた場合、ユーザは、カメラのボタンを「クリック」して「驚き」反応を示してもよく、又は、「わあ」等のキーワードを言うだけでもよい。
【００３７】
自動的な感情タギングの場合、個人的な健康及びセキュリティのモニタ用撮像システム（さらに、簡単に、撮像システムという。）は、以下の複数の信号のうち１つ、又はそれらの組み合わせを用いて、続く解釈のための感情情報を収集できる。
眼球運動特性（例えば、注視期間、瞳孔の大きさ、まばたきの速度、凝視方向、眼球運動パターンから導き出された眼球の加速度、形状、パラメータ、それらの複合、その他）
生物測定、又は生理的反応（例えば、ガルバニック肌反応（ＧＳＲ）、手の温度、心拍数、電気的筋運動図（ＥＭＧ）、呼吸パターン、電気的脳造影図（ＥＥＧ）、脳画像生成信号、その他）
顔の表情（例えば、笑顔、しかめ面、その他）
声の特性（例えば、大きさ、速度、ピッチ、その他）
顔の動きを含む体の身振り（例えば、鼻筋をつまむ、耳の周囲をこする、その他）
【００３８】
以下で説明される本発明の１つの実施の形態に従って、感情情報は、顔の表情、注視期間、及びガルバニック肌反応に基づいて、自動的に決定される。
【００３９】
図１ａ−図１ｃを参照すると、本発明による撮像システムの３つの実施の形態が示される。図１ａに示されたシステムは、直接、若しくはビューファインダ２４を通して、又はカメラプレビュースクリーン２２上で、シーン４を見る特定のユーザ２が所有する、通信、及びフィードバックにも使用される手持ち式の撮像装置６を含む。撮像装置６は、デジタルスチルカメラ、手持ち式デジタルビデオカメラ、又は装着可能なビデオカメラ、その他を含んでもよい。撮像装置６の装着可能な実施の形態の例は、図１ｂ及び図１ｃに示される。これらの携帯可能な実施の形態は、図１ｂに示されるように、撮像装置６を支えるフレーム２９に取り付けられた、又は図１ｃに示されるように、有線、若しくは無線で撮像装置６に接続される別個の装置として、通信及びフィードバックのためのディスプレイ２１を有する。
【００４０】
撮像装置６は、シーン４を撮像する撮像モジュール８を有する。撮像モジュール８は、接眼レンズ（図示されない）、画像センサ（図示されない）、及びＡ／Ｄコンバータ（図示されない）を含む。また、撮像モジュール８は、マイクロフォン（図示されない）、オーディオ増幅器（図示されない）、及びオーディオＡ／Ｄコンバータ（図示されない）を含んでもよい。撮像モジュール８は、デジタル静止画信号、又はデジタル動画信号、及び関連するデジタルオーディオ信号を提供する。また、撮像装置６は、中央演算処理装置（ＣＰＵ）１４、及び、撮像モジュール８によって提供されるデジタル静止画、又はデジタル動画、及び関連するメタデータ等の高解像度画像ファイルを記憶できるデジタル記憶装置１２を含む。デジタル記憶装置１２は、小規模な磁気ハードディスク、フラッシュＥＰＲＯＭメモリ、又は他の種類のデジタルメモリであってよい。
【００４１】
撮像装置６は、インターネットサービスプロバイダ２０等の通信サービスプロバイダを用いて、デジタル静止画像、及びビデオ画像を含むデータを交換する無線モデム、又は他の通信インタフェース等の通信モジュール１８を含むことが示される。通信モジュール１８は、既知のＢｌｕｅｔｏｏｔｈインタフェース、又はＩＥＥＥ標準８０２．１５インタフェース等の標準の無線周波数ワイヤレスインタフェースを使用できる。あるいは、通信モジュール１８は、赤外線、レーザ、又は他の光学通信スキームを用いて、他の装置と情報を交換してもよい。さらに別の代替において、撮像装置６は、Ｕｎｉｆｏｒｍ Ｓｅｒｉａｌ Ｂｕｓケーブル、ＩＥＥＥ標準１３９４ケーブル、他の電気的データ経路、又は光学的データ経路等のデータ交換ハードウェアを用いて、デジタル画像、及び感情情報を含む情報が、撮像装置６と他の装置との間で交換されることを可能にする通信モジュール１８を有してもよい。電気的データ経路は、例えば、１つのワイヤ、ワイヤ若しくは導波管の集合等である。
【００４２】
図１ａを参照すると、通信モジュール１８は、通信サービスプロバイダ２０を用いて、メッセージを再生するか、又はビデオ通信を提供するために、プレビューディスプレイ２２につながっている。図１ｂ及び図１ｃに示される実施の形態において、ユーザによって受け取られたメッセージ及びビデオ情報は、撮像システム６の装着可能な実施の形態に位置された通信ディスプレイ２１に表示される。ガラスフレームに取り付けできるディスプレイ２１の一例は、米国、マサチューセッツ州、ウェストウッドのマイクロオプティカル社によって販売される、ｑＶＧＡ Ｉｎｖｉｓｉｂｌｅ Ｍｏｎｉｔｏｒ Ｍｏｄｅｌ ＥＧ−７である。図１ｃは、携帯可能な通信モジュール２３において、手首に装着可能な、もう１つのディスプレイ２１の例を示す。
【００４３】
感情情報を得るために、撮像装置６は、制御装置１３と、ユーザ２から生理的信号を検知できるセンサ集合１５を含む。ユーザ２は、例えば、制御装置１３を用いることによって感情情報を入力してもよい。制御装置１３は、手動制御ボタン、タッチスクリーンディスプレイ、音声認識インタフェース、又は動作認識インタフェースを含んでもよい。
【００４４】
また、感情情報は、センサ集合１５によって集められてもよい。図１ａに示された実施の形態において、センサ集合１５は、撮像装置６の表面に取り付けられるガルバニック肌反応センサ１６を含む。装着可能な実施の形態において、ガルバニック肌反応センサ１６は、図１ｂに示される撮像装置６の外部のどこに取り付けられてもよい。図１ｂにおいて、ガルバニック肌反応センサ１６は、ガラスを支持するために使用される従来のフレーム２８の側面部２９に位置される。また、センサ集合１５は、血管センサ１７を含んでもよい。血管センサ１７は、大抵、ユーザの頭部のこめかみにおいて、動脈に最も近い側面部２９の一部に組み込まれ、従って、温度及び／又は心拍数表示の測定を容易にする。また、センサ集合１５は、図１ｂに示されるように、耳に最も近い振動センサ１９を含んでもよい。その振動センサ１９は、耳の最も近くで、又は耳に接触することによって、オーディオ振動を検知するように適用されてもよい。振動センサ１９は、ユーザから生じる音と、他のソースから生じる音の両方を検知するように適用できる。センサ集合１５のどれもが、別の有用な配置で位置されてもよい。センサ集合１５のどの１つも、その存在が、撮像装置６の装着可能な実施の形態の外観を変化させないように、小型化できる。例えば、図１ｃの実施の形態に示されるように、ガルバニック肌反応を検知するセンサ１６は、従来のフレーム２８のブリッジ２６に取り付けられる、装着可能な撮像装置６の一部である。
【００４５】
別の実施の形態において、センサ１５は、神経センサと、神経細胞からの電気的な動作をモニタして、環境との相互作用を可能にするように適用される他の装置とを備えてもよい。そのような装置の例は、米国、ジョージア州、アトランタのＮｅｕｒａｌ Ｓｉｇｎａｌｓ社によって販売される、ブレインコミュニケータ、及びＭｕｓｃｌｅ Ｃｏｍｍｕｎｉｃａｔｏｒとして提案されている。これらの装置は、それぞれ、神経細胞における電気信号、及び特定の神経によって放出される信号をモニタし、例えば、平均的な人間の四肢を動かすために使用される信号を検知する。これらの信号は、コンピュータに送信される。そのコンピュータでは、ソフトウェアが、信号を有効な情報に復号化する。そのような技術は、感情情報を決定するために有用な他の情報と同様に、感情情報を検知するために使用できることが理解される。例えば、耳からの音情報を運ぶ神経に沿った神経動作は、その出来事において観察者が実際に聞いたものを反映するオーディオ情報を決定するためにモニタされ、使用されてもよい。
【００４６】
また、撮像装置６は、ユーザ２の眼球運動、瞳孔の大きさ、及び顔の表情のビデオ画像を記録するために使用されるユーザビデオカメラ１０を含む。ユーザビデオカメラ１０は、例えば、従来の電荷結合素子撮像装置、相補型金属酸化物撮像装置、又は電荷注入装置を組み込むことができる。また、他の画像生成技術が使用されてもよい。ユーザビデオカメラ１０によって撮像される画像は、ユーザの画像、又はユーザの顔のいくつかの形状を形成するビデオ画像を含んでもよい。また、ユーザビデオカメラ１０によって撮像される画像は、それから感情情報が得られる他の形式のビデオ画像を含んでもよい。例えば、眼球の位置や、瞳孔の大きさを示す画像は、ユーザ２の目の全部のデジタル画像を構成する必要がない。それどころか、費用を低減する、又は画像生成の構成を簡単化するために、より低い解像度、又は非線型画像生成パターンを有する他の形式の画像生成が使用できる。
【００４７】
ユーザビデオカメラ１０によって撮像されるビデオ画像は、ＶＰＵ１４による処理の前に、デジタル記憶装置１２に記憶される。ユーザビデオカメラ１０は、例えば、赤外感知カメラを含んでもよい。この実施の形態において、赤外線レーザダイオード（赤外ＬＥＤ）の集合は、赤外光を、ユーザの瞳孔に向ける。ユーザビデオカメラ１０は、ユーザの眼球によって放射された赤外線信号を検知する。その後、瞳孔は、ユーザの顔の画像から追跡される。有用なユーザビデオカメラ１０の一例は、米国、ニューヨーク州、アーモンク市のＩＢＭ社によって販売されたＢｌｕｅ Ｅｙｅｓカメラである。ユーザビデオカメラ１０の別の有用な例は、米国、バージニア州、フェアファックスのＬＣ Ｔｅｃｈｎｏｌｏｇｉｅｓ社によって販売されたＥｙｅｇａｚｅ Ｓｙｓｔｅｍである。
【００４８】
ユーザビデオカメラ１０の他の有用な実施の形態は、米国特許出願（「眼球モニタリングを有するカメラシステム（Ｃａｍｅｒａ Ｓｙｓｔｅｍ Ｗｉｔｈ Ｅｙｅ ＭＯｎｉｔｏｒｉｎｇ）」と題する我々の事件番号＃８５２４３）において、より詳細に図示され、説明される。
【００４９】
ユーザビデオカメラ１０は、例えば、図１ａに示されるような手持ち式の撮像装置６に取り付けられ、又はその内部に位置されてもよく、例えば、図１ｂの装着式撮像装置６に示されるようなガラスフレーム２８上に位置されてもよく、又は、図１ｃに示されるような装着式撮像装置６に示されるように、ガラスフレーム２８の遠隔部分に位置されてもよい。図１ｃの場合において、ユーザビデオカメラ１０は、特に、瞳孔の大きさ、眼球や眉の動作を含むユーザの種々の顔の特徴を撮像するのに適している。それは、図１ｂに示される場合に、眼球の動き、及び他の目の特徴を撮像するのに最も適している。また、ユーザビデオカメラ１０は、撮像装置６から分離してもよい。この実施の形態において、ユーザビデオカメラ１０は、撮像装置６のユーザの画像を撮像し、この画像を撮像装置６に転送できる任意の撮像装置を含んでもよい。遠隔ユーザビデオカメラ１０からの画像の転送は、既知の任意の無線通信システムを用いることによって、無線でなされてもよい。
【００５０】
顔つきトラッキングは、例えば、１９９９年のＩＥＥＥ ＴＥＮＣＯＮの会報の７２−７５頁に、Ｋｏ等によって開示された「アイヘッドによって制御されるヒューマンコンピュータインタフェースのための顔つきトラッキング（Ｆａｃｉａｌ Ｆｅａｔｕｒｅ Ｔｒａｃｋｉｎｇ ｆｏｒ ＥｙｅＨｅａｄ Ｃｏｎｔｒｏｌｌｅｄ Ｈｕｍａｎ Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ）」と題する記事で説明されるように、種々のアルゴリズムを用いて実行できる。リアルタイムで顔の形状を追跡できるこのアルゴリズムは、処理された顔画像から識別する、候補となるブロックを用いて完全なグラフを構成し、その後、各々のブロック対に対して類似の測定値を演算する。目は、最大の類似性を有するブロックとして探索される。目の位置に基づいて、口、唇の角、及び小鼻が探索される。探索された顔つきは、その後、追跡される。
【００５１】
眼球運動を記録するように適用されたユーザビデオカメラ１０を有する装着可能な撮像装置６の一例が、例えば、Ｖｉｓｉｏｎ Ｒｅｓｅｒｃｈ ４１（２００１）の第３５８７−３５９６頁における、Ｐｅｌｚ等による「複雑なタスクにおける眼球運動動作および知覚処理方式（Ｏｃｕｌｏｍｏｔｏｒ Ｂｅｈａｖｉｏｒ ａｎｄ Ｐｅｒｃｅｐｔｕａｌ Ｓｔｒａｔｅｇｉｅｓ ｉｎ Ｃｏｍｐｌｅｘ Ｔａｓｋｓ）」に見つけられる。著者は、ヘッド−ギア／ゴーグルの形態の装着可能な軽量の眼球トラッキングシステムを説明する。そのシステムは、赤外照射装置、小型ビデオ眼球カメラ、及びビームスプリッタを含むモジュールを有し、カメラを照射ビームと同軸に調整する。逆反射が、明るい瞳孔画像を生成する瞳孔照射を提供する。外部ミラーは、光路を、ゴーグルの前方に曲げる。ここで、ホットミラーは、赤外照射を眼球に向け、眼球画像を、眼球カメラに向かって後方反射する。第２の小型カメラが、ゴーグルに取り付けられ、ユーザの視点からシーン画像を撮像する。
【００５２】
図１ｂ及び図１ｃにおいて、ユーザビデオカメラ１０は、両目の眼球特徴を捕らえることができる２つの部品から成る。しかし、ユーザビデオカメラ１０は、ユーザ２の目の両方、又は片方のみの眼球特徴を撮像する１つの部品によって表現されてもよいことが理解される。
【００５３】
撮像装置６には、ＣＰＵ１４によって利用される、個別の感情情報を生成して使用する適切なソフトウェアが与えられる。このソフトウェアは、典型的に、デジタル記憶装置１２に記憶され、通信モジュール１８を用いてアップロード又はダウンロードできる。加えて、ＣＰＵ１４が、撮像モジュール８によって提供されたシーンの画像から抽出できる非感情情報に関連した画像処理及び解析を実行することを可能にするソフトウェアプログラムも、デジタル記憶装置１２に記憶される。また、デジタル記憶装置１２は、個人的なユーザプロファイルに関する情報を記憶することもできる。その個人的なユーザプロファイルは、特定のデータベースであってよい。そのデータベースは、例えば、個別の感情情報を生成して使用するとき、ＣＰＵ１４が、その特定のデータベースにアクセスすることを可能にするソフトウェアプログラムと、あるシーン、又は状況に対する典型的な反応パターンについての定量的な情報等の、ユーザ２の特徴の反応を集約する情報を含む。この定量的な情報は、例えば、シーン、又は状況に対するユーザの反応の累積分布、及び、例えば、これらのシーン又は状況に対するユーザの好みの程度を特徴づける、ユーザの反応の累積分布を含んでもよい。この個人的なユーザプロファイルは、ＣＰＵ１４によって問い合わせされてよい。また、個人的なユーザプロファイルは、ユーザ２の反応について知られる新しい情報によって更新されてもよい。
【００５４】
上述された撮像装置６の全ての部品、及び全ての構成要素は、撮像装置６との一体部分として、又は、有線、若しくは無線で接続された物理的に分離された装置として使用されてよいことが理解される。
【００５５】
以下では、撮像装置６が、顔の表情から引き出される好みの程度、又は感情部類、及び顔の表情から引き出されるその識別性等の、顔の特徴の解析に基づいて、感情情報を決定する方法の種々の実施の形態を説明する。別の実施の形態は、瞳孔の大きさ、及び眼球運動から引き出される興味の程度、又はガルバニック肌反応から引き出される興奮の程度等の生理的情報に基づいた感情情報を決定する方法を示す。さらに別の実施の形態は、感情部類と興奮の程度との組み合わせを用いて感情情報を決定する方法を示す。用途に応じて、特定の実施の形態が選択できる。例えば、好みの程度に基づいた感情情報の決定は、肯定的な経験を容易にし、かつ促進することを目的の１つとする肯定的な治療に非常に有用である場合がある。同時に、セキュリティ用途、及び他の種類の治療においては、否定的な感情を思い出させる出来事を検知することが重要である。
【００５６】
図２ａ及び図２ｂを参照すると、特定のユーザの好みの程度に基づいて、特定のシーンの画像の感情情報を提供する本発明の方法の実施の形態を示すフロー図が示される。この実施の形態において、感情情報は、特定のユーザの顔の表情に基づいて決定される。
【００５７】
ユーザ２は、まず、撮像装置６を始動させる（ステップ１１０）。ある実施の形態において、本発明の方法を実行するソフトウェアアプリケーションは、すでに、撮像装置６に導入され、それは、ステップ１１２で自動的に起動する。あるいは、ユーザ２が、撮像装置６における適当な制御ボタン（図示されない）を用いることによって、そのアプリケーションを手動で起動してもよい。
【００５８】
ユーザ２は、個人ＩＤ及びパスワードを入力する（ステップ１１４）。別の実施の形態において、ユーザビデオカメラ１０は、顔認識ソフトウェアと連動して用いられ、ユーザの身元を自動的に判断して、ユーザの名前、若しくは個人識別コード又は他の識別等の適当なユーザ識別子を提供する。別の実施の形態において、ユーザ識別データは、例えば、通信モジュール１８を用いて、撮像装置６への無線周波数トランスポンダ等の外部のデータソースから得ることができる。さらに別の実施の形態において、撮像装置６は、特定のユーザ識別子を用いて予めプログラムされ、ステップ１１４が必要とされない。
【００５９】
ユーザ２は、撮像装置６を用いて、画像、感情情報、及び非感情情報を送る、受け手のリストを決定する（ステップ１１５）。以下は、通信周波数の順に並べられた、可能な受け手の分類リストの例である。
１）個人データベース
２）家族構成員
３）プロキシコンタクト
４）医療機関
５）セキュリティ機関、及び／又は
６）局所的すなわち地域的危機サービスシステム
【００６０】
また、このようなリストは、数において緊急のレベルを反映する。例えば、数が大きければ大きいほど、緊急レベルが高い。この情報は、図１ａ−図１ｃに示された通信モジュール１８によって使用される。
【００６１】
撮像装置６は、随意的に、ユーザ２がシーンを見るときのユーザ２の感情的な反応を決定するために、記録可能な信号の選択を提供する（ステップ１１６）。ユーザ２は、望ましい信号、すなわち、この場合では顔の表情を選択する（ステップ１１８）。別の実施の形態において、撮像装置６は、１以上の感情信号を使用するように予めプログラムされ、ステップ１１６，１１８は必要とされない。
【００６２】
その後、ユーザ２は、撮像装置６に、撮像されるべきシーンを構成するよう仕向ける。撮像モジュール８は、シーンの第１の画像を撮像し（ステップ１２０）、同時に、ステップ１３０において、ユーザカメラ１０が、ユーザ２の第１の顔画像を撮像する。
【００６３】
撮像装置６は、シーン画像を一時的に記憶し（ステップ１２２）、そのシーン画像を、いろいろな観点で、自動的に解析する（ステップ１２３）。そのような解析の目的は、例えば、シーンにおいて、ユーザのある習慣的な反応を引き起こすことが知られている特別の対象を検知し、ユーザに脅威を示すことである。そのような画像解析は、種々の現存する画像処理、及び画像理解アルゴリズムを用いてなされることが可能である。そのようなアルゴリズムの１つは、１９９９年１２月１４日にＮｏｒｍａｎ等によって出願された、「ウィールスプレッドスペクトラム信号の処理を促進するための強い信号取り消し（Ｓｔｒｏｎｇ Ｓｉｇｎａｌ Ｃａｎｃｅｌｌａｔｉｏｎ Ｔｏ Ｅｎｈａｎｃｅ Ｐｒｏｃｅｓｓｉｎｇ Ｏｆ Ｗｅａｌ Ｓｐｒｅａｄ Ｓｐｅｃｔｒｕｍ Ｓｉｇｎａｌ）」と題する同一出願人による米国特許第６２８２３１７号に開示される。それは、本明細書に引用により組み込まれる。その開示は、色、文章、輝度等に関する「構造的な」顕著な特徴と共に、意味的な顕著な特徴としての肉体、顔、空模様、ガラス等を識別し、それらの特徴を組み合わせて信用できるマップを生成することによって、写真画像における主要な対象を自動的に判断する方法を説明する。２０００年１２月１４日にＬｕｏによって出願された、「デジタル画像において人間の姿を検知する画像処理方法（Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｈｕｍａｎ Ｆｉｇｕｒｅｓ Ｉｎ Ａ Ｄｉｇｔａｌ Ｉｍａｇｅ」と題する、同一出願人による米国特許公報ＵＳ２００２／００７６１００Ａ１に開示された、引用により本明細書に組み込まれる別の画像処理技術は、デジタルカラー画像における人間の姿の検知を可能にする。そのアルゴリズムは、まず、画像を、均一の色又はテクスチャの重ならない領域に分割し、続いて、人間の肌の色の候補領域、及び人間の顔の候補領域を検知する。その後、各々の顔領域候補に対し、人間の姿の予め決められたグラフィックモデルに従って、顔の領域の付近の画像を分類し、人間の肌色領域を重視することによって、人間の姿を構成する。また、顔及び身振りの自動認識についての第５回電気電子技術者協会（ＩＥＥＥ）国際会議の会報（２００２年、１９７−２０１頁）において公開された、Ｌｉｕ等による「Ｋｅｒｎｅｌベースのフィッシャー識別解析に基づく顔認識（Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｋｅｒｎｅｌ Ｂａｓｅｄ Ｆｉｓｈｅｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ）」と題する記事で説明されるような、顔認識アルゴリズムを用いて定められた、シーンにおける人々、又は特定の人々の存在が用いられてもよい。
【００６４】
ステップ１３０で説明される撮像された顔画像に関し、ステップ１３２において、撮像装置６は、一時的に顔画像を記憶し、ステップ１３４において、ユーザ２の顔の表情を自動的に解析する。顔の表情は、１９９５年、マサチューセッツ州、ケンブリッジのＩＣＣＶ９５の会報において公開された、Ｅｓｓａ等による「ダイナミックモデルおよび動作得エネルギーを用いた顔の表情認識（Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ａ Ｄｙｎａｍｉｃ Ｍｏｄｅｌ ａｎｄ Ｍｏｔｉｏｎ Ｅｎｅｒｇｙ）」と題する記事で説明されたアルゴリズム等の、公に開示された顔の表情認識のためのアルゴリズムを用いて解析できる。このアルゴリズムは、各々の表情に関連した顔の筋肉運動の確率分布と、肌及び筋肉の詳細な物理的モデルの知識に基づいている。この物理学に基づくモデルは、ビデオ信号から見積もられた筋肉運動と、感情表現のビデオデータベースから得られた典型的な筋肉運動の比較を通して、顔の表情を認識するために使用される。
【００６５】
また、顔の表情は、他の公的に利用可能なアルゴリズムによって解析されてもよい。そのようなアルゴリズムの一例は、Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｎｏｍｏｕｓ Ｓｙｓｔｅｍｓ ３１（１９９９）の第２５３−２６３頁における、Ｌｉｅｎ等による「顔の表情における動作ユニットの検知、トラッキング、及び分類（Ｄｅｔｅｃｔｉｏｎ，Ｔｒａｃｋｉｎｇ，ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ａｃｔｉｏｎ Ｕｎｉｔｓ ｉｎ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ）」に見られる。別の類似のアルゴリズムが、Ｐｓｙｃｈｏｐｈｙｓｉｏｌｏｇｙ ３６の第２５３−２６３頁（１９９９）に公開された、Ｂａｒｔｌｅｔｔ等による「コンピュータ画像解析による顔の表情の測定（Ｍｅａｓｕｒｉｎｇ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎｓ ｂｙ ｃｏｍｐｕｔｅｒ ｉｍａｇｅ ａｎａｌｙｓｉｓ）」と題する記事において見られる。これらのアルゴリズムは、カリフォルニア州、ＰａｌｏＡｌｔｏのＣｏｎｓｕｌｔｉｎｇ Ｐｓｙｃｈｏｌｏｇｉｓｔｓ Ｐｒｅｓｓ社で発行された、Ｅｋｍａｎ等による「顔の動きの符号化システム（Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ）」と題する論文（１９７８年）で説明された、特定の顔の動きの認識、例えば、基本的な筋肉の動きに基づく。その顔の動きの符号化システム（ＦＡＣＳ）において、基本的な顔の動きは、任意の顔の表情を表現するために組み合わせられることが可能である。例えば、無意識の笑みは、２つの基本的な顔の動きによって表現できる。それらは、１）口のすみが大頬骨筋とよばれる筋肉によって持ち上げられること、及び２）目が、眼輪筋と呼ばれる筋肉によって縮むことである。それ故、上に持ち上げられた口と、縮んだ目が、ビデオ信号で検知されるとき、人間が微笑んでいることを意味する。顔の表情の解析の結果として、ユーザ２の顔に笑みが検知されるとき、ユーザ２の顔は、微笑んでいると認識され、笑みが検知されないとき、その顔は微笑んでいないと認識されることが可能である。
【００６６】
撮像装置６が、微笑の大きさを決定する（ステップ１３８）。もし微笑が検知されないなら、微笑の大きさは０に等しい。もし、与えられた画像に対して微笑が検知されたなら、この画像の微笑の大きさは、特定の画像の開始後、最初の３秒内における口の角の間の最大距離が、ユーザ２の目の間の距離によって除算されることによって決定される。個人の目の間の距離は、上述された顔の認識アルゴリズムを用いて決定される。口の大きさと、人の頭に関連したいくつかの寸法（例えば、目の間の距離）との間で比を取る必要性は、ユーザ２の口の大きさが、ビデオカメラに対するユーザの距離、頭の位置等に依存する顔の画像から抽出されるという事実に起因する。しかし、ユーザ２の目の間の距離は、この依存性、顔の高さ若しくは幅、顔の面積等の他の寸法を説明するために使用され、他の寸法が使用されてもよい。
【００６７】
撮像装置６は、好みの程度を決定する（ステップ１３８）。もし、微笑が検知されなかったなら、微笑の大きさ、その結果の好みの程度は、０に等しい。もし、実際に微笑が検知されたなら、絶対的な好みの程度は、微笑の大きさに対応する。相対的な好みの程度は、微笑の大きさを、ユーザ２の平均的な微笑の大きさで除算することによって決定される。平均的な微笑の大きさは、常に更新され、ユーザ２の個人的なユーザプロファイルの一部としてデジタル記憶装置１２に記憶されてよい。個人的なユーザプロファイルは、微笑の大きさのデータを用いて、平均的な微笑の大きさに関して、問い合わせされ、かつ更新される（ステップ１３９）。
【００６８】
得られた好みの程度は、基準と比較される（ステップ１４０）。その基準は、ステップ１２３，１３８で抽出された感情情報と画像情報の両方の重要性を反映するように構成される。そのような基準は、例えば、論理的な「ＯＲ」式の形式で決定されてもよい。それは、もし、シーン画像における関連する情報が検知される、又は感情情報の閾値、すなわち、図２の場合における好みの程度が超過する、及び関連したシーン画像情報の検知と好みの程度の閾値の超過の両方が起こるなら、ステップ１４０における基準が満たされる。また、ステップ１４０における基準が、２つの情報源のいずれかに対して優位性を与えるように設定できることが理解される。
【００６９】
ある実施の形態において、その基準は、感情情報の重要性、すなわち、好みの程度だけを反映してもよい。この実施の形態において、得られた好みの程度は、ユーザ２によって、又はユーザ２に対して定められた閾値と比較される。もし、得られた好みの程度が、閾値を超えるなら、撮像装置６は、この特定の撮像画像に対する好みを示す、対応する画像の個人的な感情タグを生成する（ステップ１４４）。
【００７０】
また、別の実施の形態において、好みの程度の閾値は、例えば、ユーザの好みの程度の分布に対する先の累積確率に基づいて、個人的なユーザプロファイルから自動的に定められてもよい。そのような確率は、０．５に等しくてよく、従って、好みの程度の閾値は、その場合の少なくとも５０％で発生する値に等しくてもよい。または、個人的な感情タグは、種々の撮像画像間の相対的な好みの程度の区別を可能にする、好みの値の範囲から選択された値を含んでもよい。
【００７１】
もし基準が満たされるなら、撮像装置６は、対応する画像と、個人的な感情タグを記憶する（ステップ１４６）。個人的な感情タグは、シーン画像を含む画像ファイル内で、画像メタデータの一部として、好みの程度を示す。または、好みの程度を示す個人的な感情タグが、ユーザ識別子、及び画像識別子に関連させて、別のファイルに記憶されてもよい。加えて、ユーザ２が特定の画像を見る日付（すなわち、撮像してすぐ）についての情報が、別の入力として、個人的な感情タグに記録されてもよい。
【００７２】
別の実施の形態において、生の顔画像が、撮像装置６における別個のファイルに、画像識別子、及びユーザ識別子と合わせて、又は画像メタデータの一部としての個人的な感情タグに、感情情報として記憶される。そして、その後、随意的に別個のシステムを用いて、解析がなされる。例えば、シーン画像、及び生の顔画像は、通信モジュール１８（図１参照）、及びインターネットサービスプロバイダ２０を用いて、ステップ１３４−１３８に関連して先に説明された解析を実効できる、別個のデスクトップコンピュータ（図示されない）、又はコンピュータサーバ（図示されない）に伝達されてよい。
【００７３】
受け手が識別される（ステップ１４７）。ある実施の形態において、それは、インターネットサービスプロバイダによって供給されるｅメールアドレスを有する、個人的なデータベースであってよい。別の実施の形態において、受け手は、医療機関、又はセキュリティ機関であってよい。別の実施の形態において、複数の受け手が、個人的なデータベース、医療機関、友人、家族構成員、セキュリティ機関等を含むリストからのものであってよい。また、受け手は、感情情報、画像データ、及び非画像データの解析に基づいて、自動的に選択されてもよい。この場合に、ステップ１４７の一部としての決定は、例えば、ステップ１３８において決定される好みの程度等の感情情報の値を、受け手のリストにおける受け手の各々に対応するあらかじめ特定された閾値と比較することを含んでもよい。さらに別の実施の形態において、各々の受け手に対応する好みの程度に対する閾値が、例えば、ユーザの好みの程度分布に対する先の累積確率に基づいて、個人的なユーザプロファイルから自動的に定められる。ある実施の形態において、０．９の累積確率が、医療機関に対して選択され、従って、好みの程度に対する閾値は、その場合の１０％だけ超過する値に相当するであろう。さらに別の実施の形態において、個人的な感情タグが、好みの値の範囲から選択される値を含み、種々の撮像画像間で相対的な好みの程度を区別することを可能にしてもよい。さらに別の実施の形態において、受け手は、ステップ１４０における基準構成に依存した、シーン画像解析、及びシーン情報と感情情報の組み合わせの結果だけに基づいて、選択されてもよい。
【００７４】
対応する画像、個人的な感情タグ、及び他の画像メタデータが、通信モジュール１８を用いて、例えば、インターネットサービスプロバイダ２０を経由して、識別された受け手、例えば、デジタル画像の個人的なデータベースに送られる（ステップ１４８）。この画像の個人的なデータベースは、例えば、別個のデスクトップコンピュータ（図示されない）、又はコンピュータサーバ（図示されない）を用いて記憶されもよい。
【００７５】
別の実施の形態において、対応する画像、個人的な感情タグ、抽出された画像情報を含む画像メタデータは、特定の状況に対するユーザの特定の感情反応の追加の解析又は再検討のために、医者、又は他の医療機関に送られる。また、対応する画像、個人的な感情タグ、画像メタデータ及び抽出された情報は、家族構成員、又はローカル緊急サービスを含む、支援ネットワークの構成員に送られてもよい。
【００７６】
フィードバック情報が、カメラプレビュースクリーン２２、又は通信ディスプレイ２１に表示される（ステップ１５０）。この情報は、適切なソフトウェアプログラムによって、自動的に収集され、シーンの画像、決定された好みの程度、又はそれら両方を含んでもよい。それは、また、音声信号、予め記録された音声メッセージ、又はコンピュータ生成のスピーチ又は画像を含む、又はそれらのみから成ってもよい。別の実施の形態において、フィードバックは、医者、又は支援ネットワークの構成員によって送られ、治療を容易にする、又はユーザ２を助ける。この点で、双方向通信のやりとりが開始されてもよい。
【００７７】
もし、得られた好みの程度が、閾値未満であるなら、ユーザの顔画像、及びシーン画像が削除される（ステップ２４２）。もし、得られた好みの程度が閾値未満であり、かつ、ユーザ２が、いまだ、例えば、プレビュースクリーン２２で、同じシーン、又はシーンの撮像画像を見ているなら、撮像装置６は、随意的に、次の顔画像を撮像し、ステップ１３２からステップ１４０を繰り返して、ユーザ２が、そのシーン、又はそのシーンの撮像画像を見るときに、顔の表情を変化させたかどうかを判断することができる。
【００７８】
もし、閾値が０に設定されるなら、撮像装置６によって記録される全てのシーン画像、及び対応する感情情報（好みの程度、又は別の実施の形態では、生の顔画像）は、撮像装置６に、画像識別子、及びユーザ識別子と共に、又は、画像メタデータの一部としての個人的な感情タグに、感情情報として、記憶されるであろう。
【００７９】
もし、ユーザが、電源をオンし続けるなら、シーンの次の画像を撮像して解析し（ステップ１２０−１２３）、同時に、その撮像された画像に対して、個人的な感情タグを決定して記憶する（ステップ１３０−１４６）工程が、繰り返される（ステップ１２６）。
【００８０】
撮像装置６は、ユーザ２が撮像装置６の電源をオンし続けている限り、撮像モジュール８を用いたシーン４の画像の記録と、ユーザビデオカメラ１０を用いたユーザ２の顔画像の記録を続ける（ステップ１２６）。もし、電源がオフされるなら、撮像装置６は、シーンの画像、及び顔画像を記録することを中止し、感情タギングの工程も終わらせる（ステップ１２８）。
【００８１】
好みの程度は、特定のユーザが好きな画像として、組織的かつ連続的な方法で画像を並べるために、デジタル画像生成システムで使用される。それは、参照によって本明細書に組み込まれる、Ｍａｔｒａｓｚｅｋ等によって２００１年１２月２６日に出願された、「デジタル画像生成システムにおける感情情報の生成、及び使用方法（Ｍｅｔｈｏｄ ｆｏｒ Ｃｒｅａｔｉｎｇ ａｎｄ Ｕｓｉｎｇ Ａｆｆｅｃｔｉｖｅ Ｉｎｆｏｒｍａｔｉｏｎｉｎ ａ Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ）」と題する、同一出願人による米国特許出願第１０／０３６１１３号、Ｍａｔｒａｓｚｅｋ等によって２００１年１２月２６日に出願された、「アルバムページを生成するために、デジタル画像と共に記録された感情情報を使用する方法（Ｍｅｔｈｏｄ ｆｏｒ Ｕｓｉｎｇ Ａｆｆｅｃｔｉｖｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｃｏｒｄｅｄ Ｗｉｔｈ Ｄｉｇｉｔａｌ Ｉｍａｇｅｓ ｆｏｒ Ｐｒｏｄｕｃｉｎｇ ａｎ Ａｌｂｕｍ Ｐａｇｅ）」と題する、同一出願人による米国特許出願第１０／０３６１２３号において説明される。
【００８２】
あるシーンの複数の画像に対する好みの程度は、二値形式で決定できる。ステップ１３６で微笑が検知されるとき、対応する画像は、好ましいものとして、１に等しい、２値の好みの程度に分類される。または、微笑が検知されないとき、画像は、好ましくないものとして、０に等しい好みの程度に分類される。
【００８３】
その後、決定された感情情報は、２値の好みの程度の点で、画像メタデータの一部としてのユーザ識別子を含む個人的な感情タグとして記憶される。また、それは、画像識別子、及びユーザ識別子と共に、デジタル記憶装置１２の別個のファイルに記憶されてよい。加えて、ユーザの顔の表情の１以上の実際の画像についての感情情報も、画像識別子、及びユーザ識別子に関連して、別個のファイルに記憶されてもよい。
【００８４】
別の実施の形態において、撮像画像は、感情情報が、相対的な微笑の大きさに対する閾値等の閾値を越えるときのみ、撮像装置６によって、インターネットサービスプロバイダ２０に転送される。その結果、好ましい閾値を超える画像のみが、ユーザの個人的な画像のデータベースに記憶される。この実施の形態において、メタデータは、そのようなファイルが閾値を満たしたことを示す画像ファイルに記憶される。
【００８５】
図３ａ、及び図３ｂを参照すると、本発明の別の実施の形態を示すフロー図が示される。この実施の形態において、感情情報は、撮像画像に対応するユーザの反応の感情部類に基づいて判断される。また、この実施の形態において、感情情報は、ユーザの顔の表情の解析に基づいて得られる。
【００８６】
顔の表情は、「幸せ」、「悲しみ」、「うんざり」、「驚き」等の広い範囲の感情部類に分類できる。顔の表情を分類する公に開示されたアルゴリズムは、２００２年に、Ｊｏｕｒｎａｌ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅに開示された、Ｄａｉｌｅｙ等による「ＥＭＰＡＴＨ：顔の表情を分類する神経ネットワーク（ＥＭＰＡＴＨ：Ａ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｔｈａｔ Ｃａｔｅｇｏｒｉｚｅｓ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎｓ）」と題する記事において説明される。そのアルゴリズムは、知覚解析、対象表現、及び分類の３つの処理レベルを実行する３つの神経細胞層から成るフィードフォワード神経ネットワークの開発に基づいて、顔の表情を、「幸せ」、「悲しい」、「恐怖」、「怒り」、「うんざり」、及び「驚き」の６つの基本的な感情部類に分類する。そのモデルにおいて、第１の層は、視覚野における複雑細胞と類似する特性を有する神経細胞の集合を模倣する。第２の層におけるユニットは、データから規則性を抽出する。第３の層の出力は、６つの基本的な感情に分類される。結果として、各々の顔の表情は、各々の感情に対して１つずつ、６つの数によってコード化される。種々の感情に対応する数は、全て正であり、その合計は１である。よって、それらは、確率として解釈できる。
【００８７】
以下の方法は、ユーザの顔の表情に基づいた感情部類を決定し、さらに、これらの部類に対する値の範囲を提供する。具体的には、感情部類の「識別性」の程度が、図３に提示され、かつ図示される。感情部類の識別性の程度は、感情の不明瞭さ、又はあいまいさとは対照的に、特定の感情の特異性、又は「純正」の測定値を反映する。共通語で、そのような感情は、しばしば、「複雑な感情」と呼ばれる。この「特異性」の特性は、やや彩度に似ていると考えられてよい。
【００８８】
図３ａ、及び図３ｂの実施の形態のステップ２１０からステップ２３２は、一般的に、図２ａ、及び図２ｂの実施の形態のステップ１１０からステップ１３２に対応する。
【００８９】
しかし、この実施の形態において、撮像装置６は、先に説明されたＤａｉｌｅｙ等による神経ネットワークの方法を適用して、ユーザ２の顔の表情を自動的に解析する（ステップ２３４）。結果として、ユーザ２の顔の表情は、全ての基本的な感情に対して１つある、６つの数字に関連する。
【００９０】
感情部類（ＥＣ）は、最も大きい数字をもつ部類を選択することによって決定される（ステップ２３６）。例えば、もし、その数字が、「幸せ」、「悲しい」、「恐怖」、「怒り」、「うんざり」、及び「驚き」のそれぞれに対して、０．５、０．０１、０．２、０．１、０．１９、及び０なら、決定される感情部類は、幸せである。なぜなら、それは、最も大きい個別の数字０．５を有するからである。従って、「幸せ」な顔の表情を引き起こすシーンは、「幸せ」な感情部類に割り当てられ、「悲しい」顔の表情を引き起こすシーンは、「悲しい」感情部類に割り当てられる等である。複数の部類が同じ数字を有する場合、顔の表情に対して、１つの部類が無作為に選択される。又は、複数の部類が同じ数字を有する場合、部類の選択を助けるために、追加の感情的、又は非感情的情報が使用されてもよい。
【００９１】
撮像装置６は、感情部類の識別性の程度を決定する（ステップ２３８）。識別性の程度（ＤＤＥＣ）は、先のステップ２３６で定められた、便利さのために、Ｎ１，Ｎ２，Ｎ３、Ｎ４、Ｎ５、及びＮ６として表される、６つの感情に対する数字から計算される。以下の式は、本明細書において、識別される感情部類ＥＣの識別性の程度を決定するために使用される。
【数１】
2004213623.tif 000003
ＤＤＥＣは、感情部類ＥＣの識別性の絶対的な程度に相当する。識別性の相対的な程度は、感情部類ＥＣの識別性の絶対的な程度を、特定のユーザに対するそれぞれの感情部類のために定められたＤＤＥＣの平均値で除算ことによって定義される。平均のＤＤＥＣは、ユーザ２に対する個人的なユーザプロファイルの一部として、デジタル記憶装置１２において、常に更新、かつ記憶されることが可能である。個人的なユーザプロファイルは、感情部類ＤＤＥＣの識別性の適当な範囲を超えた程度に関して、問い合わせされ、かつ更新される（ステップ２３９）。
【００９２】
得られた識別性の程度は、好みの程度が使用されたときの、先に説明された図２の方法と同様の基準と比較される（ステップ２４０）。ステップ２４０において、得られた識別性の程度は、ステップ２２３，２３８で抽出された画像情報と感情情報の両方の重要性を反映するように構成された基準と比較される。そのような基準は、例えば、論理的な「ＯＲ」式の形式で、決定されてよい。すなわち、もし、シーン画像における関連した情報が検知される、若しくは感情情報に対する閾値、すなわち識別性の程度が超過する、又は、関連のあるシーン画像情報の検知、及び識別性の程度の閾値の超過の両方が起こるなら、ステップ２４０において、基準が満たされる。また、ステップ２４０における基準は、２つの情報源のいずれかに対して優位性を与えるように設定可能である。
【００９３】
ある実施の形態において、その基準は、感情情報、すなわち識別性の程度の重要性のみを反映してもよい。そのような実施の形態において、得られた識別性の程度は、ユーザ２によって、又はユーザ２のために定められた閾値と比較される。もし、得られた識別性の程度が、閾値を超えるなら、撮像装置６は、対応する画像に対して、この特定の撮像画像に対する識別性の程度と共に感情部類を示す個人的な感情タグを生成する（ステップ２４４）。
【００９４】
また、別の実施の形態において、識別性の程度に対する閾値は、例えば、特定の感情部類に対応するユーザ２の識別性の程度の分布の先の累積確率に基づいて、個人的なユーザプロファイルから自動的に定められてもよい。そのような確率は、０．５に等しく、従って、識別性の程度に対する閾値は、その場合の少なくとも５０％で発生する値に相当するであろう。または、個人的な感情タグは、種々の撮像画像間で相対的な識別性の程度の区別を可能にする、識別性の値の範囲から選択された値を含んでもよい。
【００９５】
撮像装置６は、対応する画像と、個人的な感情タグとを記憶する（ステップ２４６）。個人的な感情タグは、シーン画像を含む画像ファイル内で、画像メタデータの一部として、その識別性の程度を有する感情分類示す。又は、感情部類をその識別性の程度と共に示す個人的な感情タグが、ユーザ識別子、及び画像識別子と関連させて、別個のファイルに記憶されてもよい。加えて、ユーザがある画像を見る日付（すなわち、撮像してすぐ）についての情報も、個人的な感情タグに対する別個の入力として記録されてもよい。
【００９６】
別の実施の形態において、生の顔画像が、感情情報として、画像識別子及びユーザ識別子とともに撮像装置６の別個のファイルに、又は画像メタデータの一部として個人的な感情タグに記憶され、その後、随意的に、別個のシステムを用いて、解析が行われる。例えば、シーン画像、及び生の顔画像は、無線モデム１８（図１参照）、及びインターネットサービスプロバイダ２０を用いて、ステップ２３４−２３８に関連して先に説明された解析を実行できる、別個のデスクトップコンピュータ（図示されない）、又はコンピュータサーバ（図示されない）に伝達されてもよい。
【００９７】
受け手は、図２ａ、及び図２ｂのステップ１４７と同様の方法で識別される。感情部類、及びその識別性の程度は、感情情報のソースとして使用される（ステップ２４７）。
【００９８】
対応する画像、個人的な感情タグ、及び他の画像メタデータは、通信モジュール１８を用いて、インターネットサーバ２０に送られるか、又は、他の通信ネットワークを通して、例えば、デジタル画像の個人的なデータベース等の受け手に送られる（ステップ２４８）。この画像の個人的なデータベースは、例えば、別個のデスクトップコンピュータ（図示されない）、又はコンピュータサーバ（図示されない）を用いて記憶できる。
【００９９】
別の実施の形態において、対応する画像、個人的な感情タグ、得られた画像情報を含む画像メタデータが、特定の状況に対するユーザの特定の感情反応の追加の解析、又は再検討のために、医師、又は他の医療機関に送られる（ステップ２４８）。対応する画像、個人的な感情タグ、画像メタデータ、及び抽出された画像情報は、家族構成員、又はローカル危機サービスを含む支援ネットワークの構成員に送られてもよい。
【０１００】
フィードバック情報が、カメラプレビュースクリーン２２、又は通信スクリーン２１上に表示される（ステップ２５０）。この情報は、適当なソフトウェアプログラムによって自動的に生成され、シーンの画像、識別性の程度を有する決定された感情部類、又は両方を含んでもよい。また、それは、音声信号、予め記録されたボイスメッセージ、又はコンピュータ生成のスピーチを含んでもよく、又はそれらのみからなってもよい。別の実施の形態において、医師、又は支援ネットワークの構成員によって、フィードバックが送られ、この点で、治療を容易にし、ユーザ２を手助けし、及び双方向通信のやりとりが開始されてもよい。
【０１０１】
もし、ステップ２０４において特定された基準が満たされない、例えば、得られた識別性の程度が、閾値未満であるなら、ユーザの顔画像、及びシーン画像は、削除される。
【０１０２】
もし、得られた識別性の程度が閾値未満であり、ユーザ２が、いまだ、例えば、プレビュースクリーン２２等において、同じシーン、又はそのシーンの撮像画像を見ているなら、撮像装置６は、随意的に、次の顔画像を撮像し、ステップ２３２からステップ２４０を繰り返して、ユーザ２が、シーン、又はそのシーンの撮像画像を見るときに、顔の表情を変化させたかどうかを判断することができる。
【０１０３】
もし、閾値が０に設定されるなら、撮像装置６によって記録された全てのシーン画像、及び対応する感情情報（識別性の程度を有する感情部類、又は別の実施の形態において、生の顔画像）は、画像識別子、及びユーザ識別子と共に、撮像装置６上の別個のファイルにおいて、又は画像メタデータの一部としての個人的な感情タグにおいて、感情情報として、永久に記憶されるであろう。
【０１０４】
もし、ユーザ２が、電源をオンしたままなら、シーンの次の画像を撮像し（ステップ２２０−２２３）、同時に、撮像された画像に対する個人的な感情タグを決定し、記憶する（ステップ２３０−２４６）ことが繰り返される（ステップ２２６）。
【０１０５】
撮像装置６は、ユーザ２が、撮像装置６をオンし続けている限り、撮像モジュール８を用いて、シーン４の画像を記録し、ユーザビデオカメラ１０を用いて、ユーザ２の顔画像を記録し続ける。撮像装置６は、もし、電源がオフされるなら、シーン画像、及び顔画像の記録を中止し、また、感情タギングの工程の終了させる（ステップ２２８）。
【０１０６】
先に説明された実施の形態において、感情情報は、ユーザ２の顔の特徴から抽出された。図４ａ及び図４ｂは、感情情報が、生理学的要因、すなわち目の凝視時間に基づいて、興味の程度の観点で提供される本発明の別の実施の形態を説明するフロー図を示す。この実施の形態について、興味の程度は、ユーザ２の目が、別の場所で固定される前に、シーンの特定の場所で固定される時間である、凝視時間に基づいて決定される。
【０１０７】
１９９３年にＰｓｙｃｈｏｐｙｓｉｏｌｏｇｙ３０の第２６１−２７３頁に、Ｌａｎｇ等によって開示された、「画像を見ること：感情的な、顔の、本能的な、及び行動的な反応（Ｌｏｏｋｉｎｇ ａｔ ｐｉｃｔｕｒｅｓ：Ａｆｆｅｃｔｉｖｅ，ｆａｃｉａｌ，ｖｉｓｃｅｒａｌ，ａｎｄ ｂｅｈａｖｉｏｒａｌ ｒｅａｃｔｉｏｎｓ）」と題する論文において説明されたデータは、平均して、観察者において引き出される画像の興味又は注目の程度と直接的に関連するビューイングタイムを示す。従って、そのような関係は、凝視時間を、シーンの領域に対するユーザの興味の程度として解釈することを可能にする。Ｌａｎｇ等によって引用された出版物は、ビューイング時間を、シーンの第３パーティ画像に対する興味の程度と比較する。本発明において、凝視時間情報は、シーンの第１のパーティ画像と同様に、シーンに対して直接評価され、画像メタデータの一部として、又はユーザ識別子、及び画像識別子と関連させて別個のファイルに、個人的な感情タグとして記憶される。
【０１０８】
図４ａ及び図４ｂの実施の形態において、ステップ３１０−３２８の方法は、１つ異なっているだけで、一般的に、図２ａ及び図２ｂにおけるステップ１１０−１２８の方法に相当する。１つの違いとは、ステップ３１８において、ユーザが、「凝視時間」信号を選択することである。又は、撮像装置６は、「凝視時間」情報を撮像するように、あらかじめプログラムされてもよい。
【０１０９】
この実施の形態において、撮像装置６におけるユーザビデオカメラ１０は、ユーザ２が、画像合成、撮像、及び／又は撮像後即時再検討のうち１つの間に、シーンを見るとき、例えば３０秒の時間窓中に、ユーザ２の目の眼球画像のサンプルを撮像する（ステップ３３０）。ある実施の形態において、時間窓は、ユーザ２によって変更可能である。
【０１１０】
同時に、図２ａ−図２ｂに説明されるステップ１２３を参照して、より詳細に説明されたように、ステップ３２３において、シーン画像が解析される。
【０１１１】
ユーザ２の凝視方向の座標が、例えば、６０Ｈｚ等のサンプリングレートで記憶される（ステップ３３２）。ある実施の形態において、サンプリングレートは、ユーザ２によって変更可能である。また、サンプリングレートは、凝視からの導関数としてのシーンコンテンツの時間的変化率、又は感情データを記憶するために利用できるメモリの量等の他の要因に基づいて変更されてもよい。
【０１１２】
生の凝視座標は、注視に分類される（ステップ３３４）。注視は、大抵、凝視座標が、１度以上の視角で変化しない少なくとも５０ｍｓｅｃの期間として定義される。注視、開始時間、終了時間、及び凝視座標の各々が決定される。加えて、平均的な瞳孔径が、各々の注視に対して決定されてもよい。注視の期間が、開始時間、及び終了時間に基づいて測定される（ステップ３３６）。
【０１１３】
撮像装置６は、各々の注視に対して興味の程度を決定する（ステップ３３８）。絶対的な興味の程度は、対応する注視時間として定義される。相対的な興味の程度は、注視時間を、特定のユーザに対する平均的な注視時間で割ることによって定義される。平均的な注視時間は、常に更新され、ユーザ２に対する個人的なユーザプロファイルの一部として、デジタル記憶装置１２に記憶されてもよい。個人的なユーザプロファイルは、ユーザ２に対する平均的な注視時間に関して、問い合わせされ、かつ更新される（ステップ３３９）。
【０１１４】
続くステップ３４０−３５０は、ステップ３４４において、個人的な感情タグに記録された感情情報の種類に関する差はあるが、図２ａ、図２ｂ、図３ａ、及び図３ｂにそれぞれ示された先の実施の形態に関連して説明されたステップ１４０−１５０、及びステップ２４０−２５０に対応する。すなわち、この実施の形態において、興味の程度は、感情タグに記録される。
【０１１５】
ある実施の形態において、撮像装置６は、画像メタデータの一部として、個人的な感情タグに、対応する画像とともに、興味の程度を記憶する（ステップ３４６）。データは、個人的な感情情報を特徴付けるデータを含みうる、又は個人的な感情情報を有するファイルの場所を示すデータを含みうる画像メタデータに記憶される。加えて、ユーザがある画像を見る日付についての情報が、個人的な感情タグに対する別個の入力として記録されてもよい。
【０１１６】
別の実施の形態において、シーン画像、及び生の眼球画像が記憶される。生の眼球画像は、後に、ＣＰＵ１４、又は別個の装置（図示されない）における処理装置によって、解析されてもよい。
【０１１７】
もし、得られた興味の程度が、閾値未満であるなら、ユーザ２のガルバニック肌反応信号、及びシーン画像が、削除される（ステップ３４２）。
【０１１８】
別の実施の形態において、もし、得られた興味の程度が、ステップ３４０で設定された閾値未満であり、ユーザ２が、例えば、プレビュースクリーン２２等で同じ撮像画像を見続けているなら、撮像装置６が、随意的に、眼球画像の別の一部を撮像し、ステップ３３２からステップ３４０を繰り返して、ユーザ２が、撮像画像において興味の程度を変化させたかどうかを判断する。
【０１１９】
もし、閾値が０に設定されるなら、撮像装置６によって記録された全てのシーン画像、及び対応する感情情報（興味の程度、又は別の実施の形態において、生の眼球画像）は、感情情報として、撮像装置６の別個のファイルに画像識別子及びユーザ識別子とともに、又は、画像メタデータの一部として個人的な感情タグに記憶されてもよい。
【０１２０】
別の実施の形態において、ユーザビデオカメラ１０、及び中央演算処理ユニット１４は、ユーザの目の少なくとも１つの画像から追加の情報を得るために使用できる。そのような情報の例は、それに限られないが、眼球全体の加速、涙の形成、目の温度、虹彩パターン、血管パターン、及び血管サイズを含む。この情報は、ユーザ２の識別、感情状態、及び／又は、健康状態を決定するために使用できる。この情報は、感情タグの一部として記憶されてもよい。
【０１２１】
感情情報の別のソースが、ユーザ２によって生成される生理的な信号から生じる。図５ａ及び図５ｂは、感情情報が生理的信号から決定される本発明の実施の形態を説明する。この実施の形態において、生理的信号は、肌伝導度信号であり、その肌伝導度信号から導かれる感情情報は、興奮の程度という言葉で表現される。
【０１２２】
肌伝導度の変化は、ガルバニック肌反応の測定値である。肌伝導度は、ある出来事、すなわち、シーン又はそのシーンの画像を見ることに対する反応として測定される肌の電気的伝導度の規模の変化を反映する。１９９３年にＰｓｙｃｈｏｐｙｓｉｏｌｏｇｙ ３０の第２６１−２７３頁に、Ｌａｎｇ等によって開示された、「画像を見ること：感情的な、顔の、本能的な、及び行動的な反応（Ｌｏｏｋｉｎｇ ａｔ ｐｉｃｔｕｒｅｓ：Ａｆｆｅｃｔｉｖｅ，Ｆａｃｉａｌ，Ｖｉｓｃｅｒａｌ，ａｎｄ Ｂｅｈａｖｉｏｒａｌ Ｒｅａｃｔｉｏｎｓ）」と題する論文において説明されるように、画像が、見ている者において、喚起に依存する肌伝導度を引き起こす。つまり、伝導度が高ければ高いほど、喚起又は興奮は低くなり、逆、すなわち、伝導度が低ければ低いほど、喚起は高くなることもまた同様である。また、肌伝導度反応の振幅の測定値が、興味又は注意を決定するために使用される。
【０１２３】
この実施の形態において、ステップ４１０−４２８の方法は、一般的に、１つの違いがあるだけで、図２ａ、及び図２ｂにおけるステップ１１０−１２８に相当する。その違いは、ステップ４１８において、ユーザが、手動で、撮像装置６に、感情情報の少なくとも一部として、ガルバニック肌反応情報を撮像するように指示することができることである。または、撮像装置６が、ガルバニック肌反応情報を撮像するようにあらかじめプログラムされてもよい。撮像装置６は、生理的センサ１６を用いて、例えば、５秒の時間窓中に、ガルバニック肌反応信号を測定する（ステップ４３０）。いくつかの実施の形態において、時間窓は、ユーザによって修正されてもよい。ガルバニック肌反応センサ１６の一例は、米国、ニューヨーク州のＴｈｏｕｇｈｔ Ｔｅｃｈｎｏｌｏｇｙ社のＷ．Ｃｈａｚｙによる、ＳＣ−Ｆｌｅｘ／Ｐｒｏ＋及びＰｒｏｃｏｍｐ ｄｅｔｅｃｔｉｏｎシステムである。
【０１２４】
ガルバニック肌反応肌伝導度信号は、例えば、６０Ｈｚ等のサンプリングレートを用いて記憶される（ステップ４３２）。ある実施の形態において、サンプリングレートは、ユーザ２によって変更可能である。また、サンプリングレートは、シーンコンテンツ、ガルバニック肌反応の時間変化率、又は感情情報を記憶するために利用できるメモリの量等の他の要因に基づいて変更可能である。ガルバニック肌反応肌伝導度信号は、データにおけるノイズを減じるためにフィルタ処理されてもよい（ステップ４３４）。その後、ガルバニック肌反応信号の振幅が決定される（ステップ４３６）。
【０１２５】
撮像装置６は、興奮の程度を決定する（ステップ４３８）。シーンに対する絶対的な興奮の程度は、フィルタ処理されたガルバニック肌反応肌伝導度信号の振幅に相当する。興奮の相対的な程度は、特定のユーザに対する、ガルバニック肌反応信号の振幅が、ガルバニック肌反応信号の平均によって除算されたものとして定義される。肌伝導度の平均は、常に更新され、ユーザの心理的生理的プロファイルの一部として、デジタル記憶装置１２に記憶されてもよい。相対的な興奮の程度を計算するために、肌伝導度反応情報の平均は、個人的なユーザプロファイルから取り出される。個人的なユーザプロファイルは、肌伝導度反応情報に関して更新される（ステップ４３９）。
【０１２６】
得られた興奮の程度は、ステップ４２３及び４３８で抽出された感情情報と画像情報の両方の重要性を反映するように構成された基準と比較される（ステップ４４０）。そのような基準は、例えば、論理的な「ＯＲ」式の形式で定義されてもよい。それは、もし、シーン画像における関連した情報が検知される、又は感情情報の閾値、すなわち、この場合は、興奮の程度が超過する、又は対応するシーン画像情報の検知、及び興奮の程度の閾値の超過が両方起こるなら、ステップ４４０における基準が満たされる。また、ステップ４４０における基準が、２つの情報源のいずれかに優位性を与えるよう設定できることも理解される。
【０１２７】
ある実施の形態において、その基準は、感情情報の重要性、すなわち、興奮の程度のみを反映してもよい。この実施の形態において、得られた興奮の程度は、ユーザ２によって、又はユーザ２のために定められた閾値と比較される（ステップ４４０）。もし、得られた興奮の程度が、閾値を超えるなら、撮像装置６は、この特定の撮像画像に対する興奮の程度を示す、対応する画像に対する個人的な感情タグを生成する（ステップ４４４）。また、別の実施の形態において、興奮の程度に対する閾値は、例えば、ユーザの興奮の程度の分布に対する先の累積確率に基づいて、個人的なユーザプロファイルから、自動的に定められてもよい。そのような確率は、０．５に等しくてもよく、従って、興奮の程度の閾値は、その場合の少なくとも５０％で起こる値に対応するであろう。又は、個人的な感情タグは、種々の撮像画像の間で相対的な興奮の程度の差を可能にする、興奮の値の範囲から選択される値を含んでもよい。
【０１２８】
もし、ステップ４４０における基準が満たされるなら、撮像装置６は、対応する画像と、個人的な情報タグを記憶する（ステップ４４４、及びステップ４４６）。個人的な情報タグは、シーン画像を含む画像ファイル内で、画像メタデータの一部として、興奮の程度を示す。又は、興奮の程度を示す個人的な感情タグは、ユーザの識別子、及び画像の識別子に関連して、別個のファイルに記憶されてもよい。加えて、ユーザがある画像を見る日付（すなわち、撮像してすぐ）についての情報が、個人的な感情タグに対する別個の入力として記録されてもよい。
【０１２９】
別の実施の形態において、生のガルバニック肌反応信号は、撮像装置６における別個のファイルに、画像識別子、及びユーザ識別子と共に、又は、画像メタデータの一部としての個人的な感情タグに記憶され、随意的に別個のシステムを用いて、後に解析が行われる。例えば、シーン画像、及び生のガルバニック肌反応信号は、無線モデム１８（図１参照）、及びインターネットサービスプロバイダ２０を用いて、ステップ４３４−４３８に関連して先に説明された解析を実行できる別個のデスクトップコンピュータ（図示されない）、又はコンピュータサーバ（図示されない）に伝達されてもよい。
【０１３０】
感情部類、及び識別性の程度が感情情報源として使用される、図２ａ及び図２ｂのステップ１４７と同様の方法で、受け手が識別される（ステップ４４７）。ある実施の形態において、受け手は、インターネットサービスプロバイダ２０によって供給されるｅメール、又はワールドワイドウェブアドレスを有する、個人データベースであってよい。別の実施の形態において、受け手は、医療機関、又はセキュリティ機関であってよい。さらに別の実施の形態において、個人的なデータベース、医療機関、友人、家族構成員、セキュリティ機関等を含むリストからの複数の受け手であってもよい。また、受け手は、感情情報、画像データ、及び非画像データの解析に基づいて、自動的に選択されてもよい。この場合において、そのようなステップ４４７の一部としての決定は、例えば、ステップ４３８において決定される興奮の程度等の感情情報の値を、受け手のリストからの受け手の各々に対応するあらかじめ特定された閾値と比較することから成ってもよい。
【０１３１】
別の実施の形態において、各々の受け手に対応する好みの程度に対する閾値は、例えば、ユーザの好みの程度分布に対する先に累積された確率に基づいて、個人的なユーザプロファイルから自動的に定められる。ある実施の形態において、医療機関に対して、０．９の累積確率が選択されてもよく、従って、好みの程度に対する閾値が、その場合の１０％だけ超過する値に対応するであろう。
【０１３２】
さらに別の実施の形態において、個人的な感情タグは、種々の撮像画像間で相対的な好みの程度の差を可能にする、好みの値の範囲から選択される値を含んでもよい。異なる実施の形態において、受け手は、ステップ４４０における基準構成に応じた、シーン画像解析、又は、シーン情報と感情情報の組み合わせの結果のみに基づいて選択されてもよい。
【０１３３】
対応する画像、個人的な感情タグ、及び他の画像メタデータは、通信モジュール１８、及び、例えばインターネットサービスプロバイダ２０によって提供される通信ネットワークを用いて送信され、例えば、デジタル画像の個人的データベース等の識別された受け手に画像を転送することが可能である（ステップ４４８）。この画像の個人データベースは、例えば、別個のデスクトップコンピュータ（図示されない）、又はコンピュータサーバ（図示されない）を用いて記憶されてもよい。
【０１３４】
別の実施の形態において、対応する画像、個人的な感情タグ、抽出された画像情報を含む画像メタデータは、特定の状況に対するユーザの特別な感情反応の追加の解析、又は再検討のために、医師、又は他の医療機関に送られる。また、家族構成員、又はローカル危機サービスを含む支援ネットワークの構成員に送られてもよい。
【０１３５】
フィードバック情報は、カメラプレビュースクリーン２２、又は通信スクリーン２１に表示される（ステップ４５０）。この情報は、適当なソフトウェアプログラムによって、自動的に生成され、シーンの画像、決定された興奮の程度、又は両方を含んでもよい。また、それは、音声信号、あらかじめ記録されたボイスメッセージ、又はコンピュータ生成のスピーチ又は画像を含んでもよく、またはそれらのみから構成されてもよい。別の実施の形態において、フィードバックは、治療を容易にするために、医師、又は、支援ネットワークの構成員によって、送られてもよい。
【０１３６】
もし、得られた興奮の程度が、閾値未満であるなら、ユーザ２のガルバニック肌反応信号、及びシーン画像は、削除される（ステップ４４２）。別の実施の形態において、得られた興奮の程度が、閾値未満であり、ユーザ２が、例えば、プレビュースクリーン２２において、いまだ、同じシーン、又はそのシーンの撮像画像を見ているなら、撮像装置６は、随意的に、次の一部のガルバニック肌反応を撮像し、ステップ４３２からステップ４４０を繰り返し、ユーザ２が、撮像画像を見るときに、肌伝導度反応を変化させたかどうかを決定する。
【０１３７】
もし、閾値が０に設定されるなら、撮像装置６によって記録される全てのシーン画像、及び対応する感情情報（興奮の程度、又は別の実施の形態において、生のガルバニック肌反応信号）は、撮像装置６における別個のファイルに、画像識別子及びユーザ識別子と共に、又は、画像メタデータの一部としての個人的な感情タグに、感情情報として永久に記憶されるであろう。
【０１３８】
ユーザ２の各々は、画像に対して、異なる生理的反応、及び顔の反応を有することが理解される。一部のユーザは、顔の反応は控えめである一方で、強い生理的反応を示す。他のユーザは、控えめな生理的反応を示す一方で、強い顔の反応を示す。さらに別のユーザは、控えめな生理的反応、及び控えめな顔の反応を示す。従って、異なる種類の感情情報を組み合わせることによって、シーンに対するユーザ２の感情反応のよりロバストな表現が得られる。以下の実施の形態は、生理的、及び顔の反応情報を組み合わせて用いて、感情情報を解釈し、感情情報の解釈を容易にすることを助ける方法を示す。
【０１３９】
図６ａ及び図６ｂを参照すると、図３ａ，図３ｂ，図５ａ，図５ｂ，及び図５に関連して説明された感情信号の組み合わせ、すなわち、感情反応の統合された測定値を得るためにさらに組み合わせされる、決定された感情部類の識別性の程度、及び興奮の程度の組み合わせに基づいて、感情情報を提供する本発明の実施の形態を説明するフロー図が示される。
【０１４０】
この実施の形態において、ステップ５１０−５２８の方法は、１つ違いがあるが、図２ａ及び図２ｂのステップ１１０からステップ１２８の方法に相当する。その違いは、ステップ５１８において、ユーザが、「顔の表情とガルバニック肌反応の組み合わせ」（さらに、本文において「組み合わせ」と呼ばれる。）信号を選択する、または、撮像装置６が、その「組み合わせ」信号を使用するようにあらかじめプログラムされる。
【０１４１】
従って、撮像装置６は、ユーザ２の顔画像、及び肌伝導度情報を取得する（それぞれ、ステップ５３０、及びステップ５３１）。
【０１４２】
撮像装置６は、図３におけるステップ２３２からステップ２３８について、先に説明されたように、顔の表情に基づいて、感情部類（ＤＤＥＣ）の識別性の程度を決定する（ステップ５３２）。撮像装置６は、図５におけるステップ４３２からステップ４３８と同様の方法で、肌伝導度に基づいて、興奮の程度（ＤＥ）を決定する（ステップ５３６）。
【０１４３】
撮像装置６は、感情反応の規模を決定する（ステップ５３８）。これは、種々の方法でなされてもよい。例えば、感情反応の規模は、２つの測定値の合計に基づいてもよい。
【数２】
2004213623.tif 000004
【０１４４】
ユーザが経験した特定の感情についての情報は、感情部類ＥＣを参照することによって文書化される。
【０１４５】
別の実施の形態において、感情反応の規模は、２乗された測定値の合計の平方根として決定される。
【数３】
2004213623.tif 000005
【０１４６】
別の実施の形態において、感情反応の規模は、２つの測定値の重み付けされた合計として計算されてよい。
【数４】
2004213623.tif 000006
ここで、重みｗＤＤ及び重みｗＤＥは、特定のユーザに対して先に得られる規格化された（最大値によって割られた）各々の信号の範囲内の標準偏差に基づいて決定される。この場合に、信号の範囲内の標準偏差が大きければ大きいほど、感情反応の測定値への信号に対する分担の重み付けは大きくなる。従って、与えられた信号の標準偏差が小さければ小さいほど、感情反応の測定値への対応する信号に対する分担の重み付けは小さくなる。この依存性の理由は、特定のユーザに対する特定の測定値の標準偏差が、異なるシーン間の識別性の個々の程度を反映するという仮定から生じる。これは、最も大きい標準偏差を有する信号が、より大きな識別力を有し、それ故、特定のユーザに対してより感情的な反応であるということを示す。
【０１４７】
例えば、もし、異なるシーンが、ユーザＡに対して、変動の大きい顔の表情と、変動の小さい肌伝導度反応を引き起こすなら、顔の表情に基づいた感情部類の識別性の程度（ＤＤＥＣ）の測定値に与えられる重みＷＤＤは、肌伝導度に基づいた興奮の程度（ＤＥ）の測定値に与えられる重みＷＤＥよりも大きい。他方、異なるシーンが、ユーザＢに対して、変動の小さい顔の表情と、変動の大きい肌伝導度反応を引き起こすなら、重みの間の関係は逆である。対応する信号の最大値と標準偏差についてのデータは、個人的なユーザプロファイルから得ることが可能である（ステップ５３９）。その後、その個人的なユーザプロファイルは、この情報に関して更新される。
【０１４８】
感情反応の得られた規模は、先に説明された他の実施の形態に類似して、ステップ５２３、及びステップ５３８で抽出された感情情報と画像情報の両方の重要性を反映する基準と比較される（ステップ５４０）。
【０１４９】
もし基準が満たされるなら、撮像装置６は、対応する画像と、個人的な感情タグとを記憶する（ステップ５４４、５４６）。個人的な感情タグは、シーン画像を含む画像ファイル内で、画像メタデータの一部として、感情反応の規模を示す。または、感情反応の規模を示す個人的な感情タグが、ユーザ識別子及び画像識別子に関連して、別個のファイルに記憶されてもよい。加えて、ユーザがある画像を見る日付（すなわち、撮像してすぐ）についての情報が、個人的な感情タグに別個の入力として記録されてもよい。
【０１５０】
別の実施の形態において、生のガルバニック肌反応信号と顔の画像は、撮像装置６における別個のファイルに、画像識別子、及びユーザ識別子と共に、又は、画像メタデータの一部として個人的な感情タグに、感情情報として記憶される。解析は、随意的に、別個のシステムを用いて、後になされる。例えば、シーン画像、顔画像、及び生のガルバニック肌反応信号は、無線モデム１８（図１参照。）、及びインターネットサービスプロバイダ２０を用いて、ステップ５３２からステップ５３８に関連して先に説明された解析を実行できる、別個のデスクトップコンピュータ（図示されない）、又はコンピュータサーバ（図示されない）に伝えられる。
【０１５１】
上述の図２ａ及び図２ｂのステップ１４７に類似する方法で、受け手が識別される（ステップ５４７）。ある実施の形態において、受け手は、インターネットサービスプロバイダ２０によって供給されるｅメール、又はワールドワイドウェブアドレスを有する、個人的なデータベースであってよい。別の実施の形態において、受け手は、医療機関、又はセキュリティ機関であってよい。別の実施の形態において、個人的なデータベース、医療機関、友人、家族構成員、セキュリティ機関等を含むリストからの複数の受け手であってよい。また、受け手は、感情情報、画像データ、及び非画像データの解析に基づいて、自動的に選択されてもよい。この場合に、そのようなステップ５４７の一部としての決定は、例えば、ステップ５３８で決定された感情反応の規模等の感情情報の値を、受け手のリストからの受け手の各々に対応する、あらかじめ特定された閾値と比較することから成ってもよい。
【０１５２】
別の実施の形態において、受け手の各々に対応する感情反応の規模に対する閾値は、例えば、ユーザの感情反応の分布に対する先の累積確率に基づいて、個人的なユーザプロファイルから、自動的に定められる。ある実施の形態において、医療機関に対し、０．９の累積確率が選択されてもよく、従って、感情反応の規模に対する閾値が、その場合の１０％だけ超過する値に相当するであろう。
【０１５３】
さらに別の実施の形態において、個人的な感情タグは、反応の値の範囲から選択された１つの値を含み、種々の撮像画像間の感情反応の相対的な規模の識別性を可能にしてもよい。別の実施の形態において、受け手は、ステップ５４０における基準構成に依存した、シーン画像解析、又は、シーン情報と感情情報の組み合わせの結果のみに基づいて選択されてもよい。
【０１５４】
対応する画像、個人的な感情タグ、及び他の画像メタデータは、インターネットサービスプロバイダ２０の通信モジュール１８を用いて、例えば、デジタル画像の個人的なデータベース等の識別された受け手に送られる（ステップ５４８）。この画像の個人的なデータベースは、例えば、別個のデスクトップコンピュータ（図示されない）又は、コンピュータサーバ（図示されない）を用いて記憶されてもよい。
【０１５５】
別の実施の形態において、対応する画像、個人的な感情タグ、画像メタデータ、及び抽出された画像情報は、特定の状況に対するユーザの特定の感情反応の追加の解析、又は再検討のために、医師、又は他の医療機関に送られる。また、それは、家族構成員を含む支援ネットワークの構成員に送られてもよい。
【０１５６】
フィードバック情報は、カメラプレビュースクリーン２２、又は通信スクリーン２１に表示される（ステップ５５０）。この情報は、自動的に、適当なソフトウェアプログラムによって生成され、シーンの画像、感情反応の決定された規模、又はそれらの両方を含んでもよい。また、それは、音声信号、あらかじめ記録されたボイスメッセージ、又はコンピュータが生成したスピーチ又は画像を含んでもよく、又はそれらのみから成ってもよい。
【０１５７】
別の実施の形態において、治療を容易にするために、フィードバックが、医師又は支援ネットワークの構成員によって送られてもよい。
【０１５８】
もし、感情反応の得られた規模が、閾値未満であるなら、ユーザの顔画像、ユーザのガルバニック肌反応信号、及びシーン画像が削除される（ステップ５４２）。
【０１５９】
別の実施の形態において、もし、決定された画像に対する得られた反応の規模が、閾値未満で、ユーザ２が、例えば、プレビュースクリーン２２上で、同じシーン又はそのシーンの撮像画像をいまだ見ているなら、撮像装置６は、随意的に、次の顔画像、及びガルバニック肌反応の一部を取得し、ステップ５３２からステップ５４０を繰り返して、ユーザ２が、シーン、又はそのシーンの撮像画像を見るときに、顔の表情、及び肌伝導度反応を変化したかどうかを判断することができる。
【０１６０】
もし、閾値が０に設定されるなら、撮像装置６によって記録される全てのシーン画像、及び対応する感情情報（感情反応の規模、又は別の実施の形態において、生の顔画像、及びガルバニック肌反応信号）は、撮像装置６における別個のファイルに、画像識別子及びユーザ識別子と共に、又は、画像メタデータの一部としての個人的な感情タグに、感情情報として永久に記憶されるであろう。
【０１６１】
別の実施の形態において、顔の表情、目の特徴、及び生理的反応の異なる組み合わせが、個人的な感情タグを生成して、「喜び」、「恐れ」、「怒り」等の感情部類の広い範囲に従って、シーンを分類するために使用される。そのような分類の例は、表１に示される。
【表１】
2004213623.tif 000007
【０１６２】
図２ａ、図２ｂ、図３ａ、図３ｂ、図４ａ、図４ｂ、図５ａ、及び図５ｂにおいて説明された信号、又は（例えば、音声、ＥＥＧ、脳スキャン、眼球運動、眼球画像、及びその他から抽出される）他の感情信号の種々の組み合わせが、個人的な感情タグを生成して、より広い範囲の感情部類に従って、シーンを分類するために使用できる。
【０１６３】
画像は、さらに、非常に幸せ、幾分幸せ、普通、及び幾分悲しい、非常に悲しい等のこれらの部類の値の範囲を用いて分類できる。
【０１６４】
感情部類の観点で決定された感情情報は、その後、画像メタデータの一部として、ユーザ識別子を含む個人的な感情タグとして記憶される。また、画像識別子、及びユーザ識別子と共に、コンピュータの別個のファイルに記憶されてもよい。
【０１６５】
撮像装置において、個人的な感情タグを生成及び使用するコンピュータプログラムは、例えば、（フロッピーディスク等の）磁気ディスク、若しくは磁気テープ等の磁気記憶媒体、光ディスク、光テープ、若しくは機械読み取り可能なバーコード等の光学記憶媒体、ランダムアクセスメモリ（ＲＡＭ）、若しくは読み取り専用メモリ（ＲＯＭ）等のソリッドステート電子記憶媒体、又は、本発明による方法を実行する指示を有するコンピュータプログラムを記憶するために採用された他の物理的装置、若しくは物理的媒体等の１以上の記憶媒体に記録されてもよい。
【０１６６】
また、個人的な感情タグは、感情反応の相対的規模を示す信号を含んでもよい。先に説明されたように、感情反応の相対的規模は、感情情報のみに基づいて決定されてもよい。又は、感情情報、及び非感情情報は、感情反応の相対的規模を決定するために、組み合わせて使用されてもよい。画像メタデータの例は、上述され、日付及び時刻情報、全地球測位システム若しくは同様の種類の電子位置探索装置から利用できる場所情報を含む。また、画像自体の画像解析は、重要性の相対的な程度に影響を与えうる非感情情報のソースとして使用されてもよい。先に説明されたように、シーンにおける特定の対象の存在は、例えば、現存する画像処理、及び画像理解アルゴリズムによって、容易に識別できる。そのアルゴリズムは、例えば、１９９８年１２月３１日に、Ｌｕｏによって出願された、「写真画像における主要な対象の自動決定方法（Ｍｅｔｈｏｄ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ Ｍａｉｎ Ｓｕｂｊｅｃｔｓ ｉｎ Ｐｈｏｔｏｇｒａｐｈｉｃ ｉｍａｇｅｓ）」と題する、同一出願人による米国特許第６２８２３１７号に開示される。それは、写真画像における主要な対象を自動的に決定する方法を説明する。Ｌｉｕ等による上述の記事で説明された顔認識アルゴリズムを用いて達成される、シーンにおける人、又は特定の人々の存在は、感情反応の相対的規模を増すために使用されてもよい。また、それは、Ｌｕｏ等によって出願された欧州特許ＥＰ１２１１６３７によって説明されるように、その品質を増大させ、主要な対象を強調して、識別された人とこの画像を共有し、セキュリティ関連用に機関に画像を送信するために、画像を選択的に処理するために使用されてもよい。
【０１６７】
図７は、個人のセキュリティ、及び健康管理のために、多くの撮像装置６を利用する本発明の実施の形態を説明する。撮像装置６の動作は、図１−図６に説明された。その実施の形態は、各々の装置から得られる情報を用いて、出来事、及び人々の反応の詳細を、複数のユーザからのシーン画像及び感情情報を統合することによって再構成する、従って、ステップ６１０及びステップ６１１において、ユーザ６０２、及びユーザ６０３は、撮像装置６をオンする。
【０１６８】
ユーザ６０２，６０３は、図２ａ及び図２ｂのステップ１１２からステップ１１８に関連して先に説明されたように、彼らの識別データを入力して、信号設定、及び受け手リストを構成する（ステップ６１２，６１３）。識別データとして、ユーザＩＤ及びパスワードが使用されてよい。別の実施の形態において、ユーザビデオカメラ１０が、顔認識ソフトウェアと共に、自動的に、ユーザの識別を決定し、ユーザの名前、個人的な識別コード、又は指紋データ等の適当なユーザ識別子を提供するために使用される。別の実施の形態において、撮像装置６は、ユーザ識別データと共に、あらかじめプログラムされる。その結果、ユーザ識別データの入力は、必要とされない。
【０１６９】
第１のユーザ６０２が所有する撮像装置６は、出来事の画像、及び第１のユーザの反応を獲得する（ステップ６１４，６１６）。
【０１７０】
平行して、ステップ６１５、及びステップ６１７において、第２のユーザ６０３が所有する同様の撮像装置６は、出来事の異なる画像、及び第２のユーザの反応を撮像する。
【０１７１】
第１のユーザにとってはステップ６１８において、及び第２のユーザにとってはステップ６１９において、出来事の画像の解析が自動的に実行される。特定の対象を識別する、又は、事故、事件現場、爆発等のシーン画像を分類することを目的として、ステップ１２３と関連して先に説明された同様の処理を用いて、シーンの解析が行われる。それらの画像は、さらに解析され、セキュリティの状態を決定するために、又は関係した人々を識別するために使用されてもよい。また、シーンの画像、及び任意の感情情報が、解析なしに、そのような解析が実行される中心位置に直接送られてもよい。
【０１７２】
生理的反応（例えば、ガルバニック肌反応）、眼球運動データ（例えば、凝視期間）、若しくは顔の表情、又はそれらの組み合わせ等のユーザ６０２，６０３の反応は、図２−図６において説明されたステップ１３２−１３９、ステップ２３２−２３９、ステップ４３２−４３９、又はステップ５３２−５３９と類似した続く工程で解析される（ステップ６２０，６２１）。ある実施の形態において、この工程の結果は、ユーザの顔の画像から得られた感情部類の識別性の程度と、ガルバニック肌反応信号から得られた興奮の程度の組み合わせに基づいた感情反応の規模の決定である。別の実施の形態において、生の信号の形態の感情情報は、何の解析もなく、解析が実行される中心位置に送られる。
【０１７３】
それぞれ、第１のユーザ、及び第２のユーザに対する、ステップ６２２、及びステップ６２３において、シーンの解析、及びユーザの反応の解析の結果が、基準と比較される。図２、図３、図４、図５、及び図６のそれぞれに関連して先に説明されたステップ１４０、２４０、３４０、４４０、５４０と類似して、この基準は、画像データの関連性、予め特定された閾値に関連した感情反応の規模、又はそれらの２種類のデータの組み合わせを反映してもよい。
【０１７４】
もし、基準が満たされるなら、例えば、データ、及びＧＰＳ信号等の、個人的な感情タグ、対応するシーン画像データ及び非画像データが、例えば、危機センター等の適切な受け手に送られる。これは、第１のユーザに対しては、ステップ６２４でなされ、第２のユーザに対しては、ステップ６２５でなされる。また、情報は、個人的なユーザのデータベースに送られてもよい。
【０１７５】
異なるユーザが所有する撮像装置６から受け取られる情報が、解析され、かつ比較される（ステップ６２６）。そのような情報を比較する唯一の方法は、ＧＰＳ信号に基づいて、それをソートすることである。もし、２つの装置からのＧＰＳ信号が、２つのユーザが同じ場所にいたことを示すなら、画像データ、感情情報、及び他の非画像データは、元の出来事の「マルチプルビュー」を再構成するために組み合わせられる。また、この情報は、一緒にまとめられ、後に、その出来事に関連した調査のために使用されてもよい。
【０１７６】
適切な反応がとられる（ステップ６２８）。そのような反応の例は、そのシーンへの警察官、又は救急車の派遣であってもよい。行動の別の例は、プレビュースクリーン２２を用いて、視覚、又は音声メッセージの形式でユーザに提供されるフィードバックである。大惨事の出来事の場合に、このフィードバックは、ユーザ２を安全な場所に導く情報を含んでもよい。
【０１７７】
上述の実施の形態において、画像及び撮像システムは、デジタル画像、及びデジタル画像撮像システムであるものとして説明された。本発明の原則に合わせて、シーンの画像は、アナログ電子形式で、又は、写真フィルム又は写真板等の光学媒体上に撮像されてもよい。画像が、これらの形式の１つで撮像される場合、感情情報を表現するデータは、感情情報を、その感情情報が関連する画像を示すいくつかの識別コードを有する画像とは別に記録することにより、画像と関連させて記録されてもよい。又は、感情情報は、アナログ電子画像と関連させて、符号化され、記録されてもよい。写真フィルムが使用される場合、感情情報は、フィルムに、光学的に、又は磁気的に記録されてもよい。また、感情情報は、フィルムと関連して、電子メモリに記録されてもよい。
【０１７８】
本発明に従って、感情情報は、撮像時、又は撮像中に、撮像で収集されるものとして説明される。本明細書で使用されるとき、これらの用語は、画像が構成又は撮像されるどの期間でも含んでよい。また、そのような期間は、撮像後すぐに、撮像画像、又は撮像画像を示す画像が、クイックレビューモード、又はプレビューモードでレビューされる期間を含んでもよい。それは、例えば、１９９７年２月２０日に、Ｆｅｌｌａｇａｒａ等によって出願された、「最後に撮像された画像のクイックレビューを備えた電子カメラ（Ｅｌｅｃｔｒｏｎｉｃ Ｃａｍｅｒａ Ｗｉｔｈ Ｑｕｉｃｋ Ｒｅｖｉｅｗ ｏｆ Ｌａｓｔ Ｃａｐｔｕｒｅｄ Ｉｍａｇｅ）」と題する、同一出願人による米国特許第６４４１８５４号、及び１９９８年１月２２日に、Ｎａｐｏｌｉ等によって出願された「クイックビュー及びクイック消去特性を有する電子カメラ（Ｅｌｅｃｔｒｏｎｉｃ Ｃａｍｅｒａ ｗｉｔｈ Ｑｕｉｃｋ Ｖｉｅｗ ａｎｄ Ｑｕｉｃｋ Ｅｒａｓｅ Ｆｅａｔｕｒｅｓ）」と題する、同一出願人による米国特許出願第０９／０１２１４４号に説明される。
【０１７９】
本発明は、その好ましい実施の形態を参照して詳細に説明されたが、本発明の精神及び範囲内で、変形及び修正が可能であることが理解される。
【図面の簡単な説明】
【０１８０】
【図１ａ】本発明による撮像システムの手持ち式の実施の形態を示す。
【図１ｂ】本発明による撮像システムの装用性の実施の形態を示す。
【図１ｃ】本発明の撮像システムの別の装用性の実施の形態を示す。
【図２ａ】感情情報が、顔の表情の解析に基づいて与えられる、本発明のある実施の形態を示すフロー図の一部である。
【図２ｂ】感情情報が、顔の表情の解析に基づいて与えられる、本発明のある実施の形態を示すフロー図の一部である。
【図３ａ】感情情報が、顔の表情の解析に基づいて与えられる、本発明の実施の形態を示すフロー図の一部である。
【図３ｂ】感情情報が、顔の表情の解析に基づいて与えられる、本発明の実施の形態を示すフロー図の一部である。
【図４ａ】感情情報が、凝視眼球固定時間の解析に基づいて与えられる方法を示す不フロー図の一部である。
【図４ｂ】感情情報が、凝視眼球固定時間の解析に基づいて与えられる方法を示す不フロー図の一部である。
【図５ａ】感情情報が、肌の伝導度の解析に基づいて与えられる方法の実施の形態を示すフロー図の一部である。
【図５ｂ】感情情報が、肌の伝導度の解析に基づいて与えられる方法の実施の形態を示すフロー図の一部である。
【図６ａ】感情情報が、顔の特徴と、心理的な特徴の解析の組み合わせに基づいて与えられる方法の実施の形態を示すフロー図の一部である。
【図６ｂ】感情情報が、顔の特徴と、心理的な特徴の解析の組み合わせに基づいて与えられる方法の実施の形態を示すフロー図の一部である。
【図７ａ】画像データ、及び感情情報の複数のソースに、分散型撮像ネットワーク経由の引き起こされた転送を与える方法を示すフロー図の一部である。
【図７ｂ】画像データ、及び感情情報の複数のソースに、分散型撮像ネットワーク経由の引き起こされた転送を与える方法を示すフロー図の一部である。
【符号の説明】
【０１８１】
２  ユーザ、  ４  シーン、  ６  撮像装置、  ８  撮像モジュール、  １０  ユーザビデオカメラ、  １２  デジタル記憶装置、  １３  手動制御装置、  １４  ＣＰＵ（中央演算ユニット）、  １５  センサ集合、  １６  ガルバニック肌反応センサ、  １７  血管センサ、  １８  通信モジュール、  １９  振動センサ、  ２０  インターネットサービスプロバイダ、  ２１  通信ディスプレイ、  ２２  プレビュースクリーン、  ２３  携帯可能通信モジュール、  ２４  ビューファインダ、  ２６  ブリッジ、  ２８  ガラスフレーム、  ２９  側面部品、  １１０  撮像装置の始動ステップ、  １１２  アプリケーションの起動ステップ、  １１４  ユーザ識別データの入力ステップ、  １１５  受け手リストの決定ステップ、  １１６  感情反応の決定ステップ、  １１８  望ましい信号の選択ステップ、  １２０  シーン画像の撮像ステップ、  １２２  シーン画像の記憶ステップ、  １２３  シーン画像の解析ステップ、  １２４  パワーオンの検知ステップ、  １２６  撮像の継続ステップ、  １２８  電源停止ステップ、  １３０  顔画像の撮像ステップ、  １３２  顔画像の記憶ステップ、  １３４  顔画像の解析ステップ、  １３６  微笑の大きさの決定ステップ、  １３８  好みの程度の決定ステップ、  １３９  個人的なユーザプロファイルの更新ステップ、  １４０  閾値との比較ステップ、  １４２  画像の削除ステップ、  １４４  個人的な感情タグの生成ステップ、  １４６  画像及び感情タグの記憶ステップ、  １４７  受け手の識別ステップ、  １４８  画像及び感情タグの送信ステップ、  １５０  フィードバックの提供ステップ、  ２１０  撮像装置の始動ステップ、  ２１２  アプリケーションの起動ステップ、  ２１４  ユーザ識別データの入力ステップ、  ２１５  受け手リストの決定ステップ、  ２１６  感情反応の決定ステップ、  ２１８  望ましい信号の選択ステップ、  ２２０  シーン画像の撮像ステップ、  ２２２  シーン画像の記憶ステップ、  ２２３  シーン画像の解析ステップ、  １２４  パワーオンの検知ステップ、  ２２６  撮像の継続ステップ、  ２２８  電源停止ステップ、  ２３０  顔画像の撮像ステップ、  ２３２  顔画像の記憶ステップ、  ２３４  顔の表情の解析ステップ、  ２３６  感情部類の決定ステップ、  ２３８  識別性の程度の決定ステップ、  ２３９  個人的なユーザプロファイルの更新ステップ、  ２４０  識別性の程度の閾値との比較、  ２４２  画像の削除ステップ、  ２４４  個人的な感情タグの生成ステップ、  ２４６  画像の記憶ステップ、  ２４７  受け手の識別ステップ、  ２４８  画像及び感情タグの送信ステップ、  ２５０  フィードバックの提供ステップ、  ３１０  撮像装置の始動ステップ、  ３１２  アプリケーションの起動ステップ、  ３１４  ユーザ識別データの入力ステップ、  ３１５  受け手リストの決定ステップ、  ３１６  感情反応の決定ステップ、  ３１８  望ましい信号の選択ステップ、  ３２０  シーン画像の撮像ステップ、  ３２２  シーン画像の記憶ステップ、  ３２３  シーン画像の解析ステップ、  ３２４  パワーオンの検知ステップ、  ３２６  撮像の継続ステップ、  ３２８  電源停止ステップ、  ３３０  凝視画像のサンプルの撮像ステップ、  ３３２  凝視座標の記憶ステップ、  ３３��  注視の決定ステップ、  ３３６  注視の期間の測定ステップ、  ３３８  興味の程度の決定ステップ、  ３３９  個人的なユーザプロファイルの更新ステップ、  ３４０  閾値との比較ステップ、  ３４２  画像の削除ステップ、  ３４４  個人的な感情タグの生成ステップ、  ３４６  画像及び感情タグの記憶ステップ、  ３４７  受け手の識別ステップ、  ３４８  画像及び感情タグの送信ステップ、  ３５０  フィードバックの提供ステップ、  ４１０  撮像装置の始動ステップ、  ４１２  アプリケーションの起動ステップ、  ４１４  ユーザ識別の入力ステップ、  ４１５  受け手リストの決定ステップ、  ４１６  感情反応の決定ステップ、  ４２０  シーン画像の撮像ステップ、  ４２２  シーン画像の記憶ステップ、  ４２３  シーン画像の解析ステップ、  ４２４  パワーオンの検知ステップ、  ４２６  撮像の継続ステップ、  ４２８  電源停止ステップ、  ４３０  都部のガルバニック肌反応の撮像ステップ、  ４３２  ガルバニック肌反応の記憶ステップ、  ４３４  ガルバニック肌反応のフィルタ処理ステップ、  ４３６  ガルバニック肌反応の振幅の決定ステップ、  ４３８  興奮の程度の決定ステップ、  ４３９  個人的なユーザプロファイルの更新ステップ、  ４４０  閾値との比較ステップ、  ４４２  画像の削除ステップ、  ４４４  個人的な感情タグの生成ステップ、  ４４６  画像及び感情タグの記憶ステップ、  ４４７  受け手の識別ステップ、  ４４８  画像及び感情タグの送信ステップ、  ４５０  フィードバックの提供ステップ、  ５１０  撮像装置の始動ステップ、  ５１２  アプリケーションの起動ステップ、  ５１４  ユーザ識別データの入力ステップ、  ５１５  受け手リストの決定ステップ、  ５１６  感情反応の決定ステップ、  ５１８  望ましい信号の選択ステップ、  ５２０  シーン画像の撮像ステップ、  ５２２  シーン画像の記憶ステップ、  ５２３  シーン画像の解析ステップ、  ５２４  パワーオンの検知ステップ、  ５２６  撮像の継続ステップ、  ５２８  電源停止ステップ、  ５３０  顔画像の撮像ステップ、  ５３２  識別性の程度の決定ステップ、  １３４  一部のガルバニック肌反応の撮像ステップ、  ５３６  興奮の程度の決定ステップ、  ５３８  感情反応の程度の決定ステップ、  ５３９  個人的なユーザプロファイルの更新ステップ、  ５４０  閾値との比較ステップ、  ５４２  画像の削除ステップ、  ５４４  個人的な感情タグの生成ステップ、  ５４６  画像及び感情タグの記憶ステップ、  ５４７  受け手の識別ステップ、  ５４８  画像及び感情タグの送信ステップ、  ５５０  フィードバックの提供ステップ、  ６０２  ユーザ、  ６０３  ユーザ、  ６１０  撮像装置の始動ステップ、  ６１１  撮像装置の始動ステップ、  ６１２  個人的な情報の入力ステップ、  ６１３  個人的な情報の入力ステップ、  ６１４  シーンの画像の撮像ステップ、  ６１５  シーンの画像の撮像ステップ、  ６１６  ユーザ反応の撮像ステップ、  ６１７  ユーザ反応の撮像ステップ、  ６１８  シーン画像の解析ステップ、  ６１９  シーン画像の解析ステップ、  ６２０  ユーザ反応の解析ステップ、  ６２１  ユーザ反応の解析ステップ、  ６２２  基準との比較ステップ、  ６２３  基準との比較ステップ、  ６２４  マルチビュ��シーンの解析及び再構成ステップ、  ６２５  マルチビューシーンの解析及び再構成ステップ、  ６２６  データ解析ステップ、  ６２８  行動ステップ
【図１ａ】
2004213623.tif 000008
【図１ｂ】
2004213623.tif 000009
【図１ｃ】
2004213623.tif 000010
【図２ａ】
2004213623.tif 000011
【図２ｂ】
2004213623.tif 000012
【図３ａ】
2004213623.tif 000013
【図３ｂ】
2004213623.tif 000014
【図４ａ】
2004213623.tif 000015
【図４ｂ】
2004213623.tif 000016
【図５ａ】
2004213623.tif 000017
【図５ｂ】
2004213623.tif 000018
【図６ａ】
2004213623.tif 000019
【図６ｂ】
2004213623.tif 000020
【図７ａ】
2004213623.tif 000021
【図７ｂ】
2004213623.tif 000022
【外国語明細書】
2004213623.tif 000023
2004213623.tif 000024
2004213623.tif 000025
2004213623.tif 000026
2004213623.tif 000027
2004213623.tif 000028
2004213623.tif 000029
2004213623.tif 000030
2004213623.tif 000031
2004213623.tif 000032
2004213623.tif 000033
2004213623.tif 000034
2004213623.tif 000035
2004213623.tif 000036
2004213623.tif 000037
2004213623.tif 000038
2004213623.tif 000039
2004213623.tif 000040
2004213623.tif 000041
2004213623.tif 000042
2004213623.tif 000043
2004213623.tif 000044
2004213623.tif 000045
2004213623.tif 000046
2004213623.tif 000047
2004213623.tif 000048
2004213623.tif 000049
2004213623.tif 000050
2004213623.tif 000051
2004213623.tif 000052
2004213623.tif 000053
2004213623.tif 000054
2004213623.tif 000055
2004213623.tif 000056
2004213623.tif 000057
2004213623.tif 000058
2004213623.tif 000059
2004213623.tif 000060
2004213623.tif 000061
2004213623.tif 000062
2004213623.tif 000063
2004213623.tif 000064
2004213623.tif 000065
2004213623.tif 000066
2004213623.tif 000067
2004213623.tif 000068
2004213623.tif 000069
2004213623.tif 000070
2004213623.tif 000071
2004213623.tif 000072
2004213623.tif 000073
2004213623.tif 000074
2004213623.tif 000075
2004213623.tif 000076
2004213623.tif 000077
2004213623.tif 000078
2004213623.tif 000079
2004213623.tif 000080
2004213623.tif 000081
2004213623.tif 000082
2004213623.tif 000083
2004213623.tif 000084
2004213623.tif 000085
2004213623.tif 000086
2004213623.tif 000087
2004213623.tif 000088
2004213623.tif 000089
2004213623.tif 000090
2004213623.tif 000091
2004213623.tif 000092
2004213623.tif 000093
2004213623.tif 000094
2004213623.tif 000095
2004213623.tif 000096