(57)【要約】  ウェブサービスを用いてデータ分析を可能にすることにより、心理状態の分析を行う。個人に関するデータを捕捉する。このデータは、顔情報および生理学的情報を含む。ウェブサービスにおいて分析を実施し、この分析結果を受け取る。他の人々の心理状態を、個人の心理状態と相互に関連付けることが可能である。他の情報源を集約することが可能であり、これらの情報を用いて、個人の心理状態を分析することが可能である。個人または個人の集団の心理状態の分析結果をレンダリングして表示する。【選択図】図１
2013537435.tif 000002
【特許請求の範囲】
【請求項１】
心理状態を分析するコンピュータ実装方法において、
個人に関するデータであって、前記個人の心理状態を評価するための情報を与える前記データを、コンピュータシステムに捕捉するステップと、
捕捉された、前記個人に関する前記データに基づく分析結果をウェブサービスから受け取るステップと、
受け取られた前記分析結果に基づいて、前記個人の前記心理状態を表す出力をレンダリングするステップと、
を含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法において、前記個人に関する前記データは、顔の表情、生理学的情報、および加速度計の読みからなる群の中のいずれかを含むことを特徴とする方法。
【請求項３】
請求項２に記載の方法において、前記顔の表情はさらに、頭部ジェスチャを含むことを特徴とする方法。
【請求項４】
請求項２に記載の方法において、前記生理学的情報は、皮膚電気活動、心拍数、心拍数変動、および呼吸からなる群の中のいずれかを含むことを特徴とする方法。
【請求項５】
請求項２に記載の方法において、前記生理学的情報は、前記個人に接触することなく収集されることを特徴とする方法。
【請求項６】
請求項１に記載の方法において、前記心理状態は、認識状態および感情状態のうちのいずれかであることを特徴とする方法。
【請求項７】
請求項１に記載の方法において、前記ウェブサービスは、前記個人およびクラウドベースの記憶装置から離れた場所にサーバを有するインタフェースを含むことを特徴とする方法。
【請求項８】
請求項１に記載の方法において、前記ウェブサービスを通して、前記個人に関する前記データに対してインデックス付けを行うステップをさらに含むことを特徴とする方法。
【請求項９】
請求項８に記載の方法において、前記インデックス付けは、誘発性および覚醒の情報に基づくカテゴリ化を含むことを特徴とする方法。
【請求項１０】
請求項１に記載の方法において、複数の他の人々の集団心理状態の評価を可能にする、前記複数の他の人々に関する分析情報を受け取るステップをさらに含むことを特徴とする方法。
【請求項１１】
請求項１０に記載の方法において、前記分析情報は、前記複数の他の人々の前記心理状態と、前記個人の前記心理状態に関して捕捉された前記データとの相互関連付けを含むことを特徴とする方法。
【請求項１２】
請求項１１に記載の方法において、前記相互関連付けは、前記個人からのメタデータおよび前記複数の他の人々からのメタデータに基づくことを特徴とする方法。
【請求項１３】
請求項１に記載の方法において、前記ウェブサービスから受け取られた前記分析結果は、特定のアクセス権に基づくことを特徴とする方法。
【請求項１４】
請求項１に記載の方法において、前記分析結果の要求を前記ウェブサービスに送信するステップをさらに含むことを特徴とする方法。
【請求項１５】
請求項１４に記載の方法において、前記分析結果は、前記分析結果の要求に基づいてジャストインタイムで生成されることを特徴とする方法。
【請求項１６】
請求項１に記載の方法において、前記個人に関して捕捉された前記データの一部分を前記ウェブサービスに送信するステップをさらに含むことを特徴とする方法。
【請求項１７】
請求項１に記載の方法において、前記レンダリングは、前記ウェブサービスから受け取られたデータに基づくことを特徴とする方法。
【請求項１８】
請求項１７に記載の方法において、受け取られた前記データは、ＪａｖａＳｃｒｉｐｔ  Ｏｂｊｅｃｔ  Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）形式の直列化されたオブジェクトを含むことを特徴とする方法。
【請求項１９】
請求項１８に記載の方法において、前記直列化されたオブジェクトを直列化解除してＪａｖａＳｃｒｉｐｔオブジェクトの形式にするステップをさらに含むことを特徴とする方法。
【請求項２０】
請求項１に記載の方法において、前記レンダリングはさらに、前記個人の前記心理状態に基づいて行動指針を推奨することを含むことを特徴とする方法。
【請求項２１】
請求項２０に記載の方法において、前記推奨は、焦点の集団に問う質問を修正すること、ウェブページ上の広告を変更すること、閲覧された映画を編集して、好ましくない部分を取り除くこと、電子ゲームの方針を変更すること、医療相談のプレゼンテーションを変更すること、およびインターネットベースのチュートリアルの紛らわしい部分を訂正することからなる群の中のいずれかを含むことを特徴とする方法。
【請求項２２】
コンピュータ可読媒体の形で具体化された、心理状態を分析するためのコンピュータプログラム製品において、
個人に関するデータであって、前記個人の心理状態を評価するための情報を与える前記データを、コンピュータシステムに捕捉することのコードと、
捕捉された、前記個人に関する前記データに基づく分析結果をウェブサービスから受け取ることのコードと、
受け取られた前記分析結果に基づいて、前記個人の前記心理状態を表す出力をレンダリングすることのコードと、
を備えることを特徴とするコンピュータプログラム製品。
【請求項２３】
心理状態を分析するシステムにおいて、
命令を記憶するメモリと、
前記メモリに接続された１つ以上のプロセッサと、を備え、前記１つ以上のプロセッサは、記憶されている前記命令を実行する際に、
個人に関するデータであって、前記個人の心理状態を評価するための情報を与える前記データを捕捉することと、
捕捉された、前記個人に関する前記データに基づく分析結果をウェブサービスから受け取ることと、
受け取られた前記分析結果に基づいて、前記個人の前記心理状態を表す出力をレンダリングすることと、
を行うように構成されていることを特徴とする心理状態を分析するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、米国特許仮出願第６１／３５２，１６６号（「Ｍｅｎｔａｌ  Ｓｔａｔｅ  Ａｎａｌｙｓｉｓ  Ｔｈｒｏｕｇｈ  Ｗｅｂ  Ｂａｓｅｄ  Ｉｎｄｅｘｉｎｇ」、２０１０年６月７日に出願済み）、第６１／３８８，００２号（「Ｍｅａｓｕｒｉｎｇ  Ａｆｆｅｃｔｉｖｅ  Ｄａｔａ  ｆｏｒ  Ｗｅｂ−Ｅｎａｂｌｅｄ  Ａｐｐｌｉｃａｔｉｏｎｓ」、２０１０年９月３０日に出願済み）、第６１／４１４，４５１号（「Ｓｈａｒｉｎｇ  Ａｆｆｅｃｔ  Ｄａｔａ  Ａｃｒｏｓｓ  ａ  Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋ」、２０１０年１１月１７日に出願済み）、第６１／４３９，９１３号（「Ｕｓｉｎｇ  Ａｆｆｅｃｔ  Ｗｉｔｈｉｎ  ａ  Ｇａｍｉｎｇ  Ｃｏｎｔｅｘｔ」、２０１１年２月６日に出願済み）、第６１／４４７，０８９号（「Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  ａｎｄ  Ｖｉｓｕａｌｉｚａｔｉｏｎ  ｏｆ  Ａｆｆｅｃｔ  Ｒｅｓｐｏｎｓｅｓ  ｔｏ  Ｖｉｄｅｏｓ」、２０１１年２月２７日に出願済み）、第６１／４４７，４６４号（「Ｖｉｄｅｏ  Ｒａｎｋｉｎｇ  Ｂａｓｅｄ  ｏｎ  Ａｆｆｅｃｔ」、２０１１年２月２８日に出願済み）、および第６１／４６７，２０９号（「Ｂａｓｅｌｉｎｅ  Ｆａｃｅ  Ａｎａｌｙｓｉｓ」、２０１１年３月２４日に出願済み）の優先権を主張するものである。上記各出願は、許可されている管区において、参照によりその全体が本明細書に組み込まれている。
【０００２】
本出願は、主に心理状態の分析に関し、特に、ウェブサービスを用いた心理状態の評価に関する。
【背景技術】
【０００３】
心理状態を評価することは、個人を理解するための鍵であるとともに、治療や事業にも有用である。心理状態は、喜びから悲しみまで、満足から心配まで、興奮から平穏まで、その他様々に、広い範囲に及ぶ。これらの心理状態は、交通渋滞時のいらいら、行列待ち時の退屈さ、１杯のコーヒーを待っている間のじれったさなどのように、日常の出来事に対する反応として経験される。個人が、他者の心理状態を評価および理解することに基づいて、かなり知覚的かつ共感的になることは可能であるが、心理状態の評価を自動化することは、非常に困難である。共感的な人は、他者の不安な気持ちや楽しい気持ちを知覚し、それに応じた反応をすることができる。人が他者の感情状態を知覚する能力や手段については、端的に表現することがかなり難しく、たいていは「直感で」などと表現されている。
【０００４】
混乱、集中、心配などのような様々な心理状態を識別できれば、個人や集団を理解することに役立つ。たとえば、大災害を目撃した後の人々の大方の反応は、恐怖や心配を伴うものである。同様に、たとえば、自分のスポーツチームが勝利した人々の大方の反応は、熱狂的な幸福感を伴うものである。特定の顔の表情や頭部ジェスチャから、人が経験している心理状態を識別することが可能である。顔の表情に基づく心理状態の評価については、限定的な自動化が行われてきた。特定の生理学的状態が、人の心理状態を物語る徴候を与える場合があり、これが、嘘発見器やポリグラフテストに用いられる装置のような、洗練されていない様式で用いてられてきた。
【０００５】
自動化された様式での心理状態の評価方法を改善することが、依然として必要とされている。
【発明の概要】
【０００６】
心理状態の分析は、個人が見せる顔の表情、頭部ジェスチャ、および生理学的状態を評価することにより、可能である。こうした分析は、消費者行動を理解すること、製品をユーザの要望に近づけること、およびウェブサイトやコンピュータプログラムのインタフェースを改善することに役立つ可能性がある。本開示は、心理状態を分析するコンピュータ実装方法を提供する。本方法は、個人に関するデータであって、その個人の心理状態を評価するための情報を与えるデータを、コンピュータシステムに捕捉するステップと、捕捉された、個人に関するデータに基づく分析結果をウェブサービスから受け取るステップと、受け取られた分析結果に基づいて、個人の心理状態を表す出力をレンダリングするステップと、を含む。個人に関するデータは、顔の表情、生理学的情報、および加速度計の読みからなる群の中のいずれかを含んでよい。顔の表情はさらに、頭部ジェスチャを含んでよい。生理学的情報は、皮膚電気活動、皮膚温度、心拍数、心拍数変動、および呼吸からなる群の中のいずれかを含んでよい。生理学的情報は、個人に接触することなく収集することが可能である。心理状態は、認識状態および感情状態のいずれかであってよい。ウェブサービスは、個人およびクラウドベースの記憶装置から離れた場所にサーバを有するインタフェースを含んでよい。本方法はさらに、ウェブサービスを通して、個人に関するデータに対してインデックス付けを行うステップを含んでよい。インデックス付けは、誘発性および覚醒の情報に基づくカテゴリ化を含んでよい。本方法はさらに、複数の他の人々の集団心理状態の評価を可能にする、複数の他の人々に関する分析情報を受け取るステップを含んでよい。この分析情報は、複数の他の人々の心理状態と、個人の心理状態に関して捕捉されたデータとの相互関連付けを含んでよい。この相互関連付けは、個人からのメタデータおよび複数の他の人々からのメタデータに基づいてよい。ウェブサービスから受け取る分析結果は、特定のアクセス権に基づいてよい。本方法はさらに、分析結果の要求をウェブサービスに送信するステップを含んでよい。分析結果は、分析結果の要求に基づいてジャストインタイムで生成されてよい。本方法はさらに、個人に関して捕捉されたデータの一部分をウェブサービスに送信するステップを含んでよい。レンダリングは、ウェブサービスから受け取るデータに基づいてよい。受け取られたデータは、ＪａｖａＳｃｒｉｐｔ  Ｏｂｊｅｃｔ  Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）形式の直列化されたオブジェクトを含んでよい。本方法はさらに、直列化されたオブジェクトを直列化解除してＪａｖａＳｃｒｉｐｔオブジェクトの形式にするステップを含んでよい。レンダリングはさらに、個人の心理状態に基づいて行動指針を推奨することを含んでよい。推奨は、焦点の集団に問う質問を修正すること、ウェブページ上の広告を変更すること、閲覧された映画を編集して、好ましくない部分を取り除くこと、電子ゲームの方針を変更すること、医療相談のプレゼンテーションを変更すること、およびインターネットベースのチュートリアルの紛らわしい部分を訂正することからなる群の中のいずれかを含んでよい。実施形態によっては、コンピュー��可読媒体の形で実施された、心理状態を分析するためのコンピュータプログラム製品が、個人に関するデータであって、その個人の心理状態を評価するための情報を与えるデータを、コンピュータシステムに捕捉することのコードと、捕捉された、個人に関するデータに基づく分析結果をウェブサービスから受け取ることのコードと、受け取られた分析結果に基づいて、個人の心理状態を表す出力をレンダリングすることのコードと、を含んでよい。実施形態では、心理状態を分析するシステムが、命令を記憶するメモリと、メモリに接続された１つ以上のプロセッサと、を備え、この１つ以上のプロセッサは、記憶されている命令を実行する際に、個人に関するデータであって、その個人の心理状態を評価するための情報を与えるデータを捕捉することと、捕捉された、個人に関するデータに基づく分析結果をウェブサービスから受け取ることと、受け取られた分析結果に基づいて、個人の心理状態を表す出力をレンダリングすることと、を行うように構成されている。
【０００７】
各種実施形態の様々な特徴、態様、および利点が、以下のさらなる説明から、さらに明らかになるであろう。
【０００８】
特定の実施形態についての以下の詳細説明は、以下の図面を参照することにより、理解されるであろう。
【図面の簡単な説明】
【０００９】
【図１】図１は、心理状態を分析するシステムを示す図である。
【図２】図２は、心理状態分析においてデータを取得して使用することのフローチャートである。
【図３】図３は、皮膚電気活動のグラフィカルなレンダリングを示す図である。
【図４】図４は、加速度計データのグラフィカルなレンダリングを示す図である。
【図５】図５は、皮膚温度データのグラフィカルなレンダリングを示す図である。
【図６】図６は、顔分析用画像収集システムを示す図である。
【図７】図７は、顔分析を実施することのフローチャートである。
【図８】図８は、生理学的分析を表す図である。
【図９】図９は、心拍数分析を表す図である。
【図１０】図１０は、心理状態分析およびレンダリングを実施することのフローチャートである。
【図１１】図１１は、集団の心理的反応を分析することのフローチャートである。
【図１２】図１２は、関心対象として選択された心理状態に対応するデータ部分を識別することのフローチャートである。
【図１３】図１３は、心理状態分析結果のグラフィカルレンダリングを、人々の集団からの集約結果とともに示した図である。
【図１４】図１４は、心理状態分析結果のグラフィカルなレンダリングを示す図である。
【図１５】図１５は、メタデータに基づく心理状態分析結果のグラフィカルなレンダリングを示す図である。
【発明を実施するための形態】
【００１０】
本開示では、人々の心理状態を分析するための様々な方法およびシステムを説明する。心理状態は、認識状態（ｃｏｇｎｉｔｉｖｅ  ｓｔａｔｅ）または感情状態（ｅｍｏｔｉｏｎａｌ  ｓｔａｔｅ）である場合があり、これらは、情動（ａｆｆｅｃｔ）という用語を用いて広く包含することが可能である。感情状態の例としては、喜びや悲しみがある。認識状態の例としては、集中や混乱がある。これらの心理状態を観察、捕捉、および分析することにより、各種の刺激に対する人々の反応に関する有意な情報を得ることが可能である。心理状態の評価によく用いられる用語として、覚醒（ａｒｏｕｓａｌ）（活性−不活性）および誘発性（ｖａｌｅｎｃｅ）（快−不快）がある。覚醒は、人の活性化または興奮の量についての指標である。誘発性は、人が肯定的傾向を帯びているか、否定的傾向を帯びているかについての指標である。情動を特定することは、覚醒および誘発性の分析を含んでよい。情動は、笑みや額のしわのような、表情に関する顔分析の結果も含まれてよい。分析は、いつ笑みを浮かべたか、あるいは、いつ顔をしかめたか、を追跡するような単純なものであってもよい。さらに、いつ笑みを浮かべたか、またはいつ他の情動を示したか、の追跡に基づいて、行動方針を推奨することが可能である。
【００１１】
本開示では、心理状態の分析を実施することに関連する様々な方法およびシステムを説明する。心理状態は、感情状態または認識状態であってよい。感情状態の例としては、喜びや悲しみがありうる。認識状態の例としては、集中や混乱がありうる。図１は、心理状態を分析するシステム１００を示す図である。システム１００は、データ収集１１０、ウェブサービス１２０、リポジトリマネージャ１３０、アナライザ１５２、およびレンダリングマシン１４０を含んでよい。データ収集１１０は、複数の検出構造（たとえば、第１の検出１１２、第２の検出１１４から第ｎの検出１１６まで）からデータを収集することによって達成可能である。この複数の検出構造は、個人に装着してもよく、個人に近接させてもよく、個人を見通せるように配置してもよい。これらの検出構造は、顔分析の実施に適応させることが可能である。これらの検出構造は、生理学的分析の実施に適応させることも可能であり、そのような分析は、皮膚電気活動または皮膚コンダクタンス、加速度計、皮膚温度、心拍数、心拍数変動、呼吸、および他のタイプの人体分析結果を含んでよい。これらの検出構造から収集したデータは、必要とされる分析の処理要件に応じて、リアルタイムで分析してもよく、収集しておいて後の分析に備えてもよい。また、「ジャストインタイム」で分析を実施してもよい。ジャストインタイム分析は、要求に応じて実施してよく、たとえば、ウェブページ上のボタンをクリックすると結果が表示される。また、分析は、データを収集しながら実施してもよく、データが収集されている間に、あるいは、収集されてからほとんど間を置かずに、時間線が、関連付けられた分析結果とともに、リアルタイムで表示されるように実施してよい。この様式では、分析結果は、個人に関してデータがまだ収集されている間に表示してよい。
【００１２】
ウェブサービス１２０は、個人およびクラウドベースの記憶装置から離れた場所にサーバを有するインタフェースを含んでよい。ウェブサービスは、より多数の心理状態分析ツールへのアクセスを提供するウェブサイト、ＦＴＰサイト、またはサーバを含んでよい。ウェブサービス１２０はまた、収集されたデータをシステム１００の他の部分に転送する際のパイプであってもよい。ウェブサービス１２０は、サーバであってもよく、コンピュータの分散ネットワークであってもよい。ウェブサービス１２０は、ユーザがログインして情報および分析結果を要求するための手段を提供してよい。情報要求は、他の様々な情報源に照らして、あるいは、対象となる個人の心理状態と相互に関連している集団に基づいて、個人の心理状態を分析する形式で行ってよい。実施形態によっては、ウェブサービス１２０は、収集されたデータを、さらなる分析のために、１つ以上のプロセッサに転送する用意があってよい。
【００１３】
ウェブサービス１２０は、収集されたデータをリポジトリマネージャ１３０に転送してよい。リポジトリマネージャ１３０は、データインデックス付け１３２、データ記憶１３４、データ取り出し１３６、およびデータ照会１３８の用意があってよい。データ収集１１０（たとえば、第１の検出１１２）によって収集されたデータは、ウェブサービス１２０を介してリポジトリマネージャ１３０に転送してよい。リポジトリマネージャ１３０は、その収集されたデータを記憶することが可能である。それらのデータは、データ収集１１０が行われて、その対象となった個人に関して既に収集されている他のデータと、ウェブサービスを通じて、インデックスを付けて関連付けることが可能であり、あるいは、リポジトリマネージャ１３０に既にデータが記憶されている他の個人と、インデックスを付けて関連付けることが可能である。インデックス付けは、誘発性および覚醒の情報に基づくカテゴリ化を含んでよい。また、インデックス付けは、タイムスタンプまたは他のメタデータに基づく順序付けを含んでよい。また、インデックス付けは、共通の心理状態に基づいて、または、個人間での共通の経験に基づいて、データ同士を相互に関連付けることを含んでよい。共通経験は、ウェブサイト、映画、映画の予告編、広告、テレビ番組、ストリーミングビデオクリップ、遠距離学習プログラム、ビデオゲーム、コンピュータゲーム、個人用ゲーム機、携帯電話、自動車または他の車両、製品、ウェブページなどを閲覧したり、それらと対話したりすること、あるいは、食物を消費することなどによるものであってよい。また、店の中を歩くこと、ショッピングモールの中を歩くこと、店内で陳列に遭遇することなども、心理状態を評価しうる経験に含まれてよい。
【００１４】
インデックス付けは、様々な様式で実施可能である。顔の表情や生理学的情報などのデータは、インデックス付けが可能である。インデックスの１タイプとして、その後の分析に有用たりうる明白な関係が存在する、結び付きの強いインデックスが挙げられる。その一例として、時、分、秒（さらに場合によっては１秒未満の端数）のタイムスタンプをデータに施すことが挙げられる。他の例として、プロジェクト、クライアント、または個人をデータに関連付けることが挙げられる。インデックスの別のタイプとして、有用である可能性がある特定の関連付けが作業開始時には自明ではない場合がある、結び付きの緩いインデックスが挙げられる。これらのタイプのインデックス付けの例として、職歴、性別、所得、または他のメタデータが挙げられる。別の例として、データが捕捉された場所（たとえば、個人の自宅、職場、学校、または他の環境）が挙げられる。さらに別の例として、人の行動または挙動に関する情報が挙げられる。このタイプの情報の例として、人がウェブサイトにいる間にチェックアウト動作を実施したかどうか、それらの人は特定のフォームに記入したかどうか、それらの人は何を照会または検索したか、などが挙げられる。データが捕捉された時刻は、個人の通常業務時の作業シフト時間のようなタイプのインデックス付けには有用となる可能性がある。インデックス付けが可能なタイプの情報であれば、メタデータとして収集することが可能である。特定の分析を実施している間、インデックスをアドホックに形成して一時的に保持することが可能である。あるいは、後で参照するために、インデックスを形成してデータとともに保存することが可能である。さらに、メタデータは、データ収集の対象となった個人からの自己報告情報を含んでよい。
【００１５】
データの取り出しは、ウェブサービス１２０にアクセスして、個人に関して収集されたデータを要求することにより、可能である。データの取り出しはまた、個人の集団に関して、あるいは所与の期間に関して、あるいは所与の経験に関して行うことも可能である。データの照会は、特定の経験、あるいは所与の心理的反応または心理状態、あるいは個人や個人の集団に関して、一致を見つけるために行うことが可能である。事業環境や治療環境において有用となりうる関連付けを、照会および各種取り出しを通して見つけることが可能である。照会は、キーワード検索に基づいて、あるいは時間枠に基づいて、あるいは経験に基づいて行うことが可能である。
【００１６】
実施形態によっては、レンダリングマシン１４０を用いて表示を行う。レンダリングマシン１４０は、システム１００の別のコンポーネントの一部をなすコンピュータシステムの一部分であってよく、あるいは、ウェブサービス１２０の一部分であってよく、あるいは、クライアントコンピュータシステムの一部分であってよい。レンダリングは、データ収集１１０において収集された情報のグラフィカル表示を含んでよい。レンダリングは、ビデオ、皮膚電気活動、加速度計の読み、皮膚温度、心拍数、および心拍数変動の表示を含んでよい。また、レンダリングは、心理状態の表示を含んでもよい。実施形態によっては、レンダリングは、特定の心理状態の確率を含んでよい。個人の心理状態は、収集されたデータに基づいて推論することが可能であり、各活動単位の顔分析、ならびに顔の表情や頭部ジェスチャに基づくことが可能である。たとえば、集中は、額のしわから識別可能である。心拍数の増加は、興奮状態を示す場合がある。皮膚コンダクタンスの低下は、覚醒に対応する場合がある。これらの要因および他の要因を用いて、心理状態を識別することが可能であり、識別した心理状態をレンダリングしてグラフィカル表示することが可能である。
【００１７】
システム１００は、スケジューラ１５０を含んでよい。スケジューラ１５０は、データ収集１１０から来るデータを取得することが可能である。スケジューラ１５０は、アナライザ１５２と対話することが可能である。スケジューラ１５０は、アナライザ１５２による分析のスケジュールを決定することが可能であるが、アナライザ１５２には、データをリアルタイムで分析できないというコンピュータ処理能力上の制限がある。実施形態によっては、データ収集１１０、ウェブサービス１２０、リポジトリマネージャ１３０、または他の、システム１００のコンポーネントの各態様は、アナライザ１５２を使用可能とするためのコンピュータ処理能力が必要な場合がある。アナライザ１５２は、単一プロセッサであってよく、または複数のプロセッサであってもよく、またはネットワーク接続されたプロセッサ群であってもよい。アナライザ１５２は、システム１００に必要な計算の実行を支援するために、メモリなどのような、他の様々なコンピュータコンポーネントを含んでよい。アナライザ１５２は、ウェブサービス１２０を介して、システム１００の他のコンポーネントと通信することが可能である。実施形態によっては、アナライザ１５２は、システムの他のコンポーネントと直接通信することが可能である。アナライザ１５２は、個人から収集されたデータの分析結果を与えることが可能であり、この分析結果は、個人の心理状態に関連付けられている。実施形態によっては、アナライザ１５２は、ジャストインタイムで結果を与える。スケジューラ１５０は、アナライザ１５２によるジャストインタイムの分析を要求することが可能である。
【００１８】
他の個人１６０からの情報を、システム１００に与えることが可能である。他の個人１６０は、データ収集１１０を実施された個人と共通の経験をしている、としてよい。このプロセスは、複数の他の個人１６０からの情報を分析することを含んでよい。これらの情報は、この複数の他の個人１６０のそれぞれの心理状態の評価を可能にし、この複数の他の個人１６０のそれぞれの心理状態を、データ収集を実施された個人の心理状態に関して捕捉され、インデックス付けされたデータと相互に関連付けることを可能にする。他の個人１６０のそれぞれに関して、または、他の個人１６０に関して収集されたデータに関して、メタデータを収集することが可能である。あるいは、他の個人１６０は、心理状態に関して、データ収集を実施された個人の心理状態と相互に関連するものとすることが可能である。アナライザ１５２はさらに、心理状態が、データ収集を実施された個人の心理状態と相互に関連する他の個人１６０の集団に基づいて、第２の分析を行うことが可能である。他の実施形態では、他の個人１６０の集団を、データ収集を実施された個人とともに分析して、集団全体の反応であって、集団心理状態と称してよい心理状態を推論することが可能である。この反応を用いて、広告の価値、選挙の候補者の好感度、映画の面白さなどを評価することが可能である。集団全体の集団心理状態を集約できるように、他の個人１６０に関して分析を実施することが可能である。レンダリングは、複数の個人による集団心理状態を表示することを含んでよい。
【００１９】
一実施形態では、１００人に映画の予告編をいくつか見せて、各人から顔データおよび生理学的データを捕捉することが可能である。顔データおよび生理学的データを分析して、各個人の心理状態および集団全体としての集団的反応を推論することが可能である。これらの予告編のうち、覚醒および肯定的誘発性が最大であったものが、予告編を見た人々を、映画が公開されたら見に行きたい気持ちにさせると見なすことが可能である。そして、この集団的反応に基づいて、近日公開の映画の宣伝に用いるのに最適な予告編を選択することが可能である。実施形態によっては、それらの個人からなる人口動態を用いて、様々な客層に対して、どの予告編が最適かを決定することが可能である。
たとえば、ある予告編が推奨されるのは、主たる客層がティーンエイジャーの場合かもしれない。主たる客層がティーンエイジャーの親であれば、別の予告編が推奨されるかもしれない。実施形態によっては、ウェブカメラまたは他のカメラを用いて、メディアと対話している人々の性別および年齢を分析することが可能である。さらに、分析の対象になっている地域を示すＩＰアドレスを収集することが可能である。この情報および他の情報を、メタデータとして含め、分析の一環として使用することが可能である。たとえば、都市部において、金曜日の夜に真夜中過ぎまで起きているティーンエイジャーを分析対象集団として識別することが可能である。
【００２０】
別の実施形態では、１２人が所与の小売店のウェブサイトと対話している間の、顔の表情をウェブカメラで観察し、生理学的反応を収集することが可能である。この１２人のそれぞれの心理状態は、各人の顔の表情および生理学的反応から分析された覚醒および誘発性に基づいて推論することが可能である。閲覧者が特定の商品を特に気に入るように仕向け、さらには、購入決断までの時間を短縮させるウェブページデザインが存在することを、小売店は理解するであろう。あるいは、混乱を引き起こすウェブページを、閲覧者が自信を持って応答するようにできるウェブページに置き換えることが可能である。
【００２１】
システム１００は、集約マシン１７０を含んでよい。他のデータ源１７２をシステム１００への入力として設けてよく、他のデータ源１７２を用いて、データ収集１１０を実施された個人の心理状態評価を支援することが可能である。他のデータ源１７２には、ニュースフィード、Ｆａｃｅｂｏｏｋ（商標）のページ、Ｔｗｉｔｔｅｒ（商標）、Ｆｌｉｃｋｒ（商標）、および他のソーシャルネットワークやメディアが含まれてよい。集約マシン１７０は、これらの他のデータ源１７２を分析して、データ収集を実施された個人の心理状態を評価することを支援することが可能である。
【００２２】
一実施例では、会社の従業員が、勤務中の自分の顔および皮膚電気活動をモニタリングされる自己評価プログラムに登録することが可能である。従業員はまた、集約マシン１７０が職務、会社、気分、または健康状態の言及に関してブログ投稿およびソーシャルネットワーク投稿を読むツールに登録することも可能である。しばらくすると、従業員は、会社での一日にわたって知覚される感覚の文脈の中でのソーシャルネットワークの存在感を精査できるようになる。従業員はまた、自分の気分や態度が投稿内容にいかなる影響を及ぼしうるかを知ることもできる。一実施形態は、ソーシャルネットワーク投稿の数を数えるのみ、というように、まったく非侵襲的であることが可能であり、あるいは、文字内容から心理状態を推論する分析エンジンにより、ソーシャルネットワークコンテンツを抽出する程度に侵襲的であることも可能である。
【００２３】
別の実施形態では、Ｗａｌｌ  Ｓｔｒｅｅｔ  Ｊｏｕｒｎａｌ（商標）や他の出版物における自社関連のニュース記事が従業員の士気や働きがいにどのような影響を及ぼすかを、会社側が理解したい場合がある。集約マシン１７０は、自社に言及したニュース記事を検索し、これらの記事を、この実験に参加している従業員にリンクバックするようにプログラム可能である。さらなる分析を行う人が、自社関連のニュース記事を閲覧して、各参加者の心理状態に文脈を追加してもよい。
【００２４】
さらに別の実施形態では、顔分析ツールが、顔の各活動単位およびジェスチャを処理して心理状態を推論することが可能である。画像を記憶する際に、顔分析結果の一部であるビデオの中に顔がある人の名前などのメタデータをアタッチすることが可能である。このビデオおよびメタデータを顔認識エンジンに通すことにより、その人の顔を教示されることが可能である。顔が顔認識エンジンで認識可能であれば、集約マシン１７０は、インターネット全体、またはＦｌｉｃｋｒ（商標）やＦａｃｅｂｏｏｋ（商標）などの特定ウェブサイトだけをクモのように動いて、同じ顔につながるリンクを見つけることが可能である。顔認識によって見つかった、その人の追加画像を分析用として顔分析ツールに再提出することにより、対象者の心理状態をより深く洞察することが可能である。
【００２５】
図２は、心理状態分析においてデータを取得して使用することのフローチャートである。フロー２００は、コンピュータ実装される心理状態分析方法を示している。本フローは、個人に関するデータを捕捉してコンピュータシステムに取り込むこと（２１０）から始まってよく、このデータは、個人の心理状態を評価するための情報を与える。捕捉されたデータは、個人による経験と相互に関連付けてよい。経験は、ウェブサイト、映画、映画の予告編、商品、コンピュータゲーム、ビデオゲーム、個人用ゲーム機、携帯電話、モバイル装置、広告などとの相互作用、または食物消費からなる群の中のいずれかであってよい。相互作用は、閲覧することだけを意味する場合もあれば、閲覧して反応することを意味する場合もある。個人に関するデータはさらに、手ぶりや身ぶりに関する情報を含んでよい。個人に関するデータは、顔の表情、生理学的情報、および加速度計の読みを含んでよい。顔の表情はさらに、頭部ジェスチャを含んでよい。生理学的情報は、皮膚電気活動、皮膚温度、心拍数、心拍数変動、および呼吸を含んでよい。生理学的情報は、顔のビデオを分析することなどにより、個人に接触せずに取得することが可能である。これらの情報は、リアルタイムで、またはジャストインタイムで、またはスケジュールされた分析ベースで、捕捉および分析してよい。
【００２６】
フロー２００は次に、捕捉されたデータをウェブサービスに送信すること（２１２）に進む。送信されるデータは、画像、生理学的データ、および加速度計情報を含んでよい。これらのデータを送信するのは、さらなる心理状態分析のため、または他の人々のデータと相互に関連付けるため、または他の分析のためであってよい。実施形態によっては、ウェブサービスに送信されるデータは、個人に関して捕捉されたデータの一部分である。ウェブサービスは、心理状態に関連する、より多数の分析ツールおよびデータへのアクセスを提供するウェブサイト、ＦＴＰサイト、またはサーバであってよい。ウェブサービスは、他の人々に関して収集されたデータのためのパイプ、または他の情報源からのパイプであってよい。実施形態によっては、本プロセスは、捕捉されたデータのインデックス付けをウェブサービス上で行うことを含んでよい。フロー２００は次に、分析要求をウェブサービスに送信すること（２１４）に進んでよい。この分析は、捕捉されたデータを他の人々のデータと相互に関連付けること、捕捉されたデータを、心理状態に関して分析することなどを含んでよい。実施形態によっては、分析結果は、分析結果の要求に基づいてジャストインタイムで生成される。
【００２７】
フロー２００は次に、ウェブサービスから分析結果を受け取ること（２１６）に進み、分析結果は、個人に関して捕捉されたデータに基づいている。受け取った分析結果は、要求された分析内容に対応するものであってよく、あるいは、捕捉されたデータに基づくものであってよく、あるいは、心理状態分析または最近捕捉されたデータに基づく、他の何らかの論理的分析結果であってよい。
【００２８】
実施形態によっては、捕捉されたデータは、個人の画像を含んでいる。画像は、画像の系列であってよく、ビデオカメラ、ウェブカメラ（静止画ショット）、サーマルイメージャ、ＣＣＤ素子、携帯電話カメラ、または他のカメラ型機器で捕捉したものであってよい。フロー２００は、画像コンテンツの分析をスケジュールすること（２２０）を含んでよい。この分析は、リアルタイムで、またはジャストインタイムで実施してよく、あるいは、後で分析するようにスケジュールしてよい。捕捉されたデータには、リアルタイムで可能な分析より深い分析を必要とするものが含まれている場合がある。より深い分析には他のタイプのデータが必要になる場合があり、また、他のタイプのデータは、捕捉されてインデックス付けされたデータの一部についての分析をスケジュールすることと、そのスケジュールされた部分のデータの分析を実施することと、を必要とする場合がある。フロー２００は次に、画像コンテンツを分析すること（２２２）に進んでよい。実施形態によっては、ビデオの分析は、顔の表情および頭部ジェスチャに関するデータを含んでよい。顔の表情および頭部ジェスチャは、ビデオに記録してよい。このビデオは、活動単位、ジェスチャ、および心理状態について分析してよい。実施形態によっては、ビデオ分析を用いて毛穴サイズを評価することが可能であり、毛穴サイズは、皮膚コンダクタンスまたは他の生理学的評価と相互に関連付けることが可能である。実施形態によっては、ビデオ分析を用いて、瞳孔拡張を評価することが可能である。
【００２９】
フロー２００は、他の人々を分析すること（２３０）を含んでよい。複数の他の個人からの情報を分析してよく、これらの情報は、この複数の他の個人のそれぞれの心理状態の評価を可能にし、この複数の他の個人のそれぞれの心理状態を、データ収集を実施された個人の心理状態に関して捕捉され、インデックス付けされたデータと相互に関連付けることを可能にする。また、この複数の他の個人の集団心理状態を評価することも可能であってよい。この、他の個人は、人口動態に基づいて、または地理的場所に基づいて、または他の、心理状態評価における関心対象要因に基づいてグループ分けしてよい。この分析は、２１０で個人に関して捕捉される各種のデータを含んでよい。あるいは、２３０での他の人々に関する分析が、ソーシャルメディアネットワーク情報のような他のデータを含んでよい。他の人々、およびその人々に関連するデータを、データを捕捉された個人と相互に関連付けること（２３２）が可能である。この相互関連付けは、共通の経験、共通の心理状態、共通の人口動態、または他の要因に基づいてよい。実施形態によっては、この相互関連付けは、個人からのメタデータおよび複数の他の人々からのメタデータに基づく（２３４）。メタデータは、タイムスタンプ、自己報告結果、および他の情報を含んでよい。自己報告結果は、遭遇したもの（たとえば、閲覧したビデオ）が好ましい経験になったかどうかの通知を含んでよい。フロー２００は次に、複数の他の人々に関する分析結果情報をウェブサービスから受け取ること（２３６）に進んでよい。この情報は、この複数の他の人々のそれぞれの心理状態を評価することを可能にし、この複数の他の人々のそれぞれの心理状態を、心理状態に関してデータを捕捉された個人のそのデータと相互に関連付けることを可能にする。ウェブサービスから受け取る分析結果は、特定のアクセス権に基づいてよい。ウェブサービスは、様々な個人集団に関するデータを有してよい。場合によっては、心理状態分析は、たとえば、１つ以上の集団に関してのみ許可されるものであってよい。
【００３０】
フロー２００は、心理状態分析作業において他の情報源を集約すること（２４０）を含んでよい。それらの情報源は、ニュースフィード、Ｆａｃｅｂｏｏｋ（商標）のエントリ、Ｆｌｉｃｋｒ（商標）、Ｔｗｉｔｔｅｒ（商標）のツイート、および他のソーシャルネットワークサイトを含んでよい。この集約は、個人が訪問する様々なサイトまたは個人がそのコンテンツを作成する様々なサイトからの情報を収集することを含んでよい。この、他の情報源を個人と相互に関連付けることにより、個人の心理状態と他の情報源との関係を特定することを支援することが可能である。
【００３１】
フロー２００は次に、個人の心理状態を分析すること（２５０）に進む。捕捉されたデータ、分析された画像コンテンツ、他の人々との相互関連付け、および集約された他の情報源のそれぞれを用いて、個人の１つ以上の心理状態を推論することが可能である。さらに、個人と、他の人々のうちの１人以上の人々とを含む人々の集団に関して、心理状態分析を実施することが可能である。このプロセスは、データを捕捉された個人のそのデータに基づいて、心理状態を自動的に推論することを含んでよい。この心理状態は、認識状態であってよい。この心理状態は、感情状態であってもよい。心理状態は、認識状態と感情状態との組み合わせであってよい。心理状態は、推論することが可能であり、あるいは、心理状態は、個人がその心理状態にある確率とともに推定することが可能である。評価可能な心理状態は、喜び、悲しみ、満足、心配、集中、不安、混乱、楽しみ、自信などを含んでよい。実施形態によっては、心理状態の指標は、笑みの追跡および分析のようなシンプルなものであってよい。
【００３２】
心理状態は、生理学的データ、加速度計の読み、または捕捉された顔画像に基づいて推論することが可能である。心理状態は、覚醒および誘発性に基づいて分析することが可能である。覚醒は、興奮した場合のように、高度に活性化された状態から、退屈な場合のように、完全に受け身の状態までの範囲を取りうる。誘発性は、幸せな場合のように、非常に肯定的な状態から、怒っている場合のように、非常に否定的な状態までの範囲を取りうる。生理学的データは、皮膚電気活動（ＥＤＡ）または皮膚コンダクタンスまたは電気皮膚反応（ＧＳＲ）、加速度計の読み、皮膚温度、心拍数、心拍数変動、および他のタイプの人体分析結果を含んでよい。本実施形態の随所において、生理学的状態は、センサまたは顔の観察によって取得可能であることが理解されよう。実施形態によっては、顔の観察結果は、ウェブカメラによって取得される。場合によっては、心拍数の増加は、興奮状態を表す。皮膚コンダクタンスのレベル上昇は、覚醒状態に対応する場合がある。加速度計の小さな、頻繁な動きの読みは、そわそわした状態や退屈な状態を表す場合がある。また、加速度計の読みを用いて、状況を推論することも可能である（たとえば、コンピュータで作業中、自転車の運転中、ギターの演奏中など）。顔データは、心理状態の推論に用いる顔活動および頭部ジェスチャを含んでよい。さらに、データは、手ぶりまたは身ぶりと、身体の動き（たとえば、明らかにそわそわしている様子）とに関する情報を含んでよい。実施形態によっては、これらの動きは、カメラやセンサの読みによって捕捉可能である。顔データは、頭部の側方への傾斜、うつむき、笑み、しかめ面、その他の多くのジェスチャまたは表情を含んでよい。頭部の前方への傾斜は、電子式ディスプレイ上に表示されているものに取り組んでいることを表している場合がある。額のしわは、集中を表している場合がある。笑みは、肯定的傾向を帯びている状態、または幸せな状態を表している場合がある。笑いは、楽しみや、対象が面白いことがわかったことを表している場合がある。頭部の側方への傾斜と額のしわは、混乱を表している場合がある。否定的な頭部の揺れは、不満を表している場合がある。これらおよび他の多くの心理状態を、顔の表情および捕捉された生理学的データに基づいて指摘することが可能である。実施形態では、生理学的データ、加速度計の読み、および顔データは、それぞれ、様々な心理状態を推論するアルゴリズムの寄与因子として用いることが可能である。さらに、生理学的データ、顔の表情、および加速度計の読みのうちの複数の因子を用いて、より複雑な心理状態を推論することが可能である。さらに、一定時間にわたって収集された生理学的データ、顔の表情、および加速度計の読みに基づいて、心理状態を推論することが可能である。
【００３３】
フロー２００は次に、受け取った分析結果に基づく、個人の心理状態を示す出力をレンダリングすること（２６０）に進む。この出力は、１つ以上の心理状態を表す文字出力または数値出力であってよい。この出力は、経験と、その経験の間に発生した心理状態との時系列のグラフであってよい。レンダリングされた出力は、収集された生理学的データ、顔データ、または加速度計データのグラフィカル表現であってよい。同様に、心理状態と、個人がその心理状態にある確率とを示す結果をレンダリングしてよい。このプロセスは、捕捉されたデータに注釈を付けることと、その注釈をレンダリングすることと、を含んでよい。このレンダリングは、出力をコンピュータ画面に表示してよい。このレンダリングは、覚醒および誘発性を表示することを含んでよい。このレンダリングは、出力を、ファイルまたはファイル内データの形式でコンピュータ可読メモリに記憶することが可能である。このレンダリングは、ウェブサービスから受け取るデータに基づいてよい。様々なタイプのデータを受け取ることが可能であり、これには、ＪａｖａＳｃｒｉｐｔ  Ｏｂｊｅｃｔ  Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）形式、あるいは、ＸＭＬまたはＣＳＶタイプのファイルの形式での直列化されたオブジェクトが含まれる。フロー２００は、直列化されたオブジェクトを直列化解除してＪａｖａＳｃｒｉｐｔオブジェクトの形式にすること（２６２）を含んでよい。次に、このＪａｖａＳｃｒｉｐｔオブジェクトを用いて、心理状態の文字表現またはグラフィカル表現を出力することが可能である。
【００３４】
実施形態によっては、フロー２００は、個人の心理状態に基づいて行動指針を推奨すること（２７０）を含んでよい。この推奨は、焦点の集団に問う質問を修正すること、ウェブページ上の広告を変更すること、閲覧された映画を編集して、好ましくない部分を取り除くこと、電子ゲームの指針を変更すること、医療相談のプレゼンテーションを変更すること、インターネットベースのチュートリアルの紛らわしい部分を訂正することなどを含んでよい。
【００３５】
図３は、皮膚電気活動のグラフィカルなレンダリングを示す図である。皮膚電気活動は、皮膚コンダクタンスを含んでよく、皮膚コンダクタンスは、実施形態によっては、マイクロジーメンス単位で測定される。グラフ線３１０は、一個人に関して収集された皮膚電気活動を示している。皮膚電気活動の値は、グラフのｙ軸３２０に示されている。皮膚電気活動は、一定時間にわたって収集されており、時間尺度３３０がグラフのｘ軸に示されている。実施形態によっては、複数の個人についての皮膚電気活動を、必要に応じて表示してよく、あるいは、集約ベースで表示してよい。マーカを含んでよく、マーカは、グラフの区間を識別することが可能である。マーカを用いて、グラフの、展開される（または展開可能な）区間を表すことが可能である。この展開は、さらなる分析または精査の対象とすることが可能な短い時間をカバーすることが可能である。この展開された部分は、別のグラフにレンダリングすることが可能である。マーカはまた、特定の心理状態に対応する区間を識別するために含めることが可能である。各波形または時間線に注釈を付けることが可能である。開始注釈および終了注釈によって、領域または時間枠の開始および終了をマーキングすることが可能である。単一の注釈は、特定の時点をマーキングすることが可能である。各注釈は、自動的に入力されたテキストまたはユーザが入力したテキストに関連付けられてよい。テキストを含むテキストボックスを表示することが可能である。
【００３６】
図４は、加速度計データのグラフィカルなレンダリングを示す図である。１次元、２次元、または３次元の加速度計データを収集することが可能である。図４の例では、第１のグラフ４１０において、ｘ軸の加速度計の読みのグラフを示しており、第２のグラフ４２０において、ｙ軸の加速度計の読みのグラフを示しており、第３のグラフ４３０において、ｚ軸の加速度計の読みのグラフを示している。対応する加速度計の読みのタイムスタンプは、グラフ軸４４０に示されている。ｘ加速度値は、別の軸４５０に示されており、ｙ加速度値は、別の軸４５２に示されており、ｚ加速度値は、別の軸４５４に示されている。実施形態によっては、複数の個人についての加速度計データを、必要に応じて表示してよく、あるいは、集約ベースで表示してよい。図３で説明した場合と同様に、マーカおよび注釈を用いてよい。
【００３７】
図５は、皮膚温度データのグラフィカルなレンダリングを示す図である。グラフ線５１０は、一個人に関して収集された皮膚電気活動を示している。皮膚温度の値は、グラフのｙ軸５２０に示されている。皮膚温度は、一定時間にわたって収集されており、時間尺度５３０がグラフのｘ軸に示されている。実施形態によっては、複数の個人についての皮膚温度値を、必要に応じて表示してよく、あるいは、集約ベースで表示してよい。図３で説明した場合と同様に、マーカおよび注釈を用いてよい。
【００３８】
図６は、顔分析用画像収集システムを示す。システム６００は、電子式ディスプレイ６２０およびウェブカメラ６３０を含んでいる。システム６００は、電子式ディスプレイ６２０に対する顔の反応を捕捉する。実施形態によっては、システム６００は、他の刺激（たとえば、店舗の陳列、自動車に乗ること、ボードゲーム、映画のスクリーン、または他のタイプの経験）に対する顔の反応を捕捉する。顔データは、ビデオと、心理状態に関連する情報を収集したものとを含んでよい。実施形態によっては、ウェブカメラ６３０は、人６１０のビデオを捕捉してよい。このビデオは、ディスク、テープ、コンピュータシステムに捕捉５３０されるか、サーバにストリーミングされてよい。人６１０の画像または画像の系列は、ビデオカメラ、ウェブカメラ（静止画ショット）、サーマルイメージャ、ＣＣＤ素子、携帯電話カメラ、または他のカメラ型機器で捕捉したものであってよい。
【００３９】
電子式ディスプレイ６２０は、ビデオまたは他のプレゼンテーションを表示することが可能である。電子式ディスプレイ６２０は、コンピュータディスプレイ、ラップトップスクリーン、モバイル機器ディスプレイ、携帯電話ディスプレイ、または他の何らかの電子式ディスプレイであってよい。電子式ディスプレイ６２０は、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、ワンド、動きセンサ、または他の入力手段を含んでよい。電子式ディスプレイ６２０は、ウェブページ、ウェブサイト、ウェブ対応アプリケーションなどを表示することが可能である。人６１０の画像は、ビデオ捕捉装置６４０で捕捉可能である。実施形態によっては、人６１０のビデオが捕捉される一方で、一連の静止画像が捕捉される。実施形態では、ウェブカメラは、顔データの捕捉に用いる。
【００４０】
活動単位、ジェスチャ、および心理状態の分析は、人６１０の捕捉画像を用いて達成可能である。活動単位を用いて、笑み、しかめ面、および他の、心理状態の顔指標を識別することが可能である。実施形態によっては、笑みは、直接識別され、場合によっては、笑みの程度（たとえば、わずかな笑み、程々の笑み、満面の笑み）を識別することが可能である。ジェスチャ（頭部ジェスチャを含む）は、興味または好奇心を表している場合がある。たとえば、電子式ディスプレイ６２０に向かって動く頭部ジェスチャは、興味が増してきたこと、あるいは、はっきりさせたい思いを表している場合がある。顔分析６５０は、捕捉された情報および画像に基づいて実施することが可能である。この分析は、顔分析と頭部ジェスチャの分析とを含むことが可能である。捕捉画像に基づいて、生理学的分析を実施することが可能である。この生理学的評価は、人の顔または身体の画像を分析することによって、心拍数、心拍数変動、呼吸、発汗、体温、毛穴サイズ、および他の生理学的特性を評価することを含んでよい。多くの場合、このように評価することは、ウェブカメラを用いて達成可能である。さらに、実施形態によっては、生理学的センサを人に装着して、心理状態に関するさらなるデータを取得することが可能である。
【００４１】
分析は、リアルタイムで、またはジャストインタイムで実施可能である。実施形態によっては、分析は、スケジュールされてから、顔分析を実施するようにプログラムされたアナライザまたはコンピュータプロセッサをフルに動作させて行われる。実施形態によっては、コンピュータプロセッサは、人間の介入によって支援されてよい。この人間介入により、コンピュータプロセッサが識別しなかった心理状態が識別される場合がある。実施形態によっては、プロセッサが、人間介入が有効な場所を識別し、実施形態によっては、プロセッサが、人間介入が有効であると識別しなかった場合でも、人間が顔ビデオを精査して入力を行う。実施形態によっては、プロセッサは、人間介入に基づいて機械学習を行うことが可能である。プロセッサは、人間入力に基づいて、特定の顔活動単位またはジェスチャが特定の心理状態に対応することを学習することが可能であり、その後、これらの心理状態を、人間介入なしで自動的に識別することが可能になる。
【００４２】
図７は、顔分析を実施することのフローチャートである。フロー７００は、顔ビデオをインポートすること（７１０）から開始してよい。顔ビデオは、あらかじめ記録されていて、後で分析するために保存されていてよい。あるいは、顔ビデオのインポートは、個人が観察されているときにリアルタイムで実施してよい。７２０では、各活動単位を検出および分析してよい。活動単位としては、まゆの内側が持ち上がること、唇がぎゅっと結ばれること、まゆが下がること、鼻孔が開くこと、眼を細めること、および他の多くの可能性が挙げられる。これらの活動単位は、ビデオを分析するコンピュータシステムによって自動的に検出することが可能である。あるいは、これまで活動単位の公式リストに挙げられていなかった、顔の微小領域の動きを、分析に含める活動単位と見なすことも可能であり、それは、たとえば、ひきつった笑みや、両目の上の部分の上方への動きである。あるいは、コンピュータシステムによる自動検出と人間による入力とを組み合わせることによって、活動単位または関連する入力尺度の検出を強化することが可能である。７３０では、顔および頭部のジェスチャを検出および分析してよい。ジェスチャは、頭部の側方への傾斜、うつむき、笑み、しかめ面、その他の多くのジェスチャを含んでよい。７４０では、心理状態の分析を実施してよい。心理状態は、喜び、悲しみ、集中、混乱、その他多くを含んでよい。心理状態の分析、推論、および識別は、活動単位と、顔または頭部のジェスチャとに基づいて実施してよい。
【００４３】
図８は、生理学的分析を表す図である。システム８００は、データ収集が実施されている人８１０を分析することが可能である。人８１０にはセンサ８１２を装着してよい。センサ８１２は、手首、手のひら、手、頭部、胸部、または他の身体部位に配置してよい。実施形態によっては、複数のセンサを人に配置する（たとえば、両手首に配置する）。センサ８１２は、皮膚電気活動、皮膚温度、および加速度計の読みの各検出器を含んでよい。他の検出器も同様に含めてよく、たとえば、心拍数や血圧の検出器、および他の生理学的検出器を含めてよい。センサ８１２は、収集した情報を、無線技術（たとえば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、８０２．１１、携帯電話、または他のバンド）により、受信器８２０に送信することが可能である。実施形態によっては、センサ８１２は、情報を記憶し、無線技術によりデータをまとめてダウンロードしてよい。他の実施形態では、センサ８１２は、情報を記憶し、後で有線ダウンロードしてよい。受信器は、システム８００の１つ以上のコンポーネントにデータを提供することが可能である。８３０では、皮膚電気活動（ＥＤＡ）を収集してよい。皮膚電気活動の収集は、連続的に、または毎秒１回、または毎秒４回、または毎秒８回、または毎秒３２回、または他の何らかの周期で、または何らかの事象に基づいて実施してよい。８３２では、皮膚電気活動を記録してよい。この記録は、ディスク、テープ、フラッシュドライブ、コンピュータシステムに行うか、サーバにストリーミングしてよい。８３４では、皮膚電気活動を分析してよい。皮膚電気活動は、皮膚コンダクタンスの変化に基づいて、覚醒、興奮、退屈、または他の心理状態を表すことが可能である。
【００４４】
８４０では、皮膚温度を収集してよく、これは、連続的に、または毎秒１回、または毎秒４回、または毎秒８回、または毎秒３２回、または他の何らかの周期で実施してよい。８４２では、皮膚温度を記録してよい。この記録は、ディスク、テープ、フラッシュドライブ、コンピュータシステムに行うか、サーバにストリーミングしてよい。８４４では、皮膚温度を分析してよい。皮膚温度は、皮膚温度の変化に基づいて、覚醒、興奮、退屈、または他の心理状態を表すために用いることが可能である。
【００４５】
８５０では、加速度計データを収集してよい。加速度計は、１次元、２次元、または３次元の動きを示すことが可能である。８５２では、加速度計データを記録してよい。この記録は、ディスク、テープ、フラッシュドライブ、コンピュータシステムに行うか、サーバにストリーミングしてよい。８５４では、加速度計データを分析してよい。加速度計データを用いて、睡眠パターン、高活動状態、不活発状態、または他の、加速度計データに基づく状態を示すことが可能である。
【００４６】
図９は、心拍数分析を表す図である。人９１０を観察してよい。この人の観察は、心拍数センサ９２０で実施してよい。この観察は、接触センサを通して、または心拍数情報の捕捉を可能にするビデオ分析を通して、または他の非接触検出により、行うことが可能である。９３０では、心拍数を記録してよい。この記録は、ディスク、テープ、フラッシュドライブ、コンピュータシステムに行うか、サーバにストリーミングしてよい。９４０では、心拍数および心拍数変動を分析してよい。心拍数の増加は、興奮、緊張、または他の心理状態を表している場合がある。心拍数の低下は、落ち着き、退屈、または他の心理状態を表している場合がある。心拍数が変わりやすいことは、健康状態がよいこと、およびストレスがないことを表している場合がある。心拍数が変わりにくいことは、ストレスレベルが高くなっていることを表している場合がある。
【００４７】
図１０は、心理状態分析およびレンダリングを実施することのフローチャートである。フロー１０００は、様々なタイプのデータ収集および分析から開始してよい。１０１０で顔分析を実施して、活動単位、顔および頭部のジェスチャ、笑み、および心理状態を識別してよい。１０１２で、生理学的分析を実施してよい。この生理学的分析は、皮膚電気活動、皮膚温度、加速度計データ、心拍数、および他の、人体に関連する測定を含んでよい。生理学的データの収集は、心拍数情報の場合と同様に接触センサまたはビデオ分析を通して、あるいは、他の手段により、行うことが可能である。実施形態によっては、１０２０において、覚醒および誘発性の評価を実施してよい。覚醒のレベルは、落ち着きから興奮までの範囲を取りうる。誘発性は、肯定的または否定的な傾向でありうる。１０３０で、誘発性および覚醒の組み合わせを用いて、心理状態を特徴付けることが可能である。この心理状態は、混乱、集中、喜び、満足、自信、ならびに他の状態を含んでよい。
【００４８】
実施形態によっては、１０３０での心理状態の特徴付けを、コンピュータシステムにより完全に評価することが可能である。他の実施形態では、１０３２で、心理状態の推論を人間が支援してよい。このプロセスは、顔の表情、頭部ジェスチャ、手ぶり、および身ぶりからなる群の中のいずれかの一部分を人間が評価することを含んでよい。表情やジェスチャのほんの小さな部分またはたった１つの表情またはジェスチャを、人間が評価してよい。したがって、顔の表情、頭部ジェスチャ、または手ぶりの小さな部分を、人間が評価してよい。同様に、観察されている人の身ぶりの一部分を、人間が評価してよい。実施形態では、このプロセスは、捕捉されたデータの一区間における心理状態の評価に対して入力を行うように人間を促すことを含んでよい。人間は、顔分析または生理学的分析のローデータ（ビデオを含む）を閲覧してよく、ローデータまたは分析結果の部分部分を閲覧してよい。人間は、介入して入力を行うことにより、心理状態の推論を支援してよく、あるいは、１０３０での心理状態の特徴付けに用いられたコンピュータシステムに対して心理状態の識別を入力してよい。コンピュータシステムは、データのうちの、人間介入が必要とされる部分を強調表示してよく、その必要とされる介入の対象となるデータが人間に対して表示されてよい時点までジャンプしてよい。特徴付けを支援する人間に、フィードバックが与えられてよい。複数の人々が、心理状態の特徴付けを支援してよい。自動化された、心理状態の特徴付け、ならびに複数の人間による評価に基づいて、人間にフィードバックを与えることにより、人間の特徴付けの精度を向上させることが可能である。個々の人間に、特徴付けを支援するための補償を与えることが可能である。自動化された特徴付けに基づく、または他の人々による特徴付けの支援に基づく、特徴付けの精度の向上は、補償の強化につながる可能性がある。
【００４９】
フロー１０００は、コンピュータシステムによる学習を含んでよい。１０３４での心理状態評価の機械学習は、１０３０での心理状態の特徴付けに用いられたコンピュータシステムが実施してよい。機械学習は、データの当該区間における心理状態の評価に対する、人間からの入力に基づいてよい。
【００５０】
１０４０では、心理状態および関連付けられた確率の表現をレンダリングしてよい。心理状態は、コンピュータディスプレイ、または電子式ディスプレイ、または携帯電話ディスプレイ、または個人用携帯情報端末画面、または他のディスプレイに表示してよい。心理状態は、グラフィカルに表示してよい。一連の心理状態を、所与の時点における各状態の可能性とともに表示してよい。同様に、各心理状態の一連の確率を、顔データおよび生理学的データが分析された時間線にわたって表示してよい。実施形態によっては、１０４２において、検出された心理状態に基づいて操作を推奨してよい。操作は、焦点の集団のセッションにおいて質問を推奨することを含んでよい。操作は、ウェブページ上の広告を変更することであってよい。操作は、閲覧された映画を編集して、好ましくない部分や退屈な部分を取り除くことであってよい。操作は、店内の陳列を移動することであってよい。操作は、ウェブまたはビデオでのチュートリアルの紛らわしい部分を編集することであってよい。
【００５１】
図１１は、集団の心理的反応を分析することのフローチャートである。フロー１１００は、人々を集めて集団にすること（１１１０）から開始してよい。人々の集団は、ある共通の経験を有してよく、これは、たとえば、映画を見ること、テレビ番組を見ること、映画の予告編を見ること、ストリーミングビデオを見ること広告を見ること、歌を聴くこと、講演を視聴すること、コンピュータプログラムを使用すること、商品を使用すること、食物を消費すること、ビデオゲームまたはコンピュータゲームを使用すること、遠距離学習による教育、乗ること（または運転すること）、または他の何らかの経験であってよい。１１２０では、１１１０の人々の集団の各員について、データ収集を実施してよい。１１１０の人々の集団の各員に対して複数の検出を実施してよく、複数の検出は、たとえば、第１の検出１１２２、第２の検出１１２４から第ｎの検出１１２６までを含んでよい。１１２０でのデータ収集の実施の対象である各種検出は、顔の表情、皮膚電気活動、皮膚温度、加速度計の読み、心拍数、ならびに他の生理学的情報を捕捉することを含んでよい。１１３０では、捕捉されたデータを分析してよい。この分析は、１１１０での人々の集団における各個人についての、覚醒および誘発性の特徴付け、ならびに、心理状態の特徴付けを含んでよい。１１４０では、集団の心理的反応を推論して、集団心理状態を与えてよい。これらの心理状態を集約することにより、１１１０の人々の集団における全個人の共通経験を評価してよい。１１５０では、結果をレンダリングしてよい。この結果は、時間の関数、または人々が経験した事象の系列の関数であってよい。この結果は、誘発性および覚醒のグラフィカル表示を含んでよい。この結果は、各個人の心理状態、ならびに集団全体の心理状態のグラフィカル表示を含んでよい。
【００５２】
図１２は、関心対象として選択された心理状態に対応するデータ部分を識別することのフローチャートである。フロー１２００は、検出から収集されたデータを、これまでに実施されたすべての分析の結果とともにインポートすること（１２１０）から開始してよい。データをインポートすることは、既に捕捉されて記憶されているデータをロードすることであってよく、リアルタイムで捕捉されるデータをロードすることであってもよい。このデータは、分析を行うシステムの中に既に存在するものであってもよい。検出は、顔の表情、皮膚電気活動、皮膚温度、加速度計の読み、心拍数、ならびに他の生理学的情報を捕捉することを含んでよい。検出から収集した各種データについて分析を実施して、心理状態を特徴付けてよい。
【００５３】
１２２０では、ユーザの関心対象となる心理状態を選択してよい。関心対象の心理状態は、混乱、集中、自信、楽しみ、ならびに他の多くの心理状態であってよい。実施形態によっては、収集されたデータに対して分析が既に実施されている場合がある。分析は、データのインデックス付け、および推論または検出された心理状態の分類を行うことを含んでよい。分析が既に実施されていて、関心対象の心理状態が既に分類されている場合は、１２２５で、選択された状態に対応する１つ以上の分類結果について、分析結果を検索してよい。たとえば、関心対象の心理状態として、混乱が選択されているとする。収集されているデータは、混乱を含む各種心理状態について既に分析されている場合がある。収集されたデータにインデックスが付いている場合、混乱に関する分類結果は、データ収集時の様々な時点でタグ付けされている場合がある。そして、どの混乱時点も既に分類されていることから、任意の混乱時点について、分析結果を検索することが可能である。
【００５４】
実施形態によっては、１２３０において、関心対象の心理状態に対応する反応を特徴付けてよい。この反応は、肯定的な誘発性および覚醒された状態であってよく、これは、関心対象の心理状態として自信が選択されている例と同様である。この反応は、誘発性および覚醒まで減らしてよく、あるいは、活動単位や顔の表情および頭部ジェスチャを探すために、さらに減らしてよい。
【００５５】
１２４０では、選択した状態に対応する反応に関して、収集されたデータを検索してよい。検出されたデータを検索してもよく、収集されたデータから導出された分析結果を検索してもよい。検索により、ユーザが１２２０で関心対象とした、選択された状態に対応する活動単位、顔の表情、頭部ジェスチャ、または心理状態を探すことが可能である。
【００５６】
１２５０では、関心対象の心理状態があるデータ区間にジャンプしてよい。たとえば、混乱が選択された場合は、混乱が発現している時点に対応するデータまたはデータから導出された分析結果を示すことが可能である。この「特徴へのジャンプ」は、データの中の、混乱または別の選択された心理状態が検出された関心対象区間への早送りであると考えることが可能である。顔のビデオを精査している場合は、そのビデオの中の、選択された状態に対応する重要区間を表示することが可能である。実施形態によっては、１２５２において、関心対象の心理状態があるデータ区間に注釈を付けてよい。注釈を時間線に沿って配置することにより、選択された状態があるデータおよび時点をマーキングすることが可能である。実施形態では、１２５４で、選択された状態がある時点で検出されたデータを表示してよい。このデータは、顔ビデオを含んでよい。このデータはまた、皮膚電気活動、皮膚温度、加速度計の読み、心拍数、および他の生理学的な読みのグラフィカル表現を含んでよい。
【００５７】
図１３は、心理状態分析結果のグラフィカルレンダリングを、人々の集団からの集約結果とともに示した図である。このレンダリングは、ウェブページ上、ウェブ対応アプリケーション上、または他のタイプの電子式ディスプレイ表現上に表示してよい。グラフ１３１０は、情動データの収集を実施された個人について示したものであってよい。心理状態分析は、収集された顔画像または生理学的データに基づいてよい。実施形態によっては、グラフ１３１０は、個人に関して観察される笑みの量または確率を示すものであってよい。グラフ上の高い値または点は、強い、または大きな笑みを表すものであってよい。グラフでは、欠落または低下している箇所が見受けられるが、これは、画像収集が失敗したか、人の顔を識別できなかった場合である。情動の確率または強度は、ｙ軸１３２０方向に与えられてよい。時間線は、ｘ軸１３３０方向に与えられてよい。別のグラフ１３１２は、別の個人について収集された情動、または複数の人々からの集約された情動を示すものであってよい。この集約された情報は、平均値、中央値、または他の、人々の集団から収集された値を取得することに基づいてよい。実施形態によっては、グラフィカルな笑顔アイコン１３４０、１３４２、および１３４４が、笑みの量または他の表情を表すように表示されてよい。第１のあふれんばかりの笑顔のアイコン１３４０は、非常に大きな笑みが観察されていることを表すものであってよい。第２の普通の笑顔のアイコン１３４２は、笑みが観察されていることを表すものであってよい。第３の顔のアイコン１３４０は、笑みがないことを表すものであってよい。これらのアイコンのそれぞれは、笑みの確率または強度を表す、ｙ軸１３２０上の領域に対応するものであってよい。
【００５８】
図１４は、心理状態分析結果のグラフィカルなレンダリングを示す図である。このレンダリングは、ウェブページ上、ウェブ対応アプリケーション上、または他のタイプの電子式ディスプレイ表現上に表示してよい。グラフ１４１０は、観察された情動の強度または発生確率を表すものであってよい。時間線は、ｘ軸１４２０方向に与えられてよい。情動の確率または強度は、ｙ軸１４３０方向に与えられてよい。第２のグラフ１４１２は、グラフ１４１０を平滑化したものであってよい。谷１４４０のように、情動の１つ以上の谷が識別可能である。ピーク１４４２のように、情動の１つ以上のピークが識別可能である。
【００５９】
図１５は、メタデータに基づく心理状態分析結果のグラフィカルなレンダリングを示す図である。このレンダリングは、ウェブページ上、ウェブ対応アプリケーション上、または他のタイプの電子式ディスプレイ表現上に表示してよい。グラフ上の第１の線１５３０、第２の線１５３２、および第３の線１５３４は、それぞれが別々の収集されたメタデータに対応するものであってよい。たとえば、特定の事象に関する人の報告内容が、「非常に好きだった」か「好きだった」か「なんとも言えなかった」かについて、自己報告メタデータを収集してよい。この事象は、映画、テレビ番組、ウェブシリーズ、ウェビソード、ビデオ、ビデオクリップ、電子式ゲーム、広告、電子書籍、電子雑誌などであってよい。第１の線１５３０は、人が「非常に好きだった」事象に対応するものであってよく、一方、第２の線１５３２は、その事象が「好きだった」別の人に対応するものであってよい。同様に、第３の線１５３４は、その事象について「なんとも言えなかった」別の人に対応するものであってよい。実施形態によっては、これらの線は、複数の人々の集約された結果に対応するものであってよい。
【００６０】
上述の各方法は、１つ以上のコンピュータシステムの１つ以上のプロセッサ上で実行可能である。各実施形態は、様々な形態の分散コンピューティング、クライアント／サーバコンピューティング、およびクラウドベースのコンピューティングを含んでよい。さらに、本開示の各フローチャートにおいては、描かれたステップまたはボックスが例示および説明のみを目的としていることを理解されたい。本開示の範囲から逸脱することなく、それらのステップの修正、省略、または並べ替えが可能であり、他のステップを追加することも可能である。さらに、各ステップは、１つ以上のサブステップを含んでよい。前述の図面および説明は、本開示システムの機能的態様を示すものであって、これらの機能的態様を実装するソフトウェアおよび／またはハードウェアの具体的な構成は、特に明記しない限り、もしくは文脈から明白でない限り、前述の説明から推論すべきではない。そのような、ソフトウェアおよび／またはハードウェアの構成はすべて、本開示の範囲に含まれるものとする。
【００６１】
ブロック図およびフローチャート図は、方法、装置、システム、およびコンピュータプログラム製品を表している。ブロック図およびフローチャート図の各要素、ならびに、ブロック図およびフローチャート図内の複数の要素の組み合わせのそれぞれは、方法、装置、システム、コンピュータプログラム製品、および／またはコンピュータ実装方法の機能、ステップ、またはステップ群を表している。そのような機能のいずれかまたはすべてが、コンピュータプログラム命令によって、または専用ハードウェアベースのコンピュータシステムによって、または専用ハードウェアとコンピュータ命令との組み合わせによって、または汎用ハードウェアとコンピュータ命令との組み合わせによって、またはコンピュータシステムによって、またはその他によって、実装されてよい。これらのいずれかまたはすべてを、本明細書ではまとめて「回路」、「モジュール」、または「システム」と称している場合がある。
【００６２】
上述のコンピュータプログラム製品またはコンピュータ実装方法のいずれかを実行するプログラマブル装置は、１つ以上のプロセッサ、マイクロプロセッサ、マイクロコントローラ、埋め込みマイクロコントローラ、プログラマブルデジタル信号プロセッサ、プログラマブルデバイス、プログラマブルゲートアレイ、プログラマブルアレイロジック、メモリデバイス、特定用途向け集積回路などを含んでよい。それぞれは、コンピュータプログラム命令の処理、コンピュータロジックの実行、コンピュータデータの記憶などのために好適に使用または構成されてよい。
【００６３】
コンピュータは、コンピュータプログラム製品をコンピュータ可読記憶媒体に含めてよいこと、ならびに、この媒体は、内蔵であっても外付けであっても、取り出し可能および置換可能であっても、固定であってもよいことを理解されたい。さらに、コンピュータは、基本入出力システム（ＢＩＯＳ）、ファームウェア、オペレーティングシステム、データベースなどを含んでよく、これらは、本明細書に記載のソフトウェアおよびハードウェアを包含すること、または、これらとインタフェースすること、または、これらをサポートすることが可能である。
【００６４】
本発明の実施形態は、従来型のコンピュータプログラム又はそれらを動作させるプログラマブル装置を必要とするアプリケーションに限定されない。たとえば、本発明の実施形態は、光コンピュータ、量子コンピュータ、アナログコンピュータなどを包含しうると考えられる。コンピュータプログラムをコンピュータにロードすることにより、記載された機能のいずれかまたはすべてを実施しうる特定のマシンを作成してよい。この特定のマシンは、記載された機能のいずれかまたはすべてを実施する手段を提供する。
【００６５】
１つ以上のコンピュータ可読媒体を任意に組み合わせて利用することが可能である。このコンピュータ可読媒体は、一時的または持続的なコンピュータ可読記憶媒体であってよい。コンピュータ可読記憶媒体は、電子式、磁気式、光学式、電磁式、赤外線式、半導体式、またはこれらの任意の好適な組み合わせであってよい。さらに、コンピュータ可読記憶媒体の例としては、１つ以上のワイヤを有する電気的接続、可搬型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ）、Ｆｌａｓｈ、ＭＲＡＭ、ＦｅＲＡＭ、相転移メモリ、光ファイバ、可搬型コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらの任意の好適な組み合わせを挙げることができる。本文書の文脈では、コンピュータ可読記憶媒体は、命令を実行するシステム、装置、またはデバイスによって使用される（またはこれらと関連して使用される）プログラムを収容または記憶できる任意の有形媒体であってよい。
【００６６】
コンピュータプログラム命令は、コンピュータ実行可能コードを含んでよいことを理解されたい。コンピュータプログラム命令を表現する各種言語として、限定ではなく、Ｃ、Ｃ＋＋、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ（商標）、ＡｃｔｉｏｎＳｃｒｉｐｔ（商標）、アセンブリ言語、Ｌｉｓｐ、Ｐｅｒｌ、Ｔｅｌ、Ｐｙｔｈｏｎ、Ｒｕｂｙ、ハードウェア記述言語、データベースプログラミング言語、機能プログラミング言語、命令型プログラミング言語などが挙げられる。実施形態では、コンピュータプログラム命令は、記憶され、またはコンパイルされ、または解釈されて、コンピュータ、またはプログラマブルデータ処理装置、またはプロセッサやプロセッサアーキテクチャの異種組み合わせなどで実行されてよい。本発明の実施形態は、限定ではなく、クライアント／サーバソフトウェア、またはサービスとしてのソフトウェア（ＳａａＳ）、またはピアツーピアソフトウェアなどを含む、ウェブベースのコンピュータソフトウェアの形をとってよい。
【００６７】
実施形態では、コンピュータは、複数のプログラムまたはスレッドを含むコンピュータプログラム命令の実行を可能にしてよい。この複数のプログラム又はスレッドは、プロセッサの利用率の向上、および実質的に同時である機能の促進のために、多かれ少なかれ、同時に処理されてよい。実装としては、本明細書に記載の方法、プログラムコード、プログラム命令などのいずれかまたはすべてを、１つ以上のスレッドに実装してよい。各スレッドは、他のスレッドを生成してよく、生成される他のスレッドは、それぞれが、自身に関連付けられた優先順位を有してよい。実施形態によっては、コンピュータは、これらのスレッドを、優先順位または他の順序に基づいて処理してよい。
【００６８】
特に明記しない限り、もしくは文脈から明白でない限り、動詞の「実行する」および「処理する」は、実行する、処理する、解釈する、コンパイルする、アセンブルする、リンクする、ロードする、またはこれらの組み合わせの意味で、区別なく用いてよい。したがって、コンピュータプログラム命令、コンピュータ実行可能コードなどを実行または処理する実施形態は、記載の方法のいずれかまたはすべてにより、それらの命令またはコードに従って動作してよい。さらに、示された方法ステップは、それらのステップを１つ以上のパーティまたはエンティティに実施させる任意の好適な方法を含むものとする。あるステップ（またはその一部）を実施するパーティは、特定の地理的場所または国境の中に位置している必要はない。たとえば、米国内に位置するエンティティが、ある方法ステップ（またはその一部）を米国外で実施させる場合、この方法は、そのエンティティがそのステップを実施させることを以て、米国内で実施されると見なされる。
【００６９】
詳細に図示および説明された好ましい実施形態に関して本発明を開示してきたが、当業者であれば、これらの実施形態を様々に修正および改善できることは明らかであろう。したがって、本発明の趣旨および範囲は、前述の各実施例によって限定されるべきものではなく、法律によって許容される最も広い意味で理解されるべきものである。
【図１】
2013537435.tif 000003
【図２】
2013537435.tif 000004
【図３】
2013537435.tif 000005
【図４】
2013537435.tif 000006
【図５】
2013537435.tif 000007
【図６】
2013537435.tif 000008
【図７】
2013537435.tif 000009
【図８】
2013537435.tif 000010
【図９】
2013537435.tif 000011
【図１０】
2013537435.tif 000012
【図１１】
2013537435.tif 000013
【図１２】
2013537435.tif 000014
【図１３】
2013537435.tif 000015
【図１４】
2013537435.tif 000016
【図１５】
2013537435.tif 000017
【国際調査報告】
2013537435.tif 000018
2013537435.tif 000019