(57)【要約】  個人的感情ベースの認知支援システムは、ヘッドセットとしてユーザによって装着され得る、1つまたは複数の構成要素と、ユーザの感情的状態を取り込む、1つまたは複数のセンサーと、取り込まれた感情的状態に基づいて、ユーザの環境の個人的意味を特定するプロセッサと、特定された個人的意味に基づいて、メモリの異なるエリア内に、環境についてのデータとともに、特定された個人化された意味を記憶するメモリとを含む。
2019512822.tif 000002
【特許請求の範囲】
【請求項１】
個人的感情ベースの認知支援システムであって、
ユーザの感情的状態を取り込むように構成された、少なくとも1つのセンサーと、
前記取り込まれた感情的状態に基づいて、前記ユーザの環境の個人的意味を特定するように構成されたプロセッサと、
前記特定された個人的意味に基づいて、メモリの異なるエリア内に、前記環境についてのデータとともに、前記特定された個人化された意味を記憶するように構成されたメモリと
を備える個人的感情ベースの認知支援システム。
【請求項２】
前記データの前記個人化された意味に基づいて、結果を出力するように構成された出力器をさらに備える、請求項1に記載の個人的感情ベースの認知支援システム。
【請求項３】
前記出力器が、前記ユーザが前記データで快適ではないことを示す、前記データの前記個人化された意味に基づいて、前記結果の一部分を繰り返すように構成されたディスプレイである、請求項2に記載の個人的感情ベースの認知支援システム。
【請求項４】
前記個人的感情ベースの認知支援システムが、出力器をさらに備え、
前記ユーザの前記環境が、視覚および音響データを備え、
前記プロセッサが、ユーザ個人的認知洞察および前記取り込まれた感情的状態に基づいて、前記視覚および音響データの意味を特定するように構成され、
前記出力器が、前記取り込まれた感情的状態に基づいて、あらかじめ決定された順序において、前記視覚および音響データを前記ユーザに出力するように構成される、請求項1に記載の個人的感情ベースの認知支援システム。
【請求項５】
前記少なくとも1つのセンサーが、複数の感情信号を出力するために、前記ユーザの頭における活動を測定する複数のセンサーを備え、前記プロセッサが、前記複数の感情信号に基づいて、複合感情情報を生成し、前記生成された複合感情情報を、参照されたサンプルと比較し、前記比較に基づいて、前記データを記憶するように、前記メモリを制御する、請求項1に記載の個人的感情ベースの認知支援システム。
【請求項６】
前記ユーザの前記環境が、視覚および音響データを備え、
前記少なくとも1つのセンサーが、前記ユーザの多感情信号を感知するように構成された複数のセンサーを備え、
前記プロセッサが、前記多感情信号を処理して、感情情報を生成するようにさらに構成され、
前記個人的感情ベースの認知支援システムが、しきい値を上回る、前記感情情報と参照された状態との間の区別に応答して、前記視覚および音響データを前記感情情報と結合することによって、認知情報モジュールを形成することをさらに含む、請求項1に記載の個人的感情ベースの認知支援システム。
【請求項７】
前記個人的感情ベースの認知支援システムが、
リアルタイムで前記ユーザにとって可視である画像を取り込むように構成された、少なくとも1つのカメラと、
前記リアルタイムおよび前記少なくとも1つのカメラと同期的に、前記ユーザにとってオーディット可能である音を取り込むように構成された、少なくとも1つのマイクロフォンと、
ある時間期間の間、前記取り込まれた画像と、前記対応する取り込まれた音とを記憶するように構成されたバッファと
をさらに備え、
前記プロセッサが、前記取り込まれた感情的状態に基づいて、前記取り込まれた画像と、前記対応する取り込まれた音とを記憶するように、前記メモリを制御するように構成される、請求項1に記載の個人的感情ベースの認知支援システム。
【請求項８】
取り込まれた感情的状態と参照された状態との間の区別がしきい値を上回るとの、前記プロセッサによる決定に応答して、前記バッファを前記メモリにリンクさせるためのスイッチを切り替えること、前記対応する取り込まれた画像および音とともに、前記取り込まれた感情的状態に基づいて生成された感情的情報を備える、認知感覚モジュールを形成すること、ならびに、前記メモリ内に、前記形成された認知感覚モジュールを記憶することをさらに含む、請求項7に記載の個人的感情ベースの認知支援システム。
【請求項９】
前記形成された認知感覚モジュールが、認知感覚メモリ内に記憶される、請求項8に記載の個人的感情ベースの認知支援システム。
【請求項１０】
前記システムが、ユーザによって装着されたヘッドセットである、請求項1に記載の個人的感情ベースの認知支援システム。
【請求項１１】
前記少なくとも1つのセンサーが、複数のセンサーを備え、前記複数のセンサーが、生殖カテゴリ、生存カテゴリ、および探究的カテゴリを備える、異なる本能要求および防御に関係する異なるタイプの感情を取り込むために、前記ユーザ上の異なる位置に位置する、請求項1に記載の個人的感情ベースの認知支援システム。
【請求項１２】
前記異なるタイプの感情が、前記生殖カテゴリ、前記生存カテゴリ、および前記探究的カテゴリ内のマルチタイプに多様化される、請求項11に記載の個人的感情ベースの認知支援システム。
【請求項１３】
複数の認知情報モジュールの音響および視覚データ構成要素を出力するように構成された、ディスプレイをさらに備える、請求項1に記載の個人的感情ベースの認知支援システム。
【請求項１４】
前記ディスプレイが、グラフィカルユーザインターフェース要素の音、ツールバー、位置、およびカラーコーディングのうちの少なくとも1つを備える視覚形態において、前記複数の認知情報モジュールの感情情報構成要素を出力するようにさらに構成される、請求項13に記載の個人的感情ベースの認知支援システム。
【請求項１５】
前記メモリが、登録メモリと、作業メモリと、未完了作業メモリと、スケジュールドメモリと、長期メモリとを備える、請求項1に記載の個人的感情ベースの認知支援システム。
【請求項１６】
前記作業メモリが、前記プロセッサによって検証、修正、追加、結合、編集、および生成されるプロセスにおいて、情報を記憶し、前記登録メモリが、前記プロセッサによる処理を待機しており、かつ前記作業メモリ内に記憶されている、入力および出力情報のうちの少なくとも1つを記憶し、前記作業メモリが、より高い重要度を有する認知モジュールでビジーであるとき、前記未完了作業メモリが、中断された作業情報モジュールを記憶し、前記スケジュールドメモリが、特定のスケジュールドノートを具現化する認知情報モジュールを記憶する、請求項15に記載の個人的感情ベースの認知支援システム。
【請求項１７】
前記長期メモリが、
検証された認知情報モジュールを年代順に記憶する、エピソードメモリと、
カテゴリ別に編成された、前記検証された認知情報モジュールを記憶する、意味メモリであって、前記カテゴリが、感情ベースのコーディングシステムの異なる領域を表す、意味メモリと、
完了された認知作業情報モジュールを、重要度の順に記憶する、思考メモリと
を備える、請求項16に記載の個人的感情ベースの認知支援システム。
【請求項１８】
前記個人的感情ベースの認知支援システムが、
視覚および音響データを表示するように構成されたディスプレイ
をさらに備え、
前記プロセッサが、前記表示された視覚および音響データの個人的意味を特定すること、および、前記特定された個人的意味に応答して、前記メモリから相関する認知情報を取り出すことを行うようにさらに構成され、
前記ディスプレイが、前記取り出された相関する認知情報を表示するようにさらに構成され、
前記プロセッサが、前記表示された認知情報を収集、検証、および処理するようにさらに構成され、検証される前記認知情報に応答して、複数の異なるメモリエリアのうちの1つにおいて、結果を記憶するように、前記メモリを制御する、請求項1に記載の個人的感情ベースの認知支援システム。
【請求項１９】
個人的感情ベースの認知支援を提供する方法であって、
少なくとも1つのセンサーによって、ユーザの感情的状態を取り込むステップと、
プロセッサによって、前記取り込まれた感情的状態に基づいて、前記ユーザの環境の個人的意味を特定するステップと、
前記特定された個人的意味に基づいて、メモリの異なるエリア内に、前記環境についてのデータとともに、前記特定された個人化された意味を記憶するステップと、
前記データの前記個人的意味に基づいて、結果を出力するステップと
を含む方法。
【請求項２０】
前記出力するステップが、前記環境に関して、前記ユーザの快適レベルを示すメッセージを表示するステップを含む、請求項19に記載の方法。
【請求項２１】
前記出力するステップが、前記環境の前記特定された個人的意味に基づいて生成された認知情報を表示するステップを含む、請求項19に記載の方法。
【請求項２２】
命令を記憶するように構成された非一時的コンピュータ可読媒体であって、命令が、プロセッサによって実行されると、前記プロセッサに以下の動作、すなわち、
少なくとも1つのセンサーによって取り込まれたユーザの感情的状態を受信すること、
前記受信された感情的状態に基づいて、前記ユーザの環境の個人的意味を特定すること、
前記特定された個人的意味に基づいて、メモリの異なるエリア内に、前記環境についてのデータとともに、前記特定された個人化された意味を記憶すること、および
前記データの前記個人的意味に基づいて、結果をディスプレイ上に出力すること
を実行させる、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、その開示全体が参照により本明細書に組み込まれる、2016年3月14日に米国特許庁に出願した米国仮出願第62/308,202号の優先権を主張するものである。
【０００２】
例示的な実施形態に従う装置、方法、システム、およびコンピュータ可読媒体は、概して認知技術に関し、より詳細には、感情ベースの認知感覚メモリおよび認知洞察を提供することに関する。
【背景技術】
【０００３】
より小型のデバイス、より高速の処理、およびより多い記憶能力を含む、技術における多数の進歩のために、その用途は、ユーザの毎日の活動および様々な他の機能を容易にするように拡大する。今日では、コンピューティングデバイスは、レストランにおいて注文を取り、注文を実施するために厨房に送信し得る。コンピューティングデバイスは、たとえば、Siri、Google Nowなど、デバイスに組み込まれた、自動化されたパーソナルアシスタントソフトウェアを有し得る。これらの自動化されたパーソナルアシスタントは、ユーザとのダイアログを実施し、要求された情報を提供することができる。
【０００４】
ユーザエクスペリエンスを向上させるために、パーソナルアシスタントは、状況およびコンテキストアウェアであり得、たとえば、米国特許第6,190,314号を参照されたい。加えて、パーソナルアシスタントは、ユーザの事前の対話に基づいて、コンテキストデータベースを構築し得、たとえば、米国特許第9,171,092号を参照されたい。
【０００５】
加えて、情報をユーザに提供するのみでなく、いくつかの基本的タスクをも実行し得る、パーソナルアシスタントが開発されている。関連技術では、仮想パーソナルアシスタントは、ユーザが発話した、かつ/または書き込んだ入力を理解し、ユーザによってプレイされた仮想ゲームにおいて、さいころを転がすなどのタスクを行い、経時的にユーザ選好に適合し得、たとえば、米国特許公開第20130152092号を参照されたい。
【０００６】
また、いくつかのパーソナルアシスタントは、ユーザとのデバイス対話に基づいて調整され得る性格パラメータを有し得、たとえば、米国特許公開第20020029203号およびEP2531912を参照されたい。
【０００７】
関連技術では、コンピュータとの音声通信、または書込みもしくはタッチ入力を介して通常行われるユーザ入力が、パーソナルアシスタンスを駆動する。さらに、パーソナルアシスタンスは、この入力に基づいて、および、経時的に変動し得る、適用されたユーザ選好、またはある種のコンテキストアウェアネスに基づいて、情報を提供し、かつ/または基本的なタスクを行う。
【０００８】
関連技術では、パーソナルアシスタンスは、ごく限られており、人間の精神のインテリジェンスを考慮しない。いくつかの記憶増強デバイスが知られており、たとえば、米国特許第9,101,279号および米国特許第9,177,257号を参照されたいが、認知洞察は、人間の脳内のみに存在し、既存のコンピュータは、この洞察にアクセスし、この洞察を使用することができない。
【０００９】
したがって、当技術分野において、人間の感情および精神に類似した複雑さに基づいて個人化されることになる、認知洞察の提供を改善する必要がある。当技術分野において、ユーザの個人的洞察に基づいて、日常の学習、暗記、思考、および意思決定においてユーザを支援するために、コンピュータに個人の脳を模倣させる必要がある。
【００１０】
人間の思考は、人間への感情的構成要素を有することが多い。関連技術におけるシステムは、人間の思考および洞察のこの感情的構成要素を考慮することを怠る。当技術分野において、個別感情構成要素を、個別のまたは個人化された洞察のための認知構成要素と結合する必要がある。
【００１１】
関連技術におけるシステムは、画像および音声などのコンテキストの意味を解釈することを考慮すること、ならびに複雑なアルゴリズムを使用して、それらをプロファイル、グラフなどに記憶することに焦点を合わせる。しかしながら、コンテキストまたはコンテキスト情報の意味は、人によって異なる。すなわち、コンテキストの解釈は、人によって変動することになる。当技術分野において、感情的構成要素の形態で起こるコンテキストの個人の意味を、認知構成要素と結合して、個別のまたは個人化された洞察を生成する必要がある。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】米国特許第6,190,314号
【特許文献２】米国特許第9,171,092号
【特許文献３】米国特許公開第20130152092号
【特許文献４】米国特許公開第20020029203号
【特許文献５】EP2531912
【特許文献６】米国特許第9,101,279号
【特許文献７】米国特許第9,177,257号
【発明の概要】
【課題を解決するための手段】
【００１３】
例示的で非限定的な実施形態によれば、認知支援システムが、リアルタイムまたはオンザフライで、感情的情報と同期される、視覚および聴覚データなどの感覚情報を具現化する、認知モジュールに基づいて提供される。
【００１４】
例示的で非限定的な実施形態によれば、感情的情報は、ユーザの本能洞察および開発された洞察への、視覚および聴覚感覚情報の異なる相関的意味を具現化する、多感情信号に基づく。
【００１５】
例示的で非限定的な実施形態によれば、システムは、ユーザの個別感情状態と結合された感覚データに基づいて、未検証の認知感覚メモリを生成し得る。
【００１６】
例示的で非限定的な実施形態によれば、システムは、ユーザが表示されている認知感覚モジュールを検討し、整理し、列挙するとき、ユーザの個人化された感情的状態と結合された、検証された認知感覚メモリに基づいて、個人化された洞察または長期メモリを生成し得る。
【００１７】
例示的で非限定的な実施形態によれば、システムは、開発された認知洞察から取り出される認知モジュールにおけるプロセスに基づいて、個人化された思考を生成し、思考メモリ(または長期メモリ)または認知洞察を構築し得る。
【００１８】
例示的で非限定的な実施形態は、従来技術における上述の欠点および問題を克服し得、上記で説明しなかった他の欠点および問題に対する解決策を提供するために開発されている場合もある。しかしながら、本開示の教示に従って動作する方法、装置、システム、およびコンピュータ可読媒体は、上記で説明した特定の問題または欠点のいずれかを克服するために必ずしも必要とされるとは限らない。1つまたは複数の例示的な実施形態は、上記で説明した欠点を克服することを必要とされず、上記で説明した問題のいずれかを克服しないことがあることは理解されよう。
【００１９】
例示的な実施形態の態様によれば、個人的感情ベースの認知支援システムが提供され、このシステムは、ユーザの感情的状態を取り込むように構成された、少なくとも1つのセンサーと、取り込まれた感情的状態に基づいて、ユーザの環境の個人的意味を特定するように構成されたプロセッサと、特定された個人的意味に基づいて、メモリの異なるエリア内に、環境についてのデータとともに、特定された個人化された意味を記憶するように構成されたメモリとを含む。
【００２０】
例示的な実施形態のまた別の態様によれば、個人的感情ベースの認知支援を提供する方法が提供され、この方法は、少なくとも1つのセンサーによって、ユーザの感情的状態を取り込むステップと、プロセッサによって、取り込まれた感情的状態に基づいて、ユーザの環境の個人的意味を特定するステップと、特定された個人的意味に基づいて、メモリの異なるエリア内に、環境についてのデータとともに、特定された個人化された意味を記憶するステップと、データの個人的意味に基づいて、結果を出力するステップとを含む。
【００２１】
例示的な実施形態のまた別の態様によれば、プロセッサによって実行されると、プロセッサに様々な動作を実行させる、命令を記憶するように構成された、非一時的コンピュータ可読媒体が提供される。動作は、少なくとも1つのセンサーによって取り込まれたユーザの感情的状態を受信すること、受信された感情的状態に基づいて、ユーザの環境の個人的意味を特定すること、特定された個人的意味に基づいて、メモリの異なるエリア内に、環境についてのデータとともに、特定された個人化された意味を記憶すること、およびデータの個人的意味に基づいて、結果をディスプレイ上に出力することを含む。
【００２２】
様々な例示的な実施形態によれば、ユーザは、勉強するときにさらなる注意を必要とするトピック、購入するべきアイテムなどを容易に諒解し得る。様々な例示的な実施形態によれば、個人化された思考は、ユーザによって観察された環境に基づいて形成される。これらの個人化された思考は、ユーザの精神の思考を模倣し得、様々な種類の決定を行う際にユーザを支援するために出力される。出力は、示唆、警告、コンテンツのリスト、勉強中にあるデータを繰り返すことなどを含む、様々な形態をとり得る。
【００２３】
本明細書に組み込まれ、本明細書の一部を構成する、添付の図面は、例示的な実施形態を例示し、説明とともに、例示的な実施形態を説明および図示する働きをする。具体的には、以下の通りである。
【図面の簡単な説明】
【００２４】
【図１】例示的な実施形態による、感覚および感情的データを取り込むデバイスを示す図である。
【図２Ａ】例示的な実施形態による、感情的情報を検出するための感情的センサーを示す図である。
【図２Ｂ】例示的な実施形態による、感情的情報を検出するための感情的センサーを示す図である。
【図２Ｃ】例示的な実施形態による、感情的情報を検出するための感情的センサーを示す図である。
【図２Ｄ】例示的な実施形態による、感情的情報を検出するための感情的センサーを示す図である。
【図３】例示的な実施形態による、認知モジュールの構成要素を示す図である。
【図４】例示的な実施形態による、ユーザの認知洞察への環境情報入力のユーザの感情的相関を反映する、様々なタイプの感情に、感情的信号を分類するための図表を示す図である。
【図５Ａ】例示的な実施形態による、認知感覚メモリ内の認知モジュールの記憶を示すフロー図である。
【図５Ｂ】例示的な実施形態による、認知感覚メモリ内の認知モジュールの記憶を示すフローチャートである。
【図６】例示的な実施形態による、認知感覚発生器を示すブロック図である。
【図７】例示的な実施形態による、認知洞察発生器を示すブロック図である。
【図８】例示的な実施形態による、認知作業情報とユーザの認知洞察とのユーザの感情的相関を反映する、様々なタイプの感情に、感情的信号を分類するための図表を示す図である。
【図９】例示的な実施形態による、認知モジュールを処理する方法を示すフローチャートである。
【発明を実施するための形態】
【００２５】
次に、例示的な実施形態について、添付の図面を参照しながら詳細に説明する。例示的な実施形態は、多数の異なる形態において具現化され得、本明細書に記載する、例証となる例示的な実施形態に限定されるものとして解釈されるべきではない。むしろ、例示的な実施形態は、本開示が十分および完全になるように、ならびに、例示的な概念を当業者に十分に伝えるように提供される。また、周知の機能または構成は、例示的な実施形態の明瞭で簡潔な説明を提供するために省略され得る。特許請求の範囲およびそれらの均等物は、発明的概念の真の範囲を確認するために顧慮されるべきである。
【００２６】
人間の精神は、視覚および聴覚形態の下で脳の作業記憶および中央実行系において働くことができる宣言的情報を具現化する、複雑で知的な機能である。宣言的情報は、エピソード記憶、意味記憶、および思考記憶の形態の下で、人間の洞察において長期記憶から取り出される。人間の洞察は、公理的本能洞察の核心において構築される。人間の本能は、洞察において自然に組み込まれるものであり、呼吸する、吸う、泣くなどのための本能など、人間がもって生まれたものである。人間の本能は、時間とともに徐々に築き上げられる。たとえば、人間が発達するにつれて、人間は、母および父が最も近い人々であることを学習し、次いで、人間は、何が指、りんご、数、加算演算などであるかを学習する。新しい洞察要素は、以前の洞察要素の上に構築される。人間の初期本能は、愛、生存、および探究である。人間の器官は、個人にとっての対象の意味の特定を助けるために、感情信号を生成する。対象が知られており、有意味である場合、「好み」、「愛」、「恐れ」などの感情信号が生成され得る。対象が未知であるが、人の注意を引く場合、好奇心が強い、印象的、用心深いなど、「探究的本能」に属する感情が生成され得る。人間の洞察は、洞察構築プロセスを制御するために、感情的信号を生成させる。
【００２７】
洞察構築プロセスは、人間の五感とともに開始する。人間は、感覚情報を介して周囲の環境を感知し、感覚情報は、視覚、聴覚、嗅覚、運動感覚、および味覚情報を含む。しかしながら、精神は、人間の脳内の特定の場所において生じる有意味情報のみを受信して、その値がしきい値よりも大きいという感情的信号を生成する。精神において、同期的な複合感情と組み合わせた複合的な視覚、聴覚、および他の感覚入力は、認知モジュールになり、認知モジュールは、脳の異なる記憶領域内に分類および記憶され、個人の認知洞察を構築する。その認知洞察は、思考する、意思を決定する、および行為を取るなど、あらゆる認知動作の準備ができている、個人的で有意味な、十分に編成されたデータベースである。
【００２８】
今日まで、そのような認知洞察は、既存のコンピュータがアクセスおよび使用することができない、ニューロン、ホルモン、および神経伝達物質の複雑な器官の下で、人間の脳内にのみ存在している。既存のコンピュータは、大きい記憶容量をもつ高速なものであるにもかかわらず、依然として、日常の個人的認知動作においてユーザを支援するために利用可能ではない。関連技術では、コンピュータは、大型ショッピングモール中のイベントまたはユーザの買い物ツアー後、人間ユーザと同じ入力の受信に応答して、顕著な要素および観察をまとめて、ユーザに表示することが不可能である。関連技術は、感情的信号、および、多くの場合、イベントの人間観察に組み込まれる複合感情的信号を考慮することが不可能である。客観的情報データベースが形成され得るが、ユーザの個別化された洞察が欠けている。
【００２９】
例示的な実施形態では、コンピュータシステムは、人間の精神の作業をまねるものであり、日常の学習、暗記、思考、および意思決定においてユーザを支援するために、ユーザの精神内にあるものなど、個人化されたデータベースを含む。関連技術では、客観的情報データベースは、2+3=5などの情報を含み得るが、この情報に対するユーザの自信レベルが欠けている。例示的な実施形態では、システムは、その2+3=5を記憶するのみでなく、ユーザがこの式を解くことについて、どのくらい快適であるか、または自信があるかをも含むことになる。
【００３０】
例示的な実施形態では、以下で詳述するように、「2」は、数2に関するユーザの個別履歴に応じて、2本の指、2つのりんご、父および母は合わせて2人であるなど、感情的写真および話として記憶された、意味モジュールである。トピックの背景におけるすべての認知要素が知られているとき、ユーザは自信がある。この例では、トピックは加算であり得、セマンティクスは、数2、3、5などである。すべての認知要素の相関、すなわち、手の上の2本の指、および/または手の上の2つのりんごと3本の指、および/または3つのりんごと手の上の合計5本の指、あるいはボール内の5つのりんごが経験されるとき、ユーザは、自信があると感じるか、またはユーザの自信レベルが高い。「加算」学習のプロセスが完了され、人間は、自分の洞察において新しい意味モジュールを構築している。新しい意味論的洞察が構築され、ユーザの脳とシステムの両方において記憶される。システムは、ユーザの感情によるドライバである。システムは、人間とは異なり、その洞察において何が保存されているかを忘れず、人々が自分の暗記能力を強化することを助ける。
【００３１】
加えて、例示的な実施形態では、ユーザは、加算および減算などの演算について、異なる気持ちを有することがあり、システムは、これらの違いを考慮することになる。関連技術では、コンピュータは、「加算」および「減算」、「得る」および「失う」を同様に扱うが、それらに同じ認知的意味を与えることになる。例示的な実施形態では、システムは、ユーザが得ることを好み、失うことを好まないことを観察し得る。ユーザは、より多くのチョコレート、より多くのおもちゃなどを有することを好むが、ユーザは、おもちゃまたはキャンディなどを失うことを好まないことがある。したがって、例示的な実施形態では、システムは、これらの違いを考慮することになり、人間の精神と同様に、「加算」、「減算」、「得る」、および「失う」という動作は、異なるように扱われることになる。例示的な実施形態では、システムは、得ることおよび失うことを回避するためのユーザの決定に向かう、洞察から取り出される感情ベースの情報を処理に与え得る。
【００３２】
例示的な実施形態では、認知洞察は、認知感覚メモリを、ユーザから受信された感情的信号の検証と組み合わせることによって形成される。したがって、ユーザが試験のために勉強中である場合、システムは、さらなる勉強を必要とする概念、またはユーザが苦労している概念を決定する際に、ユーザを支援し得る。ユーザがモールにおいて買い物中である場合、システムは、ツアーに沿って自分が好んだアイテムの写真を取り込む際に、自動的にユーザを支援し、次いで最後に、それらの写真を表示し、最も関心のあるものを検討および選択し得る。
【００３３】
例示的な実施形態では、感情ベースの認知システムは、視覚情報(VI)、聴覚情報(AI)、および感情的情報(EI)を具現化する、認知情報モジュールを構築および処理するためのオペレーティングシステムおよび装置を含む。システムは、例示的な実施形態によれば、ユーザが同期的に見て、聞く画像、ビデオ、音声および音を取り込むための、少なくとも1つのカメラおよび1つのマイクロフォンと、以下でより詳細に説明するように、視覚および音響入力に対応する、愛、好む、好奇心が強い、用心深い、自信がある、および他の異なるタイプの感情信号など、ユーザの脳から生成された感情信号を取り込むための、少なくとも1つのセンサー、および好ましくはより多くとを含む。システムは、環境感覚感情信号のしきい値を使用して、環境リンクから内側への有意味な視覚情報および聴覚情報を可能にするフィルタリングプロセスを制御する。例示的な実施形態では、システムは、ユーザが彼の(または彼女の)精神を作業記憶に向けるときに生成された、思慮深い感情信号を取り込み、システムは、思慮深い感情信号を使用して、環境情報入力、たとえば、カメラおよびマイクロフォンからの視覚および聴覚をオフに切り替えて、非同期または不適切に同期される合成を回避する。この事例では、感情は、ユーザの精神における最近の思考に関連し、感情値がしきい値を上回るにもかかわらず、ユーザが見て、聞くものに関連しない。システムがこのタイプの入力を可能にする場合、誤った合成につながることになる。
【００３４】
例示的な実施形態では、システムは、環境的にフィルタリングされた感覚視覚および聴覚情報と、同期された感情的情報とを具現化する、認知情報モジュールを合成するように構成された処理装置を含み得る。例示的な実施形態では、システムは、認知感覚メモリを構築する認知感覚情報モジュールを記憶するための非一時的コンピュータ可読記憶媒体を含み得る。
【００３５】
例示的な実施形態では、認知洞察を発生させるように構成された認知処理システムは、中央処理装置(CPU)と、認知作業プロセッサと、長期メモリと、感情情報生成器と、認知作業ディスプレイとを含む。例示的な実施形態による長期メモリは、エピソードメモリと、意味メモリと、思考メモリとを含み得る。認知作業プロセッサは、以下でより詳細に説明する、認知作業センターと、バッファなどの登録メモリと、未完了作業メモリと、スケジュールドメモリとを含む。加えて、例示的な実施形態では、感情ベースの動作命令は、以下でより詳細に説明するように、人間の本能洞察に基づいて生成され得る。
【００３６】
図1は、例示的な実施形態による、感覚および感情的データを取り込むデバイスを示す図である。
【００３７】
図1に示すように、カメラ11は、例示的な実施形態によれば、ヘッドセット1上に設けられ得る。すなわち、左カメラ、中央カメラ、および右カメラ(図示せず)は、例示的な実施形態によれば、視覚データを取り込むために設けられ得る。これは、限定としてではなく、一例として設けられる。視覚データが、ユーザの携帯情報端末またはセルラー電話など、パーソナルデバイスを用いて取り込まれ得ることを、当業者は容易に諒解されよう。加えて、任意の数のカメラが使用され得ること、および、視覚データが単一のカメラによって、または複数のカメラによって与えられ得ることを、当業者は容易に諒解されよう。次いで、取り込まれた視覚データ(VI)は、少なくとも、プロセッサ(図示せず)と結合されたメモリを含む、電子ボード10に転送され得る。
【００３８】
例示的な実施形態では、電子ボード10は、感覚情報および感情的情報を処理して、図4に関して以下で詳細に説明するように、認知感覚メモリを生成し得る。また別の例示的な実施形態では、生成された認知感覚情報は、ヘッドセット1上に設けられた通信インターフェース(図示せず)を介して、記憶、監視、またはさらなる処理のために、別のリモートデバイスに送信され得る。たとえば、ヘッドセット1は、データをワイヤレスに、たとえば、Bluetooth(登録商標)、赤外線、WiFi、および/またはセルラーネットワークで、リモートサーバまたはクラウドへ、さらなる記憶、処理、または監視および共同管理のために送信するために、通信インターフェース(たとえば、ネットワークカード、アンテナ、および当業者に知られているか、または後に開発される他のインターフェース)を含み得る。たとえば、警察官は、捜査中にヘッドセット1を装着することがあり、管理者は、ヘッドセット1に、警察官の認知洞察を管理者に送信させることによって、オフィス内で警察官の作業を検討することができる。
【００３９】
加えて、ヘッドセット1は、1つまたは複数のマイクロフォン12と、バッテリー(図示せず)とを含み得る。マイクロフォン12は、限定としてではなく、一例として、左耳マイクロフォンと、右耳マイクロフォンと、中央マイクロフォンとを含み得る。聴覚情報が単一のマイクロフォンまたは複数のマイクロフォンを介して取り込まれ得ることを、当業者は容易に諒解されよう。
【００４０】
例示的な実施形態では、1つまたは複数の感情的センサー13が、ヘッドセット1上にさらに設けられる。図1は、4つの感情的センサーを示すが、これは、限定としてではなく、一例として設けられる。単一の感情的センサーであるが、好ましくは複数の感情的センサーが、感情的情報を取り込むために設けられることを、当業者は容易に諒解されよう。感情的センサー13は、感情的情報(EI)を検出する。すなわち、例示的な実施形態では、感情的情報(EI)は、脳の様々な部分における活動を検出することによって、複数のセンサー13から取得される。すなわち、EEG周波数および振幅は、ユーザの感情的レベルに基づいて変化する。例示的な実施形態では、不活性は、すべてのEEG成分の周波数および振幅が、あらかじめ決定されたしきい値を下回ることを意味する。EEGは、限定としてではなく、一例として設けられる。
【００４１】
一例として、人間の脳は、ユーザがリラックスしており、集中していない間、低活動信号を出力する。言い換えれば、低活動信号は、ユーザが、自分の感覚環境によって警戒していない、関心がない、または感動していないことを示す。ユーザが、観察されている(たとえば、聞かれている、および見られている)ものに関心があるか、またはそれに関して注意を払っているとき、感情信号の周波数および振幅は、それに応じて変化する。変化が、あらかじめ決定されたしきい値を超える場合、それによって、認知感覚モジュールを処理/作成/生成するために、電子ボード10において具現化されているプロセッサ(および/またはマイクロプロセッサ)へのVI、AI、およびEI入力を可能にするためのゲートをトリガすることになる。これは、限定としてではなく、一例として設けられる。例示的な実施形態による、感情的センサー13について、図2A〜図2Dを参照しながら、以下でより詳細に説明する。収集された視覚情報(VI)および音響情報(AI)、ならびに感情的情報は、互いに同期またはリンクされ、電子ボード10のメモリ内に記憶される。
【００４２】
図2A〜図2Dは、例示的な実施形態による、感情的情報(EI)を検出するための感情的センサーを示す図である。
【００４３】
図2A、図2C、図2B、図2Dに示すように、感情的情報(EI)は、少なくとも1つのセンサーが基準センサーであり得る、センサーS1〜S16からの出力に基づいて取得され得る。例示的な実施形態では、S1〜S16は、それぞれ、帯域データ信号のいくつかのチャネルを生成するEEGセンサーである。すなわち、S1〜S16は、図3に関して以下で詳述するように、それぞれのチャネル信号ET01〜ET12へと解釈されている、EEG信号を検出した。図2A〜図2Dは、センサーS1〜S16の位置決めを示す。たとえば、センサーS1〜S10は、以下でより詳細に説明するように、相関感情に関係する、ユーザの脳の左および右の側頭葉の周囲に配置され、センサーS11〜S16は、実行感情に関係する前頭葉の周囲に配置される。例示的な実施形態では、S1〜S16によって検出された信号は、解析、人間の感情を分類するための、マルチウェーブレット変換に基づく処理、特定のタイプの感情信号を生成する、脳の内側に空間的に位置しているいくつかの特定の点からの信号の推論のために使用され得る。
【００４４】
図3は、例示的な実施形態による、視覚情報、聴覚情報、および感情的情報を含む、認知モジュールの構成要素を示す図である。図3に示すように、感情的情報は、ユーザの個人的視点への異なる感情的意味を解釈する、複数の構成要素ET01〜ET12の様々な組合せを具現化し得る。例示的な実施形態では、ET01〜ET12は、センサーS1〜S16からの信号出力を処理することによって生成され得る。図3に示すように、認知情報モジュール3は、VI情報31と、AI情報32と、EI情報33とを含む。EI情報33は、センサーS1〜S16からの出力を処理および解析することによって取得される、生成された感情ET01〜ET12の値を含む。これは、限定としてではなく、一例として設けられる。
【００４５】
例示的な実施形態では、図3は、ユーザが自分の愛する人に会い、声を聞くとき、解釈された感情的信号を示す。たとえば、ET01は、高いとして示される愛感情領域を示し得、ET09は、同じく高い、自信がある感情領域を示し得、ET10は、明白な感情領域に割り当てられ得、同じく高い。ET01〜ET08のうちの1つが高いとき、ET09および/またはET10も高くなり、その理由は、何かが未知である場合、ユーザはそれを好きになれず、ユーザはこのアイテムに対する自信の欠如を感じるからである。ユーザが新しいレストランにおいて自分のお気に入りのピザを見るとき、ユーザはそのピザを好み得る(ET03が高くなり、およびET10)。また、それが自分のお気に入りの食品であるので、ユーザは明白に感じる。しかしながら、ユーザは、このピザがこの新しいレストランにおいて良いか否か自信がないことがあり、それが現在時間において良かったとすれば、次にユーザがこのレストランにおいてピザを見るとき、自分のET09が高くなり得る。
【００４６】
図4は、例示的な実施形態による、ユーザの認知洞察への環境情報入力のユーザの感情的相関を反映する、様々なタイプの感情に、感情的信号を分類するための表を示す図である。図4に示すように、何かを見ている、かつ/または聞いている人間がこの領域に関係するとき、ET01は生殖に関係し、たとえば、辺縁系(側頭葉の内側)における特定の点01は、性行動を引き起こすためのホルモンを生成することになる。人間の脳のこの特定の位置からの感情的信号は、人間が何を見るかに応じて、特定の周波数および振幅とともに生成される。信号は、(限定としてではなく、一例としてのみ)すべての16個のセンサーによって取り込まれ、次いで、プロセッサは、信号を解析し、計算し、(サポートベクターマシン方法を用いて、ユーザの頭上の16個のセンサーの定義された位置に基づいて)一例として、図3に示されたその元の形態を用いて、点01からの信号を定義する。プロセッサはまた、ET09およびET10が前頭葉における点09および10に対応すると決定し得る。
【００４７】
図5Aは、例示的な実施形態による、認知感覚メモリの構築を示すフロー図である。図5Aでは、視覚情報(VI)、音響情報(AI)、および感情的情報(EI)が、カメラ524、マイクロフォン526、および感情的センサー520からそれぞれ受信される。VIおよびAIは、感情的活動を検出する遅延時間に対応するために十分長い間、バッファされる、連続ストリームである。たとえば、子供は、自分が注意喚起または警告される5秒前に、自分の母が言ったことを思い出すことができる。センサー520からの感情的情報に基づいて、電子ボード10におけるプロセッサなど、プロセッサおよび/またはマイクロプロセッサ上に実装される、感情複合インタープリタ530において、感情505が、取得、解析、変換、および合成される。上記で説明したように、感情は複合感情的情報であり得、複合感情的情報は、上記で説明したものなど、感情的センサーによって検出されたいくつかの信号に基づいて取得される。マルチウェーブレット感情的信号は、上記で説明したように、様々なタイプの感情に分解および作成され得る。すなわち、例示的な実施形態では、感情信号は分解プロセスを受ける。複合感情の構成要素のうちの少なくとも1つがしきい値を上回り、たとえば、ユーザが、自分が見るかまたは聞くものに注意を払っている、かつ/またはそれに対する関心を示している場合、スイッチ532がオンにされ、バッファメモリ528内に記憶されている視覚情報および音響情報が、プロセッサまたはマイクロプロセッサ上に実装され得る認知モジュール合成器534において、感情複合インタープリタ530によって与えられた複合感情と結合され、感覚認知モジュールとして認知感覚メモリ540内で一緒に記憶される。例示的な実施形態では、感覚認知モジュールは、認知感覚メモリ540内で形成されたVI、AI、およびEIを含む。
【００４８】
図5Bは、例示的な実施形態による、認知感覚メモリまたはモジュールを構築する方法を示すフローチャートである。図5Bに示すように、認知システムは、動作5001において、たとえば、図1を参照しながら上記で説明したヘッドセット1を使用して、視覚、音響、および感情的データを受信する。動作5002において、感情位相空間再構築PSRが、感情的センサーからの受信された感情的データに基づいて生じる。動作5003において、サポートベクターマシン(SVM)を使用して、感情が分類される。すなわち、例示的な実施形態では、感情的データが処理されて、信号ET01〜ET12が生成される。動作5004において、感情複合解釈が、生成された信号ET01〜ET12の構成要素の値を決定する。動作5005において、用心深い感情値がしきい値と比較され、動作5005において、用心深い感情値がしきい値を上回って超えない場合、動作5008において、入力データが無視される。そうでない場合、動作5006において、入力データを含む認知感覚モジュールまたはメモリが形成され、動作5007において、作成された認知感覚モジュールが認知感覚メモリ内に記憶される。
【００４９】
図6は、例示的な実施形態による、認知感覚発生器を示すブロック図である。
【００５０】
例示的な実施形態によれば、および図6に示すように、ユーザ601は、環境602と対話する。環境602との対話は、ユーザ601に、運動感覚入力612、味覚入力610、嗅覚入力608、聴覚入力606、および視覚入力604を与え得る。たとえば、ユーザは、レストラン内のテーブルで座っていることがあり、次いで、自分の精神が様々な入力のうちの1つまたは複数を受信し得る。たとえば、ユーザは、ウェーターが見た目の良い山盛りのスパゲティの皿を運んで近づいてきて、自分の前のテーブルの上に皿を置くことを観察することがある。ウェーターは、「お客様のスパゲティです!」と言うことがある。これは、限定としてではなく、一例として与えられる。自分の皿の食品が美味しい(味覚入力)、およびその匂いが良い(嗅覚入力)ことを含む、いくつかの他の感覚情報が、ユーザによって取得されることがあり、ユーザは、皿が汚れていること(視覚入力)、ならびに、皿および/または食品が熱いこと(運動感覚入力)をさらに観察することがあり、ユーザは、皿から来るジュージューいう音(聴覚入力)にさらに気づくことがある。言い換えれば、例示的な実施形態では、環境602との対話は、ユーザ601に、リアルタイムで自分の精神によって処理されている様々な感覚入力を与える。ユーザの脳に与えられた様々な感覚入力は、感情的信号を生成する。たとえば、ユーザは、自分がその食品を好きだと感じることがある。センサーは、増大されたEEG活動を検出することになり、合成感情ET03は、感情生成器とともに、図6に示すように、極めて高い値を有し得る。この高値の感情的信号は、システムがすべてのリアルタイムの視覚、聴覚、および感情的情報を、上記で説明したように、その感覚メモリに記録することを可能にする。後で図7を参照しながら以下でより詳細に説明するように、感覚メモリまたはモジュールは、洞察発生器に転送されて、検証され、ユーザの意味論的な「スパゲティ」領域内に保存されることになる。したがって、ユーザの洞察において、意味論的な「スパゲティ」が根本的に個人化され、この情報は、「スパゲティ」に関連するトピック、思考などのために取り出されるとき、ユーザにとって極めて有意味である。
【００５１】
例示的な実施形態では、ユーザは、図1に示すヘッドセット1などのデバイスを装着中であり得、このデバイスは、例示的な認知感覚発生器600であり得る。
【００５２】
また別の例示的な実施形態では、認知感覚発生器は、コンピュータ、パーソナルアシスタントデバイス、セルラー電話などのモバイルデバイスのための認知情報を供給し得る。これらは、限定としてではなく、一例として与えられる。例示的な実施形態は、ユーザによって装着されている認知感覚発生器600について説明するが、これは例の1つとして与えられる。認知感覚発生器は、様々な装置の組合せ、たとえば、外部マイクロフォンおよび外部カメラ、ならびにユーザを観察するリモート感情的センサーなどであり得ることは、当業者は容易に認識されよう。
【００５３】
例示的な実施形態によれば、認知感覚発生器600は、少なくともプロセッサ636と、ハードウェアメモリ、および場合によっては、通信インターフェース638上で実装される、バッファメモリ628とを含む。
【００５４】
例示的な実施形態では、認知感覚発生器600は、ハードウェアメモリ、ハードウェアプロセッサ、マイクロフォン、カメラ、圧力センサーなど、いくつかのハードウェア構成要素およびソフトウェア構成要素を含む。
【００５５】
例示的な実施形態では、関連技術のパーソナルアシスタントとは異なり、認知アシスタントは、少なくとも3つの感覚入力、すなわち、ユーザの環境から取得された視覚情報、音響情報、およびまたユーザから取得された感情的情報において動作する。例示的な実施形態では、ユーザの認知世界が自分の感情的世界と統合される。メモリはまた、認知データに対するユーザの個人的感情をも含む。
【００５６】
図6に示すように、認知感覚発生器600は、ユーザの観察、たとえば、黒板に教授によって書かれたテキスト、店のウィンドウにおいてディスプレイされたTシャツなどを取り込む、カメラ624を含み得る。認知感覚発生器600は、ユーザの発話、または視聴された対象からの音声などの音響入力を取り込むために、マイクロフォン626をさらに含み得る。たとえば、教授が黒板にグラフを描いているか、または画面上に示された概念を説明している間の教授の音声、あるいは店のウィンドウからの広告の音楽などである。
【００５７】
例示的な実施形態では、認知感覚発生器600は、カメラ624を介して視覚情報(VI)、マイクロフォン626を介して音響情報(AI)を取り込み、取り込まれた情報をバッファメモリ628内に記憶する。バッファメモリ628は、人間の精神の感覚レジスタと見なされ得る。たとえば、バッファメモリ628の視覚感覚レジスタは、約1秒のVIを記憶し得、聴覚感覚レジスタは、約5秒のAIを記憶し得る。この感覚データまたは情報は、ユーザが必ずしも注意を払っているとは限らない場合があるときでも、バッファメモリ628の様々な感覚レジスタ内に記憶される。それは単に、ユーザの最後の観察である。言い換えれば、それは、感情的信号が取得されるより、あらかじめ決定された時間の部分(たとえば、数秒)だけ前に起こったことである。例示的な実施形態では、受信された感情的情報より前の1秒の視覚情報および5秒の音響情報が使用される。例示的な実施形態では、これは、およそ1秒の視覚データおよび5秒の音響に反応する人間の脳を模倣するものである。これは、限定としてではなく、一例として与えられる。変形形態として、感情的信号が受信される前に取得される感覚データの量は、一例として、年齢に基づいて変動され得る。新しいデータがカメラ624およびマイクロフォン626から取得されるとき、そのデータは、バッファ628内に現在記憶されている感覚データを上書きする。
【００５８】
感情センサー620から取得された感情的情報またはデータ(EI)は、認知モジュールプロセッサ636に入力される。認知モジュールプロセッサ636において、感情センサー620から受信された感情的データが、感情複合インタープリタ630によって最初に処理されて、感情的情報が生成される。例示的な実施形態では、様々なセンサーから受信された感情的データが、基準値と比較されて、感情的情報のタイプが取得され、様々なタイプの感情を含む複合感情が、それらの対応する値とともに生成される。次に、各感情タイプのための周波数のピーク、または振幅の幅、あるいはそれらの2つの組合せが、しきい値と比較される。例示的な実施形態では、EIが、感情しきい値フィルタ632によってしきい値と比較されて、脳の活動またはユーザの感情が検出される。例示的な実施形態では、高い感情は、記憶されるべきである、有意味な情報をユーザに示す。したがって、例示的な実施形態では、感情しきい値フィルタ632は、ユーザに固有の有意味な情報入力を検出する。たとえば、ユーザが、観察されている対象についての情報に注意を払っている、関心がある、それを好む、愛する場合、その対象が認知感覚メモリ640内に記憶されることになり、通信インターフェース638によって出力され得る。したがって、検出された感情的信号が、ユーザにとって有意味である認知感覚モジュールを定式化するために、バッファメモリ内の感覚データを処理するためのトリガとして働く。
【００５９】
認知感覚モジュールは、メモリ容量がいっぱいになるまで、認知感覚メモリ640内に記憶され、削除される必要があるか、または、たとえば、通信インターフェース638を通して、別個のデバイスにバックアップされる。通信インターフェース638は、認知モジュールプロセッサ636の一部として示されるが、通信インターフェース638は、例示的な実施形態によれば、別個の構成要素、ネットワークカードなどのハードウェアおよびソフトウェアの組合せであり得ることを、当業者は容易に諒解されよう。例示的な実施形態では、バッファメモリ628および認知モジュールプロセッサ636は、電子ボード650上に実装される。
【００６０】
重要な情報は、図7に関してより詳細に説明するように、ユーザの精神の長期記憶に引き渡され得る。情報を長期記憶に引き渡すために、ユーザは、感覚データが長期記憶内に記憶されるように、感覚データを列挙し、自分に暗記するように強制する必要がある。単に感覚データに注意を払うか、またはそれを好むことは、十分ではない場合があり、自分の脳の長期記憶内に情報を記憶するために、ユーザによる追加の努力または作業が必要になる。例示的な実施形態では、短期記憶が検証される、たとえば、関心または理解のレベルが再測定されるとすれば、短期記憶が長期記憶に引き渡される。すなわち、記憶の短期エリア内に記憶された認知感覚記憶は、新しい記憶が受信されるとき、変化し得る。これらの認知感覚記憶は、以下で詳述するように、長期記憶内に記憶されることに移され得る。
【００６１】
例示的な実施形態では、センサーS1〜S12によって出力された値に基づいて、ユーザが情報を思い出すために追加の努力を要していること、および人間の精神と同様に、図7を参照しながら説明するように、情報が長期メモリに引き渡され得ることが決定され得る。
【００６２】
図7は、例示的な実施形態による、認知洞察を発生させるように構成された、認知洞察発生器700を示すブロック図である。認知洞察発生器は、CPU722と、認知作業プロセッサ711と、長期メモリ730と、感情情報生成器70と、認知作業ディスプレイ707とを含む。長期メモリ730は、例示的な実施形態によれば、エピソードメモリ724と、意味メモリ726と、思考メモリ728とを含み得る。認知作業プロセッサ711は、認知作業センター716と、登録メモリ712と、未完了作業メモリ714と、スケジュールドメモリ720とを含む。認知洞察発生器700は、感情的情報生成器70を含み、感情的情報生成器70は、ユーザ7から感情的入力705を受信する。
【００６３】
例示的な実施形態では、認知洞察発生器700は、カメラおよびマイクロフォンからの視覚および音響データを用いて作業するのではなく、代わりに、システムにおいて提供され、認知作業ディスプレイ707上に表示された、既存の視覚および音響情報を用いて作業する。感情的情報EIは、感覚発生器600が行うのと同様に、EI生成器70によって発生される。図6に示す感覚発生器600を使用するとき、ユーザは、環境からVIおよびAIを受信して、EIを生成するが、発生器700において、ユーザは、画面を見て、スピーカーを聞いて、EIを生成する。認知作業ディスプレイ707は、認知作業メモリ718からのデータを表示する。
【００６４】
具体的には、例示的な実施形態では、ユーザ7は、認知作業ディスプレイ707を見て、認知作業ディスプレイ707は、ユーザ7に視覚データ704および聴覚データ706を与える。ユーザの環境の観察に基づいて、感情生成器G7は、感情705を生成する。認知洞察発生器は、感情的情報生成器70による感情的データ705を受信し、感情的情報(EI)を生成する。
【００６５】
例示的な実施形態によれば、感情的情報生成器70は、ユーザの感情を検出するための、感情センサー72を含む。これは、限定としてではなく、一例として設けられることを、当業者は容易に諒解されよう。感情センサー72は、認知洞察発生器700の外部であり得る。次に、感情的情報生成器70は、感情複合インタープリタ73をさらに含み、感情複合インタープリタ73は、感情センサー72によって出力された信号を処理し、様々なタイプの感情的情報を生成する。
【００６６】
図8は、例示的な実施形態による、認知作業情報とユーザの認知洞察との感情的相関を反映する、様々なタイプの感情に、感情的信号を分類するための図表を示す図である。図8に示すように、ユーザ8の感情生成器G8は、(感情センサー72と類似した)感情センサー820によって感知される、相関感情および実行感情など、様々な感情を生成する。感情複合インタープリタ73(図8において感情複合インタープリタ830として示す)は、センサーからの入力を解析し、一例として、対応する値をもつET01...ET12を含む感情的情報(EI)83を生成する。
【００６７】
図7に示すように、感情情報生成器70は、通信インターフェース78を有し、通信インターフェース78は、生成された感情情報(EI83)を入力および出力インターフェース710に送信し、入力および出力インターフェース710は、次に、生成された感情情報(EI83)を認知作業プロセッサ711に与える。生成された感情情報は、登録メモリ712内に記憶され得る。
【００６８】
図7に示すように、認知感覚モジュール(EIと組み合わされた視覚および聴覚情報を含み得る)は、登録メモリ712内に登録され、次いで、以下で詳述するように、認知作業ディスプレイ707上のその表示におけるユーザの感情と、長期メモリ内のその相関情報とに基づいて、認知作業センター716の内部の認知作業メモリ718によって検証または再分類され得る。
【００６９】
人間の脳は、作業記憶を含み、作業記憶は、精神的動作を行うために必要に応じて、目および耳から直接受信された短期記憶を、長期記憶から取り出されている関連情報またはデータとともに保つことができる。たとえば、2+3の演算を行うために、人間の脳は、黒板から作業記憶に直接、2および3および+の視覚情報を取得することになる。2、3、および+の意味論的な意味は、テキスト「2」、2本の指、2つのりんご、テキスト「3」、3本の指、3つのりんご、テキスト「加算」、父および母、一緒などの視覚として、長期記憶から取り出される必要がある。5歳男児の人間の精神は、一例として、認知作業ディスプレイとして紙上にすべてのこれらのセマンティクスを描くことができる。次いで、セマンティック5が、5歳男児の作業記憶内で取り出されることになり、5歳男児は、1枚の紙に答えの5を書くことができる。
【００７０】
例示的な実施形態では、人間の精神を模倣するために、認知作業センター716(ハードウェアプロセッサによって実行される)が提供され、認知作業センター716は、以下でより詳細に説明するように、登録メモリ712内に登録されたメモリを取得し、次いで、認知作業ディスプレイ707上にそれらのメモリを表示し、長期メモリのうちの様々なメモリから取得された、更新された相関とともに収集された、更新された感情的情報に基づいて、それらのメモリを検証する。
【００７１】
認知作業センター716は、認知作業ディスプレイ707とともに、人間の精神における内なる声および内なる目であると考えられ得る。認知作業センター716は、意識的な洞察および/または思考を計画および生成し、後に取り出すために、および将来の思考を処理するために、それらを長期メモリ730に記憶する。認知作業センター716はまた、ソーシャルメディア、インターネットなどを介して、他の友人と、ネットワーク702を介して、意識的な洞察および/または思考を共有することもできる。
【００７２】
図7に示すように、認知作業センター716は、生成された認知感覚メモリまたはモジュールを受信し、それを認知作業ディスプレイ707上に表示されるように送る。ユーザは、認知作業ディスプレイ707上に表示された認知感覚モジュールを検討し、感情を生成することになり、感情が次いで、感情情報生成器70によって感情的情報(EI)に処理される。認知作業センター716は、感情的情報(EI)をパースして、図8に示すように、受信された感覚情報(VIおよびAI)に応答して、ユーザによって経験された感情の様々なタイプを決定する。
【００７３】
一例として、認知作業センター716は、当技術分野において知られているか、または後に開発される、画像認識技法を使用して、視覚情報における対象を抽出し、当技術分野において知られているか、または後に開発される、音声テキスト変換技法を使用して、VIおよびAIにおいて具現化されている対象のより詳細な仕様を抽出する。次いで、認知作業センター716は、分類されたVIおよびAIおよびEIを、決定されたタイプの感情的信号とともに、長期メモリのエリアのうちの1つにおいて記憶する。たとえば、認知作業センター716が、ET01が最高であるET01、ET02、ET09、およびET10において、EIが高い値を有すると決定する場合、認知感覚モジュール(VI、AI、およびE)は、(図8に示すように)長期メモリMD1におけるカテゴリ愛の下の、意味領域726 MD01内に記憶されることになる。
【００７４】
図7に示すように、長期メモリ730(図8におけるMD1)は、VIおよびAI情報に応答して、ユーザによって呼び出された対応する感情を含む、エピソードメモリを記憶する、エピソードエリア724を含み得る。エピソードエリア724は、それらがユーザのために呼び出した感情を含む、イベントおよび個人的経験を記憶する。すなわち、例示的な実施形態では、エピソードメモリは、すべてのメモリ(同じく意味エリア内に保存され得るもの)を含むが、これらのメモリは、年代順に記憶される。たとえば、ユーザは、このエピソードエリア724から、去年の年次総会についての情報を取り出し得る。
【００７５】
例示的な実施形態では、認知作業ディスプレイ707は、一例として、認知感覚メモリ740から、または登録メモリ712から取り出された、VIおよびAIを表示する。しかしながら、ディスプレイ707上に表示される情報は、クラスにおいて、ユーザが見て聞いていた情報とは異なり得る。自宅で、ユーザは、ディスプレイ707上でクラスにおいて取得された同じVIおよびAIを検討し得、セマンティックまたはトピックの検討に基づいて、ユーザの洞察とのより多くの相関、たとえば、より深い理解および/またはより高い自信レベルを構築し得る。例示的な実施形態では、少なくとも自信感情が高いレベルであることに基づいて、認知作業センター716は、システムが認知感覚モジュールを長期メモリに保存することを可能にし得る。センター716が他の緊急のタスクとともに作業する必要がある間に、自信感情と明白な感情の両方が低い場合、認知情報は、作業メモリが緊急のタスクを終了するとき、さらなる取出しおよび処理のために、未完了作業メモリ714に保存される。
【００７６】
別の例として、図8に示すように、ユーザが、警察(MD02-人々)、ピザ(MD03-食品)、車(MD04-物)、象(MD05-動物)、木(MD06-植物)、雨(MD07-現象)、食べること(MD08-プロセス)など、領域MD01->MD06をもつ単純なセマンティックを学ぶ場合、学習された認知的意味が、そのそれぞれの領域に記憶され、最高のお気に入り(最も好かれたアイテム)が、それぞれの領域内の最上にある。ユーザが領域(自分の長期メモリ)を探索するとき、メニュー画面は、MD01->MD08のための8つのアイコンとともに、ディスプレイ707を介して、ユーザに提供される。ユーザが食品について思考する場合、ユーザは、アイコンMD03を選択することになり、次いで、(ユーザがチョコレートを最も好む場合)チョコレートのセマンティックが表示されることになる。これは、限定としてではなく、一例としてのみ与えられる。例示的な実施形態では、ユーザは、長期メモリの様々な領域から、自分の最もお気に入りの食品、人々などを取り出し得る。
【００７７】
別の例として、ユーザが複雑なセマンティックを学ぶ場合である。それは、思考であると見なされ、その重要度または利益における感情に関連する。たとえば、ユーザが、新しいプロセス、または新しいビジネスプランの設計を終了するとき、それは、複雑な完了された思考となり、すべてのET09(自信がある)、ET10(明白)、およびET11(望む)がそれらの高いレベルである。しかしながら、その設計(またはプラン)が、最近の市場においてその有望な有用性によって、ユーザを極めて望むように感じさせており、ユーザの感情ET11が、ET9、ET10と比較して最高の値を有し(ユーザがまた、設計(またはプラン)に極めて自信があり、明白であるが、ユーザの望む感情、ユーザの希望は、上記の感情の3つのタイプのうちの最高レベルである)、それにもかかわらず、これは、領域MD11-望む思考の領域上に保存され得る。通常、これらのタイプの思考は、個人の「希望」、「信念」、および「欲望」と名付けられる。それらは通常、我々の精神の最上にある。
【００７８】
探究的感情は、人間の本能からのものである。例示的な実施形態では、学生が10個の概念を勉強した場合、認知作業センター716は、これらの概念を思考エリア728に、ユーザが最もよく知っている概念をMD09の最上部に、最も難しく、最も面倒に見える概念、試験において失敗する危険が最も高い概念を、領域MD12の最上部に保存し得る。これらの概念は、センサーS1〜S16などのセンサーによって測定されるようなユーザの感情的状態に基づいて分類される。思考エリア728は、ユーザの様々な思考を定義する。
【００７９】
長期メモリ730の意味エリア726は、人々MD02、食品MD03、物MD04などを定義し得る。たとえば、物MD04のための意味メモリエリアは、衣類、住宅など、いくつかの下位領域に分割され得る。各領域では、ユーザが領域を探索するとき、お気に入りの下位領域が最上部にある。ユーザがメニュー上で「MD04」アイコンを選択するとき、たとえば、車、住宅、ゴルフのアイコンが、メニュー画面上に現れることになるようになる。
【００８０】
長期メモリ730は、限定としてではなく、一例として、様々なエリアに論理的に分割され得る。分割は、物理的であり得、または別個のメモリが、人間の精神における記憶の様々なエリアをまねるために使用され得る。
【００８１】
認知作業プロセッサ711はまた、スケジュールドメモリ720を含む。スケジュールドメモリ720は、次いであらかじめ決定された時間において、認知作業センター716によって実行されるように完了される、いくつかのトピックを記憶し得る。たとえば、ユーザは、スケジュールドメモリ720内に、月曜午前8時にミーティングのための準備、または火曜午前10時に売買契約を提出、を保存し得る。あらかじめ決定された時間に実行された後、これらのトピックは、通常の完了されたトピックとして、長期メモリ730内に記憶されることになる。したがって、例示的な実施形態では、認知作業メモリ718内の完了されたトピックまたは思考は、スケジュールノートのセットとして具現化する場合、長期メモリ730ではなく、スケジュールドメモリ720に移動され得る。
【００８２】
図9は、例示的な実施形態による、認知洞察を発生させる方法を示すフローチャートである。
【００８３】
例示的な実施形態では、ユーザは、動作9001において、トピックを選択し得る。動作9002において、トピックは、動作9002における認知作業ディスプレイによって表示され得る。ユーザは、動作9003において、トピック背景を検討し、相関が定義される。相関は、入力されたトピックが2である場合、2本の指、2人の親を含み得る。動作9004において、相関する洞察が長期メモリから取り出され、動作9005において、取り出された相関洞察が表示される。ユーザが表示されたトピックを検討する間、感情的情報は、ユーザの感情的状態、たとえば、ユーザが、自信がある、明白、心配している、望む、好奇心が強いなどを感じることに基づいて生成される。取得された感情的情報(EI)は、基準状態と比較される。一例として、動作9006において、取得されたET09および/またはET10と、参照されたサンプルとの間の区別が、あらかじめ設定されたしきい値THを上回る場合、システムは、動作9007において、スケジュールが認知モジュールコンテンツにおいて設定されているか否かをさらにチェックする。スケジュールが設定されていない場合、動作9010において、後に取り出すために、情報が長期メモリ内に保存される。スケジュールが設定されている場合、動作9008において、設定された時間において処理するために、情報がスケジュールドメモリ内に保存される。
【００８４】
次に、ET09およびET10と参照されたサンプルとの間の両方の区別がしきい値を下回る、たとえば、ユーザがまだトピックを理解していない、より多くの思考時間を必要とする、より多くの相関、より自信をもつための証拠を取得する、たとえば、トピックがより多くの処理を必要とする場合、システムは、動作9009において、作業メモリが利用可能であるか否かをチェックする。動作9009において、作業メモリが利用可能である場合、システムは、トピックが理解および完了されるまで、表示およびさらに処理するために、未完了トピックを動作9002に戻す。一方、動作9009において、作業メモリが利用可能ではない場合、後に処理するために、ET11値およびET12値が、重要なレベルについて定義され、未完了メモリ内に保存される。
【００８５】
別の例として、ユーザは、自分が好んだすべての買い物アイテムを取り出すことによって、自分の買い物経験を検討することを要求することがある。ユーザは、図7に示された認知洞察発生器700(CIP)など、認知洞察発生器に感覚メモリを転送し得る。CIPは、受信された感覚メモリを年代順に登録メモリ内に記憶する。次いで、プロセッサ711は、ET04値順に再リストすることができる。ユーザは、管理されたもののリストを有することになり、最もお気に入りのアイテムが(対象が生成した感情ET04の値に基づいて、最もお気に入りから最もお気に入りではないものへの)リストの最上部に現れる。
【００８６】
様々な例示的な実施形態によれば、認知モジュールプロセッサは、改善された、個別の、人間の精神として機能し得る。対応する感情的情報とともに、長期メモリ記憶内に記憶された参照メモリに基づいて、認知モジュールプロセッサは、「これを食べてはいけません、あなたはブロッコリーを好きではありません」などの警報を出力するか、または、「こちらはジョンです、あなたはジョンとスポーツカフェAで野球を観戦することが好きです」など、ユーザについての認知洞察を出力し得る。また、認知モジュールプロセッサは、受信された感覚データに基づいて、いくつかの行為を実行し得る。たとえば、認知モジュールプロセッサは、ユーザが車の事故に遭っていることを(高い恐怖感情レベルとともに)決定する場合、911に電話をかけるために信号を送り得る。認知モジュールプロセッサは、ユーザがアンの不在で寂しいことなどを決定する場合、アンへのテキストメッセージを生成し得る。
【００８７】
様々な例示的な実施形態の説明が、例示の目的で提示されたが、網羅的、または開示する実施形態に限定されるものではない。
【００８８】
多数の変更が、説明した実施形態の範囲および精神から逸脱することなく、当業者には明らかであり得る。本明細書で使用した用語は、実施形態の原理、実際的適用例、または市場において見られる技術を超える技術的改善を最良に説明するために、あるいは本明細書で開示する実施形態を当業者が理解することを可能にするために選定された。
【００８９】
例示的な実施形態では、認知モジュールプロセッサは、有形のコンピュータ可読媒体上で実装され得る。本明細書で使用する「コンピュータ可読媒体」という用語は、実行のためにプロセッサに命令を提供することに関与する、任意の媒体を指す。コンピュータ可読媒体は、たとえば、限定はしないが、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、またはデバイス、あるいは上記のいずれかの好適な組合せであり得る。コンピュータ可読媒体のより多くの具体例(非網羅的なリスト)は、以下を含むことになり、すなわち、2つ以上のワイヤを有する電気接続、フロッピーディスクまたはフレキシブルディスクなどのポータブルコンピュータディスケット、磁気テープまたは任意の他の磁気媒体、ハードディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、消去可能プログラマブル読取り専用メモリ(EPROMまたはFlashメモリ)、メモリカード、任意の他のメモリチップまたはカートリッジ、光ファイバー、ポータブルコンパクトディスク読取り専用メモリ(CD-ROM)、任意の他の光媒体、パンチカード、紙テープ、孔のパターンをもつ任意の他の物理媒体、あるいは、そこからコンピュータが読み取ることができる任意の他の媒体、または上記の好適な組合せである。
【００９０】
本文書の文脈では、コンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって使用するための、またはそれに関連したプログラムを含むか、または記憶することができる、任意の有形の非一時的媒体であり得る。
【００９１】
別の形態は、信号媒体であり、たとえば、ベースバンドにおいて、または搬送波の一部として、コンピュータ可読プログラムコードがその中で具現化された、伝搬されたデータ信号を含み得る。そのような伝搬された信号は、限定はしないが、電磁、光学、またはそれらの任意の好適な組合せを含む、様々な形態のいずれかをとり得る。信号媒体は、データバスを備えるワイヤを含む、同軸ケーブル、銅線、および光ファイバーを含み得る。信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによって使用するための、またはそれに関連したプログラムを通信、伝搬、またはトランスポートすることができる、任意の媒体であり得る。
【００９２】
コンピュータ可読媒体上で具現化されたプログラムコードは、限定はしないが、ワイヤレス、ワイヤライン、光ファイバーケーブル、RFなど、または上記の任意の好適な組合せを含む、任意の適切な媒体を使用して送信され得る。
【００９３】
例示的な実施形態の態様のための動作を実行するためのコンピュータプログラムコードは、Java(登録商標)、Smalltalk、C++、.Netなどのオブジェクト指向プログラミング言語、および従来の手続き型プログラミング言語を含む、1つまたは複数のプログラミング言語の任意の組合せにおいて書かれ得る。プログラムコードは、ユーザのコンピュータ上で完全に、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータ上で部分的に、ユーザのコンピュータ上で部分的に、およびリモートコンピュータ上で部分的に、またはリモートコンピュータもしくはサーバ上で完全に実行し得る。リモートコンピュータは、ローカルエリアネットワーク(LAN)もしくはワイドエリアネットワーク(WAN)を含む、任意のタイプのネットワークを通して、ユーザのコンピュータに接続され得、または、接続は、(たとえば、インターネットサービスプロバイダを使用して、インターネットを通して)外部コンピュータに対して行われ得る。
【００９４】
コンピュータ可読媒体は、本明細書で説明する方法および/または技法のいずれかを実装するための命令を搬送し得る、機械可読媒体の一例にすぎない。そのような媒体は、限定はしないが、不揮発性媒体および揮発性媒体を含む、多数の形態をとり得る。不揮発性媒体は、たとえば、光または磁気ディスクを含む。揮発性媒体は、ダイナミックメモリを含む。
【００９５】
コンピュータ可読媒体の様々な形態は、実行のためにCPUなどのプロセッサに、1つまたは複数の命令の1つまたは複数のシーケンスを搬送することに関与し得る。たとえば、命令は、リモートコンピュータから磁気ディスク上で最初に搬送され得る。別法として、リモートコンピュータは、命令をそのダイナミックメモリにロードし、モデムを使用して、電話回線を介して命令を送ることができる。コンピュータシステムのローカルのモデムは、電話回線上でデータを受信し、赤外線送信機を使用して、データを赤外線信号に変換することができる。赤外線検出器は、赤外線信号において搬送されたデータを受信することができ、適切な回路は、データバス上にデータを配置することができる。バスは、揮発性記憶装置にデータを搬送し、揮発性記憶装置から、プロセッサが命令を取り出し、実行する。揮発性メモリによって受信された命令は、場合によっては、プロセッサによる実行の前または後のいずれかで、永続的記憶デバイス上に記憶され得る。命令はまた、当技術分野において周知の様々なネットワークデータ通信プロトコルを使用して、インターネットを介して、コンピュータプラットフォームにダウンロードされ得る。
【００９６】
図におけるフローチャートおよびブロック図は、様々な例示的な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示す。この点について、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実装するための1つまたは複数の実行可能命令を備える、モジュール、セグメント、またはコードの部分を表し得る。また、いくつかの代替実装形態では、ブロックにおいて示された機能は、図において示された順序以外で発生し得ることにも留意されたい。たとえば、連続して示された2つのブロックは、実際には、実質的に同時に実行され得るか、または、2つのブロックは、関与する機能に応じて、逆の順序で実行されることもあり得る。また、ブロック図および/またはフローチャート図の各ブロック、ならびにブロック図および/またはフローチャート図におけるブロックの組合せは、指定された機能または行為、あるいは専用ハードウェアおよびコンピュータ命令の組合せを行う、専用ハードウェアベースシステムによって実装され得ることにも留意されたい。
【００９７】
本明細書で使用する用語は、特定の実施形態について説明するためのものにすぎず、限定するものではない。本明細書で使用するとき、単数形「a」、「an」および「the」は、コンテキストが別段に明示しない限り、複数形をも含むものとする。用語「備える(comprise)」および/または「備えている(comprising)」は、本明細書で使用するとき、述べた特徴、整数、ステップ、動作、要素、および/または構成要素の存在を指定するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。
【００９８】
以下の特許請求の範囲における、対応する構造、材料、行為、およびすべてのミーンズまたはステッププラスファンクション要素の均等物は、特に請求されるような、他の請求された要素との組合せにおいて、機能を行うための任意の構造、材料、または行為を含むものとする。
【００９９】
例示的な実施形態の説明は、例示および説明の目的で提示されており、任意の形態において網羅的なまたは限定するものではない。多数の変更形態および変形形態は、本発明の範囲および趣旨から逸脱することなく、当業者に明らかになるであろう。例示的な実施形態について、動作およびその実際的適用例について説明するため、および、当業者の他の者が、企図された特定の使用に適しているような様々な変更形態とともに様々な実施形態を理解することを可能にするために、選定および説明した。すなわち、これらの実施形態の様々な変更形態は、当業者に容易に明らかとなり、本明細書で定義する一般原理および具体例は、発明的能力を使用することなしに、他の実施形態に適用され得る。たとえば、上記で説明した異なる実施形態の特徴の一部または全部は、単一の実施形態に結合され得る。逆に、上記で説明した単一の実施形態の特徴のいくつかは、実施形態から削除され得る。したがって、本開示は、本明細書で説明する例示的な実施形態に限定されるものではなく、特許請求の範囲の特徴およびその均等物によって定義されるような、最も広い範囲を与えられるべきである。
【符号の説明】
【０１００】
1  ヘッドセット
3  認知情報モジュール
7、8、601  ユーザ
10、650  電子ボード
11、524、624  カメラ
12、526、626  マイクロフォン
13、520  感情的センサー、センサー
31  VI情報
32  AI情報
33  EI情報
70  感情情報生成器、感情的情報生成器、EI生成器
72、620、820  感情センサー
73、530、630、830  感情複合インタープリタ
78、638  通信インターフェース
83  感情的情報(EI)
505  感情
528  バッファメモリ
532  スイッチ
534  認知モジュール合成器
540、640、740  認知感覚メモリ
600  認知感覚発生器、感覚発生器
602  環境
604  視覚入力
606  聴覚入力
608  嗅覚入力
610  味覚入力
612  運動感覚入力
628  バッファメモリ、バッファ
632  感情しきい値フィルタ
636  プロセッサ、認知モジュールプロセッサ
700  認知洞察発生器、発生器
702  ネットワーク
704  視覚データ
705  感情的入力、感情、感情的データ
706  聴覚データ
707  認知作業ディスプレイ、ディスプレイ
710  入力および出力インターフェース
711  認知作業プロセッサ、プロセッサ
712  登録メモリ
714  未完了作業メモリ
716  認知作業センター、センター
718  認知作業メモリ
720  スケジュールドメモリ
722  CPU
724  エピソードメモリ、エピソードエリア
726  意味メモリ、意味領域、意味エリア
728  思考メモリ、思考エリア
730  長期メモリ
ET01、ET02、ET04〜ET12  チャネル信号、構成要素、生成された感情、信号
ET03  チャネル信号、構成要素、生成された感情、信号、合成感情
G7、G8  感情生成器
S1〜S16  センサー
【図１】
2019512822.tif 000003
【図２Ａ】
2019512822.tif 000004
2019512822.tif 000005
【図２Ｂ】
2019512822.tif 000006
2019512822.tif 000007
【図２Ｃ】
2019512822.tif 000008
2019512822.tif 000009
【図２Ｄ】
2019512822.tif 000010
2019512822.tif 000011
【図３】
2019512822.tif 000012
【図４】
2019512822.tif 000013
【図５Ａ】
2019512822.tif 000014
【図５Ｂ】
2019512822.tif 000015
【図６】
2019512822.tif 000016
【図７】
2019512822.tif 000017
【図８】
2019512822.tif 000018
【図９】
2019512822.tif 000019
【手続補正書】
【提出日】平成30年10月15日(2018.10.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
個人的感情ベースの認知支援システムであって、
ユーザによって観察された同期化された視覚および音声情報を含む環境についてのデータを、リアルタイムで、取り込むように構成された、少なくとも1つの機構と、
前記取り込まれた同期化された視覚および音声情報に対応するユーザの感情的状態を取り込むように構成された、少なくとも1つのセンサーと、
前記取り込まれた感情的状態に基づいて、前記ユーザの前記環境の個人的意味を特定するように構成されたプロセッサと、
前記特定された個人的意味に基づいて、メモリの異なるエリア内に、前記環境についてのデータとともに、前記特定された個人化された意味を記憶するように構成されたメモリと
を備え、
前記プロセッサによる前記環境の前記個人的意味の前記特定は、
前記ユーザの前記取り込まれた感情的状態およびデータベースに記憶された特有の本能参照信号に基づいて、前記記憶された取り込まれた同期化された視覚および音声情報に対して、前記ユーザの本能的感情信号を、フィルタリングし、検出し、特定することと、
前記特定された対応する本能的感情信号に基づいて本能的感情コードである前記環境の前記個人的意味を特定することであって、前記特定された対応する本能的感情コードは、前記特定された対応する本能的感情信号と前記特有の本能参照信号との構成要素間の特定された識別を具現化する、特定することと、
前記特定された対応する本能的感情コードを対応する前記記憶された取り込まれた同期化された視覚および音声情報と合成することによって認知モジュールを生成することと
を含み、
前記異なるエリアが人間本能記憶の特有の領域を表す前記特有の本能参照信号に対応するように、前記メモリの前記異なるエリアが論理的に区分される、個人的感情ベースの認知支援システム。
【請求項２】
前記データの前記個人化された意味に基づいて、結果を出力するように構成された出力器をさらに備え、
前記出力器は、
前記結果を記憶する作業メモリと、
前記作業メモリに記憶された結果を少なくとも1つのディスプレイ画面および音響スピーカーを介して視覚および音声情報の形で出力するように構成されたディスプレイと
を備え、
前記出力器によって表示される前記視覚および音声情報は、前記対応する本能的感情信号と共に前記ユーザによって観察された前記同期化された視覚および音声情報であり、
前記データの前記個人化された意味は、前記特定された対応する本能感的情信号に基づく前記特定された本能的感情コードであり、
前記作業メモリ内の前記結果は、洞察メモリから検索された少なくとも対応する認知モジュールを含み、
人間本能記憶の前記特有の領域は、生殖領域、生存領域、および探索領域を含み、
新たに取り込まれた情報に対する前記ユーザの他の対応する本能的感情コードを特定することに応答して、プロセッサは、メモリ内の記憶された認知モジュールを前記他の対応する本能的感情コードに対応付けて検索し、前記新たに取り込まれた情報を前記作業メモリに記憶するように、さらに構成される、請求項1に記載の個人的感情ベースの認知支援システム。
【請求項３】
前記ユーザによって観察された前記同期化された視覚および音声情報を、リアルタイムで、取り込むように構成された前記少なくとも1つの機構は、少なくとも1つのカメラと、少なくとも1つのマイクロフォンとを備え、
前記特有の本能参照信号は、探究的本能参照信号であり、
前記生成された認知モジュールは、前記メモリの感覚エリアに記憶される、請求項1に記載の個人的感情ベースの認知支援システム。
【請求項４】
スピーカーおよびディスプレイを介して作業視覚および音声情報を出力するように構成された出力機構をさらに備え、
前記ユーザによって観察された前記同期化された視覚および音声情報は、前記作業視覚および音声情報であり、
前記ユーザによって観察された前記同期化された視覚および音声情報を、リアルタイムで、取り込むように構成された前記少なくとも1つの機構は、前記出力機構に表示された前記作業視覚および音声情報を記憶している前記作業メモリである、請求項2に記載の個人的感情ベースの認知支援システム。
【請求項５】
前記少なくとも1つのセンサーが、複数の脳波信号を出力するために、前記ユーザの頭における活動を測定する複数のセンサーを備え、
前記プロセッサが、前記特有の本能参照信号に基づいて前記複数の脳波信号から本能的感情情報をフィルタリングし、検出し、特定し、複合本能感情情報を生成し、前記生成された複合本能感情情報を前記特有の本能参照信号と比較し、前記比較に基づいて、前記データを記憶するように、前記メモリを制御する、請求項1に記載の個人的感情ベースの認知支援システム。
【請求項６】
前記少なくとも1つのセンサーが、前記ユーザの多感情信号を感知するように構成された複数のセンサーを備え、
前記プロセッサが、前記多感情信号を処理して、感情情報を生成し、前記生成された感情情報が、ユーザが前記取り込まれた視覚および音声データに注意を払っていることを示す閾値を上回っているか否かを決定し、前記感情情報が前記閾値を上回っていると前記決定されたことに応答して、前記生成された認知モジュールを形成して前記メモリに記憶するようにさらに構成され、
前記認知モジュールは、前記メモリの前記異なるエリアから感覚メモリエリアの中に記憶される、請求項3に記載の個人的感情ベースの認知支援システム。
【請求項７】
前記取り込まれた同期化された視覚および音声情報を、人間の脳が本能的感情コードを発行する前の時間期間に対応する時間期間の間、記憶するように構成されたバッファをさらに備える、請求項6に記載の個人的感情ベースの認知支援システム。
【請求項８】
前記システムが、ユーザによって装着されたヘッドセットであって、前記ユーザが前記同期化された視覚および音声情報を観察するときに感覚認知メモリを提供すると共に、前記ユーザが前記出力機構の表示を観察したときに、前記システムに対する前記本能的感情信号を提供する、ヘッドセットである、請求項3に記載の個人的感情ベースの認知支援システム。
【請求項９】
前記プロセッサは、前記取り込まれた感情的状態が、前記ユーザが前記出力機構上に表示された前記作業視覚および音声情報に自信を持っていることまたは明白であると感じることを示す別の閾値を上回っているか否かを決定し、
前記取り込まれた感情的状態が前記別の閾値を上回っていると前記プロセッサが決定したことに応答して、前記取り込まれた感情的状態に基づいて生成された前記本能的感情コードと、対応する前記表示された作業視覚および音声情報とを含む前記認知モジュールを形成し、前記形成された認知モジュールを前記メモリの前記異なるエリアの中の長期メモリエリアに格納する、ようにさらに構成される、請求項4に記載の個人的感情ベースの認知支援システム。
【請求項１０】
前記長期メモリエリアは、複数のサブエリアを含み、
前記長期メモリエリアの前記複数のサブエリアは、エピソードサブエリアと、意味サブエリアと、思考サブエリアと、本能サブエリアとを含み、
前記プロセッサは、前記ユーザの前記取り込まれた感情状態に基づいて、前記生成された認知モジュールを記憶する前記複数のサブエリアの少なくとも1つを決定するようにさらに構成される、請求項9に記載の個人的感情ベースの認知支援システム。
【請求項１１】
前記少なくとも1つのセンサーが、複数のセンサーを備え、前記複数のセンサーが、前記ユーザ上の異なる位置に位置し、前記複数のセンサーは、前記ユーザの生殖本能を検出するために専用の第1のセンサーと、前記ユーザの生存本能を検出するために専用の第2のセンサーと、前記ユーザの探索的本能を検出するために専用の第3のセンサーとを含む、請求項4に記載の個人的感情ベースの認知支援システム。
【請求項１２】
前記プロセッサが、前記複数のセンサーの出力から生成された複合感情に基づいて、前記異なるエリアの中から1つのエリアを特定するように、前記複数のセンサーによって取り込まれた複数の異なるタイプの感情を生殖本能、生存本能、および探究的本能の少なくとも1つに分類するように構成される、請求項11に記載の個人的感情ベースの認知支援システム。
【請求項１３】
複数の作業認知モジュールの視覚情報について直接に移動、ズーム、編集するためのさらなる詳細、修正、テキスト、およびスケッチの少なくとも1つを手動で入力するように構成されたディスプレイ上のタッチスクリーンおよびスケッチパッドをさらに備える、請求項12に記載の個人的感情ベースの認知支援システム。
【請求項１４】
前記ディスプレイが、グラフィカルユーザインターフェース要素の音、ツールバー、位置、およびカラーコーディングのうちの少なくとも1つを備える様々な形態において、前記複数の作業認知モジュールの感情情報構成要素を出力するようにさらに構成される、請求項13に記載の個人的感情ベースの認知支援システム。
【請求項１５】
前記メモリが、前記異なるエリアにさらに分割され、前記異なるエリアは、インターフェースメモリを記憶する登録用メモリエリアと、人間の心の思考を模倣する作業メモリエリアと、未解決の問題を記憶する未完了作業メモリエリアと、将来の時間規定計画および実行を記憶するスケジュールドメモリエリアと、人間の心の長期記憶に対応する長期メモリエリアとを含む、請求項14に記載の個人的感情ベースの認知支援システム。
【請求項１６】
前記作業メモリが、検証、修正、追加、結合、編集、および前記出力機構上で表示されるプロセスにおいて、情報を記憶し、前記登録用メモリが、前記作業メモリ内で処理待ちの少なくとも1つの入力情報を記憶し、前記作業メモリが、より高い重要度を有する認知モジュールでビジーであるとき、前記未完了作業メモリが、中断された作業情報モジュールを記憶し、前記スケジュールドメモリが、特定のスケジュールドノートを具現化する認知情報モジュールを記憶する、請求項15に記載の個人的感情ベースの認知支援システム。
【請求項１７】
前記長期メモリが、
検証された認知情報モジュールを年代順に記憶する、エピソードメモリと、
カテゴリ別に編成された、前記検証された認知情報モジュールを記憶する、意味メモリであって、前記カテゴリが、本能の感情的なコーディングシステムの異なる特有のを表す、意味メモリと、
完了された認知作業情報モジュールを、重要度の順に記憶する、思考メモリと、
独創的本能参照信号を記憶する個人的本能参照メモリと
を備える、請求項16に記載の個人的感情ベースの認知支援システム。
【請求項１８】
前記個人的感情ベースの認知支援システムが、
視覚および音響データを表示するディスプレイ
をさらに備え、
前記プロセッサが、前記表示された視覚および音響データの個人的意味を特定すること、および、前記特定された個人的意味に応答して、前記メモリから相関する認知情報を取り出すことを行うようにさらに構成され、
前記ディスプレイが、前記取り出された相関する認知情報をさらに表示するようにさらに構成され、
前記プロセッサが、前記表示された出力認知情報を収集、検証、および処理するようにさらに構成され、検証される前記認知情報に応答して、複数の異なるメモリエリアのうちの1つにおいて、結果を記憶するように、前記メモリを制御する、請求項8に記載の個人的感情ベースの認知支援システム。
【請求項１９】
個人的感情ベースの認知支援を提供する方法であって、
ユーザによって観察された同期化された視覚および音声情報を含む環境についてのデータを、少なくとも1つの機構によって、リアルタイムで、取り込むステップと、
少なくとも1つのセンサーによって、前記取り込まれた同期化された視覚および音声情報に対応するユーザの感情的状態を取り込むステップと、
プロセッサによって、前記取り込まれた感情状態に基づいて、前記ユーザの前記環境の個人的意味を特定するステップと、
前記特定された個人的意味に基づいて、メモリの異なるエリア内に、前記環境についてのデータとともに、前記特定された個人的意味を、メモリに、記憶するステップと
を含み、
前記プロセッサによる前記環境の前記個人的意味の前記特定は、
前記ユーザの前記取り込まれた感情的状態およびデータベースに記憶された特有の本能参照信号に基づいて、前記記憶された取り込まれた同期化された視覚および音声情報に対して、前記ユーザの本能的感情信号を、フィルタリングし、検出し、特定するステップと、
前記特定された対応する本能的感情信号に基づいて本能的感情コードである前記環境の前記個人的意味を特定することであって、前記特定された対応する本能的感情コードは、前記特定された対応する本能的感情信号と前記特有の本能参照信号との構成要素間の特定された識別を具現化する、特定するステップと、
前記特定された対応する本能的感情コードを対応する前記記憶された取り込まれた同期化された視覚および音声情報と合成することによって認知モジュールを生成するステップと
を含み、
前記異なるエリアが人間本能記憶の特有の領域を表す前記特有の本能参照信号に対応するように、前記メモリ内の前記異なるエリアが論理的に区分される、方法。
【請求項２０】
前記生成された認知モジュールと、前記取り込まれた視覚および音声データに対する前記ユーザの快適レベルを示すメッセージとを、ディスプレイ上に、表示するステップをさらに含む、請求項19に記載の方法。
【請求項２１】
スケッチパッドとして機能するディスプレイ上に、詳細、修正、テキスト、およびスケッチのうちの少なくとも1つを入力するステップと、
前記入力された内容に対する移動命令と、ズーム命令と、編集命令のうちの少なくとも1つをタッチスクリーンとして機能する前記ディスプレイ上に入力するステップと
をさらに含む、請求項19に記載の方法。
【請求項２２】
命令を記憶するように構成された非一時的コンピュータ可読媒体であって、命令が、プロセッサによって実行されると、前記プロセッサに以下の動作、すなわち、
ユーザによって観察された同期化された視覚および音声情報を含む環境についてのデータを、リアルタイムで、受信すること、
少なくとも1つのセンサーによって取り込まれた前記ユーザの感情的状態を受信すること、
前記受信された感情的状態に基づいて、前記ユーザの前記環境の個人的意味を特定すること、
前記特定された個人的意味に基づいて、メモリの異なるエリア内に、前記環境についてのデータとともに、前記特定された個人化された意味を記憶すること
を実行させ、
前記環境の前記個人的意味の前記特定は、
前記ユーザの前記取り込まれた感情的状態およびデータベースに記憶された特有の本能参照信号に基づいて、前記記憶された取り込まれた同期化された視覚および音声情報に対して、前記ユーザの本能的感情信号を、フィルタリングし、検出し、特定することと、
前記特定された対応する本能的感情信号に基づいて本能的感情コードである前記環境の前記個人的意味を特定することであって、前記特定された対応する本能的感情コードは、前記特定された対応する本能的感情信号と前記特有の本能参照信号との構成要素間の特定された識別を具現化する、特定することと、
前記特定された対応する本能的感情コードを対応する前記記憶された取り込まれた同期化された視覚および音声情報と合成することによって認知モジュールを生成することと
を含み、
前記異なるエリアが人間本能記憶の特有の領域を表す前記特有の本能参照信号に対応するように、前記メモリの前記異なるエリアが論理的に区分される、非一時的コンピュータ可読媒体。
【国際調査報告】
2019512822.tif 000020