感情認識
DREAMER:脳波記録( EEG )と心電図( ECG )の記録に加え、フィルムクリップを見ている人々の感情価、覚醒(英語版)、および優位性に関する感情の注釈を提供する
MELD:各発話が感情と感情でラベル付けされているマルチパーティの会話データセット。MELD はビデオ形式で会話を提供するため、マルチモーダル感情認識および感情分析に適している。 MELDは、マルチモーダル感情分析(英語版)と感情認識、対話システム(英語版)、会話における感情認識(英語版)に役立つ。
MuSe:人と物体の間の自然な相互作用の視聴覚記録を提供する。感情価、覚醒、信頼性の観点から、離散的かつ継続的な感情注釈と、マルチモーダル感情分析および感情認識に役立つ音声トピックがある。
UIT-VSMEC:標準的なベトナムのソーシャルメディア感情コーパス(UIT-VSMEC)であり、6つの感情ラベルを持つ約6,927の人間の注釈付き文があり、自然言語処理(NLP)の低リソース言語であるベトナムの感情認識研究に貢献している。
BED:脳波記録( EEG )の記録、および画像を見ている人々の感情価、覚醒(英語版)に関する感情の注釈を提供する。また、EEGベースのバイオメトリクスはいろいろなタスク(SSVEP、目を閉じて休む、目を開いて休む、認知タスク)にさらされる人々の脳波記録(EEG)も含む。
データは感情認識における既存のアプローチの不可欠な部分であり、ほとんどの場合、機械学習アルゴリズムのトレーニングに必要な注釈付きデータを取得することは困難である。テキスト、オーディオ、ビデオ、または生理学的信号の形式でマルチモーダルソースからのさまざまな感情タイプを分類するタスクのために、次のデータセットが利用可能である。
HUMAINE:複数のモダリティで感情的な単語とコンテキストラベルを備えた自然なクリップを提供する。
Belfastデータベース:テレビ番組やインタビューの録音からの幅広い感情をクリップに提供する。
SEMAINE:人と仮想エージェントの間の視聴覚録音を提供し、怒り、幸せ、恐怖、嫌悪感、悲しみ、軽蔑、娯楽などの感情の注釈が含まれている。
IEMOCAP:俳優間の二者択一のセッションの記録を提供し、幸福、怒り、悲しみ、欲求不満、中立状態などの感情。
eNTERFACE:7つの国籍の被験者の視聴覚記録を提供し、幸福、怒り、悲しみ、驚き、嫌悪感、恐怖などの感情。
DEAP:脳波記録( EEG )、心電図( ECG )の記録、顔のビデオ録画、およびフィルムクリップを見ている人々の感情価、覚醒(英語版)、優位性に関する感情の注釈を提供する。
自動化された感情認識の方法を開発および評価するために、何十年にもわたる科学的研究が行われてきた。現在、信号処理、機械学習、コンピュータービジョン、音声処理など、複数の分野の技術を活用して、何百もの異なる種類の方法を提案および評価している広範な文献がある。ベイジアンネットワークなどの感情を解釈するために、ガウス混合モデル(英語版)と隠れマルコフモデルおよびディープニューラルネットワーク、さまざまな方法論と手法を採用することができる。
テキストデータは、人間の生活のどこでも無料で利用できる場合、感情認識に適した研究対象である。他のタイプのデータと比較して、言語での単語や文字の頻繁な繰り返しにより、テキストデータの保存は軽量で、最高のパフォーマンスに圧縮するのが簡単である。感情は、書かれたテキストと会話(対話)という2つの重要なテキスト形式から抽出できる。書かれたテキストの場合、多くの学者は、感情を表す「単語/フレーズ」を抽出するために文レベルでの作業に焦点を合わせている。
感情認識は、テクスト(会話)、音声、ビデオ、生理学などのさまざまなオブジェクトを組み合わせて感情を検出することにより、複数のモダリティを適用する場合に、おそらく最良の結果を得ることになる。