(57)【要約】  機械学習の表情分類器の訓練例を生成するクラウドソーシングパイプラインを実行する、機器、方法、および製造の物品。クラウドソーシング提供者は、指示または目標によって、表情の画像を能動的に生成する。指示または目標は、表情をまねる、またはある状態に見える、または既存の表情認識器を「壊す」ためのものであってもよい。画像は同一のまたは異なるクラウドソーシング提供者により収集および評価され、それから第１の品質基準を満たす画像が専門家により点検される。それから点検された画像は、正例または負例として、機械学習の表情分類器の訓練で使用される。【選択図】なし【特許請求の範囲】
【請求項１】
予め定められた表情をまねるため、第１の複数の訓練されていない提供者に１つまたは複数の指示を提供するステップと、
前記１つまたは複数の指示を提供するステップに応え、生成された画像を前記第１の複数の訓練されていない提供者から受信するステップと、
前記画像を評価する要求を、第２の複数の訓練されていない提供者に送信するステップと、
前記要求を送信するステップに応え、前記画像の評価を前記第２の複数の訓練されていない提供者から受信するステップと、
前記第２の複数の訓練されていない提供者により評価された前記画像に、第１の品質チェックをかけ、前記第１の品質チェックは前記第２の複数の訓練されていない提供者の前記評価に基き、前記第１の品質チェックをかけるステップは前記第１の品質チェックに合格した１つまたは複数の画像をもたらすステップと、
１人または複数の専門家による評価のため、前記第１の品質チェックに合格した前記１つまたは複数の画像を、前記１人または複数の専門家に送信するステップと、
前記第１の品質チェックに合格した前記１つまたは複数の画像を送信するステップに応え、前記１人または複数の専門家から１つまたは複数の評価を受信するステップと、
前記１人または複数の専門家に評価された前記画像に第２の品質チェックをかけ、前記第２の品質チェックは前記１人または複数の専門家の前記１つまたは複数の評価に基き、第２の品質チェックをかけるステップは前記第２の品質チェックに合格した１つまたは複数の画像をもたらすステップと
を含む、コンピュータにより実行される方法。
【請求項２】
前記第２の品質チェックに合格した前記１つまたは複数の画像を用いて、前記予め定められた表情に関連する情動、感情状態、またはアクションユニットの機械学習分類器を訓練するステップと、
前記訓練のステップの後、前記分類器を使用して、前記分類器の訓練に使用されなかった新しい画像を分類するステップと、をさらに含み、
前記第１の品質チェックに合格しなかった前記画像は前記１人または複数の専門家に送信されない、
請求項１に記載のコンピュータにより実行される方法。
【請求項３】
前記予め定められた表情が予め定められた情動、感情状態、またはアクションユニットの表情であり、前記分類器が前記予め定められた情動、感情状態、またはアクションユニットの分類器であり、前記１つまたは複数の指示を提供するステップが、前記予め定められた情動、感情状態、またはアクションユニットをまねるための１つまたは複数の指示の提供を含み、前記分類器を訓練するステップが、前記予め定められた情動、感情状態、またはアクションユニットの前記分類器の訓練を含む、請求項２に記載のコンピュータにより実行される方法。
【請求項４】
前記１つまたは複数の指示を提供するステップ、前記１つまたは複数の指示を提供するステップに応え、生成された画像を前記第１の複数の訓練されていない提供者から受信するステップ、前記画像を評価する要求を第２の複数の訓練されていない提供者に送信するステップ、前記第２の複数の訓練されていない提供者の評価を受信するステップ、および前記第２の複数の訓練されていない提供者の評価を受信するステップが、コンピュータベースシステムを前記第１および第２の複数の訓練されていない提供者の前記提供者の提供者機器に接続するネットワークを通してコンピュータベースシステムにより実行される、請求項３に記載のコンピュータにより実行される方法。
【請求項５】
前記１つまたは複数の指示を提供するステップが、命令を前記ネットワークを通して前記コンピュータベースシステムから前記第１の複数の訓練されていない提供者の前記提供者の前記提供者機器へ送信するステップ、および１つまたは複数のサンプル画像を前記ネットワークを通して前記コンピュータベースシステムから前記第１の複数の訓練されていない提供者の前記提供者の前記提供者機器へ送信するステップのうち少なくとも１つを含む、請求項４に記載のコンピュータにより実行される方法。
【請求項６】
前記分類器を使用するステップが、カメラが前記予め定められた表情の写真を撮ることを可能にするよう、前記分類器を前記カメラ内にプログラムするステップを含む、請求項４に記載のコンピュータにより実行される方法。
【請求項７】
前記分類器を使用するステップが、１つまたは複数の刺激に触れることからもたらされる人々の反応を判断するよう構成された装置内に前記分類器をプログラムするステップを含む、請求項４に記載のコンピュータにより実行される方法。
【請求項８】
前記分類器を使用するステップが、前記予め定められた表情を作る中でユーザが自己訓練するのを可能にするよう前記分類器を使用するステップを含み、前記予め定められた表情の発現について前記ユーザの写真を評価するのに前記分類器が使用される、請求項４に記載のコンピュータにより実行される方法。
【請求項９】
前記第２の品質チェックに合格した前記１つまたは複数の画像から、前記第２の複数の訓練されていない作業者により付けられたラベルと前記機械学習分類器により付けられたラベルの間の不一致を引き起こす不一致の画像を選択するステップと、
前記不一致の画像を前記第２の複数の訓練されていない提供者に送信するステップと、
前記第２の複数の訓練されていない提供者から前記不一致の画像の評価を受信するステップと、
前記第２の複数の訓練されていない提供者により評価された前記不一致の画像に前記第１の品質チェックをかけ、不一致の画像に第１の品質チェックをかけるステップは、前記第１の品質チェックに合格した１つまたは複数の不一致の画像をもたらすステップと、
１人または複数の専門家による評価のため、前記第１の品質チェックに合格した前記１つまたは複数の不一致の画像を前記１人または複数の専門家に送信するステップと、
前記第１の品質チェックに合格した前記１つまたは複数の不一致の画像を送信するステップに応え、前記１人または複数の専門家から不一致の１つまたは複数の評価を受信するステップと、
前記１人または複数の専門家により評価された前記１つまたは複数の不一致の画像に前記第２の品質チェックをかけるステップと、
前記分類器を前記第２の品質チェックに合格した前記１つまたは複数の不一致の画像で訓練するステップと、
前記分類器の訓練のステップの後、前記分類器と前記１つまたは複数の不一致の画像を用いて、前記分類器の訓練で使用されなかった追加の新しい画像を分類するステップとをさらに含む、
請求項２に記載のコンピュータにより実行される方法。
【請求項１０】
分類器を壊すため、第１の複数の訓練されていない提供者に１つまたは複数の目標を提供し、前記分類器は、予め定められた表情に関連する予め定められた情動、感情状態、またはアクションユニットの前記予め定められた表情の機械学習分類器であるステップと、
１つまたは複数の目標を提供するステップに応え、生成された画像を前記第１の複数の訓練されていない提供者から受信し、複数の受信された画像をもたらすステップと、
前記受信された画像を前記分類器でチェックし、前記分類器の出力に適用された予め定められた基準を満たさない画像を廃棄し、前記予め定められた基準に合格する客観的に適格な画像をもたらすステップと、
前記客観的に適格な画像内の前記予め定められた情動、感情状態、またはアクションユニットの発現に関して、前記客観的に適格な画像を評価する要求を、第２の複数の訓練されていない提供者に送信するステップと、
前記要求に応え、第２の複数の訓練されていない提供者の評価を受信するステップと、
前記第２の複数の訓練されていない提供者により評価された前記受信された画像に、第１の品質チェックをかけ、前記第１の品質チェックは前記第２の複数の訓練されていない提供者の前記評価に基き、第１の品質チェックをかけるステップは前記第１の品質チェックに合格した複数の画像をもたらすステップと、
前記第１の品質チェックに合格した前記複数の画像内の前記画像の前記予め定められた情動、感情状態、またはアクションユニットの発現に関して、１人または複数の専門家により前記第１の品質チェックに合格した前記複数の画像の前記画像を評価するため、前記第１の品質チェックに合格した前記複数の画像を、１人または複数の専門家に送信するステップと、
前記第１の品質チェックに合格した前記複数の画像を送信するステップに応え、前記１人または複数の専門家から評価を受信するステップと、
前記１人または複数の専門家に評価された前記画像に第２の品質チェックをかけ、前記第２の品質チェックは前記１人または複数の専門家の前記評価に基き、第２の品質チェックをかけるステップは前記第２の品質チェックに合格した１つまたは複数の画像をもたらすステップと
を含む、
コンピュータにより実行される方法。
【請求項１１】
前記１つまたは複数の目標が、前記分類器が前記予め定められた情動、感情状態、またはアクションユニットの発現がないと示す状況を起こす正例の画像の生成を含み、前記例の画像が、前記予め定められた情動、感情状態、またはアクションユニットの表情として見え、
前記第１の品質チェックに合格しない前記客観的に適格な画像が前記１人または複数の専門家に送信されず、
前記方法がさらに、
前記予め定められた情動、感情状態、またはアクションユニットの発現の正例として前記第２の品質チェックに合格した前記１つまたは複数の画像を用いて前記分類器を訓練するステップと、
前記訓練のステップの後に前記分類器を使用するステップと
を含む、
請求項１０に記載のコンピュータにより実行される方法。
【請求項１２】
前記１つまたは複数の目標を提供するステップ、前記１つまたは複数の目標を提供するステップに応え、生成された画像を前記第１の複数の訓練されていない提供者から受信するステップ、前記第２の複数の訓練されていない提供者に評価する要求を送信するステップ、および前記第２の複数の訓練されていない提供者の評価を受信するステップが、コンピュータベースシステムを前記第１および第２の複数の訓練されていない提供者の前記提供者の提供者機器に接続するネットワークを通したコンピュータベースシステムにより実行される、請求項１１に記載のコンピュータにより実行される方法。
【請求項１３】
前記１つまたは複数の目標を提供するステップが、命令を前記ネットワークを通して前記コンピュータベースシステムから前記第１の複数の訓練されていない提供者の前記提供者の前記提供者機器へ送信するステップを含む、請求項１２に記載のコンピュータにより実行される方法。
【請求項１４】
前記１つまたは複数の目標を提供するステップが、１つまたは複数の画像を前記ネットワークを通して前記コンピュータベースシステムから前記第１の複数の訓練されていない提供者の前記提供者の前記提供者機器へ送信するステップを含む、請求項１２に記載のコンピュータにより実行される方法。
【請求項１５】
前記分類器を使用するステップが、カメラが前記予め定められた情動、感情状態、またはアクションユニットの発現の写真を撮ることを可能にするよう前記分類器を前記カメラ内にプログラムするステップを含む、請求項１２に記載のコンピュータにより実行される方法。
【請求項１６】
前記分類器を使用するステップが、１つまたは複数の刺激に触れることからもたらされる人々の反応を判断するよう構成された装置内に前記分類器をプログラムするステップを含む、請求項１２に記載のコンピュータにより実行される方法。
【請求項１７】
前記分類器を使用するステップが、前記予め定められた情動、感情状態、アクションユニットの発現を作る中でユーザが自己訓練するのを可能にするよう前記分類器を使用するステップを含み、予め定められた情動、感情状態、またはアクションユニットの発現についてユーザの写真を評価するのに前記分類器が使用される、請求項１２に記載のコンピュータにより実行される方法。
【請求項１８】
前記１つまたは複数の目標が、前記分類器が前記予め定められた情動、感情状態、またはアクションユニットの発現を示す状態を起こす負例の画像の生成を含み、前記例の画像が前記予め定められた情動、感情状態、またはアクションユニットの表情に見えず、
前記第１の品質チェックに合格しない前記客観的に適格な画像が前記１人または複数の専門家に送信されず、
前記方法がさらに、
前記予め定められた情動、感情状態、またはアクションユニットの発現の負例として前記第２の品質チェックに合格した前記１つまたは複数の画像を用いて前記分類器を訓練するステップと、
前記訓練のステップの後に前記分類器を使用するステップと
を含む、
請求項１０に記載のコンピュータにより実行される方法。
【請求項１９】
少なくとも１つのプロセッサと、
予め定められた情動、感情状態、またはアクションユニットの表情をまねるための１つまたは複数の指示を格納し、前記少なくとも１つのプロセッサに接続された少なくともメモリ装置と、
前記少なくとも１つのプロセッサへ、および少なくとも１つのネットワークへ接続された少なくとも１つのネットワークインタフェースと
を備え、
前記少なくとも１つのプロセッサが、前記少なくとも１つのネットワークインタフェースを通して、１つまたは複数の指示を第１の複数の訓練されていない提供者に送信し、前記少なくとも１つのネットワークインタフェースを通して、前記１つまたは複数の指示に応え生成された画像を前記第１の複数の訓練されていない提供者から受信し、前記少なくとも１つのネットワークインタフェースを通して、前記画像を評価する要求を、第２の複数の訓練されていない提供者に送信し、前記少なくとも１つのネットワークインタフェースを通して、前記要求に応えた前記第２の複数の訓練されていない提供者の評価を受信し、前記第２の複数の訓練されていない提供者により評価された前記画像に、第１の品質チェックをかけ、前記第１の品質チェックは前記第２の複数の訓練されていない提供者の前記評価に基き、それによって前記第１の品質チェックに合格した１つまたは複数の画像を取得し、１人または複数の専門家による評価のため、前記第１の品質チェックに合格した前記１つまたは複数の画像を、前記１人または複数の専門家に送信し、前記１人または複数の専門家へ送信された前記第１の品質チェックに合格した前記１つまたは複数の画像に応えて作られた１つまたは複数の評価を、前記１人または複数の専門家から受信し、前記１人または複数の専門家に評価された前記画像に第２の品質チェックをかけ、前記第２の品質チェックは前記１人または複数の専門家の前記１つまたは複数の評価に基き、それによって前記第２の品質チェックに合格した１つまたは複数の画像を取得し、前記第２の品質チェックに合格した前記１つまたは複数の画像を用いて分類器を訓練するよう構成され、
前記少なくとも１つのプロセッサが、前記第１の品質チェックに合格しなかった画像が１人または複数の専門家に送信されないように構成された、
コンピュータシステム。
【請求項２０】
少なくとも１つのプロセッサと、
予め定められた情動、感情状態、またはアクションユニットの表情の分類器を壊す１つまたは複数の目標を格納し、前記少なくとも１つのプロセッサに接続された少なくとも１つのメモリ装置と、
前記少なくとも１つのプロセッサへ、および少なくとも１つのネットワークへ接続された少なくとも１つのネットワークインタフェースと、を備え、
前記少なくとも１つのプロセッサが、前記少なくとも１つのネットワークインタフェースを通して、１つまたは複数の目標を第１の複数の訓練されていない提供者に送信し、前記少なくとも１つのネットワークインタフェースを通して、前記目標に応え生成された画像を前記第１の複数の訓練されていない提供者から受信し、前記分類器で前記受信された画像をチェックし、予め定められた基準を満たす客観的に適格な画像を取得し、前記少なくとも１つのネットワークインタフェースを通して、前記客観的に適格な画像内の前記予め定められた情動、感情状態、またはアクションユニットの表情の発現に関して前記客観的に適格な画像を評価する要求を、第２の複数の訓練されていない提供者に送信し、前記少なくとも１つのネットワークインタフェースを通して、前記客観的に適格な画像を評価する前記要求に応えた前記第２の複数の訓練されていない提供者の評価を受信し、前記第２の複数の訓練されていない提供者により評価された前記客観的に適格な画像に、第１の品質チェックをかけ、前記第１の品質チェックは前記第２の複数の訓練されていない提供者の評価に基き、それによって前記第１の品質チェックに合格した１つまたは複数の画像を取得し、前記第１の品質チェックに合格した前記１つまたは複数の画像の前記予め定められた情動、感情状態、またはアクションユニットの表情の発現に関する１人または複数の専門家による評価のため、前記第１の品質チェックに合格した前記１つまたは複数の画像を、前記１人または複数の専門家に送信し、前記１人または複数の専門家へ送信された前記第１の品質チェックに合格した前記１つまたは複数の画像に応えて作られた１つまたは複数の評価を、前記１人または複数の専門家から受信し、１人または複数の専門家へ送信された前記第１の品質チェックに合格した前記１つまたは複数の画像に応えて作られた１つまたは複数の評価を１人または複数の専門家から受信し、前記１人または複数の専門家に評価された前記画像に第２の品質チェックをかけ、前記第２の品質チェックは前記１人または複数の専門家の前記１つまたは複数の評価に基き、それによって前記第２の品質チェックに合格した１つまたは複数の画像を取得し、前記予め定められた情動、感情状態、またはアクションユニットの表情の発現または非発現の例として、前記第２の品質チェックに合格した前記１つまたは複数の画像を用いて分類器を訓練するよう構成され、
前記少なくとも１つのプロセッサが、前記第１の品質チェックに合格しなかった客観的に適格な画像が前記１人または複数の専門家に送信されないように構成された、
コンピュータシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１３年２月８日出願の米国仮特許出願第６１／７６２，８２０号、”ＳＹＳＴＥＭ  ＦＯＲ  ＣＯＬＬＥＣＴＩＮＧ  ＭＡＣＨＩＮＥ  ＬＥＡＲＮＩＮＧ  ＴＲＡＩＮＩＮＧ  ＤＡＴＡ  ＦＯＲ  ＦＡＣＩＡＬ  ＥＸＰＲＥＳＳＩＯＮ  ＲＥＣＯＧＮＩＴＩＯＮ”の優先権を主張し、その米国仮特許出願の文章、図、請求項、表、および付属物（存在する場合）を記載したコンピュータプログラム、および全ての他の事柄を含んで本明細書内に完全に記載されているかのように、その全ての内容が参照により本明細書に組み込まれる。
【０００２】
この文書は、一般的に、情動、感情状態、アクションユニット、および同様の心理的状態の表情の視覚機械学習分類器の訓練例の収集についての機器、方法、および製造の物品、および、機械学習分類器の訓練におけるそのような訓練例の使用、および、情動、感情状態、アクションユニット、および同様の心理的状態の表情の機械学習分類器に関する。
【背景技術】
【０００３】
情動、感情状態、アクションユニット、および同様の心理的状態の表情の自動認識に関して、多くの利用がある。おそらく、最もよく知られた利用は、デジタルカメラのスマイル検出である。しかし、広告、製品ディスプレイ、ラベル付け、パッケージングおよび価格設定への消費者の反応、討論パフォーマンスの話題および評価への投票者の顔面の反応のような、種々の外部の刺激に応えた顔面の反応の検出を含む他のものがある。この列挙は決して排他的ではない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
情動、感情状態、および同様の心理的状態の表情の認識を自動化することが望ましい。そのような自動化は認識のコストを減少し、また認識プロセスの結果への客観性の指標を提供する。標準のプログラミング技術を用いて表情、ポーズ、ジェスチャ、および他の顔／身体の動きを定義することは簡単ではないので、情動、感情状態、および同様の心理的状態の表情の自動化された（または機械）認識は、ささいな設計課題ではない。機械学習は、この目的に使用されうる技術の収集である。機械学習は、人工知能システムが例から学ぶこと、実際には訓練データに基き自己適応を実行することを可能にする。これらの技術は、通常は大量の注意深く収集された訓練例のデータセット、例えばさまざまな人、異なる照明条件、種々の民族性および異なる年齢、およびさまざまな顔上の人工物の大量のサンプル画像を必要とする。例は、機械の分類器（認識器）が異なる表情のカテゴリ間を区別する特徴を発見するのを可能にするのに必要とされる。Ｗｅｂから微笑のポーズをとった例は比較的収集しやすいかもしれないが、恐れ、軽蔑、怒り、嫌悪感および他のような情動の実際または実際的な表情の多数の例を収集するのは困難である。
【０００５】
知られた刺激への反応であろうと他であろうと、表情、ポーズ、ジェスチャ、および他の顔／身体の動きによって表されたように心理状態を自動的に検出および分類する、改善された方法および機器のニーズが存在する。情動、感情状態、および同様の心理的状態の表情の自動分類器を訓練するのに使用可能なデータを生成および収集する効率的な方法のニーズもまた存在する。
【課題を解決するための手段】
【０００６】
この文書で記載される実施形態は、前述および他のニーズの１つまたは複数を満たしうる方法、機器、および製造の物品を対象とする。
【０００７】
実施形態で、コンピュータにより実行される方法は、予め定められた表情をまねるため、第１の複数の訓練されていない提供者に指示を提供するステップと、指示を提供するステップに応え、生成された画像を第１の複数の訓練されていない提供者から受信するステップと、画像を評価する要求を、第２の複数の訓練されていない提供者に送信するステップと、要求を送信するステップに応え、第２の複数の訓練されていない提供者の評価を受信するステップと、第２の複数の訓練されていない提供者により評価された画像に、第１の品質チェックをかけ、第１の品質チェックは第２の複数の訓練されていない提供者の評価に基き、第１の品質チェックをかけるステップは第１の品質チェックに合格した複数の画像をもたらすステップと、１人または複数の専門家による評価のため、第１の品質チェックに合格した複数の画像を、１人または複数の専門家に送信するステップと、複数の画像を送信するステップに応え、１人または複数の専門家から評価を受信するステップと、１人または複数の専門家に評価された画像に第２の品質チェックをかけ、第２の品質チェックは１人または複数の専門家の評価に基き、第２の品質チェックをかけるステップは第２の品質チェックに合格した１つまたは複数の画像をもたらすステップと、第２の品質チェックに合格した１つまたは複数の画像を用いて、分類器を訓練するステップと、訓練のステップの後、分類器を使用するステップを含む。
【０００８】
実施形態で、コンピュータにより実行される方法は、予め定められた表情の分類器を壊すため、第１の複数の訓練されていない提供者に目標を提供するステップと、目標を提供するステップに応え、生成された画像を第１の複数の訓練されていない提供者から受信し、複数の受信された画像をもたらすステップと、受信された画像を分類器でチェックし、提供された目標の客観的な目標を満たさない画像を廃棄し、客観的に適格な画像をもたらすステップと、客観的に適格な画像を評価する要求を、第２の複数の訓練されていない提供者に送信するステップと、要求を送信するステップに応え、第２の複数の訓練されていない提供者の評価を受信するステップと、第２の複数の訓練されていない提供者により評価された画像に、第１の品質チェックをかけ、第１の品質チェックは第２の複数の訓練されていない提供者の評価に基き、第１の品質チェックをかけるステップは第１の品質チェックに合格した複数の画像をもたらすステップと、１人または複数の専門家による評価のため、第１の品質チェックに合格した複数の画像を、１人または複数の専門家に送信するステップと、複数の画像を送信するステップに応え、１人または複数の専門家から評価を受信するステップと、１人または複数の専門家に評価された画像に第２の品質チェックをかけ、第２の品質チェックは１人または複数の専門家の評価に基き、第２の品質チェックをかけるステップは第２の品質チェックに合格した１つまたは複数の画像をもたらすステップと、第２の品質チェックに合格した１つまたは複数の画像を用いて分類器を訓練するステップと、訓練のステップの後に分類器を使用するステップを含む。
【０００９】
これらおよび他の機能および態様は、後述の記載、図、および添付の請求項を参照してよりよく理解される。
【図面の簡単な説明】
【００１０】
【図１】本記述の選択された態様により構成されたコンピュータベースシステムの簡略化したブロック図の表示である。
【図２】自動表情分類器の訓練データを生成するプロセスの選択されたステップを示す。
【図３】自動表情分類器の訓練データの負例を生成するプロセスの選択されたステップを示す。
【図４】自動表情分類器の訓練のため、データを「壊す」認識器を生成するプロセスの選択されたステップを示す。
【図５】自動表情分類器の訓練データを生成する反復プロセスの選択されたステップ／ブロックを示す。
【発明を実施するための形態】
【００１１】
この文書内で、「実施形態」、「変形」、「例」の語および同様の表現は、特定の機器、プロセスまたは製造の物品を指し、必ずしも同一の機器、プロセスまたは製造の物品を指さない。よって、ある箇所または文脈内で使用される「１つの実施形態」（または同様の表現）は、特定の機器、プロセスまたは製造の物品を指すかもしれない。異なる箇所または文脈内の同一のまたは同様の表現は、異なる機器、プロセスまたは製造の物品を指すかもしれない。「代替的な実施形態」および同様の表現および語句を、多数の異なる可能な実施形態のうちの１つを示すのに使用するかもしれない。可能な実施形態／変形／例の数は、必ずしも２またはいずれの他の数量に必ずしも限定されない。「例示的」としての項目の特徴は、その品目が１つの例として使用されることを意味する。そのような実施形態／変形／例の特徴は、その実施形態／変形／例が望ましいことを必ずしも意味しないが、その実施形態／変形／例が現在望ましいものでない必要はないかもしれない。全ての実施形態／変形／例は例示の目的のために記載され、必ずしも厳密に限定しない。
【００１２】
「接続」、「接合」および同様の表現、およびそれらの屈折形態素は、即時または直接の接続を必ずしも意味しないが、その意味の中に介在する構成要素を通した接続を含む。
【００１３】
画像またはビデオに関連する「感情」情報は、感情、認識、生理学的および／または行動反応のような、種々のタイプの心理的反応を含み、記録された生信号およびそれらの解釈の両方を含む。個人の感情、認識、生理学的または行動反応の観点からの刺激への特定の個人の反応を表しまたは記載する関連情報は、この記載では感情情報とよぶ。感情情報は、記憶、連想などのような、心理的および生理学的反応に起因しうる。
【００１４】
「表示される状態を起こす」、および類似の表現は、結果として表示する１つまたは複数の行動をとることをいう。（スマートフォンまたはタブレットのような）プログラムコード制御下のコンピュータまたはモバイル装置は、例えばコンピュータのユーザに写真および／または文章を表示する状態を起こすかもしれない。また、プログラムコード制御下のサーバコンピュータは、インターネットのようなネットワークを通じて、クライアントコンピュータまたはモバイル装置によるアクセスが可能なｗｅｂページまたは他の情報を作成することによって、ｗｅｂページまたは他の情報が表示される状態を起こすかもしれず、クライアントコンピュータまたはモバイル装置はそれからコンピュータまたはモバイル装置のユーザにｗｅｂページを表示してもよい。
【００１５】
「実行される状態を起こす」および類似の表現は、結果として表示、および／または音を生成および発する１つまたは複数の行動をとることをいう。これらの表現は、それらの意味の中に、上記で定義したような「表示される状態を起こす」表現を含む。またこれらの表現は、それらの意味の中に、音を出す状態を起こすことを含む。
【００１６】
訓練データとして使用される「画像」の言及は、静止画像、ビデオ、および静止画像とビデオの両方をいう。「写真」は静止画像である。「ビデオ」は運動画像をいう。
【００１７】
この文書で使用される「表情」は、（怒り、軽蔑、嫌悪感、幸福、悲しみ、驚き、中間のような）主要な情動の表情、ならびに（退屈、興味、没頭のような）対象となる感情状態の表情、およびいわゆる「アクションユニット」（個々の筋肉の移動を含む顔の一組の筋肉の移動）を示す。「表情」の語は、頭部のポーズおよびジェスチャを含む。
【００１８】
この文書で使用される「精神状態」は、情動、感情状態、または同様の心理的状態を意味する。「情動、感情状態、および同様の心理的状態の表情」は、情動、感情状態、および同様の心理的状態の表情を意味する。
【００１９】
この文書で使用される分類器は、データサンプルの分類で誤りを犯すとき、「壊れ」または「壊される」。よって分類器は、それが人々に対象の情動または感情状態の表情の発現に見えない画像内の対象の情動または感情状態を検出するときに壊れる。分類器はまた、対象の情動または感情状態の表情の発現に見える画像内の対象の情動または感情状態の検出に失敗するときに壊れる。
【００２０】
他のおよびさらなる明示的および暗示的定義、および定義の説明は、この文書を通して見出しうる。
【００２１】
添付の図に示されるいくつかの実施形態に、詳細に言及する。同一の機器の構成要素および方法ステップを述べるのに、図および記載中で同一の参照番号を使用する。図は簡略化された形態であり、縮尺通りではなく、記載されるシステムおよび方法に追加可能な機器の構成要素および方法ステップを省略するが、場合により特定の任意の構成要素およびステップを含む。
【００２２】
好都合なことに、訓練データとしての使用、および／または他の目的のために、精神状態の表情の現実的な訓練例を生成するよう、真似を用いることが可能である。一例で、データはＷｅｂを通して収集される。ユーザはカメラ搭載の通信装置を有し、彼らの顔の画像をサーバへ送信可能である。これは、Ａｍａｚｏｎ  Ｍｅｃｈａｎｉｃａｌ  Ｔｕｒｋのようなクラウドソーシングサービスを用いて行ってもよい。
【００２３】
Ａｍａｚｏｎ  Ｍｅｃｈａｎｉｃａｌ  Ｔｕｒｋは、「リクエスタ」が、コンピュータがこの時点で実行するには十分に装備されていない作業のような、種々の作業について人間の知性の使用を管理するのを可能にする、クラウドソーシングのインターネットベースのリソースである。リクエスタは、「提供者」または「ターカ」がリクエスタにより設定された報酬で実行可能な作業を掲示することができる。「ターカ」、「リクエスタ」、または「提供者」および関連する語がＡｍａｚｏｎのリソースを必ずしも示さず、あらゆるクラウドソーシングリソースに適用することに留意されたい。
【００２４】
図１は、本記載の選択された態様により構成された、通信ネットワーク１９０を通して（パーソナルコンピュータまたはＰＣ、スマートフォン、タブレット、ネットワーク可能なカメラのような）提供者マシン１８０において、クラウドソーシング提供者と対話する、コンピュータベースシステム１００の単純化したブロック図の表示である。特に、システム１００および提供者機器１８０を、この文書で記載するように、真似の利用を通して訓練データを取得するのに使用するよう構成してもよい。
【００２５】
図１は、システム１００または提供者機器１８０の多くのハードウェアおよびソフトウェアモジュールを示さず、いくつかの物理接続および論理接続を省略する。システム１００を、この文書で記載される方法のステップを実行するよう構成された特殊用途データプロセッサ、汎用コンピュータ、コンピュータシステム、またはネットワーク化されたコンピュータまたはコンピュータシステム群として実施してもよい。いくつかの実施形態では、システム１００は、ＷｉｎｔｅｌＰＣ、Ｌｉｎｕｘ（登録商標）コンピュータ、またはＭａｃコンピュータのようなパーソナルコンピュータプラットフォーム上に構築される。パーソナルコンピュータは、デスクトップまたはノートブックコンピュータであってもよい。システム１００は、サーバコンピュータとして機能してもよい。いくつかの実施形態では、システム１００は、ネットワーク１９０、または他のネットワークのようなネットワークにより相互接続された複数のコンピュータとして実施される。
【００２６】
図１に示されたように、システム１００は、プロセッサ１１０、読み出し専用メモリ（ＲＯＭ）モジュール１２０、ランダムアクセスメモリ（ＲＡＭ）モジュール１３０、ネットワークインタフェース１４０、大容量記憶装置１５０、およびデータベース１６０を有する。これらの構成要素は、バス１１５によりともに接続される。示された実施形態で、プロセッサ１１０はマイクロプロセッサであってもよく、大容量記憶装置１５０は磁気ディスクドライブであってもよい。大容量記憶装置１５０およびメモリモジュール１２０および１３０のそれぞれは、プロセッサ１１０に接続され、プロセッサ１１０がこれらの格納および記憶装置内へデータを書き込み、これらの装置からデータを読み出すことを可能にする。ネットワークインタフェース１４０は、プロセッサ１１０を、ネットワーク１９０、例えばインターネットへ接続する。ネットワーク１９０の特質、およびシステム１００とネットワーク１９０間に置かれるかもしれない装置の特質が、システム１００内で使用されるネットワークインタフェース１４０の種類を決定する。いくつかの実施形態では、例えばネットワークインタフェース１４０は、システム１００をローカルエリアネットワークに接続するイーサネット（登録商標）インタフェースであり、それが次にインターネットに接続する。従ってネットワーク１９０は、実際にネットワークの集合体を含んでもよい。
【００２７】
データベース１６０を、この文書で記載される方法ステップの実行で必要とされるまたは所望されるかもしれないデータの編成および格納に使用してもよい。データベース１６０は、プロセッサ１１０に接続された、物理的に分離したシステムであってもよい。代替的な実施形態で、プロセッサ１１０および大容量記憶装置１５０を、データベース１６０の機能を実行するよう構成してもよい。
【００２８】
プロセッサ１１０は、ＲＯＭモジュール１２０、ＲＡＭモジュール１３０、および／または記憶装置１５０内に格納されたプログラムコード命令を読み出しおよび実行してもよい。プログラムコードの制御下で、プロセッサ１１０は、システム１００をこの文書で記載または言及された方法のステップを実行するよう構成してもよい。ＲＯＭ／ＲＡＭモジュール１２０／１３０および記憶装置１５０に加え、プログラムコード命令を、追加のハードドライブ、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、フラッシュメモリおよび同様の装置のような他の機械可読な有形の記憶媒体内に格納してもよい。プログラムコードをまた、送信媒体、例えば電気配線上で、光ファイバを通して、無線で、またはあらゆる他の物理的送信の形態により送信してもよい。送信は、通信機器間の専用リンク上で、またはインターネット、イントラネット、エクストラネット、またはあらゆる他の種類の公衆ネットワークまたはプライベートネットワークのようなワイドエリアまたはローカルエリアネットワークを通して行うことが可能である。プログラムコードをまた、ネットワークインタフェース１４０または他のネットワークインタフェースを通してシステム１００内にダウンロードしてもよい。
【００２９】
実施形態で、システム１００は、提供者がマシン１８０においてシステム１００により指定された人間の知的作業（”ＨＩＴ”）を実行するのを可能にする、クラウドソーシングサーバとして機能してもよい。作業の記載を、システム１００の記憶装置のうちの１つの中で予め定めて格納してもよく、またはシステム１００により他の装置または個人から受信してもよい。当業者は、クラウドソーシング機能を実行するＡｍａｚｏｎ  Ｍｅｃｈａｎｉｃａｌ  Ｔｕｒｋを実行するＡｍａｚｏｎ  Ｗｅｂサービスに精通しているはずである。
【００３０】
システム１００は、提供者から受信された情報をデータベース内に格納してもよく、データベースをシステム１００の構成要素、および／または他の構成要素とともに実施してもよい。提供者からの情報を格納するデータベースは、データベース１６０であってもよい。
【００３１】
図２は、対象の表情のクラウドソーシング提供者例の表示、提供者にそれらの表情をまねするよう求めること、および画像からの訓練例の選択／使用のプロセス２００の選択されたステップを示す。実施形態で、例のいくつかまたは全てを、顔面動作符号化システム（ＦＡＣＳ）、または他の研究のアクションユニットのような、顔の動きを記述するシステムの構成要素の観点から記載された顔の動きを通して検出可能な情動とその表情の間の関係に基き選択してもよい。
【００３２】
フローポイント２０１で、システム１００および少なくともいくつかの提供者マシンが、互いに通信し、プロセスの他のステップを実行するよう構成される。種々の提供者が異なる時間にシステム１００と通信してもよく、従ってそれらのマシンを異なる時間に構成してもよいことに留意されたい。
【００３３】
ステップ２０５で、第１のセットの提供者の１人または複数の提供者は、彼らが真似／再現すべき表情の特徴についての指示を与えられる。指示は、することの言語（音、記述）命令、真似または再現する写真／ビデオ、表情を記載するオンラインまたは他の資料への情報提供、他の指示、およびこれらの全ての組み合わせを含んでもよい。第１のセットの提供者は、顔の表情認識において特別に訓練する必要はない。例えば、システム１００および提供者のそれぞれの機器は、例の表情（またはその一部）を提供者に表示する状況を起こし、および／または表情または表情の一部（「このように見える」、「怖いように見える」、「退屈しているように見える」、「幸せそうに見える」、「興奮しているように見える」、「おびえているように見える」、「熱中しているように見える」、「このたぐいのしわをつくる」、「驚いたように眉を上げる」、「表示された顔の部分を見てまねる」）をまねするよう、提供者へ命令を表示または実行する状況を起こす。例および／または命令をデータベース１６０内または他のどこかに格納してもよく、ネットワーク１９０を通して、郵便で、または他の方法で提供者に送信してもよい。
【００３４】
ステップ２１０で、第１のセットの提供者は、表情をつくりそれを撮る。例えば、表情をつくり、彼らのそれぞれの機器１８０内のスチールまたはビデオカメラを用いる。再度述べるが、ここおよび他の箇所で、提供者は異なる時間にそのステップを実行してもよい。
【００３５】
ステップ２１５で、第１のセットの提供者は、その表情の画像をシステム１００へ提出する。例えば、画像がネットワーク１９０を通して送信される状況を起こす。
【００３６】
ステップ２２０で、システム１００は、例えばネットワーク１９０を通してその表情の画像を受信する。
【００３７】
ステップ２２５で、第２のセットの提供者の１人または複数は、予め定められた基準のセットに関して、第１のセットの提供者からの表情の画像を評価するよう求められる。第２のセットの提供者もまた、顔の表情認識において特別に訓練する必要はない。例えば、システム１００および／または第２のセットの提供者のそれぞれの機器１８０は、第２のセットの提供者に基準および／または質問を表示する状況を起こす。例えばこれを、画像を表示して「これは微笑に見えるか？」と問うことによって実行してもよい。表示された情報（基準／質問）が、第２のセットの提供者に、表示された表情が怒り、軽蔑、嫌悪感、恐怖、幸福、悲しみ、驚きまたは他の表情、感情状態、またはアクションユニットのような特定の情動にどれほどよく合致するかたずねてもよい。特定の情動、感情状態、またはアクションユニットは、第１の状態の提供者がまねするよう求められたものと同一であってもよい。表示された質問はまた、または代わりに、（ステップ２１０〜２２０で以前得られた）表示された表情が、（ステップ２０５で第１のセットの提供者に与えられまたは定義された）サンプル表情をどれほどよくまねているかをたずねてもよい。実施形態で、第２のセットの提供者に、それぞれの表情を合格または不合格にするよう求めてもよい。実施形態で、第２のセットの提供者に、表情に点数を付けるよう求めてもよい。点数は、１．全然似ていない、２．うまくない、３．ＯＫ、４．かなりうまい、５．とてもうまくまねしている、のようなものでもよい。
【００３８】
実施形態で、第２のセットの提供者は、第１のセットの提供者と全く異なる。実施形態で、第２のセットの提供者と第１のセットの提供者の間で、少なくとも一部、または完全に重複してもよい。変形で、必ずしも限定しないが、提供者は自身が提出したその表情の画像を評価するよう求められない。
【００３９】
ステップ２３０で、ステップ２２５に応じて実行してもよいが、第２のセットの提供者が、評価された表情のそれぞれがまねされた表情にどれほどよく合致するか、または表情のそれぞれがどれほど予め定められた基準内にあるかを評価する。機器１８０は、第２のセットの提供者により与えられた評価を受信し、それらを例えばネットワーク１９０を通してシステム１００へ送信してもよい。評価は、単純なはい／いいえであってもよく、または１から１０の段階評価または文字評価のようなより複雑なものであってもよい。
【００４０】
ステップ２３２で、第１のセットの提供者から受信された画像が第１の予め定められた品質基準を用いてテストされ、ステップ２３５で、第１の予め定められた品質基準に合格した画像が、表情の専門家の要員により点検されるよう、（例えばシステム１００からネットワーク１９０を通って電子的に）送信される。第１の品質基準は、例えば、訓練されていない提供者の少なくともＮ人が、表情が情動Ｘのそれに合致すると同意することであってもよい。数字Ｎは、絶対値の予め定められた閾値の数字（例えば５人）、度合の予め定められた閾値の数字（１０人のうち６人のようなＭ人のうちＮ人）、予め定められた閾値の割合（例えば６５％）であってもよい。ここで与えられた割合および数字は例示的なものであり、必ずしも限定するものではない。
【００４１】
ステップ２４０で、システム１００は、点検された画像のそれぞれについて専門家の判断を受信し、その判断を格納する。例えばシステム１００は、ネットワーク１００を通じて専門家の判断を受信してもよい。
【００４２】
ステップ２４５で、正例として画像を受け付けるため、第２の予め定められた品質基準が使用される。第２の品質基準を、例えば、少なくともＰ人の専門家が表情が情動Ｘのそれと合致すると同意するといった、第１の予め定められた品質基準が設定された方法と類似の方法で設定してもよい。数字Ｐは、絶対数、段階の数字、または割合であってもよい。
【００４３】
実施形態で、１人の専門家のみが用いられる。１人の専門家に、例えば画像を合格／不合格の原則で評価するよう、またはそれぞれの特定のタイプの表情に関する画像にまたは２、３またはそれ以上の可能な等級の中から等級を選択し定めるよう求めてもよい。他の実施形態では、２人、３人、またはそれ以上の専門家を用いてもよい。
【００４４】
ステップ２５０で、システムは、専門家が点検した画像のいくつかまたは全てを、表情認識器（分類器）の訓練データとして選択する。例えば、利用可能な訓練画像の全てまたは予め定められた部分、または予め定められた数の画像を選択してもよい。
【００４５】
ステップ２５５で、表情認識器が訓練データを用いて訓練される。このステップで用いうるいくつかの機械学習技術を、この文書の後ろおよび他の箇所で記述する。他の機械学習および最適化技術を用いてもよい。
【００４６】
ステップ２６０で、ステップ２５５で訓練された表情認識器が使用される。例えば、機器をカメラの中に実装し、カメラのユーザが特定の表情の画像を自動的に撮るのを可能にしてもよい。他の例として、表情認識器は、広告のような特定の刺激に触れることからもたらされる人々の反応を判断してもよい。さらに他の例として、表情認識器を、ユーザのコンピュータまたはネットワーク上で（おそらくブラウザを通して）実行し、ユーザが種々の表情を作る中で自己訓練を可能にしてもよい。ユーザは、ユーザの画像（写真／ビデオ）を撮り、分類器を使用して与えられた表情（不安、注意、喜びなど）の存在について画像を評価することが可能であってもよい。
【００４７】
フローポイント２９９で、プロセスは終了する。必要に応じて全体または一部を繰り返してもよい。
【００４８】
プロセス２００は、既知の「正例」を生じる。言い換えれば、例は、合致したとして得られた特定の表情である。重要なことは、２つの表情が両立しないことが知られる場合（例えば「幸福」と「悲しみ」）、ある表情（ｘ）の正例は他の表情（ｙ）の負例とみなされうることである。また、特定の情動、感情状態、またはアクションユニットの表情に乏しいと評価する画像を、同一の情動、感情状態、またはアクションユニットのそれの負例として機械学習で使用してもよい。よって、ステップ２５５の訓練は、正例（ｘ）の表情の肯定的な認識について、または他の（負の）情動（ｙ）のそれとしての同一の表情の不認識についての訓練であってもよい。
【００４９】
プロセス２００のステップ２２５から２５０を、表情認識器の訓練のための正例および負例の両方を生成するコストを減少する「パイプライン」とみなしてもよい。よって、全ての種類の顔の画像を種々の手段（例えばｗｅｂサーチから）により収集し、パイプラインを通して正例または負例のどちらかを生成してもよい。負例について、第２のセットの提供者に、それぞれの画像が明らかに目的の情動の表情でないかどうか尋ねてもよい。図３のプロセス３００は、負例の生成へのこのアプローチを示す。
【００５０】
ステップ３２５はステップ２２５に類似するが、正例ではなく負例の生成に適応する。よって、（第２のセットまたは第２のセットと同様でありうる第３のセットの）１人または複数の提供者は、予め定められた基準のセットに関して、第１のセットの提供者からの表情の画像を評価するよう求められる。これらの提供者もまた、顔の表情認識において特別に訓練する必要はない。例えば、システム１００および／またはそれぞれの提供者の機器１８０は、提供者に基準および／または質問が表示される状態を起こす。例えば、画像を表示し、「これは微笑に見えるか？」と尋ねる。表示される情報（基準／質問）は、第２のセットの提供者に、表示された表情が怒り、軽蔑、嫌悪感、恐怖、幸福、悲しみ、驚きまたは他の表情、または感情状態のような特定の情動にどれほどよく合致するかたずねてもよい。特定の情動、感情状態、またはアクションユニットは、第１の状態の提供者がまねするよう求められたものと同一であってもよい。情動、感情状態、またはアクションユニットは、画像を生成した提供者がまねした情動、感情状態、またはアクションユニットと異なってもよい。実施形態で、第２のセットの提供者に、表情に合格／不合格の評価をするよう求めてもよい。実施形態で、第２のセットの提供者に、表情に点数を付けるよう求めてもよい。点数は、１．全然似ていない、２．うまくない、３．ＯＫ、４．かなりうまい、５．とてもうまくまねしている、のようなものでもよい。
【００５１】
実施形態で、第２のセットの提供者は、第１のセットの提供者と全く異なってもよく、または第２のセットの提供者と第１のセットの提供者の間で、少なくとも一部、または完全な重複があってもよい。変形で、必ずしも限定しないが、提供者は自身が提出したその表情の画像を評価するよう求められない。
【００５２】
ステップ３３０で、ステップ２３０と同一または類似であるが、システム１００は提供者の応答を受信し、応答はステップ３２５に応えて生成される。
【００５３】
ステップ３３２で、ステップ２３２と同一または類似であるが、第１のセットの提供者から受信された画像が第１の予め定められた品質基準を用いてテストされる。ステップ３３５で、ステップ２３５と類似であるが、第１の予め定められた品質基準に合格した画像が、表情の専門家の要員により点検されるよう、（例えばシステム１００からネットワーク１９０を通って電子的に）送信される。第１の品質基準は、例えば、訓練されていない提供者の少なくともＮ人が、表情が情動Ｘの下手な表情であると同意することであってもよい。数字Ｎは、絶対値の予め定められた閾値の数字（例えば５人）、度合の予め定められた閾値の数字（１０人のうち６人のようなＭ人のうちＮ人）、予め定められた閾値の割合（例えば６５％）であってもよい。ここで与えられた割合および数字は例示的なものであり、必ずしも限定するものではない。
【００５４】
ステップ３４０で、専門家の判断／評価が、例えばネットワーク１９０を通してシステム１００により受信される。
【００５５】
ステップ３３５で、ステップ２４５と同一または類似であるが、負例として画像を受け付けるため、第２の予め定められた品質基準を使用する。第２の品質基準を、例えば、少なくともＰ人の専門家が表情が情動Ｘの下手な表情であると同意するといった、第１の予め定められた品質基準が設定された方法と類似の方法で設定してもよい。数字Ｐは、絶対数、段階の数字、または割合であってもよい。実施形態で、１人の専門家のみが用いられる。１人の専門家に、例えば画像を合格／不合格の原則で評価するよう、またはそれぞれの特定のタイプの表情に関する画像にまたは２、３またはそれ以上の可能な等級の中から等級を選択し定めるよう求めてもよい。他の実施形態では、２人、３人、またはそれ以上の専門家を用いてもよい。
【００５６】
ステップ３５０で、ステップ２５０と同一または類似であるが、システムは、専門家が点検した画像のいくつかまたは全てを、表情認識器の訓練データとして選択する。しかしここでは、訓練データは負例である。例えば、利用可能な訓練画像の全てまたは予め定められた部分、または予め定められた数の画像を選択してもよい。
【００５７】
パイプライン（正および負の両方）の目標は、例として受け付けられた画像あたりのコストおよび時間を最小化することである。よって、選択のためのパラメータの設定（第１および第２の予め定められた基準）は、コストの効用に基いてもよい。コストの効用は、時間およびコストの加重した組み合わせに基いてもよいし、または単に訓練されていない提供者のコストと専門家のコストの両方からなる実際のコストに基いてもよい。訓練されていない対象者の数および専門家の応答能力の関数としてコストの効用を最小化するよう、数学モデルを使用してもよい。これらのパラメータを、機械学習に加えられる強化学習アプローチを用いて、さらに調整してもよい。
【００５８】
よって、前述のアプローチを用いて収集された訓練データを、機械学習方法（例えばパターン認識器、ニューラルネットワーク、サポートベクタマシン、アダブーストおよび可能な他のタイプの分類器）を用いて第１世代の表情認識システムを開発するのに使用してもよい。技術をさらに、表情認識器のいくつかのバージョン（例えば現在のバージョン）を「壊す」データを収集するのに広げることが可能である。よってシステムを、クラウドソーシングプロバイダに、システムが誤った画像例を送信するよう求めるように構成してもよい。これはまた、データを中央サーバへ送信する能力を有するアプリケーションを埋め込むことにより行うことが可能である。それから新しい自己破壊例を、正例および／または負例の収集について前述したようものと類似のアプローチ（パイプライン）を用いて点検してもよい。それから新しいデータは、第２世代の表情認識システムを開発するための訓練に使用される。プロセスを、第３世代の表情認識システムなどを開発するため繰り返すことが可能である。
【００５９】
実施形態で、システムは、人々がその表情を通常認識するであろうが、認識器（すなわち、検出器または分類器）が怒りのようなその特定の情動の表情として識別しない状態を起こすであろう（そして幸福のような他のタイプの情動として識別する可能性がある）、特定の情動の表情（例えば怒り）の例を生成するよう、クラウドソーシング提供者に求める。または逆に、システムは、人々にある情動に対応する表情（例えば怒り）として見えないが、表情認識器（すなわち、検出器または分類器）はそれを特定の情動として識別する状態を起こすであろう表情の例を生成するよう、クラウドソーシング提供者に求める。それから提供者は、彼らがそのようなものとして識別する画像をシステムに送信するであろう。システムはそれらを受信し、適切な記載とともに格納するであろう。それから画像は、図２（ステップ２２５〜２６０）および図３に関連して記載したようなパイプラインを通して送信されるであろう。図４は、検出器を「壊す」そのようなデータを取得する方法４００を示す。
【００６０】
ステップ４０５で、第１のセットの提供者の１人または複数の提供者は、画像を生成する目標（前述の指示／命令と同様）を与えられ、表情は第１のタイプの表情に見えるが分類器は第１のタイプとして分類しない。あるいは、目標は第１のタイプの表情に見えない表情を作ることだが分類器は第１のタイプとして分類する、またはその逆である。例えば、第１のセットの提供者が怒りのように見える表情を作るよう求められるかもしれないが、現世代の分類器は怒りとして分類しない。または提供者が怒りのように見えない表情を作るよう求められるかもしれないが、分類器は怒りとして分類する。提供者に、彼らが生成する画像を分類器で分類する手段を提供してもよい。例えば、分類器をオンラインで利用可能にしてもよいし、または提供者の機器１８０上に設置してもよい。前述のように、第１のセットの提供者は、顔の表情認識において特別に訓練する必要はない。目標および／または指示／命令を、データベース１６０または他の場所に格納してもよい。
【００６１】
ステップ４１０で、第１のセットの提供者は表情を作り、それらを撮り、それらを分類器に対してテストする。例えば提供者は、彼らのそれぞれの機器１８０内のカメラを用いて彼らの画像を撮り、また機器１８０を用いて分類器にアクセスしてそれらをテストする。
【００６２】
特定の提供者が、彼または彼女が特定の画像での目標を達成したと満足していれば、提供者は、例えば画像をネットワーク１９０上で送信する状態を起こすメニューアイテムを選択することにより、画像をシステム１００へ提出する。これはステップ４１５で行われる。
【００６３】
ステップ４２０で、システム１００は提供者が提出した画像を受信する。
【００６４】
ステップ４２２で、システムは、第１のセットの提供者が使用したものと同一の分類器および／または１つまたは複数の他の分類器を使用して、受信された画像をテストする。特定の画像が客観的な目標に合わない場合、画像は廃棄される。例えば、目標が怒りと分類される（しかし怒りに見えない）画像を取得することであり、システムが画像を分類器に提出したとき分類器の出力が怒りでない場合、そのとき画像を廃棄してもよい（方法内でさらに使用されない）。同様に、目標が怒りと分類されない（しかし人々には怒りに見える）画像を取得することである場合、そのとき分類器の出力が怒りに対応すれば画像を廃棄してもよい。
【００６５】
ステップ４２５で、第２のセットの提供者の１人または複数の提供者は、第１のセットの提供者が使用した主観的な目標について画像を評価するよう求められる。（第２のセットの提供者もまた、顔の表情認識において特別に訓練する必要はない。）直前の段落の例を続けると、第２のセットの提供者に画像が怒った顔かどうか尋ねてもよい。
【００６６】
実施形態で、第２のセットの提供者は、第１のセットの提供者と全く異なる。実施形態で、第２のセットの提供者と第１のセットの提供者の間で、少なくとも一部、または完全な重複があってもよい。実施形態で、第２のセットの提供者と第１のセットの提供者の間で、少なくとも一部、または完全な重複があってもよい。変形で、必ずしも限定しないが、提供者は自身が提出したその表情の画像を評価するよう求められない。
【００６７】
ステップ４３０で、第２のセットの提供者は主観的な基準に基き画像を評価し、機器１８０は第２のセットの提供者により与えられた評価を受信し、それらを例えばネットワーク１９０を通してシステム１００へ送信する。システム１００は、評価を受信する。評価は、単純なはい／いいえ（怒りのように見えるか怒りに見えないか）であってもよく、または、１から１０の段階評価のようなより複雑なものであってもよい。
【００６８】
ステップ４３２で、画像が第１の予め定められた品質基準を用いてテストされ、ステップ４３５で、第１の予め定められた品質基準テストに合格した画像が、表情の専門家の要員により点検されるよう、（例えばシステムから電子的に）送信される。第１の品質基準は、例えば、訓練されていない提供者の少なくともＮ人が、表情が情動Ｘのそれに合致すると同意することであってもよい。数字Ｎは、絶対値の予め定められた閾値の数字（例えば５人）、度合の予め定められた閾値の数字（１０人のうち６人のようなＭ人のうちＮ人）、予め定められた閾値の割合（例えば６５％）であってもよい。ここで与えられた割合および数字は例示的なものであり、必ずしも限定するものではない。
【００６９】
ステップ４４０で、システム１００は、点検された画像のそれぞれについて専門家の判断を受信し、その判断を格納する。
【００７０】
ステップ４４５で、画像を分類器を「壊す」例として受け付けるため、システムは第２の予め定められた品質基準を適用する。第２の品質基準を、例えば、少なくともＰ人の専門家が表情が情動Ｘのそれと合致する（または合致しない）と同意するといった、第１の予め定められた品質基準が設定された方法と類似の方法で、設定してもよい。数字Ｐは、絶対数、段階の数字、または割合であってもよい。
【００７１】
実施形態で、１人の専門家のみが用いられる。１人の専門家に、例えば画像を合格／不合格の原則で評価するよう、または特定のタイプの表情のそれぞれに関する画像にまたは３以上の可能な等級の中から等級を定めるよう求めてもよい。他の実施形態では、２人、３人、またはそれ以上の専門家が用いられる。
【００７２】
ステップ４５０で、システムは、専門家が点検した画像のいくつかまたは全てを、データにより「壊された」分類器の訓練データとして選択する。
【００７３】
ステップ４５５で、分類器はデータを「壊す」ことにより訓練され、次世代の分類器になる。分類器をさらに精密化するよう、前述のステップを１回または複数回繰り返してもよい。
【００７４】
ステップ４６０で、分類器は、ステップ２６０について前述したような方法で使用される。
【００７５】
フローポイント４９９で、プロセスは終了する。必要に応じて全体または一部が繰り返される。
【００７６】
図５は、図２に関連して前述した方法２００に基く反復方法５００の選択されたステップ／ブロックを示す。しかしここで、判断ブロック５５６で、人間のラベラ／提供者（第２のセットの提供者でありうる）により付けられたラベルと訓練された分類器の対応する出力の間の不一致の発見に進むかどうかの判断がなされる。判断は、反復（例えば、２回、３回またはそれ以上）が終わった場合予め定められた数かどうか、または他の基準に基いてもよい。判断が進まないことであれば、プロセスフローはステップ５６０（方法２００のステップ２６０と類似または同一）へ進み、訓練された表情認識器を使用する。
【００７７】
そうでなければ、プロセスフローはステップ５５７へ続き、そこで人間の評価と表情認識器の出力の間の不一致がある画像が選択される。例えば、全てのそのような画像を選択してもよい。
【００７８】
ステップ５５７からプロセスフローはステップ５５８へ続き、（第２のセットの提供者のような）人間のラベラに不一致を確認または拒絶するさらなる見解を要求する。そのような不一致が見つかったとき、プロセスは専門家に第２の見解を求めるよう続いてもよい。この第２の見解は、表情認識器の第２回（またはその次の）訓練に含まれる。プロセスを、数回繰り返してもよい（例えば第３、第４の見解などを求める）。基本的に、これは人間が付けるラベルを精密化する反復メカニズムである。このプロセスにより、全てのラベルについて第２、第３およびその後の見解は要求されないが、人間が付けたラベルとシステム出力の間に不一致があるときのみさらなる見解のために要求される。例えば、専門家は画像Ｘが恐れを表すと示し、表情認識器はそれが恐れを表さないと示す場合、画像Ｘはさらなる見解のために専門家に戻される。
【００７９】
図５は、プロセス２００の改良版を示す。これらのプロセスを精密化するために、反復をもたらすよう類似した変更をプロセス３００および４００に行ってもよい。
【００８０】
この文書中で記載されたシステムおよびプロセスの機能を、特定の機能／構成要素／限定の存在または欠如が本質的に必要とされ、明確に示され、またはそうでなければ文脈から明瞭になる場合を除き、個々に、またはあらゆる組み合わせまたは再配列で提供してもよい。
【００８１】
プロセスステップおよび判断（判断ブロックが存在する場合）をこの文書で連続的に記載したかもしれないが、あるステップおよび／または判断を、個々の構成要素により、連動してまたは並列で、非同期的にまたは同期的に、パイプライン型の方法で、または他により実行してもよい。特定の順序が本質的に必要とされ、明確に示され、またはそうでなければ文脈から明瞭になる場合を除き、ステップおよび判断は、この記載が列挙し、または図が示すのと同一の順序で実行される必要は特にない。さらに、この文書内で記載された概念による全ての実施形態で、全ての示されたステップおよび判断ブロックは必要とされないかもしれず、一方で概念によるいくつかの実施形態では、特に説明しなかったいくつかのステップおよび判断ブロックが、望ましくまたは必要があるかもしれない。しかし、特定の実施形態／変形／例は、ステップおよび判断（適用可能な場合）が示され、および／または記載された特定の順序を使用することに留意すべきである。
【００８２】
この文書で開示された実施形態、変形、および例の方法ステップに対応する命令（機械実行可能なコード）を、直接ハードウェアで、ソフトウェアで、ファームウェアで、またはそれらの組み合わせで実施してもよい。ソフトウェアモジュールを、揮発性メモリ、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、電気的にプログラム可能なＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能プログラム可能なＲＯＭ（ＥＥＰＲＯＭ）、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、または他の形態の揮発性または不揮発性の当業界で公知の非一過性の記憶媒体内に格納してもよい。１つまたは複数のプロセッサが記憶媒体から情報を読み出し、および記憶媒体へ情報を書き込み可能なように、例示の記憶媒体を１つまたは複数のプロセッサに接続してもよい。代わりに、記憶媒体は１つまたは複数のプロセッサと一体式であってもよい。
【００８３】
この文書は、機械学習システムの訓練データの取得および使用について発明の機器、方法、および製造の物品をかなり詳細に記載している。これは、例示の目的のために行われた。特定の実施形態またはそれらの機能は、本発明の基本である全体の原理を必ずしも限定しない。本明細書に記載した本発明の趣旨および範囲から離れることなく、本明細書に記載された特定の機能は、いくつかの実施形態では使用されるかもしれないが、他では使用されないかもしれない。構成要素および種々のステップシーケンスの種々の物理的配置もまた、本発明の意図された範囲内に入る。前述の開示の多くのさらなる改良が意図され、一部のケースで他の機能の対応する使用がない場合、いくつかの機能が採用されることが、当業者に理解される。従って、例示の例は本発明の境界、および本発明がもたらす法的保護を必ずしも定義せず、その機能は請求項およびそれらの均等物により実行される。
【図１】
2016517052.tif 000002
【図２−１】
2016517052.tif 000003
【図２−２】
2016517052.tif 000004
【図３】
2016517052.tif 000005
【図４−１】
2016517052.tif 000006
【図４−２】
2016517052.tif 000007
【図５−１】
2016517052.tif 000008
【図５−２】
2016517052.tif 000009
【国際調査報告】
2016517052.tif 000010