(57)【特許請求の範囲】
【請求項１】
変形可能な表現検出のための方法であって、
前処理された画像内の各ピクセルに関して、組み合わされた符号を生成するために、前記前処理された画像から生成された第１の方向勾配画像内の第１の方向勾配構成要素の符号と前記前処理された画像から生成された第２の方向勾配画像内の第２の方向勾配構成要素の符号を組み合わせることと、各生成された方向勾配画像において、各方向勾配構成要素の符号のみが決定されており、
前記方向勾配構成要素の大きさの値を決定することなく、前記方向勾配構成要素の前記符号に基づいて、各組み合わされた符号をコード化された値にコード化することと、
前記コード化された値に基づいて、入力画像内の表現を検出することと、
を備える、方法。
【請求項２】
関心の領域（ＲＯＩ）に基づいて入力画像をアラインすることと、
前記入力画像内の前記ＲＯＩをクロップすることと、
前記ＲＯＩをスケールすることと、
前記ＲＯＩのヒストグラムを等化することと、
を備える、前記前処理された画像を生成するために前記入力画像を前処理すること、
をさらに備える、請求項１に記載の方法。
【請求項３】
前記方向勾配構成要素は正規直交である、請求項１に記載の方法。
【請求項４】
前記方向勾配構成要素は、垂直および水平方向勾配構成要素、または４５度および１３５度の方向勾配構成要素である、請求項３に記載の方法。
【請求項５】
前記表現は、微笑むこと、瞬きすること、または怒りを備える、請求項１に記載の方法。
【請求項６】
表現を検出することは、マシン学習アルゴリズムを用いて特徴ベクトルを分類することを備える、請求項１に記載の方法。
【請求項７】
前記マシン学習アルゴリズムは、サポートベクトルマシン（ＳＶＭ）アルゴリズム、ブースティングアルゴリズム、またはＫ近傍法（ＫＮＮ）アルゴリズムである、請求項６に記載の方法。
【請求項８】
表現を含むまたは含まないように入力画像を分類することと、
前記入力画像の誤分類を検出することと、
前記誤分類に基づいて分類器を更新することと、
を備える、分類エラーを更新すること、
をさらに備える、請求項１に記載の方法。
【請求項９】
前記誤分類を検出することは、
ユーザに前記入力画像と分類を提示することと、
前記分類が正しいかどうかについてのユーザ入力を受信することと、
を備える、請求項８に記載の方法。
【請求項１０】
前記誤分類を検出することは、
分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定すること、
を備える、請求項８に記載の方法。
【請求項１１】
前記更新することは、前記入力画像を分類するために用いられた分類器のタイプに基づく、請求項８に記載の方法。
【請求項１２】
前記分類器は、マシン学習アルゴリズムを用いる、請求項８に記載の方法。
【請求項１３】
表現を含むまたは含まないように入力画像を分類することと、
前記入力画像の誤分類を検出することと、
前記表現に関する決定閾値を手動で、または前記誤分類に基づいて調整することと、
を備える、決定閾値を調整すること、
をさらに備える、請求項１に記載の方法。
【請求項１４】
前記誤分類を検出することは、
ユーザに前記入力画像と分類を提示することと、
前記分類が正しいかどうかについてのユーザ入力を受信することと、
を備える、請求項１３に記載の方法。
【請求項１５】
前記誤分類を検出することは、
分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定すること、
を備える、請求項１３に記載の方法。
【請求項１６】
前記調整することは、前記入力画像を分類するために用いられた分類器のタイプに基づく、請求項１３に記載の方法。
【請求項１７】
前記表現に関する前記決定閾値を手動で調整することは、スクリーン上でスライディングバーをスライドさせるか、または値を手動で入力することによって前記閾値を調整するための選択肢をユーザに与える前記バーを示すことを備える、請求項１３に記載の方法。
【請求項１８】
前記分類することは、マシン学習アルゴリズムを用いて特徴ベクトルを分類することを備える、請求項１３に記載の方法。
【請求項１９】
変形可能な表現検出のための装置であって、
プロセッサと、
前記プロセッサと電子通信を行うメモリと、
メモリ内に記憶された命令と、
を備え、前記命令は、
前処理された画像内の各ピクセルに関して、組み合わされた符号を生成するために、前記前処理された画像から生成された第１の方向勾配画像内の第１の方向勾配構成要素の符号と前記前処理された画像から生成された第２の方向勾配画像内の第２の方向勾配構成要素の符号を組み合わせることと、各生成された方向勾配画像において、各方向勾配構成要素の符号のみが決定されており、
前記方向勾配構成要素の大きさの値を決定することなく、前記方向勾配構成要素の前記符号に基づいて、各組み合わされた符号をコード化された値にコード化することと、
前記コード化された値に基づいて、入力画像内の表現を検出することと、
を実行可能である、装置。
【請求項２０】
前記方向勾配構成要素は正規直交である、請求項１９に記載の装置。
【請求項２１】
表現を含むまたは含まないように入力画像を分類することと、
前記入力画像の誤分類を検出することと、
前記誤分類に基づいて分類器を更新することと、
を実行可能な命令をさらに備える、請求項１９に記載の装置。
【請求項２２】
前記誤分類を検出することを実行可能な前記命令は、
ユーザに前記入力画像と分類を提示することと、
前記分類が正しいかどうかについてのユーザ入力を受信することと、
を実行可能な命令を備える、請求項２１に記載の装置。
【請求項２３】
前記誤分類を検出することを実行可能な前記命令は、分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定することを実行可能な命令を備える、請求項２１に記載の装置。
【請求項２４】
表現を含むまたは含まないように入力画像を分類することと、
前記入力画像の誤分類を検出することと、
前記表現に関する決定閾値を手動で、または前記誤分類に基づいて調整することと、
を実行可能な命令をさらに備える、請求項１９に記載の装置。
【請求項２５】
前記誤分類を検出することを実行可能な前記命令は、
ユーザに前記入力画像と分類を提示することと、
前記分類が正しいかどうかについてのユーザ入力を受信することと、
を実行可能な命令を備える、請求項２４に記載の装置。
【請求項２６】
前記誤分類を検出することを実行可能な前記命令は、分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定することを実行可能な命令を備える、請求項２４に記載の装置。
【請求項２７】
前記決定閾値を手動で調整することを実行可能な前記命令は、スクリーン上でスライディングバーをスライドさせるか、または値を手動で入力することによって前記閾値を調整するための選択肢をユーザに与える前記バーを示すことを実行可能な命令を備える、請求項２４に記載の装置。
【請求項２８】
変形可能な表現検出のための装置であって、
前処理された画像内の各ピクセルに関して、組み合わされた符号を生成するために、前記前処理された画像から生成された第１の方向勾配画像内の第１の方向勾配構成要素の符号と前記前処理された画像から生成された第２の方向勾配画像内の第２の方向勾配構成要素の符号を組み合わせるための手段と、各生成された方向勾配画像において、各方向勾配構成要素の符号のみが決定されており、
前記方向勾配構成要素の大きさの値を決定することなく、前記方向勾配構成要素の前記符号に基づいて、各組み合わされた符号をコード化された値にコード化するための手段と、
前記コード化された値に基づいて、入力画像内の表現を検出するための手段と、
を備える、装置。
【請求項２９】
前記方向勾配構成要素は正規直交である、請求項２８に記載の装置。
【請求項３０】
表現を含むまたは含まないように入力画像を分類するための手段と、
前記入力画像の誤分類を検出するための手段と、
前記誤分類に基づいて分類器を更新するための手段と、
をさらに備える、請求項２８に記載の装置。
【請求項３１】
前記誤分類を検出するための前記手段は、
ユーザに前記入力画像と分類を提示するための手段と、
前記分類が正しいかどうかについてのユーザ入力を受信するための手段と、
を備える、請求項３０に記載の装置。
【請求項３２】
前記誤分類を検出するための前記手段は、
分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定するための手段、
を備える、請求項３０に記載の装置。
【請求項３３】
表現を含むまたは含まないように入力画像を分類するための手段と、
前記入力画像の誤分類を検出するための手段と、
前記表現に関する決定閾値を手動で、または前記誤分類に基づいて調整するための手段と、
をさらに備える、請求項２８に記載の装置。
【請求項３４】
前記誤分類を検出するための前記手段は、
ユーザに前記入力画像と分類を提示するための手段と、
前記分類が正しいかどうかについてのユーザ入力を受信するための手段と、
を備える、請求項３３に記載の装置。
【請求項３５】
前記誤分類を検出するための前記手段は、
分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定するための手段、
を備える、請求項３３に記載の装置。
【請求項３６】
前記表現に関する前記決定閾値を手動で調整するための前記手段は、スクリーン上でスライディングバーをスライドさせるか、または値を手動で入力することによって前記閾値を調整するための選択肢をユーザに与える前記バーを調整するための手段を備える、請求項３３に記載の装置。
【請求項３７】
命令を記憶するコンピュータ可読記憶媒体であって、前記命令は、
前処理された画像内の各ピクセルに関して、組み合わされた符号を生成するために、前記前処理された画像から生成された第１の方向勾配画像内の第１の方向勾配構成要素の符号と前記前処理された画像から生成された第２の方向勾配画像内の第２の方向勾配構成要素の符号を組み合わせることを電子デバイスに行わせるためのコードと、各生成された方向勾配画像において、各方向勾配構成要素の符号のみが決定されており、
前記方向勾配構成要素の大きさの値を決定することなく、前記方向勾配構成要素の前記符号に基づいて、各組み合わされた符号をコード化された値にコード化することを前記電子デバイスに行わせるためのコードと、
前記コード化された値に基づいて、入力画像内の表現を検出することを前記電子デバイスに行わせるためのコードと、
を備える、コンピュータ可読記憶媒体。
【請求項３８】
前記方向勾配構成要素は正規直交である、請求項３７に記載のコンピュータ可読記憶媒体。
【請求項３９】
表現を含むまたは含まないように入力画像を分類することを前記電子デバイスに行わせるためのコードと、
前記入力画像の誤分類を検出することを前記電子デバイスに行わせるためのコードと、
前記誤分類に基づいて分類器を更新することを前記電子デバイスに行わせるためのコードと、
をさらに備える、請求項３７に記載のコンピュータ可読記憶媒体。
【請求項４０】
前記誤分類を検出することを前記電子デバイスに行わせるための前記コードは、
ユーザに前記入力画像と分類を提示することを前記電子デバイスに行わせるためのコードと、
前記分類が正しいかどうかについてのユーザ入力を受信することを前記電子デバイスに行わせるためのコードと、
を備える、請求項３９に記載のコンピュータ可読記憶媒体。
【請求項４１】
前記誤分類を検出することを前記電子デバイスに行わせるための前記コードは、
分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定することを前記電子デバイスに行わせるためのコード、
を備える、請求項３９に記載のコンピュータ可読記憶媒体。
【請求項４２】
表現を含むまたは含まないように入力画像を分類することを前記電子デバイスに行わせるためのコードと、
前記入力画像の誤分類を検出することを前記電子デバイスに行わせるためのコードと、
前記表現に関する決定閾値を手動で、または前記誤分類に基づいて調整することを前記電子デバイスに行わせるためのコードと、
をさらに備える、請求項３７に記載のコンピュータ可読記憶媒体。
【請求項４３】
前記誤分類を検出することを前記電子デバイスに行わせるための前記コードは、
ユーザに前記入力画像と分類を提示することを前記電子デバイスに行わせるためのコードと、
前記分類が正しいかどうかについてのユーザ入力を受信することを前記電子デバイスに行わせるためのコードと、
を備える、請求項４２に記載のコンピュータ可読記憶媒体。
【請求項４４】
前記誤分類を検出することを前記電子デバイスに行わせるための前記コードは、
分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定することを前記電子デバイスに行わせるためのコード、
を備える、請求項４２に記載のコンピュータ可読記憶媒体。
【請求項４５】
前記表現に関する前記決定閾値を手動で調整するための前記コードは、スクリーン上でスライディングバーをスライドさせるか、または値を手動で入力することによって前記閾値を調整するための選択肢をユーザに与える前記バーを調整するためのコードを備える、請求項４２に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【関連出願】
【０００１】
[0001]本願は、「変形可能な表現検出器」に対して、２０１３年６月２８日に出願された米国仮特許出願番号６１／８４０，６８７に関し、ならびに該米国仮特許出願からの優先権を主張する。
【技術分野】
【０００２】
[0002]本開示は、一般的に電子デバイスに関する。さらに具体的には、本開示は変形可能な表現検出器（a deformable expression detector）に関する。
【背景技術】
【０００３】
[0003]過去数十年において、電子デバイスの利用は一般的になってきた。特に、電子技術おける進歩は、ますます複雑で便利な電子デバイスの価格を低下させた。価格の低下と消費者の需要が電子デバイスの利用を拡大させた結果、それらは、現代社会において実質上広く普及している。電子デバイスの利用が拡大したため、電子デバイスの新しくかつ改良された特徴への需要もまた拡大した。さらに具体的には、新しい機能を実行しおよび／またはより速く、より効率的に、またはより高い品質をもって機能を実行する電子デバイスが多くの場合必要とされている。
【０００４】
[0004]いくつかの電子デバイス（例えば、カメラ、ビデオカムコーダ、デジタルカメラ、セルラー電話、スマートフォン、コンピュータ、テレビジョン、など）は複数の画像を取り込むまたは利用する。例えば、デジタルカメラはデジタル画像を取り込み得る。
【０００５】
[0005]電子デバイスの新しいおよび／または改良された特徴が多くの場合必要とされる。この考察から気づくとおり、電子デバイスの新しいおよび／または改良された特徴を追加するシステムおよび方法は有益であり得る。
【発明の概要】
【０００６】
[0006]変形可能な表現検出のための方法が説明される。前処理された画像内の各ピクセルに関して、第１の方向勾配構成要素（a first directional gradient component）の符号（a sign）と第２の方向勾配構成要素の符号は、組み合わされた符号を生成するために組み合わされる。各組み合わされた符号はコード化された値にコード化される。入力画像内の表現はコード化された値に基づいて検出される。
【０００７】
[0007]入力画像は、前処理された画像を生成するために前処理され得る。入力画像は、関心（a region of interest）（ＲＯＩ）の領域に基づいてアラインされ（be aligned）得る。入力画像内のＲＯＩはクロップされ（be cropped）得る。ＲＯＩはスケールされ（be scaled）得る。ＲＯＩのヒストグラムは等化され（be equalized）得る。
【０００８】
[0008]方向勾配構成要素は正規直交であり得る。方向勾配構成要素は、垂直および水平の方向勾配構成要素、または４５度および１３５度の方向勾配構成要素であり得る。
【０００９】
[0009]コード化することは、方向勾配構成要素の大きさの値を決定することなく、方向勾配構成要素の符号に基づいて、各組み合わされた符号をコード化された値にコード化することを含み得る。
【００１０】
[0010]表現は、微笑むこと、瞬きすること、または怒りを含み得る。表現を検出することは、マシン学習アルゴリズムを用いて特徴ベクトルを分類することを含み得る。マシン学習アルゴリズムは、サポートベクトルマシン（ＳＶＭ）アルゴリズム、ブースティングアルゴリズム、またはＫ近傍法（ＫＮＮ）アルゴリズムである。
【００１１】
[0011]分類エラーは更新され得る。入力画像は表現を含むまたは含まないように分類され得る。入力画像の誤分類が検出され得る。分類器は、誤分類に基づいて更新され得る。誤分類を検出することは、ユーザに入力画像と分類を提示することを含み得る。ユーザは分類が正しいかどうかを質問され得る。分類が正しいかどうかについてのユーザ入力が受信され得る。誤分類を検出することは、分類が、分類後のユーザによる入力画像の削除に基づいて正しくないと決定することを含み得る。更新することは、入力画像を分類するために用いられた分類器のタイプに基づき得る。分類器はマシン学習アルゴリズムを用い得る。
【００１２】
[0012]決定閾値は調整され得る。入力画像は表現を含むまたは含まないように分類され得る。入力画像の誤分類が検出され得る。表現に関する決定閾値は、手動で、または誤分類に基づいて調整され得る。誤分類を検出することは、ユーザに入力画像と分類を提示することを含み得る。ユーザは分類が正しいかどうかを質問され得る。分類が正しいかどうかについてのユーザ入力が受信され得る。誤分類を検出することは、分類が、分類後のユーザによる入力画像の削除に基づいて正しくないと決定することを含み得る。調整することは、入力画像を分類するために用いられた分類器のタイプに基づき得る。表現に関する決定閾値を手動で調整することは、スクリーン上でスライディングバーをスライドさせるか、または値を手動で入力することによって閾値を調整するための選択肢をユーザに与えるスライディングバーを示すことを含み得る。分類することは、マシン学習アルゴリズムを用いて特徴ベクトルを分類することを含み得る。
【００１３】
[0013]変形可能な表現検出のための装置もまた説明される。装置は、プロセッサと、プロセッサと電子通信を行うメモリと、メモリに記憶された命令と、を含む。前処理された画像内の各ピクセルに関して、第１の方向勾配構成要素の符号と第２の方向勾配構成要素の符号は、組み合わされた符号を生成するために組み合わされる。各組み合わされた符号はコード化された値にコード化される。入力画像内の表現はコード化された値に基づいて検出される。
【００１４】
[0014]変形可能な表現検出のための装置もまた説明される。装置は、前処理された画像内の各ピクセルに関して、組み合わされた符号を生成するために、第１の方向勾配構成要素の符号と第２の方向勾配構成要素の符号を組み合わせるための手段を含む。装置はまた、各組み合わされた符号をコード化された値にコード化するための手段を含む。装置は、コード化された値に基づいて、入力画像内の表現を検出するための手段をさらに含む。
【００１５】
[0015]変形可能な表現検出のためのコンピュータプログラム製品もまた説明される。コンピュータプログラム製品は、命令を有する非一時的なコンピュータ可読媒体を含む。命令は、前処理された画像内の各ピクセルに関して、組み合わされた符号を生成するために、第１の方向勾配構成要素の符号と第２の方向勾配構成要素の符号を組み合わせることを電子デバイスに行わせるためのコードを含む。命令はまた、各組み合わされた符号をコード化された値にコード化することを電子デバイスに行わせるためのコードを含む。命令は、コード化された値に基づいて、入力画像内の表現を検出することを電子デバイスに行わせるためのコードをさらに含む。
【図面の簡単な説明】
【００１６】
【図１】[0016]  図１は、変形可能な表現検出のための電子デバイスを示すブロック図である。
【図１Ａ】[0017]  図１Ａは、プロセッサによって実施される図１のシステム内のいくつかの構成要素を示す。
【図２】[0018]  図２は、変形可能な表現検出モジュールを示すブロック図である。
【図３】[0019]  図３は、修正されたエッジヒストグラム記述子（a modified edge histogram descriptor）（ｍＥＨＤ）にしたがった変形可能な表現検出のための方法を示すフロー図である。
【図４】[0020]  図４は、エッジヒストグラム記述子（ＥＨＤ）にしたがって特徴ベクトルを構築するための方法を示すフロー図である。
【図５】[0021]  図５は、ＥＨＤにしたがって特徴ベクトルを計算する例を示す図である。
【図６】[0022]  図６は、修正されたエッジヒストグラム記述子（ｍＥＨＤ）にしたがった特徴ベクトルを構築するための方法を示すフロー図である。
【図７】[0023]  図７は、方向勾配構成要素の組み合わされた符号をコード化する例を示す図である。
【図８】[0024]  図８は、ｍＥＨＤにしたがって特徴ベクトルを計算する例を示す図である。
【図９】[0025]  図９は、画像を前処理するための方法を示すフロー図である。
【図１０】[0026]  図１０は、分類エラーを更新するための方法を示すフロー図である。
【図１１】[0027]  図１１は、決定閾値を調整するための方法を示すフロー図である。
【図１２】[0028]  図１２は、電子デバイス／無線デバイス内に含まれ得る決まった構成要素を示す。
【詳細な説明】
【００１７】
[0029]変形可能な表現は、様々な感情、気分、行動、または幸せ、悲しみ、恐れ、および喜びのような心の状態を示し得る。いくつかの構成において、表現は、人間の顔またはジェスチャーから取り込まれ得る。感情または心の状態は、ヒューマン・マシン・インターフェース、双方向型ゲーム、患者の観察、およびさらに多くを含み得るアプリケーションに関連し得る。実際、表現を検出することは、人間が実際に表現（例えば、微笑む、目を開ける、など）を実行する瞬間までシャッターがポートレートまたはセルフポートレート画像において待機可能なので、カメラまたはスマートフォンで写真を撮るように、簡易なアプリケーションをさらに簡易にし得る。
【００１８】
[0030]表現検出は、コンピュータビジョンにおけるリサーチのアクティブフィールドである。表現検出のために、関心の対象（例えば、人間の顔）を含む画像が最初に検出される。次に、ランドマーク（例えば、顔の中の目）が位置を特定される（located）。これらのランドマークに基づいて、画像が回転され、クロップされ、およびスケールされることが可能である。画像の特徴が抽出され得る。訓練された分類器は、表現の状態を決定するために抽出された特徴に適用され得る。例えば、分類器は、微笑んでいないから微笑み、または閉じられた目から開いた目を検出し得る。
【００１９】
[0031]微笑みの検出または目の瞬きの検出は、顔の表情の例であることが留意されるべきである。しかし、本システムおよび方法は、顔の表情を検出することに限定されない。したがって、ここで説明されたシステムおよび方法は、任意の変形可能な表現を検出するために用いられ得る。ここで用いられたように、用語「変形可能な表現」は、時間の経過に伴う人間、動物、または対象（object）の姿形（または形状）の変化を指す。したがって、変形可能な表現は、人間、動物、または対象のジェスチャーを含み得る。変形可能な表現の例は、微笑むこと、瞬きすること、怒り、または悲しみのような顔の表情を含む。変形可能な表現の別の例は、被写体（a subject）が走っているか否かといった顔の表情でないものを含む。
【００２０】
[0032]本システムおよび方法は、方向勾配構成要素の大きさと符号に基づく特徴の抽出のためにエッジヒストグラム記述子（ＥＨＤ）を利用し得る。さらに、方向勾配構成要素の符号に基づく特徴の抽出のためにＥＨＤの修正版が用いられ得る。この修正されたエッジヒストグラム記述子（ｍＥＨＤ）は、ハードウェアフレンドリーで、小型サイズである点で利益を提供し得る。
【００２１】
[0033]分類エラーを限定するために、本システムおよび方法はまた、１つまたは複数のフィードバックユニットを全体の表現検出メカニズムに組み込み得る。第１のフィードバックユニットは、双方向型ユーザインターフェース（ＵＩ）であり得る。この第１のフィードバックユニットは、ランダムなまたは離散した時点における正確さについてユーザに質問するか、または削除された画像から誤りを検出することによって誤って分類された表現を検出し得る。第１のフィードバックユニットは次に、検出された誤りに基づいて、分類アルゴリズムを自動的に更新し得る。第２のフィードバックユニットもまた双方向型ＵＩであり得る。第２のフィードバックユニットは、ユーザに適合するような方法で、決定閾値を調整するためにユーザに選択肢を与え得る。
【００２２】
[0034]図１は、変形可能な表現検出のための電子デバイス１０２を示すブロック図である。電子デバイス１０２は、無線通信デバイス、モバイルデバイス、モバイル局、加入者局、クライアント、クライアント局、ユーザ機器（ＵＥ）、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどとも称され得る。電子デバイス１０２の例は、ラップトップまたはデスクトップコンピュータ、セルラー電話、スマートフォン、無線モデム、ｅリーダー、タブレットデバイス、ゲームシステム、などを含む。これらのデバイスのうちのいくつかは、１つまたは複数の産業規格にしたがって動作し得る。
【００２３】
[0035]スマートフォンまたはタブレットコンピュータのような電子デバイス１０２はカメラを含み得る。カメラは、画像センサ１０４と、光学システム１０６の視野（field of view）内に位置を特定された対象の画像を画像センサ１０４上に合わせる（focuses）光学システム１０６（例えば、レンズ）を含み得る。電子デバイス１０２は、カメラソフトウェアアプリケーションおよび表示スクリーンをも含み得る。カメラアプリケーションが作動している（running）ときに、光学システム１０６の視野内に位置を特定された対象の画像は、画像センサ１０４によって記録され得る。画像センサ１０４によって記録されている複数の画像は、表示スクリーン上に表示され得る。時間内の任意の既定の瞬間に、光学システム１０６の視野内に位置を特定された対象が表示スクリーン上に表示されるように、これらの画像は、かなり高いフレームレートで速い連続性で（in rapid succession）表示され得る。本システムおよび方法は、取り込まれたビデオフレームの観点（terms）から説明されるが、ここで論じられた技術は任意のデジタル画像上で使用され得る。したがって、用語ビデオフレームおよびデジタル画像は、ここで、置換可能に使用され得る。
【００２４】
[0036]カメラアプリケーションのユーザインターフェース１１０は、変形可能な表現検出モジュール１１２と相互作用することをユーザに許可し得る。例えば、ユーザは、タッチスクリーン１０８を使用することによって変形可能な表現検出モジュール１１２と相互作用し得る。１つの構成において、変形可能な表現検出モジュール１１２は、入力画像を前処理し、画像から特徴ベクトルを抽出し、および特定の表現（例えば、微笑むこと、怒り、恐れ、閉じられた目、など）を含むまたは含まないように画像を分類し得る。
【００２５】
[0037]特徴ベクトルを取得するために、本システムおよび方法は、入力画像内の特徴を検出するためにエッジヒストグラム記述子（ＥＨＤ）を使用し得る。ＥＨＤは、画像の方向勾配構成要素の大きさおよび符号をコンピュータ計算することを含み得る。さらに、本システムはまた、実際の値（real values）（例えば、大きさおよび符号）ではなく画像の方向勾配構成要素の符号のみをコンピュータ計算することを含み得る修正されたＥＨＤ（ｍＥＨＤ）を使用し得る。この最適化は、ＥＨＤと比較した場合、正確さを維持しながらより少ないリソースを使用し得る。
【００２６】
[0038]さらに、変形可能な表現検出モジュール１１２は、分類を適応させるために２つのフィードバックユニットを含み得る。特に、第１のフィードバックユニットは、分類アルゴリズムを更新し得、第２のフィードバックユニットは、ユーザ入力に基づくか、あるいは複数の削除された画像から認識された（perceived）誤分類に基づいて、決定閾値をシフトさせ得る。
【００２７】
[0039]図１Ａに示されたように、変形可能な表現検出モジュール１１２はプロセッサ１０１によって実施され得る。別法として、複数の異なるプロセッサが、複数の異なる構成要素（例えば、１つのプロセッサが画像を前処理し得、別のプロセッサが特徴ベクトルを取得するために用いられ得、別のプロセッサが表現を分類するために用いられ得る）を実行するために用いられ得る。
【００２８】
[0040]図２は、変形可能な表現検出モジュール２１２を示すブロック図である。変形可能な表現検出モジュール２１２は、プリプロセッサ２１６、特徴抽出器２２８、および分類器２３２を含み得る。プリプロセッサ２１６は、入力画像２１４を受信し得、そして所望の関心の領域（ＲＯＩ）を強調するＲＯＩ画像２２６を生成し得る。画像２１４は、カメラ（例えば、画像センサ１０４および光学システム１０６）から受信され得る。画像２１４は、メモリからも受信され得る。いくつかの構成において、ＲＯＩは被写体の顔であり得る。しかし、ＲＯＩは、入力画像２１４内の任意の領域であり得ることが留意されるべきである。
【００２９】
[0041]プリプロセッサ２１６は、ＲＯＩに対して入力画像２１４をアラインするアライナ（aligner）２１８を含み得る。例えば、アライナ２１８は、顔上の目が水平線上にあるように顔をアラインし得る。
【００３０】
[0042]プリプロセッサ２１６は、アラインされた画像２１４をクロップするクロッパー（cropper）２２０をも含み得る。クロッパー２２０は、入力画像２１４から非ＲＯＩ部分（non-ROI portions）を除去し得る。例えば、クロッパー２２０は、入力画像２１４から顏でない領域（non-facial regions）を除去し得る。
【００３１】
[0043]プリプロセッサ２１６は、圧縮の目的のために入力画像２１４をスケールするスケーラ（scaler）２２２をも含み得る。例えば、スケーラ２２２は顔の領域を予め定められたサイズにスケールし得る。
【００３２】
[0044]さらに、プリプロセッサ２１６は、入力画像２１４のヒストグラムを等化または正規化する（normalize）ためにヒストグラムイコライザ（histogram equalizer）２２４を含み得る。例えば、ヒストグラムイコライザ２２４は、入力画像２１４内のライティングバリエーション（lighting variation）を克服し得る。
【００３３】
[0045]プリプロセッサ２１６は、ＲＯＩ画像２２６を出力し得る。ＲＯＩ画像２２６は、アラインされて、次に予め定められたサイズにスケールされた後、入力画像２１４からクロップされたＲＯＩを含み得る。ＲＯＩとして顔を用いる前処理のシナリオの例は、図９に関して下記で説明される。１つの構成において、ＲＯＩ画像２２６内のピクセルの値は、ＲＯＩに基づくオリジナルの入力画像２１４の修正版であり得る。
【００３４】
[0046]特徴抽出器２２８はＲＯＩ画像２２６を受信し得、そして特徴ベクトル２３０を生成し得る。１つの構成において、特徴抽出器２２８は、入力画像２１４に関する特徴ベクトル２３０を取得するために、エッジヒストグラム記述子（ＥＨＤ）またはＥＨＤの修正版（ｍＥＨＤ）を使用し得る。ＥＨＤはエッジ分布を示し得、およびｍＥＨＤは画像２１４内のエッジ分布の符号を示し得る。
【００３５】
[0047]１つの構成において、特徴抽出器２２８は、ＲＯＩ画像２２６に基づいて、方向勾配画像を生成し得る。方向勾配画像は方向勾配構成要素に基づき得る。１つの構成において、ＲＯＩ画像２２６の様々な方向への勾配（例えば、方向勾配構成要素）がコンピュータ計算される。これは、図４に関して下記で説明されるように実現され得る。
【００３６】
[0048]ＥＨＤに関して、特徴抽出器２２８は、方向勾配画像内の大きさと符号に基づいて、特徴ベクトル２３０を構築し得る。例えば、特徴ベクトル２３０は、各方向勾配画像を複数のセルに分割することによっておよび各セル内の複数のピクセルの複数の方向勾配構成要素の空間ヒストグラムを計算することによってコンピュータ計算され得る。セルは、ブロック、パッチ、またはサブ画像とも称され得る。各方向勾配画像の再分割は、複数の均一な非重複グリッド、複数の均一な重複グリッド、複数の非均一な非重複グリッド、または複数の非均一な重複グリッドのセル内のいずれかに存在し得る。セルの数とタイプは、表現検出アプリケーションの複雑性に依存し得る。
【００３７】
[0049]セル内のエッジは、方向勾配構成要素の大きさおよび符号に基づいて決定され得る。各セル内の複数のエッジは様々なタイプに分類され得る。例えば、エッジは、垂直、水平、４５度、１３５度、または他の向き（orientation）として分類され得る。複数のエッジは、非方向（non-directional）としても分類され得る。空間ヒストグラムは、各セル内のエッジと非エッジをカウントすることによって生成され得る。ＥＨＤ特徴ベクトル２３０は、各方向勾配画像の複数の空間ヒストグラムを組み合わせることによって構築され得る。ＥＨＤにしたがって特徴ベクトル２３０を構築する例は、図４に関して論じられる。
【００３８】
[0050]ＥＨＤに関して、特徴抽出器２２８は、方向勾配画像内の複数の符号に基づいて、特徴ベクトル２３０を構築し得る。例えば、特徴抽出器２２８は、ＲＯＩ画像２２６の各ピクセルに関する組み合わされた符号を生成するために、方向勾配画像の方向勾配構成要素の符号を組み合わせ得る。特徴抽出器２２８は次に、各組み合わされた符号をコード化された値にコード化し得る。ＲＯＩ画像２２６のコード化された値は複数のセルに分割され得る。空間ヒストグラムは、各セル内の複数のコード化された値のそれぞれをカウントすることによって生成され得る。ｍＥＨＤ特徴ベクトル２３０は空間ヒストグラムから構築され得る。ｍＥＨＤにしたがって、特徴ベクトル２３０を構築する例は、図６に関して論じられる。
【００３９】
[0051]ＥＨＤとｍＥＨＤの使用は、低減されたコンピュータ計算の複雑性と他の方法（例えば、主成分分析（ＰＣＡ）あるいはローカルバイナリパターン（ＬＢＰ）あるいは指向性勾配(oriented gradient)のヒストグラム（ＨＯＧ））によって生成された特徴ベクトル２３０と比較して、より低い次元（dimension）の特徴ベクトル２３０をもたらし得る。さらに、ｍＥＨＤは、ＥＨＤと比較して、コンピュータ計算の複雑性のさらなる低減を提供し得る。
【００４０】
[0052]分類器２３２は、特徴ベクトル２３０に基づいて、表現決定２４８を計算し得る。ＥＨＤまたはｍＥＨＤ特徴ベクトル２３０は、変形可能な表現を決定、検出、または計算するために、マシン学習アルゴリズムと組み合わせて用いられ得る。例えば、分類器２３２は、変形可能な表現の状態を示す表現決定２４８を計算し得る。表現決定２４８は、微笑み／微笑んでいない、瞬き／瞬きしていない、怒り／怒っていない、走行している／走行していないなどを示し得る。
【００４１】
[0053]分類器２３２は、表現決定２４８を計算するためにマシン学習アルゴリズムを用い得る。多くのマシン学習アルゴリズムが現在利用可能である。これらのマシン学習アルゴリズムは、Ｋ近傍法（ＫＮＮ）、サポートベクトルマシン（ＳＶＭ）、ブースティングアルゴリズム、意思決定ツリー（decision trees）、ニューラルネットワークなどを含む。マシン学習アルゴリズムは、オフライン訓練データ２４０を用いて訓練され得る。１つの構成において、マシン学習アルゴリズムは、ＥＨＤまたはｍＥＨＤ特徴ベクトル２３０または両方の特徴ベクトル２３０の組み合わせに基づいて、モデルを作成するために、複数のデータベース画像を用いて訓練され得る。
【００４２】
[0054]１つの実施において、ＫＮＮは、画像のデータベース内の各表現の各画像のＥＨＤまたはｍＥＨＤ特徴ベクトル２３０をコンピュータ計算し得、およびモデル内に特徴ベクトル２３０を記憶し得る。別の実施において、ＳＶＭは、各表現のＥＨＤまたはｍＥＨＤ特徴ベクトル２３０を用いて、表現の最大マージン超平面（maximum margin hyper-plane）をコンピュータ計算し得る。超平面方程式またはサポートベクトルは、分類に関するモデルを構築するために記憶され得る。さらに別の実施において、ブースティングアルゴリズムは、表現に関するコンピュータ計算されたＥＨＤまたはｍＥＨＤ特徴ベクトル２３０から弱い分類器を作り得る。弱い分類器は、ブースティングアルゴリズムに関するモデルを構築するものである。モデルがマシン学習アルゴリズムを用いて学習されると、マシン学習アルゴリズムの対応する検出アルゴリズムが、変形可能な表現を検出するために用いられ得る。
【００４３】
[0055]１つの構成において、分類器２３２は、表現決定２４８を計算するためにＫＮＮアルゴリズムを用い得る。ＫＮＮアルゴリズムを用いるために、画像２１４またはＲＯＩ画像２２６は、Ｋ近傍（K nearest neighbors）までの最小距離を発見することによって分類され得る。近傍（neighbors）は、特徴ベクトル２３０のＥＨＤ、ｍＥＨＤまたは両方のタイプの組み合わせからの学習データベースから発見され得る。次に、データベースまたはモデル内のＫ特徴ベクトルまでの画像２１４またはＲＯＩ画像２２６のｍＥＨＤ特徴ベクトル２３０のＥＨＤの最も近い距離が、変形可能な表現（例えば、表現決定２４８）を決定するものである。
【００４４】
[0056]別の構成において、分類器２３２は、表現決定２４８を計算するためにＳＶＭアルゴリズムを用い得る。ＳＶＭアルゴリズムを用いるために、表現（例えば、微笑み／微笑んでいない）の２つのサブセットを分けるより高い次元の空間における最大マージン超平面が発見される。ＳＶＭアルゴリズムは、特徴ベクトル２３０のＥＨＤ、ｍＥＨＤまたは両方のタイプの組み合わせからの学習データベースから１つまたは複数のクラスを検出可能である。ＳＶＭアルゴリズムは、特徴ベクトル２３０に基づいてクエリを実行し得る。画像２１４またはＲＯＩ画像２２６の変形可能な表現は、超平面の一サイド（a side）までの画像２１４またはＲＯＩ画像２２６のコンピュータ計算されたＥＨＤまたはｍＥＨＤ特徴ベクトル２３０の距離として発見され得る。
【００４５】
[0057]さらに別の構成において、分類器２３２は、表現決定２４８を計算するためにブースティングアルゴリズムを用い得る。ブースティングアルゴリズムを用いるために、エラーがラベルとモデル予測の間で最小化される。ブースティングアルゴリズムは、各弱い分類器が、特徴ベクトル２３０のＥＨＤ、ｍＥＨＤまたは両方のタイプの組み合わせからの学習データベースを用いて、前の弱い分類器のエラー確率から学習する弱い分類器のカスケードを作る。画像２１４またはＲＯＩ画像２２６の変形可能な表現（例えば、表現決定２４８）は、画像２１４またはＲＯＩ画像２２６のＥＨＤまたはｍＥＨＤ特徴ベクトル２３０をコンピュータ計算することおよび特徴ベクトル２３０を弱い分類器に入力することによって発見され得、それは次に、ＥＨＤまたはｍＥＨＤ特徴ベクトル２３０の確率（または可能性（likelihood））に基づいて変形可能な表現を決定するものである。
【００４６】
[0058]変形可能な表現検出器モジュール２１２は、第１のフィードバックユニット２３４と第２のフィードバックユニット２４２をも含み得る。第１のフィードバックユニット２３４は、分類器２３２によって生成された分類エラーを更新し得る。例えば、第１のフィードバックユニット２３４内の分類ユーザインターフェース２３６は、ユーザに問い合わせるか、または削除された画像２１４に基づいて表現の誤分類を検出し得る。分類器アップデータ（classifier updater）２３８は、誤分類エラーに基づいて分類器２３２を更新し得る。１つの例において、表現決定２４８が誤りである（例えば、分類ユーザインターフェース２３６への入力から決定されるまたは画像２１４が分類に続いて削除される）場合、分類器アップデータ２３８は、エラー画像を用いて、分類器２３２によって用いられた学習されたモデルを調整し得る。第１のフィードバックユニット２３４は、図１０に関してさらに詳細に論じられる。
【００４７】
[0059]第２のフィードバックユニット２４２は、分類器２３２の決定閾値２４６に適合させることをユーザに可能にする。決定閾値２４６を適合させることは、特定の表現が画像２１４内に発見される可能性を調整し得る。第２のフィードバックユニット２４２は、分類アルゴリズムによって用いられた決定閾値２４６を変更することをユーザに可能にし得る決定閾値ユーザインターフェース２４４を含み得る。したがって、決定閾値２４６は、特定のユーザに適合するようにシフトされ得る。第２のフィードバックユニット２４２は、図１１に関してさらに詳細に論じられる。
【００４８】
[0060]図３は、ｍＥＨＤにしたがった変形可能な表現検出のための方法３００を示すフロー図である。方法３００は電子デバイス１０２によって実施され得る。１つの構成において、方法３００は顔の表情検出のために用いられ得る。例えば、表現は、微笑むことまたは瞬きすることいった行動を含み得る。表現は、怒りまたは悲しみのような感情をも含み得る。この構成において、関心の領域（ＲＯＩ）は顔である。しかし、この方法３００は、決まったＲＯＩを用いた任意の変形可能な表現の検出のために汎用化され（be generalized）得る。
【００４９】
[0061]電子デバイス１０２は、第１の方向勾配画像および第２の方向勾配画像を生成し得る。方向勾配画像は、特定の方向と関連付けられる方向勾配構成要素に基づき得る。方向勾配画像の方向勾配構成要素は、演算子（例えば、ソーベル（Sobel）またはＳｃｈａｒｒ演算子）に基づいて決定され得る。例えば、演算子は、方向勾配構成要素をコンピュータ計算するためにＲＯＩ画像２２６内の各ピクセルに適用され得る。１つの構成において、電子デバイス１０２は、方向勾配構成要素の符号（大きさではなく）を決定するのみである。別の構成において、方向勾配構成要素の大きさおよび符号の両方がコンピュータ計算される。
【００５０】
[0062]方向勾配構成要素は正規直交であり得る。例えば、方向勾配構成要素は、垂直および水平方向勾配構成要素、または４５度および１３５度の方向勾配構成要素であり得る。
【００５１】
[0063]電子デバイス１０２は、前処理された画像内の各ピクセルに関して、組み合わされた符号を生成するために、第１の方向勾配構成要素の符号と第２の方向勾配構成要素の符号を組み合わせ得る３０２。前処理された画像はＲＯＩ画像２２６であり得る。各ピクセルの方向勾配構成要素の値は、正の数、負の数、またはゼロのいずれかである。１つの実施において、ゼロの値は正の値であると考えられ得る。したがって、方向勾配構成要素の符号は正の符号または負の符号であり得る。各ピクセルの方向勾配構成要素の組み合わされた符号は、この基準において４つの異なる組み合わせを有することが可能である。符号は、両方が正（例えば、正／正すなわち＋＋）、両方が負（例えば、負／負すなわち−−）、一方が正および他方が負（例えば、正／負すなわち＋−）および一方が負および他方が正（例えば、負／正すなわち−＋）であり得る。
【００５２】
[0064]電子デバイス１０２は、組み合わされた符号のそれぞれをコード化された値にコード化し得る３０４。例えば、組み合わされた符号の異なる組み合わせのそれぞれは、異なるコード化された値を有し得る。したがって、組み合わされた符号は、特定のコード化された値（例えば、コード）に変換され得る。１つの構成において、コード化すること３０４は、方向勾配構成要素の大きさの値を決定することなく、方向勾配構成要素の符号に基づいて、各ピクセルをコード化することを含み得る。
【００５３】
[0065]電子デバイス１０２は、コード化された値に基づいて、入力画像２１４内の表現を検出し得る３０６。例えば、ＲＯＩ画像２２６のコード化された値は複数のセルに分割され得る。空間ヒストグラムは、各セル内の複数のコード化された値のそれぞれをカウントすることによって生成され得る。特徴ベクトル２３０は、空間ヒストグラムから構築され得る。電子デバイス１０２は次に、マシン学習アルゴリズムを用いて特徴ベクトル２３０を分類し得る。マシン学習アルゴリズムは、ＳＶＭアルゴリズム、ブースティングアルゴリズム、またはＫＮＮアルゴリズムであり得る。
【００５４】
[0066]図４は、ＥＨＤにしたがった特徴ベクトル２３０を構築するための方法４００を示すフロー図である。方法４００は電子デバイス１０２によって実施され得る。１つの構成において、方法４００は顔の表情検出のために用いられ得る。この構成において、関心の領域（ＲＯＩ）は顔である。しかし、この方法４００は、決まったＲＯＩを用いた任意の変形可能な表現の検出のために汎用化され得る。したがって、図４に示されたフロー図におけるステップは、特徴ベクトル２３０を抽出するためのＥＨＤの一般的な実施を説明する。
【００５５】
[0067]電子デバイス１０２は、ＲＯＩ画像２２６を受信し得る４０２。１つの構成において、ＲＯＩ画像２２６は、入力画像２１４を前処理するとすぐに取得され得る。これは、図２に関して上で説明されたとおり実現され得る。
【００５６】
[0068]電子デバイス１０２は、第１の方向勾配画像および第２の方向勾配画像を生成し得る４０４。方向勾配画像は方向勾配構成要素に基づき得る。１つの構成において、様々な方向への勾配（例えば、画像２１４またはＲＯＩ画像２２６の方向勾配構成要素）がコンピュータ計算され得る。これは様々な演算子を用いて行われ得る。いくつかの演算子の例は、ソーベル、プルウィット（Prewitt）、Ｓｃｈａｒｒ、または他の有限差分演算子を含む。さらに、演算子は、線形または非線形演算子であり得る。これらの演算子はまたカーネルまたはフィルタとも称され得る。これらの演算子のいずれか（または微分係数をコンピュータ計算することを呼び出し得る任意の演算子）は、ＥＨＤまたはｍＥＨＤに関する方向勾配を計算するために用いられ得る。演算子によって生成された方向勾配構成要素は、垂直、水平、４５度、１３５度、または任意の他の方向を含み得る。いくつかの構成において、演算子は、様々な要素を含む行列であり得る。したがって、方向勾配構成要素は、画像（例えば、ＲＯＩ画像２２６）の畳み込みおよび特定の方向に対応する演算子（例えば、ソーベル演算子）の出力であり得る。
【００５７】
[0069]１つの例において、方向勾配構成要素は、水平方向勾配構成要素（Ｇｈ）と垂直方向勾配構成要素（Ｇｖ）を含み得る。ＲＯＩ画像２２６内の各ピクセルに関する水平方向勾配構成要素（Ｇｈ）は、式（１）に示されるように、ＲＯＩ画像２２６に水平ソーベル演算子を適用することによってコンピュータ計算され得る。ＲＯＩ画像２２６内の各ピクセルに関する垂直方向勾配構成要素（Ｇｖ）は、式（２）に示されるように、ＲＯＩ画像２２６に垂直ソーベル演算子を適用することによってコンピュータ計算され得る。
【数１】
0006309549.tif 000002
【数２】
0006309549.tif 000003
【００５８】
[0070]式（１）および式（２）において、変数Ｉは検討中のＲＯＩ画像２２６であり、「＊」は畳み込み演算子であり、ならびに行列は演算子（例えば、ソーベル演算子）である。式（１）および式（２）において、畳み込みは、ＲＯＩ画像２２６にわたって演算子をスライドさせることによって実行され得る。各演算子位置は、ＲＯＩ画像２２６内のピクセルに関して対応する方向勾配構成要素を生成し得る。したがって、式（１）および式（２）に基づいて、ＲＯＩ画像２２６内の各ピクセルは２つの方向勾配構成要素を有する。例えば、ピクセルは、水平方向勾配構成要素（Ｇｈ）および垂直方向勾配構成要素（Ｇｖ）を有する。
【００５９】
[0071]方向勾配構成要素の値は、畳み込み演算に基づいて計算され得る。例えば、方向勾配構成要素の値は、演算子の各要素に関して演算子の値と下層の（underlying）ＲＯＩ画像ピクセル２２６の値を掛け、次にこれらの結果を合計することによって計算され得る。方向勾配構成要素の値は、畳み込みによって決定されたように、決まった大きさと符号を有する。
【００６０】
[0072]方向勾配画像は、特定の方向と関連付けられる方向勾配構成要素から成り得る。２つの方向（例えば、水平および垂直）に関して結果として生じた方向勾配画像の例が、図５に示される。他の方向勾配画像（例えば、４５度、１３５度など）も、必要に応じて、ＥＨＤのためにコンピュータ計算され得る。検討中の変形可能な表現に依存して、より多くの方向勾配をコンピュータ計算することは検出の正確さを高め得る。方向勾配画像の各方向勾配構成要素は、方向勾配構成要素と関連付けられる方向にオリジナルのＲＯＩ画像２２６内の同じ位置における輝度（intensity）の変化を示し得る。
【００６１】
[0073]電子デバイス１０２は、方向勾配画像内の大きさと符号に基づいて、第１の空間ヒストグラムと第２の空間ヒストグラムを生成し得る４０６。方向勾配画像は、方向勾配画像をグリッドに分割することによって、複数のセルに分割され得る。各セル内の複数のエッジは様々なタイプに分類され得る。例えば、エッジは、垂直、水平、４５度、１３５度、または他の向きとして分類され得る。複数のエッジは、非方向としても分類され得る。
【００６２】
[0074]ＥＨＤにおける空間ヒストグラムは、方向勾配画像の各セル内のエッジタイプをカウントすることによって生成され得る４０６。例えば、各方向勾配構成要素の値は２つのビンに量子化され得る。例えば、方向勾配構成要素は、方向勾配構成要素の大きさが予め定められた閾値より大きいかどうかに依存して、エッジまたは非エッジとして分類され得る。ＥＨＤに関して、エッジの強度は、勾配の大きさに基づいて決定され得る。空間ヒストグラムは、各セル内にエッジと非エッジの数を含み得る。各方向勾配構成要素に関する空間ヒストグラムは、ベクトル（例えば、構成要素の特徴ベクトル）とし表され得る。
【００６３】
[0075]方向勾配構成要素が水平方向勾配構成要素（Ｇｈ）および垂直方向勾配構成要素（Ｇｖ）を含む例において、第１の空間ヒストグラムは、各セル内の水平エッジと非エッジの数を示し得る。第１の空間ヒストグラムの値は、第１の構成要素の特徴ベクトルに含まれ得る。したがって、第１の構成要素の特徴ベクトルは、第１の勾配画像の各セル内に水平エッジと非水平エッジの数を含み得る。第２の空間ヒストグラムは、各セル内の垂直エッジの数を示し得る。第２の空間ヒストグラムの値は、第２の構成要素の特徴ベクトルに含まれ得る。したがって、第２の構成要素の特徴ベクトルは、第２の勾配画像の各セル内に垂直エッジおよび非垂直エッジの数を含み得る。
【００６４】
[0076]電子デバイス１０２は、第１の空間ヒストグラムと第２の空間ヒストグラムに基づいて特徴ベクトル２３０を構築し得る４０８。例えば、第１の構成要素の特徴ベクトルと第２の構成要素の特徴ベクトルは、特徴ベクトル２３０を取得するために連結または組み合わされ得る。特徴ベクトル２３０の次元は、空間ヒストグラムのセルＣの数、用いられた方向勾配構成要素Ｄの数、および勾配値の量子化レベルＱの数に関する（例えば、Ｃ×Ｄ×Ｑ）。
【００６５】
[0077]１つの構成において、ＥＨＤでコンピュータ計算された値が正規化され得る。例えば、正規化は、それにわたって空間ヒストグラムがコンピュータ計算されるセルの全体のサイズで特徴ベクトル２３０の値を除算することによって実行されることが可能である。正規化は、特徴ベクトル２３０の最終的な値（final values）を０と１の間にし得る。この正規化のステップは、サポートベクトルマシン（ＳＶＭ）のようないくつかのマシン学習アルゴリズムにとって有益であり得る。
【００６６】
[0078]ここで説明されたシステムおよび方法において、全体の方向勾配の表記（例えば、方向勾配構成要素の符号および大きさ）は、ＥＨＤ特徴ベクトル２３０を構築するために用いられることができることが留意されるべきである。したがって、ＥＨＤ特徴ベクトル２３０を構築するために用いられる空間ヒストグラム（複数）は、全ての勾配情報（例えば、方向勾配構成要素の符号および大きさ）を考慮に入れるべきである。
【００６７】
[0079]図５は、ＥＨＤにしたがって特徴ベクトル５３０を計算する例を示す図である。この例において、第１の方向勾配画像５５０ａおよび第２の方向勾配画像５５０ｂはＲＯＩ画像２２６から生成される。ＲＯＩ画像２２６のサイズは４８ピクセル掛ける４８ピクセル（すなわち、４８×４８）である。第１の方向勾配構成要素は水平方向勾配構成要素（Ｇｈ）である。第２の方向勾配構成要素は垂直方向勾配構成要素（Ｇｖ）である。
【００６８】
[0080]方向勾配画像５５０は、演算子をＲＯＩ画像２２６に適用することによって生成され得る。例えば、畳み込み演算は、特定の方向に対応する方向勾配構成要素を生成し得る。これは、図４に関して上で説明されたとおり実現され得る。この例において、第１の方向勾配画像５５０ａは、水平方向勾配構成要素（Ｇｈ）に対応する。第２の方向勾配画像５５０ｂは垂直方向勾配構成要素（Ｇｖ）に対応する。方向勾配画像５５０はそれぞれ４８×４８ピクセルである。方向勾配画像５５０内の各方向勾配構成要素は−１２７から１２７の間の値を有し得る。
【００６９】
[0081]空間ヒストグラムを生成するために、各方向勾配画像５５０は複数のセル５５２に分割され得る。この例において、複数の方向勾配画像５５０は、３×３グリッド内で９個の非重複セル５５２に分割される。各セル５５２は１６×１６ピクセルのサイズを有する。
【００７０】
[0082]空間ヒストグラムは、方向勾配画像５５０の各セル５５２内のエッジタイプをカウントすることによって生成され得る。例えば、方向勾配画像５５０内の各方向勾配構成要素の値は２つのビン（例えば、２つの量子化レベル）に量子化され得る。例えば、方向勾配構成要素は、方向勾配構成要素の大きさが予め定められた閾値より大きいかどうかに依存してエッジまたは非エッジとなり得る。空間ヒストグラムは各セル５５２内にエッジと非エッジの数を含み得る。
【００７１】
[0083]空間ヒストグラムの値は構成要素の特徴ベクトル５５４に含まれ得る。構成要素の特徴ベクトル５５４の次元は空間ヒストグラムのセルＣの数と量子化レベルＱの数に基づく。この例において、９個のセル５５２と２つの量子化レベル（例えば、エッジまたは非エッジ）が存在する。したがって、構成要素の特徴ベクトル５５４の次元は９×２＝１８である。換言すると、この例における構成要素の特徴ベクトル５５４はそれぞれ１８個の要素を含む。
【００７２】
[0084]この例において、第１の空間ヒストグラムの値は、第１の構成要素の特徴ベクトル５５４ａに含まれ得る。したがって、第１の構成要素の特徴ベクトル５５４ａは、第１の勾配画像５５０ａの各セル５５２内に水平エッジと非水平エッジの数を含み得る。第２の空間ヒストグラムは、各セル５５２内の垂直エッジの数を示し得る。第２の空間ヒストグラムの値は、第２の構成要素の特徴ベクトル５５４ｂに含まれ得る。したがって、第２の構成要素の特徴ベクトル５５４ｂは、第２の勾配画像５５０ｂの各セル５５２内に垂直エッジと非垂直エッジの数を含み得る。
【００７３】
[0085]上で論じられたように、ＥＨＤに関する特徴ベクトル５３０の次元は、空間ヒストグラムのセルＣの数、用いられた方向勾配構成要素Ｄの数、および量子化レベルＱの数に関する（例えば、Ｃ×Ｄ×Ｑ）。この例において、９個のセル５５２、２つの方向勾配構成要素（例えば、ＧｈとＧｖ）および２つの量子化レベルが存在する。したがって、特徴ベクトル５３０の次元は９×２×２＝３６である。換言すると、この例における特徴ベクトル５３０は３６個の要素を含む。図５に関して論じられた例に示された値が例示され、かつ説明されたシステムおよび方法にしたがって変化し得ることが留意されるべきである。
【００７４】
[0086]１つの構成において、ＥＨＤにおいてコンピュータ計算された値が正規化され得る。例えば、正規化は、それにわたって空間ヒストグラムがコンピュータ計算されるセル５５２の全体のサイズで特徴ベクトル５３０の値を除算することによって実行されることができる。この例において、特徴ベクトル５３０の値は、特徴ベクトル５３０の最終的な値が確実に０と１の間になるようにセル５５２のサイズ（例えば、２５６＝１６×１６）で除算され得る。
【００７５】
[0087]図６は、ｍＥＨＤにしたがって特徴ベクトル２３０を抽出するための方法６００を示すフロー図である。方法６００は電子デバイス１０２によって実施され得る。１つの構成において、方法６００は顔の表情検出のために用いられ得る。この構成において、関心の領域（ＲＯＩ）は顔である。しかし、この方法６００は、決まったＲＯＩを用いた任意の変形可能な表現の検出のために汎用化され得る。したがって、図６に示されたフロー図におけるステップは、特徴ベクトル２３０を抽出するためのＥＨＤの一般的な実施を説明する。
【００７６】
[0088]ＥＨＤに基づく特徴ベクトル２３０は、ＥＨＤが特異値分解（singular value decompositions）（ＰＣＡにおいて見られるような）または補間（ＬＢＰにおいて見られるような）とは対照的に勾配のコンピュータ計算を呼び出すため、他の知られているソリューションと比較してより計算しやすいかもしれない。しかし、モバイルデバイスのような電子デバイス１０２は、リソースを節約しかつ電力消費を低減するためにさらなる低価格な特徴から利益を享受し得る。したがって、本システムおよび方法は、ＥＨＤのコンピュータ計算を少なくし、かつハードウェアフレンドリーであり得る修正されたＥＨＤ（ｍＥＨＤ）について説明する。
【００７７】
[0089]電子デバイス１０２は、ＲＯＩ画像２２６を受信し得る６０２。１つの構成において、ＲＯＩ画像２２６は、図２に関して上で説明されたとおり入力画像２１４を前処理するとすぐに取得され得る。
【００７８】
[0090]電子デバイス１０２は、第１の方向勾配画像および第２の方向勾配画像を生成し得る６０４。これは、図４に関して上で説明されたとおり実現され得る。方向勾配画像は、特定の方向と関連付けられる方向勾配構成要素に基づき得る。
【００７９】
[0091]方向勾配構成要素は正規直交であり得、および正規直交の基準を定義し得る。正規直交の基準の１つの例は、式（１）および（２）において上で示されたように、ソーベル演算子とその転置（its transpose）である。したがって、１つの構成において、方向勾配構成要素は垂直および水平方向勾配構成要素であり得る。別の構成において、方向勾配構成要素は４５度および１３５度の方向勾配構成要素であり得る。任意の正規直交の基準が用いられ得ることが留意されるべきである。
【００８０】
[0092]１つの例において、方向勾配構成要素は、水平方向勾配構成要素（Ｇｈ）および垂直方向勾配構成要素（Ｇｖ）を含み得る。この例において、ＧｈおよびＧｖは正規直交の基準を形成し、ならびに第１の方向勾配画像および第２の方向勾配画像を生成する６０４ために用いられ得る。
【００８１】
[0093]方向勾配画像は、特定の方向と関連付けられる方向勾配構成要素から構成され得る。２つの方向（例えば、水平および垂直）に関して方向勾配画像の結果として生じるピクセル値（例えば、方向勾配構成要素の値）を示す例が図８に示される。
【００８２】
[0094]電子デバイス１０２は、組み合わされた符号を生成するために、第１の方向勾配構成要素の符号と第２の方向勾配構成要素の符号を組み合わせ得る６０６。全方向勾配構成要素の値（full directional gradient values）（例えば、方向勾配構成要素の大きさおよび符号）を説明する代わりに、ｍＥＨＤを用いて、少なくとも２つの方向勾配構成要素のうちの符号のみが特徴ベクトル２３０を構築するために検討される。さらに、エッジがソーベルまたはＳｃｈａｒｒ演算子を介してコンピュータ計算される場合に失敗し得る他の知られている特徴記述子ソリューションと比較して、ｍＥＨＤは、エッジがどのように計算されるかに影響されない（insensitive）。例えば、ソーベルおよびＳｃｈａｒｒ演算子は、他の知られている特徴記述子ソリューションにとって解決の難しい回転不変性（rotation invariance）に近似する。
【００８３】
[0095]各ピクセルの方向勾配構成要素の値は、正の数、負の数、またはゼロのいずれかである。１つの実施において、ゼロの値は正の数であると考えられ得る。したがって、方向勾配構成要素の符号は、正の符号または負の符号であり得る。各ピクセルの方向勾配構成要素の組み合わされた符号は、この基準において４つの異なる組み合わせを有することが可能である。符号は、両方が正（例えば、正／正すなわち＋＋）、両方が負（例えば、負／負すなわち−−）、一方が正および他方が負（例えば、正／負すなわち＋−）および一方が負および他方が正（例えば、負／正すなわち−＋）であり得る。
【００８４】
[0096]電子デバイス１０２は、各組み合わされた符号をコード化された値にコード化し得る６０８。コード化された値の最大数は使用された方向勾配構成要素の数に依存し得る。コード化された値Ｍの最大数は、Ｍ＝２Ｄと決定され得、ここで、Ｄは使用された方向勾配構成要素の数である。方向勾配構成要素が水平方向勾配構成要素（Ｇｈ）および垂直方向勾配構成要素（Ｇｖ）を含む例において、２つの方向勾配が使用され（例えば、Ｄ＝２）、および組み合わされた符号に関してコード化された値の最大数は４である。換言すると、この例における組み合わされた符号は、４つの異なるコード化された値のうちの一つにコード化され得る６０８。
【００８５】
[0097]電子デバイス１０２は、コード化された値に基づいて空間ヒストグラムを生成し得る６１０。１つの構成において、空間ヒストグラムは、ＲＯＩ画像２２６内の各ピクセルのコード化された値を複数のセルから成るグリッドに分割することによって生成され得る６１０。１つの例において、ＲＯＩ画像２２６内の各ピクセルのコード化された値は、３×３のグリッド内で９個の非重複セルに分割され得る。空間ヒストグラムは、セル内の各コード化された値の数（例えば、出現（occurrence））をカウントすることによって生成され得る６１０。
【００８６】
[0098]電子デバイス１０２は、空間ヒストグラムに基づいて特徴ベクトル２３０を構築し得る６１２。特徴ベクトル２３０は空間ヒストグラムの値を含み得る。したがって、特徴ベクトル２３０は、空間ヒストグラムの各セル内に各コード化された値の数（例えば、出現）を含み得る。ｍＥＨＤに基づく特徴ベクトル２３０の次元は、空間ヒストグラムのセルＣの数と用いられたコード化された値Ｍの数に関する（例えば、Ｃ×Ｍ）。ｍＥＨＤに基づいて特徴ベクトル２３０を構築する６１２ことのさらに詳細な例は図８に関して論じられる。
【００８７】
[0099]１つの構成において、ｍＥＨＤにおいてコンピュータ計算された値が正規化され得る。例えば、正規化は、それにわたって空間ヒストグラムがコンピュータ計算されるセルの全体のサイズで特徴ベクトル２３０の値を除算することによって実行されることが可能である。正規化は、特徴ベクトル２３０の最終的な値を０と１の間にし得る。
【００８８】
[00100]ｍＥＨＤ特徴ベクトル２３０は、直接および同時に、２つの基準画像から構築され得ることが留意されるべきである。しかし、（図４および図５に関して上で説明された）ＥＨＤにおいて、各方向勾配構成要素は独立して扱われる。さらに、ｍＥＨＤを用いて、方向の符号は、ｍＥＨＤ特徴ベクトル２３０を構築するためにコード化されるときに用いられ得る。空間ヒストグラムは、ｍＥＨＤ特徴ベクトル２３０に含まれる空間ヒストグラム値を構築するために、方向勾配構成要素の符号（またはコード化された符号）を使用するべきである。
【００８９】
[00101]図７は、方向勾配構成要素の組み合わされた符号７５６をコード化する例を示す図である。図７において、
【数３】
0006309549.tif 000004
および
【数４】
0006309549.tif 000005
は方向微分係数である。さらに、
【数５】
0006309549.tif 000006
および
【数６】
0006309549.tif 000007
は、第１の方向勾配構成要素(Ｇ１)と第２の方向勾配構成要素(Ｇ２)によって定義される軸である。１つの構成において、
【数７】
0006309549.tif 000008
および
【数８】
0006309549.tif 000009
は正規直交の基準を定義し得る。例えば、
【数９】
0006309549.tif 000010
は水平方向勾配構成要素(Ｇｈ)に対応し得、および
【数１０】
0006309549.tif 000011
は垂直方向勾配構成要素(Ｇｖ)に対応し得る。この例において、
【数１１】
0006309549.tif 000012
は、
【数１２】
0006309549.tif 000013
として表され得、および
【数１３】
0006309549.tif 000014
は
【数１４】
0006309549.tif 000015
として表され得る。
【００９０】
[00102]Ｇ１およびＧ２内の（結果として
【数１５】
0006309549.tif 000016
および
【数１６】
0006309549.tif 000017
内の）各ピクセルは、正の数、負の数、あるいはゼロのいずれかであり得る。１つの実施において、ゼロの値は正の値であると考えられ得る。図７に示された例において、基準を定義するＧ１およびＧ２内の方向勾配構成要素の組み合わされた符号７５６は、２次元問題のために使用される。したがって、各ピクセルの方向勾配構成要素の組み合わされた符号７５６は、この基準において４つの異なる組み合わせを有することが可能である。符号は、両方が正（例えば、正／正すなわち＋＋）、両方が負（例えば、負／負すなわち−−）、一方が正および他方が負（例えば、正／負すなわち＋−）および一方が負および他方が正（例えば、負／正すなわち−＋）であり得る。組み合わされた符号７５６は、分類器２３２が、ｍＥＨＤにしたがった符号のバリエーションまたはパターンを発見することによって変形可能な表現を検出可能なように用いられ得る。
【００９１】
[00103]組み合わされた符号７５６は４つの異なるコード化された値７５８にコード化され得る。図７に示された構成において、負／負は、０にコード化され得、正／負は、１にコード化され得、正／正は、２にコード化され得、および負／正は、３にコード化され得る。
【００９２】
[00104]コード化された値７５８の数は、用いられた方向微分係数の数に依存し得る。ｍＥＨＤ特徴ベクトル２３０（例えば、ｍＥＨＤ記述子）は、２次元において２つの方向微分係数のみを用いて構築され得る。概念は、２つ以上の方向微分係数に拡張されることが可能である。その場合、４つ以上のコード化された値７５８が用いられ得る。必要とされるコード化された値７５８の数は、用いられる方向微分係数の数に依存する。２つの方向微分係数に関し、２２＝４のコード化された値７５８が必要とされる。Ｌ≧２であるＬ方向微分係数に関し、２Ｌのコード化された値７５８が必要とされる。
【００９３】
[00105]２次元グラフが図７に示されているが、ここで説明されたシステムおよび方法は、Ｎ次元にも拡張され得る。したがって、ｍＥＨＤ特徴ベクトル２３０は、Ｎ次元に拡張され得る。１つの例は、ビデオシーケンスにおけるように時間を含むことにする。別の例は、より多くの方向勾配を用いることにする。コード化された値７５８の最大数は、用いられる方向勾配構成要素（および対応する方向微分係数）の数にさらに依存するものである。
【００９４】
[00106]ｍＥＨＤへの拡張として、コード化された値７５８全てを使用しないことが可能である。１つの構成において、４つのコード化された値７５８から２つのみが使用され得る。それぞれ２つの反対の対角の符号（anti-diagonal signs）（例えば、＋＋と−−または＋−と−＋）は相互に補完する。表現検出の複雑性に依存して、２つのコード化された値７５８は、符号のパターンを説明するのに十分であり得る。例えば、＋＋と＋−、または＋＋と−＋、または−−と＋−、または−−と−＋のいずれかは、符号のパターンを説明するのに十分であり得る。
【００９５】
[00107]図８は、ｍＥＨＤにしたがって、特徴ベクトル８３０を計算する例を示す図である。この例において、第１の方向勾配画像８５０ａおよび第２の方向勾配画像８５０ｂはＲＯＩ画像２２６から生成される。これは、図６に関して上で説明されたとおり実現され得る。方向勾配画像８５０のピクセル値（例えば、方向勾配構成要素の値）が図８に示される。
【００９６】
[00108]この例において、ＲＯＩ画像２２６のサイズは、４８ピクセル掛ける４８ピクセル（例えば、４８×４８）である。第１の方向勾配画像８５０ａは水平方向勾配構成要素（Ｇｈ）に対応する。第２の方向勾配画像８５０ｂは、垂直方向勾配構成要素（Ｇｖ）に対応する。複数の方向勾配画像８５０はそれぞれ４８×４８ピクセルである。この例において、方向勾配構成要素の大きさがコンピュータ計算される。方向勾配画像８５０内の各方向勾配構成要素は−１２７から１２７の間の値を有し得る。これは、図６に関して上で論じられたように、ソーベル演算子に基づいて実現され得る。しかし、他の構成において、各方向勾配構成要素の（大きさではなく）符号のみが決定され得ることが留意されるべきである。
【００９７】
[00109]方向勾配画像８５０の符号は、ＲＯＩ画像２２６の各ピクセルに関して組み合わされた符号８５６を生成するために組み合わされ得る。例えば、第１の方向勾配構成要素の符号と第２の方向勾配構成要素の符号は、組み合わされた符号８５６を生成するために組み合わされ得る。各ピクセルの方向勾配構成要素の値は、正の値、負の値、またはゼロのいずれかである。１つの実施において、ゼロの値は正の値であると考えられ得る。各ピクセルの方向勾配構成要素の組み合わされた符号８５６は、この基準において４つの異なる組み合わせを有することが可能である。符号は、両方が正（例えば、正／正すなわち＋＋）、両方が負（例えば、負／負すなわち−−）、一方が正および他方が負（例えば、正／負すなわち＋−）および一方が負および他方が正（例えば、負／正すなわち−＋）であり得る。
【００９８】
[00110]組み合わされた符号８５６はコード化された値８５８にコード化され得る。これは、図７に関して上で説明されたとおり実現され得る。この例において、２つの方向勾配構成要素が用いられる。したがって、各組み合わされた符号８５６に関して、コード化された値８５８の最大数は４である。換言すると、組み合わされた符号８５６は、４つの異なるコード化された値８５８のうちの１つを用いてコード化され得る。
【００９９】
[00111]特徴ベクトル８３０は、空間ヒストグラムに基づいて生成され得る。この例において、空間ヒストグラムは、ＲＯＩ画像２２６内の各ピクセルのコード化された値８５８を非重複セル８５２のグリッドに分割することによって生成され得る。コード化された値８５８は、３×３のグリッド内で９個のセル８５２に分割される。この場合において、各セル８５２はサイズ１６×１６を有する。空間ヒストグラムは、セル８５２内の各コード化された値の数（例えば、出現）をカウントすることによって生成され得る。
【０１００】
[00112]特徴ベクトル８３０は、空間ヒストグラムの各セル８５２内の各コード化された値の数（例えば、出現）を含み得る。ｍＥＨＤに基づく特徴ベクトル８３０の次元は、用いられるコード化された値Ｍの数と空間ヒストグラムのセルＣの数に関連する（例えば、Ｃ×Ｍ）。この例において、セルＣの数は９個であり、ならびに用いられたコード化された値Ｍの数は４つである。したがって、特徴ベクトル８３０の次元は９×４＝３６である。
【０１０１】
[00113]１つの構成において、ｍＥＨＤにおいてコンピュータ計算された値が正規化され得る。例えば、正規化は、それにわたって空間ヒストグラムがコンピュータ計算されるセル８５２の全体のサイズで特徴ベクトル２３０の値を除算することによって実行されることが可能である。この例において、セル８５２のサイズは１６×１６＝２５６である。正規化は、特徴ベクトル２３０の最終的な値を０と１の間にし得る。
【０１０２】
[00114]図９は、画像２１４を前処理するための方法９００を示すフロー図である。方法９００は電子デバイス１０２によって実行され得る。１つの構成において、方法９００は顔の表情検出のために実行され得る。したがって、関心の領域（ＲＯＩ）は顔である。しかし、本システムおよび方法は、決まったＲＯＩを有する任意の変形可能な表現に汎用化され得る。
【０１０３】
[00115]電子デバイス１０２は、入力画像２１４を受信し得る９０２。画像２１４は、カメラ（例えば、画像センサ１０４および光学システム１０６）から受信され得る９０２。画像２１４は、メモリからも受信され得る９０２。
【０１０４】
[00116]電子デバイス１０２は、ＲＯＩに対して入力画像２１４をアラインし得る９０４。例えば、電子デバイス１０２は、顔上の目が水平線上にあるように顔をアラインし得る。
【０１０５】
[00117]電子デバイス１０２は、アラインされた画像２１４をクロップし得る９０６。例えば、電子デバイス１０２は、入力画像２１４から非ＲＯＩ部分を除去し得る。顔の表情検出の場合において、電子デバイス１０２は、入力画像２１４から顏でない領域を除去し得る。
【０１０６】
[00118]電子デバイス１０２は、クロップされた画像２１４をスケールし得る９０８。入力画像２１４は圧縮の目的のためにスケールされ得る９０８。例えば、電子デバイス１０２は、顔の領域を予め定められたサイズにスケールし得る９０８。
【０１０７】
[00119]電子デバイス１０２は、ヒストグラム等化を実行し得る９１０。ヒストグラム等化は入力画像２１４のヒストグラムを等化または正規化するために実行され得る９１０。例えば、電子デバイス１０２は入力画像２１４におけるライティングバリエーションを克服し得る。
【０１０８】
[00120]電子デバイス１０２は、ＲＯＩ画像２２６を出力し得る９１２。ＲＯＩ画像２２６は、アラインされ、予め定められたサイズにスケールされ、および等化された入力画像２１４からクロップされたＲＯＩを含み得る。
【０１０９】
[00121]図９に示された方法９００のステップは置き換え可能であり得ることが留意されるべきである。さらに、いくつかのステップは、ユーザが耐えることが可能な正確さまたは複雑性に依存して追加または除去され得る。例えば、ヒストグラム等化は、この方法９００のいくつかの構成にドロップされ得る。さらに、ＲＯＩに基づくアライメント（alignment）もドロップされ得る。実際、前処理ステップの全てが変形可能な表現検出のための特別の構成として取り除かれ得る。
【０１１０】
[00122]図１０は、分類エラーを更新するための方法１０００を示すフロー図である。方法１０００は電子デバイス１０２によって実行され得る。１つの構成において、方法１０００は、電子デバイス１０２内の第１のフィードバックユニット２３４によって実行され得る。電子デバイス１０２は、表現を含むまたは含まないように入力画像２１４を分類し得る１００２。１つのシナリオにおいて、電子デバイス１０２は、入力画像内の顔が特定の表現を含むかどうかを決定し得る。表現の例は、微笑むこと、目を閉じること、怒り、走行することなどを含む。
【０１１１】
[00123]電子デバイス１０２は、入力画像２１４の誤分類を検出し得る１００４。例えば、微笑みが誤って検出される、あるいは目が実際は開いているときに目が閉じているという分類が決定され得る。誤分類を検出すること１００４は、カメラを使用するアプリケーションにおいて分類ユーザインターフェース２３６を使用することを含み得る。
【０１１２】
[00124]１つの構成において、分類ユーザインターフェース２３６は、分類の正確さについてユーザに質問することによって、入力画像２１４の誤分類（例えば、誤って検出された表現）を検出し得る１００４。写真（例えば、入力画像２１４）が撮られ、および表現決定２４８が決定された後、分類ユーザインターフェース２３６は、ユーザに入力画像２１４とその分類（例えば、表現決定２４８）を提示し得る。分類ユーザインターフェース２３６は分類が正しいかどうかをユーザに質問し得る。分類ユーザインターフェース２３６は、固定された間隔で（in fixed intervals）（例えば、各分類、全ての他の分類、全ての第３の分類などにつき）またはランダムに、分類の正確さを立証するためにユーザに質問し得る。ユーザは次に、分類が正しいことを立証するまたは誤分類を識別するための機会を有し得る。
【０１１３】
[00125]別の構成において、誤分類は、ユーザによる画像２１４の削除から推測され得る。例えば、画像２１４の分類が正しくなかった場合、ユーザは画像２１４を削除し得る。分類ユーザインターフェース２３６は、誤分類として削除された画像に対応する分類を識別し得る。このように、分類ユーザインターフェース２３６は、分類誤りについて学習し得る。
【０１１４】
[00126]電子デバイス１０２は、誤分類に基づいて分類器２３２を更新し得る１００６。分類器２３２に対する更新１００６は、用いられる分類器２３２のタイプに依存し得る。例として、Ｋ近傍法（ＫＮＮ）分類器２３２は、学習データベースのＫ要素までの画像２１４またはＲＯＩ画像２２６の最短距離を使用し得る。サポートベクトルマシン（ＳＶＭ）分類器２３２は、２つのサブセット（例えば、微笑み／非微笑み（smile/non-smile）、走行／非走行（run/non-run））を分ける超平面（Ｈ）を発見し得、次にクエリがＨの一サイドまでの距離として発見される。ブースティング（例えば、ジェントルブースト）分類器２３２は、類別（distribution）に対して繰り返し学習の弱い分類器２３２を使用し、最終的な強い分類器２３２を作るためにそれらを追加し得る。
【０１１５】
[00127]１つの例において、ＳＶＭが用いられる場合、更新すること１００６は、エラー画像２１４またはエラーＲＯＩ画像２２６（例えば、誤分類に対応する画像２１４またはＲＯＩ画像２２６）の新しいＥＨＤまたはｍＥＨＤ特徴ベクトル２３０を用いて超平面のサポートベクトルを更新することを含み得る。ＫＮＮが用いられる場合、更新すること１００６は、データベースに画像２１４またはＲＯＩ画像２２６の新しいＥＨＤの特徴ベクトル２３０またはｍＥＨＤ特徴ベクトル２３０を追加することを含み得る。ブースティングアルゴリズム（例えば、ジェントルブースト）が用いられる場合、更新すること１００６は、エラー画像２１４またはエラーＲＯＩ画像２２６のＥＨＤまたはｍＥＨＤ特徴ベクトル２３０を用いて分類器２３２を更新することを含み得る。
【０１１６】
[00128]図１１は、決定閾値２４６を調整するための方法１１００を示すフロー図である。方法１１００は電子デバイス１０２によって実行され得る。１つの構成において、方法１１００は、電子デバイス１０２内の第２のフィードバックユニット２４２によって実行され得る。電子デバイス１０２は、表現を含むまたは含まないように入力画像２１４を分類し得る１１０２。１つのシナリオにおいて、電子デバイス１０２は、入力画像２１４内の顔が特定の表現を含むかどうかを決定し得る。表現の例は、微笑むこと、目を閉じること、怒り、幸せ、走行することなどを含む。
【０１１７】
[00129]電子デバイス１０２はまた、入力画像２１４の誤分類を検出し得る１００４。例えば、微笑みが誤って検出される、あるいは目が実際は開いているときに目が閉じているという分類が決定され得る。誤分類を検出すること１００４は、カメラを使用するアプリケーションにおいて決定閾値ユーザインターフェース２４４を使用することを含み得る。例えば、写真（例えば、入力画像２１４）が撮られた後、決定閾値ユーザインターフェース２４４は、ユーザに入力画像２１４および分類（例えば、表現決定２４８）を提示しおよびそれが正しいかを質問し得る。ユーザは次に、分類が正しいと立証するまたは誤分類を識別するための機会を有し得る。別法として、誤分類は、ユーザによる画像２１４の削除から推測され得る。例えば、画像２１４の分類が正しくなかった場合、ユーザは画像２１４を削除し得る。
【０１１８】
[00130]電子デバイス１０２は、誤分類に基づいて、表現に関する決定閾値２４６を調整し得る１１０６。１つの構成において、決定閾値ユーザインターフェース２４４は、ユーザが、画像２１４内の表現をより多い頻度であるいはより少ない頻度で認識させるようにするために決定閾値２４６を調整したいかどうかをユーザに質問し得る。例えば、決定閾値２４６は、特定の表現を５０％ほど分類する位置で開始し得、次に決定閾値ユーザインターフェース２４４で受信されたその後の入力に基づいて決定閾値２４６を調整する１１０６ように進める。１つの実施において、決定閾値２４６は、表現または人間に特有であり得る。別の構成において、決定閾値ユーザインターフェース２４４は、スクリーン（例えば、タッチスクリーン１０８）上でスライディングバーをスライドさせるか、または値を手動で入力することによって、決定閾値２４６を調整する１１０６ための選択肢をユーザに与えるスライディングバーを示し得る。
【０１１９】
[00131]決定閾値２４６に対する調整１１０６は、用いられる分類器２３２のタイプに依存し得る。ＳＶＭは、式（３）を用いて超平面までの符号付距離（a signed distance）を計算し得る。
【数１７】
0006309549.tif 000018
【０１２０】
[00132]式（３）において、ａｎは実数値係数（a real valued coefficient）であり、ならびにｘｎはサポートベクトルである。ＳＶＭが用いられる場合、調整すること１１０６は、式（３）に予め定められた定数項（constant term）を加えることまたは差し引くことを含み得る。ＫＮＮは、Ｋ近傍までの最小距離を計算する。ＫＮＮが用いられる場合、調整すること１１０６は、クラスまでの最小の許可された距離の予め定められた閾値を、または複数のクラスのうちの１つを実数値で重み付けすることによって、増大することまたは減少することを含み得る。ブースティングアルゴリズム（例えば、ブーストまたはジェントルブースト）は、式（４）にしたがって決定閾値２４６を計算し得る。
【数１８】
0006309549.tif 000019
【０１２１】
[00133]式（４）において、ａｉが実数値係数であり、ｈｉは、学習された弱い分類器のうちの１つであり、およびｉはインデックスであり、およびＮは学習された弱い分類器の数である。ブースティングアルゴリズムが用いられる場合、電子デバイス１０２は、式（４）における分類器の合計をシフトするために予め定められた定数を加えるまたは差し引き得る。
【０１２２】
[00134]別法として、決定閾値２４６は、分類器２３２の出力を確率または尤度関数（a likelihood function）に変換することによって、任意の分類アルゴリズムのために変更され得る。その意味で、ＳＶＭの符号付距離、またはブースティングアルゴリズムの符号付距離、またはＫＮＮによってコンピュータ計算された距離が与えられると、これらの距離のいずれかが、式（５）を用いて０と１の間の尤度値に変換され得る。
【数１９】
0006309549.tif 000020
【０１２３】
[00135]式（５）において、ｄは、例えばＳＶＭに関する式（３）またはブーストに関する式（４）の例について計算された距離である。式（５）は、結果が値０と１の間に生じる。値０．５以上は、画像２１４またはＲＯＩ画像２２６中に存在している表現の１つの設定に割り当てられ得、および０．５未満の値はそれ以外を意味する。決定閾値２４６を変更するために、０．５より低いまたは高いマージンが選択可能である。
【０１２４】
[00136]１つの構成において、値はまた、必要に応じて、０％と１００％の間で数のスケール（numbers scale）を作るために、１００のような定数によって掛け算され得る。決定閾値２４６は、この場合、最初に５０％になる。１つの実施において、決定閾値２４６は、自動的に調整され得る１１０６（例えば、より低くまたはより高くされる）。別の実施において、決定閾値２４６は、スクリーン上でスライディングバーを調整することによって、ユーザによりインタラクティブに調整され得る１１０６。さらに別の実施において、決定閾値２４６は、決定閾値２４６に関する値を手動で入力することによって調整され得る１１０６。
【０１２５】
[00137]図１２は、電子デバイス／無線デバイス１２０２内に含まれ得る決まった構成要素を示す。電子デバイス／無線デバイス１２０２は、上で説明された電子デバイス１０２にしたがって実施され得る。電子デバイス／無線デバイス１２０２は、アクセス端末、モバイル局、ユーザ機器などであり得る。電子デバイス／無線デバイス１２０２は、プロセッサ１２０１を含む。プロセッサ１２０１は汎用単一または複数のチップ・マイクロプロセッサ(例えば、先進ＲＩＳＣ（縮小命令セットコンピュータ（Reduced Instruction Set Computer））機械（ＡＲＭ）プロセッサ）、特殊目的マイクロプロセッサ(例えば、デジタル信号プロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブル・ゲート・アレイ等であり得る。プロセッサ１２０１は、中央処理装置（ＣＰＵ）とも称され得る。単一プロセッサ１２０１だけが、図１２の電子デバイス／無線デバイス１２０２内に示されるが、別の構成において、複数のプロセッサの組み合わせ(例えば、ＡＲＭおよびＤＳＰ）が使用される可能性がある。
【０１２６】
[00138]電子デバイス／無線デバイス１２０２はまたメモリ１２０９を含む。メモリ１２０９は電子情報を記憶できる任意の電子構成要素であり得る。メモリ１２０９は、ランダム・アクセス・メモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光学記憶媒体、ＲＡＭ内のフラッシュ・メモリ・デバイス、プロセッサと共に含まれるオンボードメモリ、消去可能なプログラム可能な読取専用メモリ（ＥＰＲＯＭ）、電子的に消去可能なＰＲＯＭ（ＥＥＰＲＯＭ（登録商標））、それらの組み合わせを含むレジスタ等として組み込まれ得る。
【０１２７】
[00139]データ１２１３ａと命令２１１１ａはメモリ１２０９内に記憶され得る。命令１２１１ａは、ここで開示された方法を実施するためにプロセッサ１２０１によって実行可能であり得る。命令１２１１ａを実行することはメモリ１２０９内に記憶されたデータ１２１３ａの使用を含み得る。プロセッサ１２０１が命令１２１１aを実行する時、命令１２１１ｂの様々な部分がプロセッサ１２０１にロードされ得、およびデータ１２１３ｂの様々な断片がプロセッサ１２０１にロードされ得る。
【０１２８】
[00140]電子デバイス／無線デバイス１２０２はまた、電子デバイス／無線デバイス１２０２への信号の送信および電子デバイス／無線デバイス１２０２からの信号の受信を可能にするために送信機１２１７と受信機１２１９を含み得る。送信機１２１７と受信機１２１９は集合的に送受信機１２０５と称され得る。複数のアンテナ１２０７ａ−ｎは、送受信機１２０５に電気的に結合され得る。電子デバイス／無線デバイス１２０２はまた、複数の送信機、複数の受信機、複数の送受信機、および／または追加のアンテナを含み得る（不図示）。
【０１２９】
[00141]電子デバイス／無線デバイス１２０２は、デジタル信号プロセッサ（ＤＳＰ）１２２３を含み得る。電子デバイス／無線デバイス１２０２はまた、通信インターフェース１２２５を含み得る。通信インターフェース１２２５は、電子デバイス／無線デバイス１２０２と相互作用することをユーザに可能にし得る。
【０１３０】
[00142]電子デバイス／無線デバイス１２０２の様々な構成要素は、１つまたは複数のバスによって共に結合され得、それらは、電力バス、制御信号バス、ステータス信号バス、データバス等を含み得る。明瞭さのために、様々なバスがバスシステム１２２１として図１２に示される。
【０１３１】
[00143]ここに説明された技術は、直交多重化方式に基づく通信システムを含む様々な通信システムに用いられ得る。こういった通信システムの例は、直交周波数分割多元接続（ＯＦＤＭＡ）システム、シングルキャリア周波数分割多元接続（ＳＣ−ＦＤＭＡ）システム、などを含む。ＯＦＤＭＡシステムは、全体のシステム帯域幅を複数の直交副搬送波に分割する変調方式である直交周波数分割多重（ＯＦＤＭ）、を利用する。これらの副搬送波はトーン、ビン、などとも呼ばれ得る。ＯＦＤＭを用いて、各副搬送波は、データと共に独立して変調され得る。ＳＣ−ＦＤＭＡシステムは、システム帯域幅全体にわたって分散される副搬送波上で送信するためのインターリーブされたＦＤＭＡ（ＩＦＤＭＡ）、隣接する副搬送波から成るブロック上で送信するためのローカライズされたＦＤＭＡ（ＬＦＤＭＡ）、あるいは隣接する副搬送波から成る複数のブロック上で送信するための拡張されたＦＤＭＡ（ＥＦＤＭＡ）を利用し得る。一般的に、変調シンボルは、ＯＦＤＭを用いる周波数領域とＳＣ−ＦＤＭＡを用いる時間領域に送信される。
【０１３２】
[00144]用語「決定すること(determining)」は、多種多様な動作を含み、したがって、「決定すること」は、計算することと(calculating)、コンピュータ計算すること(computing)、処理すること(processing)、導くこと(deriving)、調査すること(investigating)、検索すること(lookingup)（例えば、テーブル、データベース、または別のデータ構造内を検索すること）、確定すること(ascertaining)等を含むことが可能である。また、「決定すること」は、受信すること(receiving)(例えば、情報を受信すること）、アクセスすること(accessing)(例えば、メモリ内のデータにアクセスすること）等を含むことが可能である。また、「決定すること」は、解くこと(resolving)、選択すること(selecting)、選択すること（choosing)、確立すること(establishing)等を含むことが可能である。
【０１３３】
[00145]フレーズ「〜に基づく(based on)」は、明確に特定されないかぎり、「〜のみに基づく」という意味ではない。換言すると、フレーズ「〜に基づく」は、「〜のみに基づく(based only on)」および「少なくとも〜に基づく(based at least on)」の両方を表す。
【０１３４】
[00146]用語「プロセッサ]は、汎用プロセッサ、中央演算処理ユニット（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、ステート・マシン等を含むように広義に解釈されるべきである。いくつかの状況下では、「プロセッサ」は、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能な論理デバイス（ＰＬＤ）、フィールド・プログラム可能な・ゲート・アレイ（ＦＰＧＡ）などを指し得る。用語「プロセッサ」は、処理デバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連結する１つまた複数のマイクロプロセッサ、または任意の他のこういった構成を指し得る。
【０１３５】
[00147]用語「メモリ」は、電子情報を記憶可能な任意の電子構成要素を含むように広義に解釈されるべきである。用語メモリは、ランダム・アクセス・メモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、非揮発性ランダム・アクセス・メモリ（ＮＶＲＡＭ）、プログラム可能な読取専用メモリ（ＰＲＯＭ）、消去可能なプログラム可能な読取専用メモリ(ＥＰＲＯＭ)、電気的に消去可能なＰＲＯＭ(ＥＥＰＲＯＭ)、フラッシュメモリ、磁気または光学データ記憶装置、レジスタ等の様々なタイプのプロセッサ読取可能な媒体を指し得る。プロセッサがメモリから情報を読み取りおよび／またはメモリへ情報を書き込むことができる場合、メモリはプロセッサと電子通信状態であると言われる。プロセッサに組み込まれたメモリは、プロセッサと電子通信状態である。
【０１３６】
[00148]用語「命令」および「コード」は、任意のタイプのコンピュータ可読ステートメント（複数）(statement(s))を含むように広義に解釈されるべきである。例えば、用語「命令」および「コード」は、１つまたは複数のプログラム、ルーチン、サブルーチン、関数、プロシージャ等を指し得る。「命令」および「コード」は、単一のコンピュータ読取可能ステートメントまたは多くのコンピュータ読取可能ステートメントを備え得る。
【０１３７】
[00149]ここに説明された機能は、ハードウェアによって実行されるソフトウェアまたはファームウェアにおいて実施され得る。関数は、コンピュータ読み取り可能媒体上に１つまたは複数の命令として記憶され得る。用語「コンピュータ読み取り可能媒体」または「コンピュータプログラム製品」はコンピュータまたはプロセッサによってアクセス可能な任意の実体のある記憶媒体を指す。限定ではなく１例として、コンピュータ読み取り可能媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ―ＲＯＭまたは他の光学ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、または命令またはデータの構造の形式で所望のプログラムを搬送または記憶するために用いられることが可能であり、かつコンピュータによってアクセス可能な任意の他の媒体を備え得る。ここで用いられたようなディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光学ディスク、（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、およびＢｌｕ−ｒａｙ（登録商標）ディスクを含み、ディスク（ｄｉｓｋ）が通常データを磁気的に再生する一方で、ディスク（ｄｉｓｃ）はレーザを用いて光学的にデータを再生する。
【０１３８】
[00150]ここに開示された方法は、説明された方法を実現するための１つまたは複数のステップまたは動作を備える。方法のステップおよび／または動作は請求項の範囲から逸脱することなく相互に置換され得る。換言すると、ステップまたは動作の特定の順序が説明されている方法の適切な操作のために必要とされないかぎり、特定のステップおよび／または動作の順序および／または使用は、請求項の範囲を逸脱することなく修正され得る。
【０１３９】
[00151]さらに、図３、４、６、および９−１１によって示されたように、ここで説明された方法および技術を実行するためのモジュールおよび／または他の適切な手段は、ダウンロードされ、および／またはさもなければデバイスによって取得されることが可能であることが理解されるべきである。例えば、デバイスは、ここで説明された方法を実行するための手段の転送を容易にするためにサーバーに結合され得る。別法として、ここで説明された様々な方法は、記憶手段(例えば、ランダム・アクセス・メモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）またはフロッピーディスクのような物理記憶媒体等）を経由して提供されることが可能であり、その結果、デバイスは、記憶手段をデバイスに結合または提供するとすぐに、様々な方法を取得し得る。
【０１４０】
[00152]請求項は上記に示された厳密な構成および構成要素に限定されないことが理解されるべきである。様々な修正、変更、およびバリエーションが請求項の範囲から逸脱することなくここで説明されたシステム、方法、および装置の配置、操作、および詳細において行われ得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］変形可能な表現検出のための方法であって、
前処理された画像内の各ピクセルに関して、組み合わされた符号を生成するために、第１の方向勾配構成要素の符号と第２の方向勾配構成要素の符号を組み合わせることと、
各組み合わされた符号をコード化された値にコード化することと、
前記コード化された値に基づいて、入力画像内の表現を検出することと、
を備える、方法。
［Ｃ２］関心の領域（ＲＯＩ）に基づいて入力画像をアラインすることと、
前記入力画像内の前記ＲＯＩをクロップすることと、
前記ＲＯＩをスケールすることと、
前記ＲＯＩのヒストグラムを等化することと、
を備える、前記前処理された画像を生成するために前記入力画像を前処理すること、
をさらに備える、Ｃ１に記載の方法。
［Ｃ３］前記方向勾配構成要素は正規直交である、Ｃ１に記載の方法。
［Ｃ４］前記方向勾配構成要素は、垂直および水平方向勾配構成要素、または４５度および１３５度の方向勾配構成要素である、Ｃ３に記載の方法。
［Ｃ５］前記コード化することは、前記方向勾配構成要素の大きさの値を決定することなく、前記方向勾配構成要素の前記符号に基づいて、各組み合わされた符号をコード化された値にコード化することを備える、Ｃ１に記載の方法。
［Ｃ６］前記表現は、微笑むこと、瞬きすること、または怒りを備える、Ｃ１に記載の方法。
［Ｃ７］表現を前記検出することは、マシン学習アルゴリズムを用いて特徴ベクトルを分類することを備える、Ｃ１に記載の方法。
［Ｃ８］前記マシン学習アルゴリズムは、サポートベクトルマシン（ＳＶＭ）アルゴリズム、ブースティングアルゴリズム、またはＫ近傍法（ＫＮＮ）アルゴリズムである、Ｃ７に記載の方法。
［Ｃ９］表現を含むまたは含まないように入力画像を分類することと、
前記入力画像の誤分類を検出することと、
前記誤分類に基づいて分類器を更新することと、
を備える、分類エラーを更新すること、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１０］前記誤分類を検出することは、
ユーザに前記入力画像と分類を提示することと、
前記分類が正しいかどうかを前記ユーザに質問することと、
前記分類が正しいかどうかについてのユーザ入力を受信することと、
を備える、Ｃ９に記載の方法。
［Ｃ１１］前記誤分類を検出することは、
分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定すること、
を備える、Ｃ９に記載の方法。
［Ｃ１２］前記更新することは、前記入力画像を分類するために用いられた分類器のタイプに基づく、Ｃ９に記載の方法。
［Ｃ１３］前記分類器は、マシン学習アルゴリズムを用いる、Ｃ９に記載の方法。
［Ｃ１４］表現を含むまたは含まないように入力画像を分類することと、
前記入力画像の誤分類を検出することと、
前記表現に関する決定閾値を手動で、または前記誤分類に基づいて調整することと、
を備える、決定閾値を調整すること、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１５］前記誤分類を検出することは、
ユーザに前記入力画像と分類を提示することと、
前記分類が正しいかどうかを前記ユーザに質問することと、
前記分類が正しいかどうかについてのユーザ入力を受信することと、
を備える、Ｃ１４に記載の方法。
［Ｃ１６］前記誤分類を検出することは、
分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定すること、
を備える、Ｃ１４に記載の方法。
［Ｃ１７］前記調整することは、前記入力画像を分類するために用いられた分類器のタイプに基づく、Ｃ１４に記載の方法。
［Ｃ１８］前記表現に関する前記決定閾値を手動で調整することは、前記スクリーン上でスライディングバーをスライドさせるか、または値を手動で入力することによって前記閾値を調整するための選択肢をユーザに与える前記バーを示すことを備える、Ｃ１４に記載の方法。
［Ｃ１９］前記分類することは、マシン学習アルゴリズムを用いて特徴ベクトルを分類することを備える、Ｃ１４に記載の方法。
［Ｃ２０］変形可能な表現検出のための装置であって、
プロセッサと、
前記プロセッサと電子通信を行うメモリと、
メモリ内に記憶された命令と、
を備え、前記命令は、
前処理された画像内の各ピクセルに関して、組み合わされた符号を生成するために、第１の方向勾配構成要素の符号と第２の方向勾配構成要素の符号を組み合わせることと、
各組み合わされた符号をコード化された値にコード化することと、
前記コード化された値に基づいて、入力画像内の表現を検出することと、
を実行可能である、装置。
［Ｃ２１］前記方向勾配構成要素は正規直交である、Ｃ２０に記載の装置。
［Ｃ２２］コード化することを実行可能な前記命令は、前記方向勾配構成要素の大きさの値を決定することなく、前記方向勾配構成要素の前記符号に基づいて、各組み合わされた符号をコード化された値にコード化することを実行可能な命令を備える、Ｃ２０に記載の装置。
［Ｃ２３］表現を含むまたは含まないように入力画像を分類することと、
前記入力画像の誤分類を検出することと、
前記誤分類に基づいて分類器を更新することと、
を実行可能な命令をさらに備える、Ｃ２０に記載の装置。
［Ｃ２４］前記誤分類を検出することを実行可能な前記命令は、
ユーザに前記入力画像と分類を提示することと、
前記分類が正しいかどうかを前記ユーザに質問することと、
前記分類が正しいかどうかについてのユーザ入力を受信することと、
を実行可能な命令を備える、Ｃ２３に記載の装置。
［Ｃ２５］前記誤分類を検出することを実行可能な前記命令は、分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定することを実行可能な命令を備える、Ｃ２３に記載の装置。
［Ｃ２６］表現を含むまたは含まないように入力画像を分類することと、
前記入力画像の誤分類を検出することと、
前記表現に関する決定閾値を手動で、または前記誤分類に基づいて調整することと、
を実行可能な命令をさらに備える、Ｃ２０に記載の装置。
［Ｃ２７］前記誤分類を検出することを実行可能な前記命令は、
ユーザに前記入力画像と分類を提示することと、
前記分類が正しいかどうかを前記ユーザに質問することと、
前記分類が正しいかどうかについてのユーザ入力を受信することと、
を実行可能な命令を備える、Ｃ２６に記載の装置。
［Ｃ２８］前記誤分類を検出することを実行可能な前記命令は、分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定することを実行可能な命令を備える、Ｃ２６に記載の装置。
［Ｃ２９］前記決定閾値を手動で調整することを実行可能な前記命令は、前記スクリーン上でスライディングバーをスライドさせるか、または値を手動で入力することによって前記閾値を調整するための選択肢をユーザに与える前記バーを示すことを実行可能な命令を備える、Ｃ２６に記載の装置。
［Ｃ３０］変形可能な表現検出のための装置であって、
前処理された画像内の各ピクセルに関して、組み合わされた符号を生成するために、第１の方向勾配構成要素の符号と第２の方向勾配構成要素の符号を組み合わせるための手段と、
各組み合わされた符号をコード化された値にコード化するための手段と、
前記コード化された値に基づいて、入力画像内の表現を検出するための手段と、
を備える、装置。
［Ｃ３１］前記方向勾配構成要素は正規直交である、Ｃ３０に記載の装置。
［Ｃ３２］コード化するための前記手段は、前記方向勾配構成要素の大きさの値を決定することなく、前記方向勾配構成要素の前記符号に基づいて、各組み合わされた符号をコード化された値にコード化するための手段を備える、Ｃ３０に記載の装置。
［Ｃ３３］表現を含むまたは含まないように入力画像を分類するための手段と、
前記入力画像の誤分類を検出するための手段と、
前記誤分類に基づいて分類器を更新するための手段と、
をさらに備える、Ｃ３０に記載の装置。
［Ｃ３４］前記誤分類を検出するための前記手段は、
ユーザに前記入力画像と分類を提示するための手段と、
前記分類が正しいかどうかを前記ユーザに質問するための手段と、
前記分類が正しいかどうかについてのユーザ入力を受信するための手段と、
を備える、Ｃ３３に記載の装置。
［Ｃ３５］前記誤分類を検出するための前記手段は、
分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定するための手段、
を備える、Ｃ３３に記載の装置。
［Ｃ３６］表現を含むまたは含まないように入力画像を分類するための手段と、
前記入力画像の誤分類を検出するための手段と、
前記表現に関する決定閾値を手動で、または前記誤分類に基づいて調整するための手段と、
をさらに備える、Ｃ３０に記載の装置。
［Ｃ３７］前記誤分類を検出するための前記手段は、
ユーザに前記入力画像と分類を提示するための手段と、
前記分類が正しいかどうかを前記ユーザに質問するための手段と、
前記分類が正しいかどうかについてのユーザ入力を受信するための手段と、
を備える、Ｃ３６に記載の装置。
［Ｃ３８］前記誤分類を検出するための前記手段は、
分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定するための手段、
を備える、Ｃ３６に記載の装置。
［Ｃ３９］前記表現に関する前記決定閾値を手動で調整するための前記手段は、前記スクリーン上でスライディングバーをスライドさせるか、または値を手動で入力することによって前記閾値を調整するための選択肢をユーザに与える前記バーを調整するための手段を備える、Ｃ３６に記載の装置。
［Ｃ４０］命令を有する非一時的なコンピュータ可読媒体を備える、変形可能な表現検出のためのコンピュータプログラム製品であって、前記命令は、
前処理された画像内の各ピクセルに関して、組み合わされた符号を生成するために、第１の方向勾配構成要素の符号と第２の方向勾配構成要素の符号を組み合わせることを電子デバイスに行わせるためのコードと、
各組み合わせた符号をコード化された値にコード化することを前記電子デバイスに行わせるためのコードと、
前記コード化された値に基づいて、入力画像内の表現を検出することを前記電子デバイスに行わせるためのコードと、
を備える、コンピュータプログラム製品。
［Ｃ４１］前記方向勾配構成要素は正規直交である、Ｃ４０に記載のコンピュータプログラム製品。
［Ｃ４２］各組み合わされた符号をコード化することを前記電子デバイスに行わせるための前記コードは、前記方向勾配構成要素の大きさの値を決定することなく、前記方向勾配構成要素の前記符号に基づいて、各組み合わされた符号をコード化された値にコード化することを前記電子デバイスに行わせるためのコードを備える、Ｃ４０に記載のコンピュータプログラム製品。
［Ｃ４３］表現を含むまたは含まないように入力画像を分類することを前記電子デバイスに行わせるためのコードと、
前記入力画像の誤分類を検出することを前記電子デバイスに行わせるためのコードと、
前記誤分類に基づいて分類器を更新することを前記電子デバイスに行わせるためのコードと、
をさらに備える、Ｃ４０に記載のコンピュータプログラム製品。
［Ｃ４４］前記誤分類を検出することを前記電子デバイスに行わせるための前記コードは、
ユーザに前記入力画像と分類を提示することを前記電子デバイスに行わせるためのコードと、
前記分類が正しいかどうかを前記ユーザに質問することを前記電子デバイスに行わせるためのコードと、
前記分類が正しいかどうかについてのユーザ入力を受信することを前記電子デバイスに行わせるためのコードと、
を備える、Ｃ４３に記載のコンピュータプログラム製品。
［Ｃ４５］前記誤分類を検出することを前記電子デバイスに行わせるための前記コードは、
分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定することを前記電子デバイスに行わせるためのコード、
を備える、Ｃ４３に記載のコンピュータプログラム製品。
［Ｃ４６］表現を含むまたは含まないように入力画像を分類することを前記電子デバイスに行わせるためのコードと、
前記入力画像の誤分類を検出することを前記電子デバイスに行わせるためのコードと、
前記表現に関する決定閾値を手動で、または前記誤分類に基づいて調整することを前記電子デバイスに行わせるためのコードと、
をさらに備える、Ｃ４０に記載のコンピュータプログラム製品。
［Ｃ４７］前記誤分類を検出することを前記電子デバイスに行わせるための前記コードは、
ユーザに前記入力画像と分類を提示することを前記電子デバイスに行わせるためのコードと、
前記分類が正しいかどうかを前記ユーザに質問することを前記電子デバイスに行わせるためのコードと、
前記分類が正しいかどうかについてのユーザ入力を受信することを前記電子デバイスに行わせるためのコードと、
を備える、Ｃ４６に記載のコンピュータプログラム製品。
［Ｃ４８］前記誤分類を検出することを前記電子デバイスに行わせるための前記コードは、
分類が、分類後のユーザによる前記入力画像の削除に基づいて正しくないと決定することを前記電子デバイスに行わせるためのコード、
を備える、Ｃ４６に記載のコンピュータプログラム製品。
［Ｃ４９］前記表現に関する前記決定閾値を手動で調整するための前記コードは、前記スクリーン上でスライディングバーをスライドさせるか、または値を手動で入力することによって前記閾値を調整するための選択肢をユーザに与える前記バーを調整するためのコードを備える、Ｃ４６に記載のコンピュータプログラム製品。
【図１】
0006309549.tif 000021
【図１Ａ】
0006309549.tif 000022
【図２】
0006309549.tif 000023
【図３】
0006309549.tif 000024
【図４】
0006309549.tif 000025
【図５】
0006309549.tif 000026
【図６】
0006309549.tif 000027
【図７】
0006309549.tif 000028
【図８】
0006309549.tif 000029
【図９】
0006309549.tif 000030
【図１０】
0006309549.tif 000031
【図１１】
0006309549.tif 000032
【図１２】
0006309549.tif 000033