(57)【特許請求の範囲】
【請求項１】
画像認識のために端末デバイスに適用される画像認識アクセラレータであって、
次元削減パラメータγを受信し、前記受信した次元削減パラメータγに従って第1の画像データの次元を削減するように構成される、次元削減処理モジュールであって、次元削減が行われた前記第1の画像データは、複数の数値を含み、前記次元削減パラメータγは、前記端末デバイスのシステム電力消費および前記端末デバイスの指定された第1の画像認識成功率に従って取得される、次元削減処理モジュールと、
幅パラメータωおよび第1の電流Iを受信し、前記指定された第1の電流Iに従ってNVMの第1のストレージエリアに、次元削減が行われた前記第1の画像データの各数値のω個の下位ビットを記憶し、指定された第2の電流Isに従って前記NVMの第2のストレージエリアに、次元削減が行われた前記第1の画像データの各数値の(N-ω)個の上位ビットを記憶するように構成される、不揮発性メモリ(NVM)であって、Nは、各数値によって占有されるビットの数量であり、前記第1の電流Iは、前記第2の電流Isより低く、前記幅パラメータωおよび前記第1の電流Iは、前記端末デバイスの前記システム電力消費および前記端末デバイスの前記指定された第1の画像認識成功率に従って取得される、不揮発性メモリ(NVM)と、
次元削減が行われた前記第1の画像データにマッチングする画像データを前記NVMに記憶されている画像ライブラリが含んでいるかどうかを決定するように構成される、画像マッチングモジュールとを備える、画像認識アクセラレータ。
【請求項２】
前記指定された第1の画像認識成功率および前記端末デバイスの前記システム電力消費に従って、前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流といったパラメータのうちの少なくとも1つの値を調整して、前記次元削減パラメータγ、前記幅パラメータω、および前記第1の電流Iを取得し、前記次元削減パラメータγを前記次元削減処理モジュールに送信し、前記NVMに前記幅パラメータωおよび前記第1の電流Iを送信するように構成される、パラメータ調整モジュールをさらに備える、請求項1に記載の画像認識アクセラレータ。
【請求項３】
前記パラメータ調整モジュールは、
前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流の前記値を別々に調整し、複数の調整後の画像認識成功率および複数の調整後のシステム電力消費を別々に取得することであって、各調整後の画像認識成功率は、1つの調整後のシステム電力消費に対応している、取得することをし、
各調整後の画像認識成功率と前記第1の画像認識成功率との間の差を決定し、少なくとも1つの調整後の画像認識成功率に対応する少なくとも1つの調整後のシステム電力消費から最低システム電力消費を選択することであって、前記少なくとも1つの調整後の画像認識成功率と前記第1の画像認識成功率との間の差の絶対値は、プリセット閾値より大きくない、選択することをし、
前記最低システム電力消費を満足しつつ画像認識成功率を最高にする前記次元削減パラメータ、前記幅パラメータ、および前記第1の電流の値を、それぞれ、前記次元削減パラメータγ、前記幅パラメータω、および前記第1の電流Iとして選択し、前記調整後の次元削減パラメータγを前記次元削減処理モジュールに送信し、前記NVMに前記幅パラメータωおよび前記第1の電流Iを送信するように構成される、請求項2に記載の画像認識アクセラレータ。
【請求項４】
前記パラメータ調整モジュールは、算出された画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きい場合には、前記第2の画像認識成功率および前記端末デバイスの前記システム電力消費に従って、前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流といったパラメータのうちの少なくとも1つを調整して、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'を取得することであって、前記第2の画像認識成功率は、前記第1の画像認識成功率とは異なる、取得することをするようにさらに構成され、
前記次元削減処理モジュールは、前記調整後の次元削減パラメータγ'に従って第2の画像データの次元を削減するようにさらに構成され、
前記不揮発性メモリNVMは、前記調整後の第1の電流I'に従って前記NVMの前記第1のストレージエリアに、次元削減が行われた前記第2の画像データの各数値のω'個の下位ビットを記憶するとともに、前記第2の電流Isに従って前記NVMの前記第2のストレージエリアに、次元削減が行われた前記第2の画像データの各数値の(N-ω')個の上位ビットを記憶することであって、I'は、Isより低い、記憶することをするようにさらに構成され、
前記画像マッチングモジュールは、次元削減が行われた前記第2の画像データにマッチングする画像データを前記NVMに記憶されている前記画像ライブラリが含んでいるかどうかを決定するようにさらに構成される、請求項1に記載の画像認識アクセラレータ。
【請求項５】
プリセット統計収集期間内に前記画像マッチングモジュールによって出力されたマッチング結果についての統計を収集して、算出された画像認識成功率を取得するように構成される、統計収集モジュールをさらに備える、請求項1から4のいずれか一項に記載の画像認識アクセラレータ。
【請求項６】
前記次元削減処理モジュールは、
前記第1の画像データと指定されたバイナリ行列との積に従って、次元削減が行われた前記第1の画像データを取得することであって、前記第1の画像データは、k個の行およびm個の列を有する行列であり、前記バイナリ行列は、m個の行およびn個の列を有する行列であり、次元削減が行われた前記第1の画像データは、k個の行およびn個の列を有する行列であり、k、m、およびnは、正の整数であり、mの値は、nの値より大きく、前記nの値は、前記次元削減パラメータγに従って決定され、γ=n/mである、取得することをするように構成される、請求項1から5のいずれか一項に記載の画像認識アクセラレータ。
【請求項７】
前記パラメータ調整モジュールは、
算出された画像認識成功率と第2の画像認識成功率との間の差の絶対値が前記プリセット閾値より大きい場合には、前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流の前記値を別々に調整し、複数の調整後の画像認識成功率および複数の調整後のシステム電力消費Eを別々に取得することであって、Eの値は、γ((N-ω)*Is2+ω*I)の値に比例し、各調整後の画像認識成功率は、1つの調整後のシステム電力消費に対応している、取得することをし、
各調整後の画像認識成功率と前記第2の画像認識成功率との間の差を決定し、少なくとも1つの調整後の画像認識成功率に対応する少なくとも1つの調整後のシステム電力消費から最低システム電力消費E'を選択することであって、前記少なくとも1つの調整後の画像認識成功率と前記第2の画像認識成功率との間の差の絶対値は、前記プリセット閾値より大きくない、選択することをし、
前記最低電力消費E'を満足しつつ画像認識成功率を最高にする前記次元削減パラメータ、前記幅パラメータ、および前記第1の電流の値を、それぞれ、前記調整後の次元削減パラメータγ'、前記調整後の幅パラメータω'、および前記調整後の第1の電流I'として選択し、前記調整後の次元削減パラメータγ'を前記次元削減処理モジュールに送信し、前記調整後の幅パラメータω'および前記調整後の第1の電流I'を前記NVMに送信するように構成される、請求項4または5に記載の画像認識アクセラレータ。
【請求項８】
前記バイナリ行列は、ベルヌーイマッピング行列を含む、請求項6に記載の画像認識アクセラレータ。
【請求項９】
中央処理ユニット(CPU)および画像認識アクセラレータを備える端末デバイスであって、
前記CPUは、認識対象の第1の画像データを前記画像認識アクセラレータに送信するように構成され、
前記画像認識アクセラレータは、次元削減パラメータγに従って前記第1の画像データの次元を削減することであって、次元削減が行われた前記第1の画像データは、複数の数値を含み、前記次元削減パラメータγは、前記端末デバイスのシステム電力消費および前記端末デバイスの指定された第1の画像認識成功率に従って取得される、削減することをし、
第1の電流Iに従ってNVMの第1のストレージエリアに、次元削減が行われた前記第1の画像データの各数値のω個の下位ビットを記憶するとともに、指定された第2の電流Isに従って前記NVMの第2のストレージエリアに、次元削減が行われた前記第1の画像データの各数値の(N-ω)個の上位ビットを記憶することであって、Nは、各数値によって占有されるビットの数量であり、ωは、幅パラメータであり、Iは、Isより低く、前記幅パラメータωおよび前記第1の電流Iは、前記端末デバイスの前記システム電力消費および前記端末デバイスの前記指定された第1の画像認識成功率に従って取得される、記憶することをし、
次元削減が行われた前記第1の画像データにマッチングする画像データを前記NVMに記憶されている画像ライブラリが含んでいるかどうかを決定するように構成される、端末デバイス。
【請求項１０】
前記画像認識アクセラレータは、
前記指定された第1の画像認識成功率および前記端末デバイスの前記システム電力消費に従って、前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流といったパラメータのうちの少なくとも1つの値を調整して、前記次元削減パラメータγ、前記幅パラメータω、および前記第1の電流Iを取得するようにさらに構成される、請求項9に記載の端末デバイス。
【請求項１１】
前記画像認識アクセラレータは、
前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流の前記値を別々に調整し、複数の調整後の画像認識成功率および複数の調整後のシステム電力消費を別々に取得することであって、各調整後の画像認識成功率は、1つの調整後のシステム電力消費に対応している、取得することをし、
各調整後の画像認識成功率と前記第1の画像認識成功率との間の差を決定し、少なくとも1つの調整後の画像認識成功率に対応する少なくとも1つの調整後のシステム電力消費から最低システム電力消費を選択することであって、前記少なくとも1つの調整後の画像認識成功率と前記第1の画像認識成功率との間の差の絶対値は、プリセット閾値より大きくない、選択することをし、
前記最低システム電力消費を満足しつつ画像認識成功率を最高にする前記次元削減パラメータ、前記幅パラメータ、および前記第1の電流の値を、それぞれ、前記次元削減パラメータγ、前記幅パラメータω、および前記第1の電流Iとして選択するように構成される、請求項10に記載の端末デバイス。
【請求項１２】
前記画像認識アクセラレータは、算出された画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きい場合には、前記第2の画像認識成功率および前記端末デバイスの前記システム電力消費に従って、前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流といったパラメータのうちの少なくとも1つを調整して、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'を取得することであって、前記第2の画像認識成功率は、前記第1の画像認識成功率とは異なる、取得することをするようにさらに構成され、
前記CPUは、第2の画像データを前記画像認識アクセラレータに送信するようにさらに構成され、
前記画像認識アクセラレータは、
前記調整後の次元削減パラメータγ'に従って前記第2の画像データの次元を削減し、
前記調整後の第1の電流I'に従って前記NVMの前記第1のストレージエリアに、次元削減が行われた前記第2の画像データの各数値のω'個の下位ビットを記憶するとともに、前記第2の電流Isに従って前記NVMの前記第2のストレージエリアに、次元削減が行われた前記第2の画像データの各数値の(N-ω')個の上位ビットを記憶することであって、I'は、Isより低い、記憶することをし、
次元削減が行われた前記第2の画像データにマッチングする画像データを前記NVMに記憶されている前記画像ライブラリが含んでいるかどうかを決定するようにさらに構成される、請求項9に記載の端末デバイス。
【請求項１３】
前記CPUは、プリセット統計収集期間内に前記画像認識アクセラレータによって出力されたマッチング結果についての統計を収集して、算出された画像認識成功率を取得し、
前記算出された画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きいと決定するようにさらに構成され、
前記画像認識アクセラレータは、前記第2の画像認識成功率および前記端末デバイスの前記システム電力消費に従って、前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流といったパラメータのうちの少なくとも1つの値を調整して、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'を取得することであって、前記第2の画像認識成功率は、前記第1の画像認識成功率とは異なる、取得することをするようにさらに構成され、
前記CPUは、第2の画像データを前記画像認識アクセラレータに送信するようにさらに構成され、
前記画像認識アクセラレータは、前記調整後の次元削減パラメータγ'に従って前記第2の画像データの次元を削減し、
前記調整後の第1の電流I'に従って前記NVMの前記第1のストレージエリアに、次元削減が行われた前記第2の画像データの各数値のω'個の下位ビットを記憶するとともに、前記第2の電流Isに従って前記NVMの前記第2のストレージエリアに、次元削減が行われた前記第2の画像データの各数値の(N-ω')個の上位ビットを記憶することであって、I'は、Isより低い、記憶することをし、
次元削減が行われた前記第2の画像データにマッチングする画像データを前記NVMに記憶されている前記画像ライブラリが含んでいるかどうかを決定するようにさらに構成される、請求項9に記載の端末デバイス。
【請求項１４】
前記CPUは、
プリセット統計収集期間内に前記画像認識アクセラレータによって出力されたマッチング結果についての統計を収集して、算出された画像認識成功率を取得し、
前記算出された画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きい場合には、前記第2の画像認識成功率および前記端末デバイスの前記システム電力消費に従って、前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流といったパラメータのうちの少なくとも1つの値を調整して、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、または調整後の第1の電流I'を取得することであって、前記第2の画像認識成功率は、前記第1の画像認識成功率とは異なる、取得することをし、
第2の画像データを前記画像認識アクセラレータに送信するようにさらに構成され、
前記画像認識アクセラレータは、
前記調整後の次元削減パラメータγ'に従って前記第2の画像データの次元を削減し、
前記調整後の第1の電流I'に従って前記NVMの前記第1のストレージエリアに、次元削減が行われた前記第2の画像データの各数値のω'個の下位ビットを記憶するとともに、前記第2の電流Isに従って前記NVMの前記第2のストレージエリアに、次元削減が行われた前記第2の画像データの各数値の(N-ω')個の上位ビットを記憶することであって、I'は、Isより低い、記憶することをし、
次元削減が行われた前記第2の画像データにマッチングする画像データを前記NVMに記憶されている前記画像ライブラリが含んでいるかどうかを決定するようにさらに構成される、請求項9に記載の端末デバイス。
【請求項１５】
前記画像認識アクセラレータは、
前記第1の画像データと指定されたバイナリ行列との積に従って、次元削減が行われた前記第1の画像データを取得することであって、前記第1の画像データは、k個の行およびm個の列を有する行列であり、前記バイナリ行列は、m個の行およびn個の列を有する行列であり、次元削減が行われた前記第1の画像データは、k個の行およびn個の列を有する行列であり、k、m、およびnは、正の整数であり、mの値は、nの値より大きく、前記nの値は、前記次元削減パラメータγに従って決定され、γ=n/mである、取得することをするように構成される、請求項9から14のいずれか一項に記載の端末デバイス。
【請求項１６】
前記画像認識アクセラレータは、
前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流の前記値を別々に調整し、複数の調整後の画像認識成功率および複数の調整後のシステム電力消費Eを別々に取得することであって、Eの値は、γ((N-ω)*Is2+ω*I)の値に比例し、各調整後の画像認識成功率は、1つの調整後のシステム電力消費に対応している、取得することをし、
各調整後の画像認識成功率と前記第2の画像認識成功率との間の差を決定し、少なくとも1つの調整後の画像認識成功率に対応する少なくとも1つの調整後のシステム電力消費から最低システム電力消費E'を選択することであって、前記少なくとも1つの調整後の画像認識成功率と前記第2の画像認識成功率との間の差の絶対値は、前記プリセット閾値より大きくない、選択することをし、
前記最低電力消費E'を満足しつつ画像認識成功率を最高にする前記次元削減パラメータ、前記幅パラメータ、および前記第1の電流の値を、それぞれ、前記調整後の次元削減パラメータγ'、前記調整後の幅パラメータω'、および前記調整後の第1の電流I'として選択するように構成される、請求項12または13に記載の端末デバイス。
【請求項１７】
前記CPUは、
前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流の値を別々に取得し、複数の調整後の画像認識成功率および複数の調整後のシステム電力消費Eを別々に調整することであって、Eの値は、γ((N-ω)*Is2+ω*I)の値に比例し、各調整後の画像認識成功率は、1つの調整後のシステム電力消費に対応している、調整することをし、
調整後の画像認識成功率と前記第2の画像認識成功率との間の差を決定し、少なくとも1つの調整後の画像認識成功率に対応する少なくとも1つの調整後のシステム電力消費から最低システム電力消費E'を選択することであって、前記少なくとも1つの調整後の画像認識成功率と前記第2の画像認識成功率との間の差の絶対値は、前記プリセット閾値より大きくない、選択することをし、
前記最低電力消費E'を満足しつつ画像認識成功率を最高にする前記次元削減パラメータ、前記幅パラメータ、および前記第1の電流の値を、それぞれ、前記調整後の次元削減パラメータγ'、前記調整後の幅パラメータω'、および前記調整後の第1の電流I'として選択するように構成される、請求項14に記載の端末デバイス。
【請求項１８】
前記バイナリ行列は、ベルヌーイマッピング行列を含む、請求項15に記載の端末デバイス。
【請求項１９】
端末デバイスに適用される画像認識方法であって、前記方法は、前記端末デバイス内の画像認識アクセラレータによって実行され、前記方法は、
次元削減パラメータγに従って第1の画像データの次元を削減するステップであって、次元削減が行われた前記第1の画像データは、複数の数値を含み、前記次元削減パラメータγは、前記端末デバイスのシステム電力消費および前記端末デバイスの指定された第1の画像認識成功率に従って取得される、ステップと、
指定された第1の電流Iに従って前記画像認識アクセラレータ内の不揮発性メモリ(NVM)の第1のストレージエリアに、次元削減が行われた前記第1の画像データの各数値のω個の下位ビットを記憶するとともに、指定された第2の電流Isに従って前記NVMの第2のストレージエリアに、次元削減が行われた前記第1の画像データの各数値の(N-ω)個の上位ビットを記憶するステップであって、Nは、各数値によって占有されるビットの数量であり、ωは、幅パラメータであり、Iは、Isより低く、前記幅パラメータωおよび前記第1の電流Iは、前記端末デバイスの前記システム電力消費および前記端末デバイスの前記指定された第1の画像認識成功率に従って取得される、ステップと、
次元削減が行われた前記第1の画像データにマッチングする画像データを前記NVMに記憶されている画像ライブラリが含んでいるかどうかを決定するステップとを含む、画像認識方法。
【請求項２０】
前記指定された第1の画像認識成功率および前記端末デバイスの前記システム電力消費に従って、前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流といったパラメータのうちの少なくとも1つの値を調整して、前記次元削減パラメータγ、前記幅パラメータω、および前記第1の電流Iを取得するステップをさらに含む、請求項19に記載の画像認識方法。
【請求項２１】
前記指定された第1の画像認識成功率および前記端末デバイスの前記システム電力消費に従って、前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流といったパラメータのうちの少なくとも1つの値を調整して、前記次元削減パラメータγ、前記幅パラメータω、および前記第1の電流Iを取得するステップは、
前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流の前記値を別々に調整し、複数の調整後の画像認識成功率および複数の調整後のシステム電力消費を別々に取得するステップであって、各調整後の画像認識成功率は、1つの調整後のシステム電力消費に対応している、ステップと、
各調整後の画像認識成功率と前記第1の画像認識成功率との間の差を決定し、少なくとも1つの調整後の画像認識成功率に対応する少なくとも1つの調整後のシステム電力消費から最低システム電力消費を選択するステップであって、前記少なくとも1つの調整後の画像認識成功率と前記第1の画像認識成功率との間の差の絶対値は、プリセット閾値より大きくない、ステップと、
前記最低システム電力消費を満足しつつ画像認識成功率を最高にする前記次元削減パラメータ、前記幅パラメータ、および前記第1の電流の値を、それぞれ、前記次元削減パラメータγ、前記幅パラメータω、および前記第1の電流Iとして選択するステップとを含む、請求項20に記載の画像認識方法。
【請求項２２】
算出された画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きいと決定するステップと、
前記第2の画像認識成功率および前記端末デバイスの前記システム電力消費に従って、前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流といったパラメータのうちの少なくとも1つの値を調整して、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'を取得するステップであって、前記第2の画像認識成功率は、前記第1の画像認識成功率とは異なる、ステップと、
前記調整後の次元削減パラメータγ'に従って第2の画像データの次元を削減するステップと、
前記調整後の第1の電流I'に従って前記NVMの前記第1のストレージエリアに、次元削減が行われた前記第2の画像データの各数値のω'個の下位ビットを記憶するとともに、前記第2の電流Isに従って前記NVMの前記第2のストレージエリアに、次元削減が行われた前記第2の画像データの各数値の(N-ω')個の上位ビットを記憶するステップであって、I'は、Isより低い、ステップと、
次元削減が行われた前記第2の画像データにマッチングする画像データを前記NVMに記憶されている前記画像ライブラリが含んでいるかどうかを決定するステップとをさらに含む、請求項19に記載の画像認識方法。
【請求項２３】
プリセット統計収集期間内に前記画像認識アクセラレータによって出力されたマッチング結果についての統計を収集して、算出された画像認識成功率を取得するステップをさらに含む、請求項19から22のいずれか一項に記載の画像認識方法。
【請求項２４】
前記次元削減パラメータγに従って第1の画像データの次元を削減するステップは、
前記第1の画像データと指定されたバイナリ行列との積に従って、次元削減が行われた前記第1の画像データを取得するステップであって、前記第1の画像データは、k個の行およびm個の列を有する行列であり、前記バイナリ行列は、m個の行およびn個の列を有する行列であり、次元削減が行われた前記第1の画像データは、k個の行およびn個の列を有する行列であり、k、m、およびnは、正の整数であり、mの値は、nの値より大きく、前記nの値は、前記次元削減パラメータγに従って決定され、γ=n/mである、ステップを含む、請求項19から23のいずれか一項に記載の画像認識方法。
【請求項２５】
前記第2の画像認識成功率および前記端末デバイスの前記システム電力消費に従って、前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流といったパラメータのうちの少なくとも1つを調整するステップは、
前記次元削減パラメータ、前記幅パラメータ、または前記第1の電流の前記値を別々に調整し、複数の調整後の画像認識成功率および複数の調整後のシステム電力消費Eを別々に取得するステップであって、Eの値は、γ((N-ω)*Is2+ω*I)の値に比例する、ステップと、
各調整後の画像認識成功率と前記第2の画像認識成功率との間の差を決定し、少なくとも1つの調整後の画像認識成功率に対応する少なくとも1つの調整後のシステム電力消費から最低システム電力消費E'を選択するステップであって、前記少なくとも1つの調整後の画像認識成功率と前記第2の画像認識成功率との間の差の絶対値は、前記プリセット閾値より大きくない、ステップと、
前記最低電力消費E'を満足しつつ画像認識成功率を最高にする前記次元削減パラメータ、前記幅パラメータ、および前記第1の電流の値を、それぞれ、前記調整後の次元削減パラメータγ'、前記調整後の幅パラメータω'、および前記調整後の第1の電流I'として選択するステップとを含む、請求項20から24のいずれか一項に記載の画像認識方法。
【請求項２６】
前記バイナリ行列は、ベルヌーイマッピング行列を含む、請求項24に記載の画像認識方法。
【請求項２７】
1つまたは複数のコンピュータ実行可能命令を含むコンピュータ可読媒体であって、前記1つまたは複数のコンピュータ実行可能命令は、コンピュータシステムのプロセッサ上で実行されると、前記コンピュータシステムに請求項19から26のいずれか一項に記載の方法を実行させる、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ技術の分野に関し、詳細には、画像認識アクセラレータ、端末デバイス、および画像認識方法に関する。
【背景技術】
【０００２】
画像認識技術は、人工知能の重要分野である。画像認識は、異なる対象およびオブジェクトを認識するために、コンピュータを使用して画像を処理および分析する技術を指す。昨今の、ソーシャルネットワークの普及に伴い、モバイルデバイス上でのリアルタイム画像データ分析に対する要求が高まりつつある。しかしながら、比較的大量のシステムリソースが画像データ分析の実施のために消費されるため、モバイルデバイスの限られたバッテリ寿命がモバイルデバイスへの画像データ分析の適用の制限となっている。
【０００３】
画像データ分析の処理中のシステム電力消費を低減するために、従来技術における画像データ処理方法は、画像データを静的ランダムアクセスメモリ(Static Random-Access Memory、SRAM)に書き込むために使用される書込み電流を低く抑える方式でシステム電力消費を低減している。しかしながら、書込み電流を低く抑えるにつれて、SRAMに記憶されているデータのエラーレートは増えることになる。エラーからリカバリするには、画像認識をリカバリ後の画像データに基づいて行うことができるように、凸最適化(convex optimization)処理などの方式が、保存されている画像データをリカバリするためにさらに必要となる。このように、システム電力消費はデータを書き込む際にある程度低減されているが、CPU計算複雑度が画像リカバリの処理中は高く、このことがかなりの量のシステムリソースを浪費している。加えて、SRAMに記憶されているデータを保護するために、SRAMは、電源オン状態を継続する必要がある。したがって、SRAMも静的電力消費を有している。前述の画像データ処理方式では、SRAMがデータを保護するために必要となる静的電力消費をさらに排除することはできない。結果として、一般的に、既存の画像データ処理方式を使用して画像データを処理する場合には、システム電力消費は比較的高いままである。
【発明の概要】
【課題を解決するための手段】
【０００４】
本発明の実施形態は、端末デバイスのシステム電力消費を低減しつつ画像認識の精度を保証することができる、画像認識アクセラレータ、端末デバイス、および画像認識方法を提供している。
【０００５】
第1の態様に従って、本発明の実施形態は、画像認識のために端末デバイスに適用される画像認識アクセラレータを提供しており、画像認識アクセラレータは、
指定された次元削減パラメータγに従って第1の画像データの次元を削減するように構成される、次元削減処理モジュールであって、次元削減が行われた第1の画像データは、複数の数値を含む、次元削減処理モジュールと、
指定された第1の電流Iに従ってNVMの第1のストレージエリアに、次元削減が行われた第1の画像データの各数値のω個の下位ビットを記憶するとともに、指定された第2の電流Isに従ってNVMの第2のストレージエリアに、次元削減が行われた第1の画像データの各数値の(N-ω)個の上位ビットを記憶するように構成される、不揮発性メモリNVMであって、Nは、各数値によって占有されるビットの数量であり、ωは、指定された幅パラメータであり、第1の電流Iは、第2の電流Isより低く、次元削減パラメータγ、幅パラメータω、および第1の電流Iは、端末デバイスのシステム電力消費および端末デバイスの指定された第1の画像認識成功率に従って取得される、不揮発性メモリ(NVM)と、
次元削減が行われた第1の画像データにマッチングする画像データをNVMに記憶されている画像ライブラリが含んでいるかどうかを決定するように構成される、画像マッチングモジュールとを備える。
【０００６】
第1の態様に準拠している、第1の態様の第1の可能な実施様態においては、画像認識アクセラレータは、算出された画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きい場合には、第2の画像認識成功率および端末デバイスのシステム電力消費に従って、次元削減パラメータ、幅パラメータ、または第1の電流といったパラメータのうちの少なくとも1つを調整して、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'を取得することであって、第2の画像認識成功率は、第1の画像認識成功率とは異なる、取得することをするように構成される、パラメータ調整モジュールをさらに備え、
次元削減処理モジュールは、調整後の次元削減パラメータγ'に従って第2の画像データの次元を削減するようにさらに構成され、
不揮発性メモリNVMは、調整後の第1の電流I'に従ってNVMの第1のストレージエリアに、次元削減が行われた第2の画像データの各数値のω'個の下位ビットを記憶するとともに、第2の電流Isに従ってNVMの第2のストレージエリアに、次元削減が行われた第2の画像データの各数値の(N-ω')個の上位ビットを記憶することであって、I'は、Isより低い、記憶することをするようにさらに構成され、
画像マッチングモジュールは、次元削減が行われた第2の画像データにマッチングする画像データをNVMに記憶されている画像ライブラリが含んでいるかどうかを決定するようにさらに構成される。
【０００７】
第1の態様の第1の態様または第1の実施様態に準拠している、第1の態様の第2の可能な実施様態においては、次元削減処理モジュールは、
第1の画像データと指定されたバイナリ行列との積に従って、次元削減が行われた第1の画像データを取得することであって、第1の画像データは、k個の行およびm個の列を有する行列であり、バイナリ行列は、m個の行およびn個の列を有する行列であり、次元削減が行われた第1の画像データは、k個の行およびn個の列を有する行列であり、k、m、およびnは、正の整数であり、mの値は、nの値より大きく、nの値は、次元削減パラメータγに従って決定され、γ=n/mである、取得することをするように構成される。
【０００８】
第1の態様の第1または第2の可能な実施様態に準拠している、第1の態様の第3の可能な実施様態においては、パラメータ調整モジュールは、
算出された画像認識成功率と第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きい場合には、次元削減パラメータ、幅パラメータ、または第1の電流の値を別々に調整して、システム電力消費Eを低減し、調整後の画像認識成功率を別々に取得することであって、Eの値は、γ((N-ω)*Is2+ω*I)の値に比例する、取得することをし、
調整後の画像認識成功率と第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きくない場合に取得可能な、端末デバイスの最低電力消費E'を決定し、
最低電力消費E'を満足しつつ画像認識成功率を最高にする次元削減パラメータ、幅パラメータ、および第1の電流の値を、それぞれ、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'として選択するように構成される。
【０００９】
第2の態様に従って、本発明の実施形態は、端末デバイスを提供しており、端末デバイスは、CPUおよび画像認識アクセラレータを備え、CPUは、認識対象の第1の画像データを画像認識アクセラレータに送信するように構成され、
画像認識アクセラレータは、指定された次元削減パラメータγに従って第1の画像データの次元を削減することであって、次元削減が行われた第1の画像データは、複数の数値を含む、削減することをし、
指定された第1の電流Iに従ってNVMの第1のストレージエリアに、次元削減が行われた第1の画像データの各数値のω個の下位ビットを記憶するとともに、指定された第2の電流Isに従ってNVMの第2のストレージエリアに、次元削減が行われた第1の画像データの各数値の(N-ω)個の上位ビットを記憶することであって、Nは、各数値によって占有されるビットの数量であり、ωは、指定された幅パラメータであり、Iは、Isより低く、次元削減パラメータγ、幅パラメータω、および第1の電流Iは、端末デバイスのシステム電力消費および端末デバイスの指定された第1の画像認識成功率に従って取得される、記憶することをし、
次元削減が行われた第1の画像データにマッチングする画像データをNVMに記憶されている画像ライブラリが含んでいるかどうかを決定するように構成される。
【００１０】
第2の態様に準拠している、第2の態様の第1の可能な実施様態においては、画像認識アクセラレータは、算出された画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きい場合には、第2の画像認識成功率および端末デバイスのシステム電力消費に従って、次元削減パラメータ、幅パラメータ、または第1の電流といったパラメータのうちの少なくとも1つの値を調整して、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'を取得することであって、第2の画像認識成功率は、第1の画像認識成功率とは異なる、取得することをするようにさらに構成され、
CPUは、第2の画像データを画像認識アクセラレータに送信するようにさらに構成され、
画像認識アクセラレータは、
調整後の次元削減パラメータγ'に従って第2の画像データの次元を削減し、
調整後の第1の電流I'に従ってNVMの第1のストレージエリアに、次元削減が行われた第2の画像データの各数値のω'個の下位ビットを記憶するとともに、第2の電流Isに従ってNVMの第2のストレージエリアに、次元削減が行われた第2の画像データの各数値の(N-ω')個の上位ビットを記憶することであって、I'は、Isより低い、記憶することをし、
次元削減が行われた第2の画像データにマッチングする画像データをNVMに記憶されている画像ライブラリが含んでいるかどうかを決定するようにさらに構成される。
【００１１】
第2の態様に準拠している、第2の態様の第2の可能な実施様態においては、CPUは、プリセット統計収集期間内に画像認識アクセラレータによって出力されたマッチング結果についての統計を収集して、算出された画像認識成功率を取得し、算出された画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きいと決定するようにさらに構成され、
画像認識アクセラレータは、第2の画像認識成功率および端末デバイスのシステム電力消費に従って、次元削減パラメータ、幅パラメータ、または第1の電流といったパラメータのうちの少なくとも1つを調整して、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'を取得することであって、第2の画像認識成功率は、第1の画像認識成功率とは異なる、取得することをするようにさらに構成され、
CPUは、第2の画像データを画像認識アクセラレータに送信するようにさらに構成され、
画像認識アクセラレータは、調整後の次元削減パラメータγ'に従って第2の画像データの次元を削減し、
調整後の第1の電流I'に従ってNVMの第1のストレージエリアに、次元削減が行われた第2の画像データの各数値のω'個の下位ビットを記憶するとともに、第2の電流Isに従ってNVMの第2のストレージエリアに、次元削減が行われた第2の画像データの各数値の(N-ω')個の上位ビットを記憶することであって、I'は、Isより低い、記憶することをし、
次元削減が行われた第2の画像データにマッチングする画像データをNVMに記憶されている画像ライブラリが含んでいるかどうかを決定するようにさらに構成される。
【００１２】
第2の態様に準拠している、第2の態様の第3の可能な実施様態においては、CPUは、
プリセット統計収集期間内に画像認識アクセラレータによって出力されたマッチング結果についての統計を収集して、算出された画像認識成功率を取得し、
算出された画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きい場合には、第2の画像認識成功率および端末デバイスのシステム電力消費に従って、次元削減パラメータ、幅パラメータ、または第1の電流といったパラメータのうちの少なくとも1つの値を調整して、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'を取得することであって、第2の画像認識成功率は、第1の画像認識成功率とは異なる、取得することをし、
第2の画像データを画像認識アクセラレータに送信するようにさらに構成され、
画像認識アクセラレータは、
調整後の次元削減パラメータγ'に従って第2の画像データの次元を削減し、
調整後の第1の電流I'に従ってNVMの第1のストレージエリアに、次元削減が行われた第2の画像データの各数値のω'個の下位ビットを記憶するとともに、第2の電流Isに従ってNVMの第2のストレージエリアに、次元削減が行われた第2の画像データの各数値の(N-ω')個の上位ビットを記憶することであって、I'は、Isより低い、記憶することをし、
次元削減が行われた第2の画像データにマッチングする画像データをNVMに記憶されている画像ライブラリが含んでいるかどうかを決定するようにさらに構成される。
【００１３】
第2の態様または第2の態様の第1から第3の可能な実施様態のいずれか1つに準拠している、第2の態様の第4の可能な実施様態においては、画像認識アクセラレータは、
第1の画像データと指定されたバイナリ行列との積に従って、次元削減が行われた第1の画像データを取得することであって、第1の画像データは、k個の行およびm個の列を有する行列であり、バイナリ行列は、m個の行およびn個の列を有する行列であり、次元削減が行われた第1の画像データは、k個の行およびn個の列を有する行列であり、k、m、およびnは、正の整数であり、mの値は、nの値より大きく、nの値は、指定された次元削減パラメータγに従って決定され、γ=n/mである、取得することをするように構成される。
【００１４】
第2の態様の第1または第2の可能な実施様態に準拠している、第2の態様の第5の可能な実施様態においては、画像認識アクセラレータは、
端末デバイスのシステム電力消費Eを低減するために次元削減パラメータ、幅パラメータ、または第1の電流の値を別々に調整し、調整後の画像認識成功率を別々に取得することであって、Eの値は、γ((N-ω)*Is2+ω*I)の値に比例する、取得することをし、
調整後の画像認識成功率と第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きくない場合に取得可能な、端末デバイスの最低電力消費E'を決定し、
最低電力消費E'を満足しつつ画像認識成功率を最高にする次元削減パラメータ、幅パラメータ、および第1の電流の値を、それぞれ、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'として選択するように構成される。
【００１５】
第2の態様の第3の可能な実施様態に準拠している、第2の態様の第6の可能な実施様態においては、CPUは、
端末デバイスのシステム電力消費Eを低減するために次元削減パラメータ、幅パラメータ、または第1の電流の値を別々に調整し、調整後の画像認識成功率を別々に取得することであって、Eの値は、γ((N-ω)*Is2+ω*I)の値に比例する、取得することをし、
調整後の画像認識成功率と第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きくない場合に取得可能な、端末デバイスの最低電力消費E'を決定し、
最低電力消費E'を満足しつつ画像認識成功率を最高にする次元削減パラメータ、幅パラメータ、および第1の電流の値を、それぞれ、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'として選択するように構成される。
【００１６】
第3の態様に従って、本発明の実施形態は、端末デバイスに適用される画像認識方法を提供しており、方法は、端末デバイス内の画像認識アクセラレータによって実行され、方法は、
指定された次元削減パラメータγに従って第1の画像データの次元を削減するステップであって、次元削減が行われた第1の画像データは、複数の数値を含む、ステップと、
指定された第1の電流Iに従って画像認識アクセラレータ内の不揮発性メモリNVMの第1のストレージエリアに、次元削減が行われた第1の画像データの各数値のω個の下位ビットを記憶するとともに、指定された第2の電流Isに従ってNVMの第2のストレージエリアに、次元削減が行われた第1の画像データの各数値の(N-ω)個の上位ビットを記憶するステップであって、Nは、各数値によって占有されるビットの数量であり、ωは、指定された幅パラメータであり、Iは、Isより低く、次元削減パラメータγ、幅パラメータω、および第1の電流Iは、端末デバイスのシステム電力消費および端末デバイスの指定された第1の画像認識成功率に従って取得される、ステップと、
次元削減が行われた第1の画像データにマッチングする画像データをNVMに記憶されている画像ライブラリが含んでいるかどうかを決定するステップとを含む。
【００１７】
第3の態様に準拠している、第3の態様の第1の可能な実施様態においては、方法は、
算出された画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きいと決定するステップと、
第2の画像認識成功率および端末デバイスのシステム電力消費に従って、次元削減パラメータ、幅パラメータ、または第1の電流といったパラメータのうちの少なくとも1つの値を調整して、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'を取得するステップであって、第2の画像認識成功率は、第1の画像認識成功率とは異なる、ステップと、
調整後の次元削減パラメータγ'に従って第2の画像データの次元を削減するステップと、
調整後の第1の電流I'に従ってNVMの第1のストレージエリアに、次元削減が行われた第2の画像データの各数値のω'個の下位ビットを記憶するとともに、第2の電流Isに従ってNVMの第2のストレージエリアに、次元削減が行われた第2の画像データの各数値の(N-ω')個の上位ビットを記憶するステップであって、I'は、Isより低い、ステップと、
次元削減が行われた第2の画像データにマッチングする画像データをNVMに記憶されている画像ライブラリが含んでいるかどうかを決定するステップとをさらに含む。
【００１８】
第3の態様の第3の態様または第1の可能な実施様態に準拠している、第3の態様の第2の可能な実施様態においては、指定された次元削減パラメータγに従って第1の画像データの次元を削減するステップは、
第1の画像データと指定されたバイナリ行列との積に従って、次元削減が行われた第1の画像データを取得するステップであって、第1の画像データは、k個の行およびm個の列を有する行列であり、バイナリ行列は、m個の行およびn個の列を有する行列であり、次元削減が行われた第1の画像データは、k個の行およびn個の列を有する行列であり、k、m、およびnは、正の整数であり、mの値は、nの値より大きく、nの値は、指定された次元削減パラメータγに従って決定され、γ=n/mである、ステップを含む。
【００１９】
第3の態様または第3の態様の第1もしくは第2の可能な実施様態のいずれか1つに準拠している、第3の態様の第3の可能な実施様態においては、第2の画像認識成功率および端末デバイスのシステム電力消費に従って、次元削減パラメータ、幅パラメータ、または第1の電流といったパラメータのうちの少なくとも1つを調整するステップは、
端末デバイスのシステム電力消費Eを低減するために次元削減パラメータ、幅パラメータ、または第1の電流の値を別々に調整し、調整後の画像認識成功率を別々に取得するステップであって、Eの値は、γ((N-ω)*Is2+ω*I)の値に比例する、ステップと、
調整後の画像認識成功率と第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きくない場合に取得可能な、端末デバイスの最低電力消費E'を決定するステップと、
最低電力消費E'を満足しつつ画像認識成功率を最高にする次元削減パラメータ、幅パラメータ、および第1の電流の値を、それぞれ、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'として選択するステップとを含む。
【００２０】
第4の態様に従って、本発明の実施形態は、プログラムコードを記憶するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、プログラムコードに含まれる命令は、前述の第3の態様における方法を実行するために使用される、コンピュータプログラム製品を提供している。
【００２１】
第5の態様に従って、本発明の実施形態は、別の画像認識のために端末デバイスに適用される画像認識アクセラレータを提供している。画像認識アクセラレータは、次元削減処理モジュール、不揮発性メモリNVM、および画像マッチングモジュールを含む。次元削減処理モジュールは、次元削減パラメータγを受信し、受信した次元削減パラメータγに従って第1の画像データの次元を削減することであって、次元削減が行われた第1の画像データは、複数の数値を含み、次元削減パラメータγは、端末デバイスのシステム電力消費および端末デバイスの指定された第1の画像認識成功率に従って取得される、削減することをするように構成される。不揮発性メモリNVMは、幅パラメータωおよび第1の電流Iを受信し、受信した幅パラメータωに従ってストレージビット数量Sを取得し、指定された第1の電流Iに従ってNVMの第1のストレージエリアに、次元削減が行われた第1の画像データの各数値のS個の下位ビットを記憶し、指定された第2の電流Isに従ってNVMの第2のストレージエリアに、次元削減が行われた第1の画像データの各数値の(N-S)個の上位ビットを記憶することであって、Nは、各数値によって占有されるビットの数量であり、第1の電流Iは、第2の電流Isより低く、幅パラメータωおよび第1の電流Iは、端末デバイスのシステム電力消費および端末デバイスの指定された第1の画像認識成功率に従って取得される、記憶することをするように構成される。画像マッチングモジュールは、次元削減が行われた第1の画像データにマッチングする画像データをNVMに記憶されている画像ライブラリが含んでいるかどうかを決定するように構成される。
【００２２】
第5の態様に準拠している、ある可能な実施様態においては、画像認識アクセラレータは、パラメータ調整モジュールをさらに含む。パラメータ調整モジュールは、指定された第1の画像認識成功率および端末デバイスのシステム電力消費に従って、次元削減パラメータ、幅パラメータ、または第1の電流といったパラメータのうちの少なくとも1つの値を調整して、次元削減パラメータγ、幅パラメータω、または第1の電流Iを取得し、調整後の次元削減パラメータγを次元削減処理モジュールに送信し、NVMに幅パラメータωおよび第1の電流Iを送信するように構成される。
【００２３】
第5の態様または可能な実施様態に準拠している、別の可能な実施様態においては、パラメータ調整モジュールは、次元削減パラメータ、幅パラメータ、または第1の電流の値を別々に調整し、複数の調整後の画像認識成功率および複数の調整後のシステム電力消費を別々に取得することであって、各調整後の画像認識成功率は、1つの調整後のシステム電力消費に対応している、取得することをし、各調整後の画像認識成功率と第1の画像認識成功率との間の差を決定し、少なくとも1つの調整後の画像認識成功率に対応する少なくとも1つの調整後のシステム電力消費から最低システム電力消費を選択することであって、少なくとも1つの調整後の画像認識成功率と第1の画像認識成功率との間の差の絶対値は、プリセット閾値より大きくない、選択することをし、最低システム電力消費を満足しつつ画像認識成功率を最高にする次元削減パラメータ、幅パラメータ、および第1の電流の値を、それぞれ、次元削減パラメータγ、幅パラメータω、および第1の電流Iとして選択し、調整後の次元削減パラメータγを次元削減処理モジュールに送信し、NVMに幅パラメータωおよび第1の電流Iを送信するように構成される。
【００２４】
第5の態様または可能な実施様態に準拠している、別の可能な実施様態においては、次元削減処理モジュールは、第1の画像データと指定されたバイナリ行列との積に従って、次元削減が行われた第1の画像データを取得することであって、第1の画像データは、k個の行およびm個の列を有する行列であり、バイナリ行列は、m個の行およびn個の列を有する行列であり、次元削減が行われた第1の画像データは、k個の行およびn個の列を有する行列であり、k、m、およびnは、正の整数であり、mの値は、nの値より大きく、nの値は、指定された次元削減パラメータγに従って決定され、γ=n/mである、取得することをするように構成される。
【００２５】
本発明の実施形態に従って、画像認識のために端末デバイスに適用される画像認識アクセラレータは、次元削減処理モジュール、NVM、および画像マッチングモジュールを含む。画像認識アクセラレータによって第1の画像データを認識する処理中は、次元削減処理モジュールは、指定された次元削減パラメータγに従って第1の画像データの次元をまず削減する。NVMは、指定された第1の電流Iに従ってNVMの第1のストレージエリアに、次元削減が行われた第1の画像データの各数値のω個の下位ビットを書き込むとともに、指定された第2の電流Isに従ってNVMの第2のストレージエリアに、次元削減が行われた第1の画像データの各数値の(N-ω)個の上位ビットを書き込んでもよい。第1の電流は、第2の電流より低い。このように、画像マッチングモジュールは、第1の画像データに関する画像認識結果を取得するために、次元削減が行われた第1の画像データにマッチングする画像データをNVMに記憶されている画像ライブラリが含んでいるかどうかを決定してもよい。指定された次元削減パラメータγ、幅パラメータω、および第1の電流Iのすべてが、端末デバイスのシステム電力消費および端末デバイスの指定された第1の画像認識成功率に従って取得されており、したがって、第1のストレージエリアに記憶されることになる数値の下位ビットの記憶処理において発生するエラーが第1の画像データに関する認識成功率に対して比較的小さい影響を有していることを保証することを可能としている。本発明の実施形態による画像認識アクセラレータは、端末デバイスのシステム電力消費を低減しつつ画像認識の精度を保証することができるとともに、画像データを認識する速度を増大することができる。
【００２６】
本発明の実施形態におけるまたは従来技術における技術的ソリューションをより明確に説明するために、実施形態を説明するために必要となる添付の図面を以下に簡単に説明する。以下の説明における添付の図面が本発明のいくつかの実施形態を示しているにすぎないことは明らかであろう。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態による、端末デバイスの概略構造図である。
【図２】本発明の実施形態による、別の端末デバイスの概略構造図である。
【図３】本発明の実施形態による、画像認識アクセラレータの概略構造図である。
【図４】本発明の実施形態による、画像認識方法のフローチャートである。
【図５】本発明の実施形態による、次元削減処理モジュールの概略構造図である。
【図６】本発明の実施形態による、NVMの概略ハードウェア構造図である。
【図７】本発明の実施形態による、別の画像認識アクセラレータの概略構造図である。
【図８】本発明の実施形態による、別の画像認識方法のフローチャートである。
【図９】本発明の実施形態による、パラメータ調整方法のフローチャートである。
【図１０（ａ）】本発明の実施形態による、パラメータ調整処理中に記録されるパラメータの概略図である。
【図１０（ｂ）】本発明の実施形態による、パラメータ調整処理中に記録されるパラメータの概略図である。
【図１１】本発明の実施形態による、さらに別の端末デバイスの概略構造図である。
【図１２】本発明の実施形態による、さらに別の端末デバイスの概略構造図である。
【図１３】本発明の実施形態による、画像認識方法のシグナリング図である。
【発明を実施するための形態】
【００２８】
本発明における技術的ソリューションを当業者によりよく理解してもらうために、本発明の実施形態における添付の図面を参照して、本発明の実施形態における技術的解決手法を以下に明確かつ完全に説明する。説明した実施形態が本発明の実施形態のすべてではなく一部にすぎないことは明らかであろう。
【００２９】
本発明の実施形態は、システム電力消費を低減しつつ画像認識の精度を保証することが可能な画像認識アクセラレータを提供している。図1は、本発明の実施形態による、端末デバイスの概略構造図である。図1に示した端末デバイス100において、中央処理ユニット(Central Processing Unit、CPU)10は、バス15を使用して画像認識アクセラレータ20と直接データを交換している。バス15は、PCI、PCIE、またはアクセラレーテッドグラフィックスポートAGPバスなどのシステムバスであり得るが、バス15のタイプは、本発明の本実施形態に限定されない。図1に示した端末デバイス100は、コンピュータ、携帯電話、またはモバイル端末などの端末デバイスであり得るが、端末デバイスが画像認識の実施を必要とする端末デバイスであるならばこれに限定されないことに留意されたい。
【００３０】
図1に示したように、CPU10は、端末デバイス100の計算コア(Core)および制御コア(Control Unit)である。CPU10は、非常に大規模な集積回路であってもよい。オペレーティングシステムおよび別のソフトウェアプログラムは、CPU10にインストールされ、メモリなどのストレージ領域およびキャッシュにCPU10がアクセスすることを可能にしている。CPU10が本発明の本実施形態におけるプロセッサの単なる一例に過ぎないことを理解されよう。CPU10に加えて、プロセッサは、代替的には、別の特定用途向け集積回路(Application Specific Integrated Circuit、ASIC)、または本発明の本実施形態を実施するように構成される1つまたは複数の集積回路であってもよい。
【００３１】
画像認識アクセラレータ20は、ハードウェアアクセラレータの1つのタイプ(hardware accelerator)である。本発明の本実施形態においては、画像認識アクセラレータ20は、不揮発性メモリ(Non-Volatile Memory、NVM)に基づいたハードウェアアクセラレータである。ハードウェアアクセラレーション技術は、ハードウェア固有の高速特性をフルに活用してコンピュータシステムの処理速度を増大するために、ハードウェアモジュールを使用してソフトウェアアルゴリズムを代替している。従来の画像データ処理方法では、画像データの処理および分析のすべてがCPUによって完結している一方で、メモリは画像データを記憶することのみに使用されており、そのため、CPUの処理速度とメモリの伝送帯域幅とが画像認識技術の発展のボトルネックとなっていた。本発明の本実施形態においては、専用画像認識アクセラレータが画像データ処理を実施するために使用されるように、簡易ロジック処理回路をメモリに追加している。図1に示した端末デバイス100において、CPU10は、認識対象の画像データを画像認識アクセラレータ20に送信して画像認識アクセラレータ20によって取得された認識結果を受信する必要があるだけである。このように、CPU10の負荷を低減するとともに、端末デバイスの画像認識速度を増大している。加えて、図1に示したシステム構造においては、CPU10と画像認識アクセラレータ20との間で伝送されるデータボリュームを低減しており、したがって、画像認識速度がメモリの伝送帯域幅によって制限されるという問題を解決することを可能としている。
【００３２】
実際の適用においては、画像認識アクセラレータ20は、CPU10のみとデータを交換するわけではない。図2は、本発明の実施形態による、別の端末デバイスの概略構造図である。図2に示した端末デバイス100は、CPU10、画像認識アクセラレータ20、および画像データコレクタ30を備え得る。CPU10および画像データコレクタ30の双方は、画像認識アクセラレータ20に接続されている。画像データコレクタ30は、画像データ情報を収集し、画像認識のために画像認識アクセラレータ20に収集された画像データ情報を送信するように構成される。画像データコレクタ30が人物または物体の画像を収集してもよく特定の限定を本明細書において画像情報に課すものではないことを当業者は理解されよう。画像情報を収集した後に、画像データコレクタ30は、収集された画像情報を画像データに変換し得る。実際の適用においては、画像データコレクタ30は、写真撮影またはビデオ撮影機能を有するコンポーネントを備え得る。例えば、画像データコレクタは、携帯電話上のカメラであってもよい。画像認識アクセラレータ20は、画像データコレクタ30によって送信された画像データ情報および保存されている画像データ情報を認識し、認識結果をCPU10に送信するように構成される。図2に示したCPU10および画像認識アクセラレータ20の機能および実装については、図1中の説明を参照されたいということを理解されよう。その詳細を本明細書では再び説明しない。
【００３３】
前述したことは、本発明の実施形態において提供した端末デバイス100の2つの概略構造と、画像認識アクセラレータ20の2つの適用シナリオとを説明したにすぎないことを理解されよう。別のシナリオにおいては、代替的には、画像認識アクセラレータ20は、CPU10によって送信された画像データ情報を受信して画像認識を行い、その後、画像認識結果を別のコンポーネントまたはデバイスに送信してもよい。さらに別のシナリオにおいては、代替的には、画像認識アクセラレータ20は、別のコンポーネント(例えば、図2中の画像データコレクタ30)によって送信された画像データ情報を受信し、画像認識結果をコンポーネントにフィードバックしてもよい。画像認識アクセラレータ20と通信するコンポーネントは本明細書に限定されない。本発明の実施形態において提供した画像認識アクセラレータ20の具体的な構造および動作プロセスを詳細に以下に説明する。
【００３４】
図3は、本発明の実施形態による、画像認識アクセラレータ20の概略構造図である。図3は、画像認識アクセラレータ20の構造に関する比較的詳細な図を提供している。図3に示したように、本発明の本実施形態においては、画像認識アクセラレータ20は、次元削減処理モジュール205、不揮発性メモリNVM210、および画像マッチングモジュール215を備え得る。次元削減処理モジュール205および画像マッチングモジュール215の双方は論理回路の形式であってもよいしまたは集積回路の形式であってもよいことに留意されたい。実際の適用においては、画像認識アクセラレータ20は、特定用途向け集積回路ASIC(Application Specific Integrated Circuit)またはボードであってもよい。本発明の本実施形態においては、特定の形式の画像認識アクセラレータ20に限定されない。画像認識アクセラレータ20内のコンポーネントの動作原理を明確に説明するために、図4に示した画像認識方法のフローチャートを参照して詳細に、図3に示した画像認識アクセラレータ20内のコンポーネントの構造および動作プロセスを以下に説明する。以下の実施形態においては、画像認識アクセラレータ20が第1の画像データを処理する例を説明のために使用している。
【００３５】
次元削減処理モジュール205は、指定された次元削減パラメータγに従って画像データの次元を削減するように構成される。特に、図4に示したように、ステップ400において、次元削減処理モジュール205は、指定された次元削減パラメータγに従って第1の画像データの次元を削減し得る。画像データがピクセル(pixel)の、数値で表された、グレースケール値のセットであることを当業者は理解されよう。一般的に、画像データは、画像の各ピクセルに関する情報を順次抽出することによって得られる離散配列であり、離散配列は、連続画像を表し得る。例えば、第1の画像データは、k個の行およびm個の列を有する行列として表されてもよく、行列内の各数値は、第1の画像データのピクセルのグレースケール値を表すために使用される。換言すれば、第1の画像データは、第1の画像のピクセルの、数値で表された、グレースケール値のセットである。画像認識速度を増大するために、本発明の本実施形態においては、次元削減処理モジュール205は、スパース表現ベースのランダムマッピング方式を使用して第1の画像データの次元を削減し得る。スパース表現ベースのランダムマッピングアルゴリズムを実施できるのであれば、本発明の本実施形態における次元削減処理モジュール205によって実施される圧縮アルゴリズムに限定されない。
【００３６】
実際の適用においては、次元削減処理モジュール205を行列乗算器を使用して実装してもよい。特に、次元削減処理モジュール205は、第1の画像データの次元を削減する目的を達成するために、行列乗算器を使用して第1の画像データと指定された低次元バイナリ行列とを乗算してもよい。バイナリ行列は、すべての数値が0または1によって表される行列を指す。バイナリ行列を使用して次元削減を実施する目的は、次元削減処理中の計算複雑度を低減することである。本発明の本実施形態においては、指定された低次元バイナリ行列は、ベルヌーイ行列であり得る。しかしながら、バイナリ行列がスパース表現方式で次元削減の目的を達成できるのであれば、特定の形式のバイナリ行列に本発明の本実施形態において限定されない。例えば、第1の画像データは、k個の行およびm個の列を有する行列Xであり、指定されたバイナリ行列は、m個の行およびn個の列を有するベルヌーイ行列Zである、ここで、k、m、およびnは、すべての正の整数であり、mは、nより大きい。行列乗算器は、第1の画像データと指定されたベルヌーイ行列Zとを乗算して、k個の行およびn個の列を有する行列Yを取得し得るし、行列Yは、次元削減が行われた第1の画像データである。換言すれば、行列Xの次元を削減することは、実質的には、行列Xの列の数量を削減する目的のためである。実際の適用においては、nの値をmの値および指定された次元削減パラメータγにしたがって決定してもよい、ここで、次元削減パラメータγは、第1の画像データの次元に対する次元削減が行われた第1の画像データの次元の比であり、すなわち、γ=n/mであり、n=m*γである。次元削減パラメータγを次元削減比とも称し得る。
【００３７】
乗算器(multiplier)は、互いに無関係の2つのアナログ信号または2つのデジタル信号を乗算する機能を実施するために使用される電子コンポーネントであることを当業者は理解されよう。乗算器は、2つのバイナリ数値を乗算し得る。行列乗算器は、複数の乗算器および加算器からなるとともに行列を乗算するために使用されるコンポーネントである。行列乗算器においては、異なる列の乗算器または加算器の計算は無関係であり、並列計算を実施することが可能である。したがって、行列の次元を、行列乗算器内の乗算器および加算器の列数を増大または低減することによって調整することができる。説明を簡易にするために、本発明の本実施形態においては、乗算器および加算器からなるとともに行列に対して乗算演算を行うために使用される回路を積和演算器とも称する。
【００３８】
本発明の本実施形態においては、次元削減処理モジュール205は、画像データの次元を削減する目的を達成するために、行列乗算器内のいくつかの列の積和演算器を無効にし得る。特に、次元削減処理モジュール205内のいくつかの列の積和演算器の電源を、これらの列の積和演算器を無効にするために、切ってもよい。図5は、本発明の実施形態による、次元削減処理モジュール205の概略構造図である。図5に示したように、次元削減処理モジュール205は、m個の列の積和演算器を含む。これらの列の積和演算器の演算は相互に独立している。各列の積和演算器については、独立スイッチが、この列の積和演算器が動作するかどうかを制御するために使用される。例えば、スイッチS1は、第1の列の積和演算器を制御するように構成され、スイッチS2は、第2の列の積和演算器を制御するように構成される。同様に、スイッチSmは、第mの列の積和演算器を制御するように構成される。スイッチがフィールド効果トランジスタまたはスイッチ回路を使用して実装され得ることを当業者は理解されよう。例えば、スイッチは、接合型電界効果トランジスタ(junction field effect transistor、JFET)または金属酸化膜半導体電界効果トランジスタ(metal-oxide semiconductor FET、MOS-FET)であり得る。スイッチの実施様態は本明細書に限定されない。
【００３９】
例えば、本発明の本実施形態においては、次元削減処理モジュール205は、CPU10または画像データコレクタ30によって送信された第1の画像データXを受信してもよい、ここで、Xは、k個の行およびm個の列を有する行列である。指定されたベルヌーイ行列Zがm個の行およびn個の列を有する行列であると仮定する。その結果、m個の列の積和演算器が次元削減処理モジュール205に構成され得る。1サイクルで、第1の画像データ内の数値が、行列乗算器内のm個の列の積和演算器のすべてに送信され得る。行列乗算器内の各列の積和演算器は、受信した数値および次元削減処理モジュール205に記憶されているベルヌーイ行列Z内の1つの行の数値のうちの1つの数値に対して乗算演算を行い、計算結果を出力し得る。換言すれば、1サイクルで、各列の積和演算器は、行列X内の1つの数値および行列Z内の1つの数値についての計算結果を出力し得る。すなわち、1サイクルで、m個の列の積和演算器は、行列X内の数値および行列Z内の1つの行の数値についての計算結果を取得し得る。本方式によれば、m*kサイクル後に、行列Xおよびベルヌーイ行列Z内のk個の行の数値についての計算結果を取得し得ることを理解されよう。第1の画像データの次元を削減する処理中に、第1の画像データに対して次元削減演算を実施するために、次元削減処理モジュール205は、指定された次元削減パラメータγおよび第1の画像データにおけるmの値にしたがってnの値を取得し、取得したnの値に従って、(m-n)列に関する積和演算器を制御する行列乗算器内のスイッチを切り得る。例えば、図5に示したように、行列乗算器内の第(n+1)の列から第mの列の積和演算器が計算処理中に計算を行わないように、第(n+1)の列から第mの列の積和演算器を制御する行列乗算器内のスイッチを切ってもよい。前述の方式に従って、次元削減処理モジュール205は、行列Xおよび行列Zに対して乗算演算を行って、次元削減が行われた第1の画像データを取得することができる、ここで、次元削減が行われた第1の画像データは、k個の行およびn個の列を有する行列Yで表される。
【００４０】
不揮発性メモリ(Non-Volatile Memory、NVM)210は、認識対象の画像データおよび画像ライブラリに事前に設定された画像データを記憶するように構成される。特に、図4に示したように、ステップ405において、NVM210は、指定された第1の電流Iに従って画像認識アクセラレータ20内のNVM210の第1のストレージエリア2104に、次元削減が行われた第1の画像データの各数値のω個の下位ビットを記憶するとともに、指定された第2の電流Isに従ってNVM210の第2のストレージエリア2106に、次元削減が行われた第1の画像データの各数値の(N-ω)個の上位ビットを記憶し得る。次元削減パラメータγ、幅パラメータω、および第1の電流Iは、端末デバイスのシステム電力消費および端末デバイスの指定された第1の画像認識成功率に従って取得される。
【００４１】
本発明の本実施形態においては、NVM210は、新世代の不揮発性メモリである。NVM210のアクセス速度は、従来の揮発性メモリ(例えば、ダイナミックランダムアクセスメモリDRAMまたはスタティックランダムアクセスメモリSRAM)のアクセス速度と同等である。加えて、NVM210は、半導体製品の信頼性と比較的長い耐用年数とを有し、バイト(Byte)ごとのアドレス指定を実施することができるとともにビット(bit)単位でデータを記憶媒体に書き込むことができる。したがって、NVM210を、CPU10による直接アクセスのためのメモリとして使用するために、メモリバス上に設けることができる。従来の揮発性メモリとは異なり、NVM210が不揮発性(Non-volatile)であることに留意されたい。端末デバイス100の電源を切った後でも、NVM210内の情報はそのまま存在する。本発明の本実施形態においては、NVM210は、相変化メモリ(Phase Change Memory、PCM)に代表される次世代不揮発性メモリ(Non-Volatile Memory、NVM)、抵抗変化型ランダムアクセスメモリ(Resistive Random Access Memory、RRAM(登録商標))、磁気ランダムアクセスメモリ(Magnetic Random Access Memory、MRAM)、強誘電体ランダムアクセスメモリ(Ferroelectric Random Access Memory、FRAM(登録商標))などを含み得る。特に、スピン注入磁気ランダムアクセスメモリ(spin-transfer-torque magnetic RAM、STT-MRAM)は、比較的長い耐用年数と比較的低い電力消費とを有し、STT-MRAMの書込み成功率は、書込み電流と比較的密接な関係を有している。したがって、本発明の本実施形態においては、NVM210は、STT-MRAMであり得る。
【００４２】
NVM210は、NVMコントローラ2102、第1のストレージエリア2104、および第2のストレージエリア2106を含み得る。NVMコントローラ2102は、第1のストレージエリア2104および第2のストレージエリア2106にアクセスするように構成される。例えば、NVMコントローラ2102は、データを第1のストレージエリア2104および第2のストレージエリア2106に書き込み得る、または、データを第1のストレージエリア2104および第2のストレージエリア2106から読み込み得る。実際の適用においては、NVMコントローラ2102は、プロセッサ、特定用途向け集積回路(Application Specific Integrated Circuit、ASIC)、または、本発明の本実施形態を実施するように構成される1つまたは複数の集積回路を含み得る。NVMコントローラ2102は、キャッシュ、通信インターフェースなどをさらに含み得る。NVMコントローラ2102の特定の構造は本明細書に限定されない。
【００４３】
第1のストレージエリア2104および第2のストレージエリア2106は、複数のストレージユニットからなるストレージエリアであり得る。本発明の本実施形態においては、ストレージユニットは、データを記憶するための最小の記憶媒体ユニットを指し、各ストレージユニットは、1ビット(bit)のデータを記憶するように構成される。例えば、ストレージユニットは、位相ストレージユニット、磁気ストレージユニット、抵抗変化型ストレージユニットなどの不揮発性ストレージユニットを含み得る。本発明の本実施形態においては、NVM210がSTT-MRAMであることを一例として使用している。第1のストレージエリア2104および第2のストレージエリア2106は、複数の磁気ストレージユニットからなるストレージアレイであり得る。各磁気ストレージユニットが2つの磁気レイヤおよび1つのトンネルレイヤを備えることを当業者は理解されよう。一方の磁気レイヤの電磁気方向は固定されており、他方の磁気レイヤの電磁気方向は外部の電磁場を使用して変更され得る。2つの磁気レイヤの方向が一致している場合には、磁気ストレージユニットは低抵抗を有しており、この状態をデータ「0」を表すために使用し、2つの磁気レイヤの方向が正反対の場合には、磁気ストレージユニットは高抵抗を有しており、この状態をデータ「1」を表すために使用する。一般的に、当業者は、電磁気方向が外部の電磁場を使用して変更され得る磁気レイヤを、フリーレイヤと称する。本発明の本実施形態においては、フリーレイヤの磁気方向は、磁気ストレージユニットを流れるスピン極性電流によって変更され得る。本発明の本実施形態においては、第1のストレージエリア2104および第2のストレージエリア2106は必ずしも連続したアドレス領域である必要はないことに留意されたい。さらに、第1のストレージエリア2104および第2のストレージエリア2106に加えて、NVM210はまた、他のデータを記憶するために使用されるストレージ領域(図示せず)を備えていてもよいが、このことは本明細書に限定されない。
【００４４】
従来のメモリと比較して、不揮発性メモリは、静的電力消費を基本的に有していないが、より高いエネルギーオーバーヘッド(動的電力消費とも称し得る)が不揮発性メモリに対する読込みおよび書込み動作によって生じることを当業者は理解されよう。静的電力消費は、読込み動作または書込み動作が不揮発性メモリに対して行われていない期間中に生じるエネルギーオーバーヘッドを指す。端末デバイスのシステム電力消費を低減する目的をNVMの動的電力消費を低減することによって達成することができる。特に、書込み処理中の書込み電流の大きさを制御することによってNVMの動的電力消費を制御することができる。しかしながら、データを磁気ストレージユニットに書込む処理中は、磁気ストレージユニットの抵抗状態間の切り替えを保証するために、書込み電流の強度は閾値電流を超過する必要があることを当業者は理解されよう。したがって、書込み成功率も書込み電流の大きさに密接に関連する。本発明の実施形態のプロセスにおいて、いくつかの画像およびビデオアプリケーションなどについては、記憶処理中にデータの下位ビットに生じるエラーが認識成功率に対して比較的小さい影響を有していることが分かっている。本発明の本実施形態においては、画像データ認識成功率に影響を与えず書込み電力消費を低減するために、NVM210は、異なる書込み電流を組み合わせるストレージ方式で画像データを記憶する。本方式に従って、NVMコントローラ2102は、書込み電流を制御することによって、次元削減処理が次元削減処理モジュール205によって行われた第1の画像データの各数値の下位ビットおよび上位ビットを第1のストレージエリア2104および第2のストレージエリア2106にそれぞれ書き込み得る。特に、本発明の本実施形態においては、第1のストレージエリア2104の書込み電流Iは、第2のストレージエリア2106の書込み電流Isより低い。例えば、第1のストレージエリア2104の書込み電流は第1の電流Iであり得るし、第2のストレージエリア2106の書込み電流Isは2Iであり得る。NVMコントローラ2102が書込み電圧を制御することによって書込み電流の大きさを制御し得ることを当業者は理解されよう。
【００４５】
図6は、本発明の実施形態による、NVM210のハードウェア構造の概略図である。図6に示したように、第1のストレージエリア2104および第2のストレージエリア2106は、複数の磁気ストレージユニット610からなるストレージアレイである。NVMコントローラ2102は、第1の電圧Vを制御することによって第1の電流Iを制御し得るし、NVMコントローラ2102は、第2の電圧Vを制御することによって第2の電流Isを制御し得る。同一の列の磁気ストレージユニット610は、1つのマルチプレクサ(multiplexer、MUX)605に接続され得る。NVMコントローラ2102は、第1の電流Iに従って第1のストレージエリア2104に次元削減が行われた第1の画像データの各数値のω個の下位ビットを書き込むことまたは第2の電流Isに従って第2のストレージエリア2106に各数値の(N-ω)個の上位ビットを書き込むことを選択する目的を達成するために、制御信号を使用してマルチプレクサ605が第1の電圧Vを出力すべきかまたは第2のVを出力すべきかを制御し得る。Nは、各数値によって占有されるビットの数量であり、ωは、指定された幅パラメータである。例えば、認識対象の画像データの数値が64ビットである場合には、数値の16個の下位ビットを第1の電流Iに従って第1のストレージエリア2104に書き込み得るし、数値の48個の上位ビットを第2の電流Isに従って第2のストレージエリア2106に書き込み得る。説明を簡易にするために、本発明の本実施形態においては、ωを幅パラメータと称する。実際の適用においては、ωの値および第1の電流Iの値の双方を端末デバイス100のシステム電力消費および端末デバイス100の指定された画像認識成功率に従って決定する必要がある。異なるタイプの認識対象の画像データについては、異なる画像認識成功率が必要になり、指定された幅パラメータωおよび第1の電流Iの値も異なることを理解されよう、ここで、ωの値は、正の整数である。
【００４６】
どのようにして画像認識アクセラレータ20内のNVM210が画像データを異なるエリアに記録しているかを説明する目的のために、図6がNVM210の構造の単なる一部に関する概略図を提供していることを理解されよう。実際の適用においては、マルチプレクサMUX605は、磁気ストレージユニット610に直接接続されていなくてもよいが、その代わりに、MUX605は、STT-MRAM内の書込み装置(図6には図示せず)を使用して磁気ストレージユニット610にデータを書き込む。ここで、実際の適用においては、代替的には、MUX605は、複数の列の磁気ストレージユニット610のために構成されてもよいし、またはMUX605は、1つまたは複数の行の磁気ストレージユニット610のためにさらに構成されてもよい。MUX605の数量およびMUX605と磁気ストレージユニット610との間の接続関係は、画像データの数値の異なる部分を異なる電流に従って異なる磁気ストレージユニット610にそれぞれ書き込むことができるのであれば、本明細書に限定されない。
【００４７】
画像マッチングモジュール215は、次元削減が行われた第1の画像データにマッチングする画像データをNVMに記憶されている画像ライブラリが含んでいるかどうかを決定し、マッチング結果を出力するように構成される。特に、図4を参照すれば、ステップ410において、画像マッチングモジュール215は、次元削減が行われた第1の画像データのマッチング結果およびNVM210に記憶されている画像ライブラリ中の画像データを取得するために、次元削減が行われた第1の画像データにマッチングする画像データをNVM210に記憶されている画像ライブラリが含んでいるかどうかを決定し得る。例えば、画像マッチングモジュール215は、第1のストレージエリア2104および第2のストレージエリア2106のそれぞれから、次元後に取得した第1の画像データを読み込み、次元削減が行われた第1の画像データとNVM210に記憶されている画像ライブラリ中の画像データとの間のマッチングを直ちに行って、第1の画像データを認識することが成功しているかどうかを決定してもよい。画像認識については、NVM210が事前に画像データの少なくとも一部を含む画像ライブラリを記憶する必要があることを理解されよう。本発明の本実施形態においては、画像マッチングモジュール215は、論理回路またはASICチップであり得る。例えば、画像マッチングモジュール215は、マッチング追跡(Matching Pursuit、MP)アルゴリズムに従うとともに論理回路またはASICチップを使用して、次元削減が行われた第1の画像データおよび画像ライブラリ中の画像データに対して計算を行って、次元削減が行われた第1の画像データにマッチングする画像データをNVMに記憶されている画像ライブラリが含んでいるかどうかを決定し得るし、それによって、マッチング結果を取得している。画像ライブラリ中の画像データが代替的にはNVM210に記憶されるとともに第1の画像データとして同一の処理を受けた画像データであってもよいことを理解されよう。
【００４８】
画像マッチングモジュール215の具体的な実施形態は、画像データマッチング処理を実施することができるのであれば、本発明の本実施形態に限定されないことに留意されたい。加えて、特定のマッチングアルゴリズムも本発明の本実施形態に限定されない。実際の適用においては、直交マッチング追跡(Orthogonal Matching Pursuit、OMP)アルゴリズムを使用してもよいし、または別のマッチングアルゴリズムを使用してもよい。画像マッチングモジュール215によって使用されるマッチングアルゴリズムについては本明細書に限定されない。実際の適用においては、マッチング結果を取得した後に、画像マッチングモジュール215は、マッチング結果をCPUに返し得る、または、マッチング結果を別のデータ処理モジュールに送信し得る。本明細書に限定されない。
【００４９】
本発明の本実施形態においては、NVM210は、異なる電流に従って、次元削減が行われた第1の画像データの各数値の異なる部分を、第1のストレージエリア2104および第2のストレージエリア2106にそれぞれ書き込み、第1の電流Iは、第2の電流Isより低い。したがって、データを第1の電流Iに従って第1のストレージエリア2104に記憶する際に投入されるシステム電力消費は、データを第2の電流Isに従って第2のストレージエリア2106に記憶する際に投入されるものより低い。一般的に、書込み電流が低いほど保存データにエラーが生じる可能性が高くなることを当業者は理解されよう。あるいは、換言すれば、画像データ認識成功率は、書込み電流の降下につれて減少することになる。したがって、従来技術では、一般的に、保存データは、画像認識を行う前に凸最適化などのリカバリ方式でリカバリされている。本発明の本実施形態においては、指定された幅パラメータωおよび第1の電流Iは、端末デバイス100のシステム電力消費および端末デバイス100の指定された第1の画像認識成功率に従って取得されている、その結果、第1のストレージエリア2104に記憶されることになる数値の下位ビットの記憶処理に発生するエラーが認識成功率に対して比較的小さい影響を有している。したがって、画像マッチングモジュール215によって画像データマッチングを実施する処理中に、画像データをマッチング前にリカバリする必要がなく、その代わりに、マッチングを、次元削減が行われNVM210に記憶されている第1の画像データと画像ライブラリ中の画像データとの間で直ちに行うことができる。本発明の本実施形態において提供した本画像認識方式は、保存されている画像データの精度を保証するために、システム電力消費を低減しつつ指定された画像認識成功率を保証することができる。
【００５０】
端末デバイス100が異なるタイプの画像データの認識要件を満たすとともにシステム電力消費を低減しつつ指定された画像認識成功率を保証することができるように、統計収集モジュール225およびパラメータ調整モジュール220を本発明の実施形態において提供した画像認識アクセラレータ20内にさらに構成してもよい。図7に示したように、図7は、本発明の実施形態による、別の画像認識アクセラレータ20の概略構造図である。図7に示したように、図3に示した構造に基づいて、パラメータ調整モジュール220は、次元削減処理モジュール205およびNVM210の双方に接続されている。統計収集モジュール225は、画像マッチングモジュール215およびパラメータ調整モジュール220の双方に接続されている。図8に示した別の画像認識方法を参照して詳細に、図7に示した画像認識アクセラレータ20内のコンポーネントの構造および動作原理を以下に説明する。
【００５１】
統計収集モジュール225は、プリセット統計収集期間内に画像マッチングモジュール215によって出力されるマッチング結果についての統計を収集して、算出された画像認識成功率を取得するように構成される。この場合には、パラメータ調整モジュール220は、統計収集モジュール225によって算出された画像認識成功率および指定された第2の画像認識成功率に従って、画像認識パラメータを調整する必要があるかどうかを決定することができる。特に、図8に示したように、ステップ800において、統計収集モジュール225は、プリセット統計収集期間内に画像マッチングモジュール215によって出力されるマッチング結果についての統計を収集して、算出された画像認識成功率を取得し得る。統計収集モジュール225によって取得された画像認識成功率が複数の画像データに関する認識結果に従って取得されることを理解されよう。実際の適用においては、統計収集モジュール225は、カウンタなどのコンポーネントであり得る。統計収集モジュール225の具体的な実施形態は本明細書に限定されない。
【００５２】
図7は統計収集モジュール225の構造を図示しているにすぎないことを理解されよう。実際の適用においては、統計収集モジュール225は、代替的には端末デバイス100内に独立して構成されてもよいし、または、統計収集モジュール225は、CPU10内に構成されてもよいし、または、統計収集モジュール225は、画像マッチングモジュール215に接続されている別のデバイス内に構成される。統計収集モジュール225が構成される具体的な場所は本発明の本実施形態に限定されない。
【００５３】
パラメータ調整モジュール220は、算出された画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きい場合には、第2の画像認識成功率および端末デバイスのシステム電力消費に従って、次元削減パラメータγ、幅パラメータω、または第1の電流Iといったパラメータのうちの少なくとも1つを調整するように構成される。説明を簡易にするために、本発明の本実施形態においては、次元削減パラメータγ、幅パラメータω、および第1の電流Iをまとめて画像認識パラメータとも称する。特に、パラメータ調整モジュール220は、統計収集モジュール225によって算出された画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値に従って、画像認識パラメータの値を調整する必要があるかどうかを決定し得る。第2の画像認識成功率は、新たに指定された画像認識成功率であるとともに、第2の画像認識成功率は、前述の第1の画像認識成功率とは異なっている。第2の画像認識成功率を事前にCPU10から取得してもよいことを理解されよう。図8を参照すれば、ステップ805において、算出された画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きいとパラメータ調整モジュール220が決定した場合には、パラメータ調整モジュール220は、第2の画像認識成功率および端末デバイスのシステム電力消費に従ってステップ810において、次元削減パラメータγ、幅パラメータω、または第1の電流Iといったパラメータのうちの少なくとも1つを調整し得る。
【００５４】
どのようにしてパラメータ調整モジュール220が画像認識パラメータを具体的に調整しているかを明確に説明するために、図9に示したパラメータ調整方法のフローチャートを参照して、どのようにしてパラメータ調整モジュール220がシステム電力消費と画像認識成功率とのバランスを取って適切な画像認識パラメータを取得しているかを以下に説明する。図9は、本発明の実施形態による、パラメータ調整方法のフローチャートである。本発明の本実施形態においては、画像認識成功率を第1の画像認識成功率から第2の画像認識成功率まで調整する必要がある例を説明のために使用している。図9に示したように、パラメータ調整方法は、以下のステップを含み得る。
【００５５】
ステップ900において、パラメータ調整モジュール220は、端末デバイスのシステム電力消費Eを低減するために徐々に次元削減パラメータγ、幅パラメータω、または第1の電流Iの値を別々に調整し、統計収集モジュール225を使用して調整後の画像認識成功率を取得する。第1の電流Iの値が小さいほど端末デバイス100が画像データを記憶する際に投入される動的電力消費が低くなることを示しており、その結果として、端末デバイス100のシステム電力消費を低くしていることを前述したことから理解できよう。幅パラメータωの値が増大すると、第1の電流Iに従って第1のストレージエリア2104に記憶されているデータが増大し、したがって、端末デバイス100のシステム電力消費はより低いものとなる。次元削減パラメータγの値が小さいほど次元削減が行われた画像データのデータボリュームが小さくなることを示しており、さらに、端末デバイス100のシステム電力消費を低くしている。端末デバイスのシステム電力消費Eの値は、γ((N-ω)*Is2+ω*I)の値に比例する、ここで、Isは、指定された標準書込み電流である、または、ガード電流と称してもよい。データがIsに従ってNVM210に書き込まれる際に、画像データの精度を保証することができる。一般的に、Isの値をNVM210の物理パラメータに従って取得し得るし、NVM210を使用する処理中に、NVM210のIsは変化しない。異なる技法で製造されたNVM210は、異なる物理パラメータを有し、したがって、Isも変化し得ることを理解されよう。第2の画像データは、第2の画像のピクセルの、数値で表された、グレースケール値のセットである、ここで、第2の画像データは、複数の数値を含み得る。実際の適用においては、画像認識パラメータを調整する処理中に、パラメータ調整モジュール220は、幅パラメータωの値を徐々に増大する方式、または、次元削減パラメータγを徐々に低減する方式、または、第1の電流Iの値を徐々に低減する方式で、端末デバイス100のシステム電力消費Eを低減し得る。パラメータ調整モジュール220は、パラメータ、システム電力消費、および調整処理中に取得した画像認識成功率の値を記録し得る。記録形式は、図10(a)に示した表形式であってもよい、または、図10(b)に示したグラフ形式であってもよい、または、別の記録形式であってもよい。図10(b)は、ωおよびIの調整が画像認識成功率の値をどのように変化させるかを記録するために使用されるグラフ形式を図示しているにすぎない。グラフ形式での記録は表形式のものより直感的に理解できることは理解されよう。本発明の本実施形態においては、画像認識成功率は、クオリティ・オブ・サービスQoSとも称し得る。一定の画像認識パラメータを複数の画像データの認識のために使用した実験から画像認識成功率を得てもよいことを理解されよう。システム電力消費を、式γ((N-ω)*Is2+ω*I)に従った計算により得てもよい。システム電力消費の値は推定値であり得ることを理解されよう。
【００５６】
特に、パラメータ調整処理中に、次元削減パラメータγ、幅パラメータω、または第1の電流Iの値を一度調整した後に、複数の実験データを次元削減パラメータγ、幅パラメータω、または第1の電流Iの調整後の値に従って認識した認識成功率を取得し、γ((N-ω)*Is2+ω*I)に従った計算により、各パラメータ調整によりもたらされるシステム電力消費を取得し、最終的に、図10(a)に示した複数のグループのパラメータ値と対応するシステム電力消費および画像認識成功率の値とを取得するために、複数の実験データが、図3に示した画像認識アクセラレータを使用して認識され得る。本発明の本実施形態においては、実験データも画像データであることを理解されよう。例えば、調整処理中において、調整後のパラメータが、図10(a)中のγ3、ω3、およびI3であるとする。パラメータ調整モジュール220が次元削減パラメータ、幅パラメータ、または第1の電流の値を第1のグループのパラメータ値γ3、ω3、およびI3に調整した後に、パラメータ調整モジュール220は、式γ((N-ω)*Is2+ω*I)に従った計算によって、第1のグループのパラメータ値に対応するシステム電力消費E5を取得し得る。加えて、パラメータ調整モジュール220は、調整後のパラメータ値γ3を次元削減処理モジュール205に送信し、ω3およびI3をNVM210に送信し得る。次元削減処理モジュール205、NVM210、および画像マッチングモジュール215は、対応するシステム電力消費および対応する画像認識成功率を取得するために、図4に示した方法を使用して調整後のパラメータ値γ3、ω3、およびI3に従って実験データを共同で認識する。特に、次元削減処理モジュール205は、受信した次元削減パラメータ値γ3に従った次元削減処理を実験データに対して行う。NVM210は、I3に従って第1のストレージエリア2104に、次元削減が行われた実験データのω3個の下位ビットを記憶し、Isに従って第2のストレージエリア2106に、次元削減が行われた実験データの(N-ω3)個の上位ビットを記憶する。画像マッチングモジュール215は、第1のストレージエリア2104および第2のストレージエリア2106のそれぞれから、次元削減が行われた実験データを読み込み、次元削減が行われた実験データとNVM210に記憶されている画像ライブラリ中の画像データとの間のマッチングを直ちに行って、実験データを認識することが成功しているかどうかを決定してもよい。このように、複数の実験データをγ3、ω3、およびI3に従って認識した後に、パラメータ値のグループに対応する画像認識成功率QoS5を取得し得る。QoS5が第2の画像認識成功率の要件を満たしていない場合には、次元削減パラメータγ、幅パラメータω、または第1の電流Iの値は継続して調整され得、その後、実験データが図4に示した方法を使用して調整後のパラメータ値に従って認識される。このように、パラメータ調整処理中において、各パラメータ値調整によりもたらされる画像認識成功率およびシステム電力消費は、このように取得され得る。例えば、図10(a)に示した、複数のグループのパラメータ値と対応するシステム電力消費および画像認識成功率とが、このように取得され得る。
【００５７】
実際の適用においては、幅パラメータωの値は、正の整数である。したがって、調整処理中に、調整を簡易にするために、幅パラメータωの値をまず調整し得るし、その後、γまたはIのうちの少なくとも1つの値を幅パラメータωの調整後の値に基づいて調整する、その結果、実験データが調整後のパラメータ値に従って認識された後は、指定された画像認識成功率の要件(例えば、第2の画像認識成功率)を満たし得る。本発明の本実施形態においては、パラメータ値を調整する特定の順序に限定されない。パラメータ調整処理中に、パラメータ値を調整した後に、調整後のパラメータ値が、画像認識成功率を取得するために、予め設定された数量の実験データを認識するために使用され得ることを理解されよう。本発明の本実施形態においては、パラメータ調整処理中に複数の実験データが認識される認識成功率を調整後の認識成功率と称し得る。本発明の本実施形態においては、実験ライブラリが事前設定されていてもよい、ここで、実験ライブラリはパラメータ調整処理中に実験データとして使用される実験目的用の画像データを記憶していることを理解されよう。本発明の本実施形態においては、図10(a)に示した表のヘッダ部分(図10(a)中の第1の行)におけるω、γ、I、E、およびQoSをパラメータを表すために使用しており、その一方で、第1の行以外の表の他の部分におけるω、γ、I、γ1、ω1、I2、E1、QoS1などをすべて特定のパラメータ値を表すために使用していることに留意されたい。本発明の本実施形態においては、他の部分におけるω、γ、I、γ'、ω'、およびI'をすべて特定のパラメータ値を表すために使用している。換言すれば、本発明の本実施形態においては、特に定めのない限り、ωおよびω'の双方を幅パラメータの値を表すために使用しており、γおよびγ'の双方を次元削減パラメータの値を表すために使用しており、IおよびI'の双方を第1の電流の値を表すために使用している。
【００５８】
ステップ905において、調整後の画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きくない場合に取得可能な、パラメータ調整モジュール220は、端末デバイスの最低電力消費E'を決定する。ステップ900に示したパラメータ調整処理中に、調整後のパラメータに対応する、複数の画像認識成功率および複数のシステム電力消費を取得し得ることを理解されよう。次元削減パラメータγの値が小さいほど次元削減が行われた画像データのデータボリュームが小さくなるとともにエラー可能性が低くなることを示していることを当業者は理解されよう。しかしながら、より多くの情報量が次元削減が行われた画像データの各数値に含まれている。したがって、実際の適用においては、次元削減パラメータγを低減する一方で画像認識成功率をより高くするケースが存在し得る。この場合には、次元削減パラメータγと画像認識成功率との間の折衷を考慮する必要がある。
【００５９】
本発明の本実施形態においては、指定された第2の画像認識成功率とのその差の絶対値がプリセット閾値より大きくない画像認識成功率すべてが、第2の画像認識成功率の要件を満たす画像認識成功率として使用される。例えば、第2の画像認識成功率が90%でありプリセット閾値が2%である場合には、88%から92%までの画像認識成功率すべてが、第2の画像認識成功率の要件を満たす画像認識成功率としてみなされ得る。本ステップにおいては、第2の画像認識成功率の要件を満たす少なくとも1つの画像認識成功率を記録された複数の画像認識成功率から決定してもよく、最低システム電力消費E'を少なくとも1つの画像認識成功率に対応する少なくとも1つのシステム電力消費から決定してもよい。
【００６０】
ステップ910において、パラメータ調整モジュール220は、最低システム電力消費E'を満足しつつ画像認識成功率を最高にする次元削減パラメータ、幅パラメータ、および第1の電流の値を、それぞれ、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'として選択する。第2の画像認識成功率の要件を満たすとともにステップ905において決定された最低システム電力消費E'に対応する複数の画像認識成功率が存在し得ることを理解されよう。したがって、ステップ910において、パラメータ調整モジュール220は、最低システム電力消費E'を満足しつつ画像認識成功率を最高にする次元削減パラメータ、幅パラメータ、および第1の電流の値を、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'として選択し得る。例えば、第1のケースでは、幅パラメータωは1ビット増加し、取得した画像認識成功率は88%であり、システム電力消費E'は10Wである。第2のケースでは、次元削減パラメータγは0.5減少し、取得した画像認識成功率は90%であり、システム電力消費E'はまた10Wである。第3のケースでは、電流Iは500μA減少し、取得した画像認識成功率は92%であり、システム電力消費E'はまた10Wである。第3のケース内のしたがって、次元削減パラメータ、幅パラメータ、および第1の電流の値は、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'として使用され得る。
【００６１】
本発明の本実施形態においては、パラメータ調整モジュール220によって画像認識パラメータを調整する処理に関する簡略な例を提供しているにすぎないことを理解されよう。実際の適用においては、前述の3つのパラメータを複合方式でさらに調整してもよい。例えば、幅パラメータωは1ビット増加してもよいし、次元削減パラメータγは同時に0.5減少してもよい。具体的な調整形式は、前述の3つの画像認識パラメータの少なくとも1つのパラメータを調整するならば本発明の本実施形態に限定されない。実際の適用においては、パラメータ調整モジュール220は、貪欲法に従って、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'を決定してもよい。
【００６２】
実際の適用においては、統計収集モジュール225は、代替的には端末デバイス100のCPU10にあり得ることに留意されたい。この場合には、パラメータ調整モジュール220は、CPU10の命令に従って画像認識パラメータを調整し得る。図11に示したように、図11は、本発明の実施形態による、さらに別の端末デバイスの概略構造図である。図11に示した構造においては、統計収集モジュール225(図11には図示せず)は、CPU10にあり得るし、CPU10は、プリセット統計収集期間内に画像マッチングモジュール215によって送信されたマッチング結果に従って、画像認識アクセラレータ20の画像認識成功率を算出し得る。算出された画像認識成功率と第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きい場合には、CPU10は、パラメータ調整モジュール220に画像認識パラメータを調整するように命令するために、パラメータ調整命令をパラメータ調整モジュール220に送信し得る。パラメータ調整命令は、第2の画像認識成功率を含む。換言すれば、図11に示した構造においては、CPU10およびパラメータ調整モジュール220は、画像認識パラメータを調整する機能を共同で実施する。特に、CPU10は、図8に示したステップ800から805におけるアクションを実行し、パラメータ調整モジュール220にステップ810におけるアクションを実行するように命令し得る。
【００６３】
別のケースでは、画像認識パラメータを調整する機能は、代替的には端末デバイス100のCPU10によって実施される。図12に示したように、図12は、本発明の実施形態による、さらに別の端末デバイスの概略構造図である。図11に基づき、図12にはパラメータ調整モジュール220が存在しておらず、図11中のパラメータ調整モジュール220の機能はその代わりにCPU10によって実施され得る。特に、図12に示した端末デバイス100の概略構造図においては、画像マッチングモジュール215は、マッチング結果をCPU10にフィードバックし得るし、CPU10は、マッチング結果に従って、画像認識アクセラレータ20がプリセット統計収集期間内に画像データを認識する画像認識成功率を算出し得る。CPU10は、算出された画像認識成功率および再び設定された第2の画像認識成功率に従って、画像認識成功率を調整する必要があるかどうかを決定し得る。算出された画像認識成功率と指定された第2の画像認識成功率との間の差の絶対値がプリセット閾値より大きいとCPU10が決定すると、CPU10は、第2の画像認識成功率および端末デバイスのシステム電力消費に従って、次元削減パラメータ、幅パラメータ、または第1の電流といったパラメータのうちの少なくとも1つの値を調整し、調整後の次元削減パラメータγ'を次元削減処理モジュール205に送信し、調整後の幅パラメータω'および調整後の第1の電流I'をNVM210に送信し得る。換言すれば、図12に示した構造においては、CPU10は、図8に示したステップ800から810の方法を実行し得る。コンポーネントの特定の機能については、前述の実施形態における関連説明を参照されたい。その詳細を本明細書では再び説明しない。図12に示した構造においては、画像認識パラメータを調整する場合には、CPU10は、調整後の画像認識パラメータに従って画像データを認識するように次元削減処理モジュール205およびNVM210を制御するために、命令形式を使用して、調整後の次元削減パラメータγ'を画像認識アクセラレータ20内の次元削減処理モジュール205に送信し、調整後の幅パラメータω'および調整後の第1の電流I'を画像認識アクセラレータ20内のNVM210に送信し得ることを理解されよう。
【００６４】
前述の実施形態においては、画像認識アクセラレータが本発明の本実施形態に従ってパラメータ調整を実施する処理を説明するために画像認識成功率を第1の画像認識成功率から第2の画像認識成功率に調整する例を使用していることを当業者は理解されよう。しかしながら、前述の例は、画像認識パラメータ(次元削減パラメータ、幅パラメータ、および第1の電流を含む)の要件を満たした値を取得するために画像認識アクセラレータによって実施されるパラメータ調整機能の一例にすぎない。本発明の本実施形態においては、第1の画像データを認識するために使用される、次元削減パラメータγ、幅パラメータω、および第1の電流Iも前述のパラメータ調整方式に従った調整により取得されることを理解されよう。換言すれば、前述のパラメータ調整方法は、システム電力消費および画像認識成功率に関する要件を満たす画像認識パラメータ値を取得するためにパラメータ値をどのように調整するかという方法の説明である。実際の適用においては、パラメータ調整が必要である場合にはいつでも、要件を満たすパラメータ値を前述のパラメータ調整方法で取得することができる。
【００６５】
調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'を取得した後に、画像認識アクセラレータ20は、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'に従って、その後認識する必要がある第2の画像データに対して画像認識を行い得る。特に、図8に示したように、ステップ815において、次元削減処理モジュール205は、調整後の次元削減パラメータγ'に従って第2の画像データの次元を削減し得る。ステップ820において、NVM210は、調整後の第1の電流I'に従ってNVM210の第1のストレージエリアに、次元削減が行われた第2の画像データの各数値のω'個の下位ビットを記憶するとともに、第2の電流Isに従ってNVM210の第2のストレージエリアに、次元削減が行われた第2の画像データの各数値の(N-ω')個の上位ビットを記憶し得る、ここで、I'は、Isより低い。ステップ825において、画像マッチングモジュール215は、次元削減が行われた第2の画像データにマッチングする画像データをNVMに記憶されている画像ライブラリが含んでいるかどうかを決定し得る。特に、画像マッチングモジュール215は、次元削減が行われた第2の画像データのマッチング結果およびNVM210に記憶されている画像ライブラリ中の画像データを取得するために、次元削減が行われた第2の画像データをNVM210に記憶されている画像ライブラリ中の画像データと比較し得る。画像認識アクセラレータが調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'に従って第2の画像データに対して画像認識を行う処理は、次元削減パラメータγ、幅パラメータω、および第1の電流Iに従って第1の画像データに対して画像認識を行う前述の処理と同様であることを理解されよう。詳細な説明については、前述の説明を参照されたい。その詳細を本明細書では再び説明しない。
【００６６】
本発明の本実施形態におけるパラメータ調整方法においては、パラメータを調整する必要がある場合にのみパラメータ調整がトリガされることを理解されよう。換言すれば、画像認識パラメータの値を調整する必要がある場合には、画像認識アクセラレータは、認識対象の画像データ(サービスデータとも称し得る)の受理を停止することをトリガし、図9に示した方式で、パラメータ値を調整し実験データを認識することによって、要件を満たす画像認識パラメータ値を取得し得る。画像認識要件を満たすパラメータ値を取得した後に、要件を満たすパラメータ値は、次元削減処理モジュール205、NVM210、および画像マッチングモジュール215が調整により得られる画像認識パラメータ値に従って認識対象の画像データ(例えば、第1の画像データおよび第2の画像データ)に対して画像認識を行うことができるように、次元削減処理モジュール205およびNVM210に送信される。
【００６７】
本発明の実施形態において提供した画像認識アクセラレータ20がどのように画像データを認識するかを明確に説明するために、図13に示した、画像認識方法のシグナリング図を参照して、図7に示した画像認識アクセラレータ20のプロセスを動作するための簡略な説明を以下に提供している。本発明の本実施形態においては、第1の画像データを認識する例をここでも説明のために使用している。図13に示したように、次元削減処理モジュール205がCPU10によって送信された認識対象の第1の画像データ1300を受信した後に、次元削減処理モジュール205は、パラメータ調整モジュール220によって指定された次元削減パラメータγに従って第1の画像データ1300の次元を削減し得る。次元削減処理モジュール205は、スパース表現ベースのランダムマッピング方式で第1の画像データ1300の次元を削減するために、ベルヌーイ行列を使用して第1の画像データ1300の次元を削減し得る。パラメータ調整モジュール220によって指定された幅パラメータωおよび第1の電流Iに従って、次元削減が行われた第1の画像データ1305をNVM210が受信した後に、NVM210は、第1の電流Iに従って第1のストレージエリア2104に、次元削減が行われた第1の画像データの各数値のω個の下位ビットを記憶するとともに、第2の電流Isに従って第2のストレージエリア2106に、次元削減が行われた第1の画像データの各数値の(N-ω)個の上位ビットを記憶し得る。画像マッチングモジュール215は、NVM210に記憶されている画像ライブラリ中の画像データに基づいて、次元削減が行われた第1の画像データ1305を認識し、次元削減が行われた第1の画像データにマッチングする画像データをNVMに記憶されている画像ライブラリが含んでいるかどうかを決定し、マッチング結果を出力し得る。図を簡易にするために、図13においては、画像ライブラリ中の画像データおよび次元削減が行われた第1の画像データ1305をまとめて比較予定の画像データ1310と称する。一方では、図13では、画像マッチングモジュール215が、第1の画像データ1305に関する認識結果をCPU10に出力し得る。他方では、統計収集モジュール225が、画像マッチングモジュール215の画像マッチング結果についての統計を収集して、統計期間内に画像認識成功率1320を取得し得る。このように、パラメータ調整モジュール220は、統計収集モジュール225によって取得された画像認識成功率1320および指定された第2の画像認識成功率に従って、画像認識パラメータを調整する必要があるかどうかを決定し得る。画像認識パラメータを調整する必要があるとパラメータ調整モジュール220が決定した場合には、パラメータ調整モジュール220は、図9に示した方法を使用して画像認識パラメータを調整し、調整後の次元削減パラメータγ'を次元削減処理モジュール205に出力し、調整後の幅パラメータω'および調整後の第1の電流I'をNVM210に出力し得る。したがって、次元削減処理モジュール205、NVM210、および画像マッチングモジュール215は、調整後の次元削減パラメータγ'、調整後の幅パラメータω'、および調整後の第1の電流I'に従って後続の第2の画像データを認識し得る。
【００６８】
図13は本発明の本実施形態において提供した端末デバイス100のシグナリング図にすぎないことを理解されよう。画像認識アクセラレータ20または他の実施形態において提供した端末デバイス100の動作プロセスについては、図13中の説明および前述の実施形態を参照されたい。その詳細を本明細書では再び説明しない。
【００６９】
本発明の本実施形態において提供した端末デバイスにおいては、画像認識アクセラレータは、CPUのデータ処理量を低減するとともにCPUとメモリとの間で交換されるデータを低減する、画像認識を行う。このように、CPU負荷を低減することを可能とし、画像データ認識のアプリケーションにおけるメモリ帯域幅による制限を軽減することを可能とし、画像データを認識する速度を増大すること可能としている。加えて、本発明の本実施形態において提供した端末デバイスにおいては、画像認識アクセラレータは、スパース表現ベースのランダムマッピング方式で認識対象の画像データの次元を削減し、異なる電流に従って画像認識アクセラレータ内のNVMの異なるストレージエリアに、次元削減が行われた画像データを書き込み得る。指定された次元削減パラメータγ、指定された幅パラメータω、および指定された第1の電流Iをすべて、端末デバイスのシステム電力消費および端末デバイスの指定された画像認識成功率に従って取得しており、したがって、端末デバイスのシステム電力消費を低減しつつ画像認識の精度を保証することができる。
【００７０】
本発明の実施形態は、プログラムコードを記憶するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品をデータ処理にさらに提供している、ここで、プログラムコードに含まれる命令は、前述の方法の実施形態のいずれか1つにおける方法のプロシージャを実行するために使用される。前述の記憶媒体が、USBフラッシュドライブ、リムーバブルハードディスク、磁気ディスク、光ディスク、ランダムアクセスメモリ(Random-Access Memory、RAM)、ソリッドステートディスク(Solid State Disk、SSD)、または不揮発性メモリ(non-volatile memory)などの、プログラムコードを記憶することが可能な任意の非一時的(non-transitory)マシン可読媒体を含み得ることを当業者は理解されよう。
【００７１】
本出願の実施形態は例示的なものにすぎないことに留意されたい。説明を簡便かつ簡潔にするために、前述の実施形態においては、実施形態は差異のある部分に重点を置いており、ある実施形態において詳細に説明していない部分については、別の実施形態における関連説明を参照されたいことを当業者は明確に理解されよう。本発明の実施形態、特許請求の範囲、および添付の図面において開示した特徴は、独立して存在し得るし、または、組み合わせた状態で存在し得る。本発明の実施形態においてハードウェア形式で説明した特徴をソフトウェアによって実行してもよく、その逆も同じであり、このことは本明細書に限定されない。
【符号の説明】
【００７２】
10  中央処理ユニットCPU
20  画像認識アクセラレータ
30  画像データコレクタ
205  次元削減処理モジュール
210  不揮発性メモリNVM
215  画像マッチングモジュール
220  パラメータ調整モジュール
225  統計収集モジュール
2102  NVMコントローラ
2104  第1のストレージエリア
2106  第2のストレージエリア
1300  第1の画像データ
1305  次元削減が行われた第1の画像データ
1310  比較予定の画像データ
1315  マッチング結果
1320  画像認識成功率
【図１】
0006399534.tif 000002
【図２】
0006399534.tif 000003
【図３】
0006399534.tif 000004
【図４】
0006399534.tif 000005
【図５】
0006399534.tif 000006
【図６】
0006399534.tif 000007
【図７】
0006399534.tif 000008
【図８】
0006399534.tif 000009
【図９】
0006399534.tif 000010
【図１０（ａ）】
0006399534.tif 000011
【図１０（ｂ）】
0006399534.tif 000012
【図１１】
0006399534.tif 000013
【図１２】
0006399534.tif 000014
【図１３】
0006399534.tif 000015