(57)【要約】      （修正有）【課題】周期定常背景雑音を受ける信号内にイベントを検出する方法を提供する。【解決手段】最初に信号１０１をサイクルにセグメント化１１０することによって、周期定常背景雑音を受ける音響信号１０１内にイベント１５１を検出する。特徴のタイミングがサイクル時間に対して相対的であるように固定次元を有する特徴１２１が、それらのサイクル１１１から取り出される。これらの特徴１２１は、周期定常背景雑音の推定値１２５を用いて正規化１３０される。次に、正規化１３０の後、分類器が特徴に適用されて、イベント１５１が検出される。【選択図】図１
2015197436.tif 000002
【特許請求の範囲】
【請求項１】
周期定常背景雑音を受ける信号内にイベントを検出する方法であって、前記信号は音響信号であり、該方法は、
前記信号をサイクルにセグメント化するステップと、
特徴のタイミングがサイクル時間に対して相対的であるように固定次元を有する該特徴を前記サイクルから取り出すステップと、
前記周期定常背景雑音の推定値を用いて前記特徴を正規化するステップと、
前記正規化の後に、前記特徴に分類器を適用するステップであって、前記イベントを検出するステップと、
を含み、前記ステップは、プロセッサにおいて実行される、周期定常背景雑音を受ける信号内にイベントを検出する方法。
【請求項２】
空気マイクロホンを用いて、動作しているエンジン又は機械から前記信号を取得すること、
を更に含む、請求項１に記載の方法。
【請求項３】
モデルベースの周期定常雑音抑圧方法を用いて前記特徴を強調すること、
を更に含む、請求項１に記載の方法。
【請求項４】
前記信号は、周期定常成分及びイベント成分の和としてモデル化される、請求項１に記載の方法。
【請求項５】
前記セグメント化することは、
各サイクルの開始時点及び終了時点を推定すること、
を更に含む、請求項１に記載の方法。
【請求項６】
前記特徴は、領域の配置が各サイクルの長さの関数となるように前記サイクル内に分散した該領域から取り出される、請求項１に記載の方法。
【請求項７】
前記領域の数は、前記サイクルにおいて固定次元を有する特徴を取り出すために、全ての前記サイクルについて固定されている、請求項６に記載の方法。
【請求項８】
前記領域は、ハンウィンドウの平方根を用いて解析される、請求項６に記載の方法。
【請求項９】
前記特徴は、スペクトログラムから取り出される、請求項１に記載の方法。
【請求項１０】
前記分類器は、ロジスティック回帰を用いる、請求項１に記載の方法。
【請求項１１】
前記分類器は、複数インスタンスロジスティック回帰を用いる、請求項１に記載の方法。
【請求項１２】
前記正規化の後、前記特徴は、複数のサイクルについてプールされる、請求項１に記載の方法。
【請求項１３】
前記モデルベースの周期定常雑音抑圧方法は、非負値行列因子分解に基づいている、請求項３に記載の方法。
【請求項１４】
前記モデルベースの周期定常雑音抑圧方法は、人工ニューラルネットワークに基づいている、請求項３に記載の方法。
【請求項１５】
前記モデルベースの周期定常雑音抑圧方法は、ガウス混合モデルに基づいている、請求項３に記載の方法。
【請求項１６】
前記セグメント化することは、タイミング信号に従っている、請求項２に記載の方法。
【請求項１７】
前記タイミング信号はスパーク信号である、請求項１６に記載の方法。
【請求項１８】
各サイクルの開始時点及び終了時点を推定すること、
を更に含み、前記推定することは、タイミング信号から取得される開始時点及び終了時点を前記サイクルの開始時点及び終了時点と同期させるオフセットを含む、請求項１に記載の方法。
【請求項１９】
前記オフセットは、前記タイミング信号及び前記音響信号を取得するのに必要とされる時間差を考慮に入れたものである、請求項１８に記載の方法。
【請求項２０】
前記イベントはエンジンノックである、請求項２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、通常は低エネルギーの比較的稀な音響イベントを検出することに関し、より詳細には、周期定常背景雑音を受ける音響信号内にイベントを検出することに関する。
【背景技術】
【０００２】
メカニズムにおける異常は、時に、それらの音響シグネチャ又は音響イベントによって特徴付けることができる。音響イベントは、通常は稀であり、背景雑音によって圧倒されている。例えば、背景雑音信号が周期的ではないが、その統計的特性が周期的である回転メカニズムでは、この背景雑音が周期定常的である状況が一般的である。
【０００３】
そのような背景雑音において、比較的稀であり、通常は低エネルギーのイベントを検出することは、有用な用途をもたらす可能性があるが、困難である。１つのそのような応用は、車両エンジンノック検出の用途である。エンジンが高速で回転するとき、動作状態及び環境状態に応じて、制御されていない燃焼が幾つかのサイクルにおいて発生する可能性があり、これは、エンジンを潜在的に損傷させる可能性がある。
【０００４】
しかしながら、時に、最も燃料効率の良い動作点が、ノックが発生する状態に対応することがあり、したがって、エンジン製造者は、通常、自身のエンジンが、ノックする状態に可能な限り近い状態で大きなノックを発生させることなく動作するように、それらのエンジンを制御しようと試みる。
【０００５】
ノック検出センサー及びノック検出デバイスには、エンジンの動作状態を制御することが必要とされる。センサーは、通常、加速度計である。検出デバイス、例えばエンジン制御ユニットは、一般に、単純なフィルタリング技法及び閾値処理技法に依拠する傾向があり、それらの精度は限られている。それらのデバイス及びセンサーは、通常、専門家によって調節される。この専門家は、エンジンの音を聞くことによってノックを検出し、センサーの検出がこの専門家の検出と一致するようにセンサーのロケーション及びそれらの検出閾値が設定されるようにセンサーを較正する。この専門家は、例えば、シリンダー圧力、イオン電流等のサイド情報として、幾つかの信号処理方法を通じて処理される様々なセンサーを用いることができる。そのような較正は、非常に多くの時間を要し、誤りを起こし易く、骨が折れるとともに、高度な技術を有する専門家を必要とする。専門家に取って代わるか又は専門家を援助して、制御ユニット及びセンサーを自動的に調節する方法を有することが有用である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施の形態は、周期定常雑音を受ける音響信号内にイベントを検出する方法及びシステムを提供する。本発明は、雑音を有する信号内の間欠的なイベントの検出の問題を解決する。これは、雑音が存在すること及びイベントの正確なラベルを取得することの難しさに起因して困難である可能性がある。特に対象となるのは、雑音が反復型メカニズムに由来し、したがって、雑音を周期定常的であるとして特徴付けることができる場合である。
【０００７】
周期定常性は、信号処理方法が、背景雑音からのずれを際立たせる特徴を生成するのに利用することができる。イベントを検出するために、分類器又はパターン認識器が、ラベルが利用可能である特徴に対してトレーニングされる。しかしながら、幾つかの用途では、多くのサイクルを含む信号の全体のセグメントのレベルにおけるラベルしか利用可能でない。それにもかかわらず、幾つかの用途は、イベントの正確なタイミングの検出を必要とする。この場合、個々のサイクル用の分類器を生成するように複数インスタンス学習目的関数を最適化することができる。
【課題を解決するための手段】
【０００８】
本方法は、入力音響信号をサイクルにセグメント化し、次に、サイクル内に分散した領域から固定次元を有する特徴を取り出す。これらの特徴のタイミングは、絶対時間ではなくサイクル時間に対して相対的であるようになっており、上記領域の配置は、各サイクルの長さの関数であるようになっている。領域の数は、全てのサイクルについて固定されている。特徴は、周期定常背景雑音の推定値を用いて正規化される。オプションとして、モデルベースの雑音抑圧方法を用いて、特徴を強調することができる。このモデルベースの抑圧方法は、非負値行列因子分解、ニューラルネットワーク、又はガウス混合モデルを用いることができる。次に、パターン認識が特徴に適用されて、イベントが検出される。
【０００９】
上記パターン認識のパラメータは、幾つかのラベル付きトレーニングデータに対してトレーニングされる。幾つかの場合には、これは、正確なラベルが欠如していることから困難である可能性がある。そのような場合、複数インスタンス学習が用いられる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態による周期定常雑音を受ける信号内にイベントを検出する方法及びシステムのブロック図である。
【図２】本発明の実施形態によるサイクル内のウィンドウ配置のタイミング図である。
【図３】本発明の実施形態による特徴処理の流れ図である。
【図４】本発明の実施形態によるトレーニングの流れ図である。
【図５】本発明の実施形態による試験の流れ図である。
【発明を実施するための形態】
【００１１】
図１に示すように、本発明の実施形態は、周期定常雑音を受ける音響信号１０１内にイベントを検出する方法及びシステムを提供する。例えば、この信号は、動作しているエンジン又は機械から空気マイクロホンを用いて取得される。
【００１２】
図１に示すように、本発明の実施形態は、周期定常雑音を受けるイベントを音響信号１０１内に検出する方法及びシステムを提供する。最初に、信号は、サイクル１１１にセグメント化される（１１０）。タイミング信号１０２をセグメント化のためのサイド情報として用いることができる。サイクルごとに、特徴１２１が、サイクル内に分散した領域から取り出される（１２０）。例えば、これらの特徴は、スペクトログラムから取得することができる。
【００１３】
特徴は、これらの特徴のタイミングが、絶対時間ではなくサイクル時間に対して相対的であるように固定次元を有する。背景雑音も推定される（１２５）。次に、特徴は、周期定常背景雑音の推定値を用いて正規化される（１３０）。オプションとして、モデルベースの雑音抑圧手順を用いて特徴を強調することができる（１４０）。このモデルベースの抑圧手順は、非負値行列因子分解、ニューラルネットワーク、又はガウス混合モデルを用いることができる。最後に、試験の間、イベント１５１が、モデルパラメータ１５２と、分類器又はパターン認識器１５０とを用いて検出される。
【００１４】
本方法のステップは、当該技術分野において知られているように、バスによってメモリ及び入力／出力インターフェースに接続されたプロセッサ１００において実行することができる。信号１０１は、周期的パターンの背景雑音に加えて間欠的なイベントも含む時系列データの形態とすることができる。サイクル間隔は、概ね同じ長さの時間であり、この長さは、特定の機械又はエンジンについて容易に求めることもできるし、それ以外に、タイミング信号１０２、例えば、内燃機関信号内のスパーク信号から取得することもできる。ここで、各単一のイベントは、そのイベントがサイクル外で信号に影響を与えないように、１つのサイクル内に位置しているものと仮定する。
【００１５】
信号処理
サイクル長に対してロバストな時間周波数解析
図２に示すように、タイミング信号１０２を用いて、入力音響信号１０１に関する各サイクルにおける一組のウィンドウの配置が決定される。図２において、τはオフセットであり、ａはオフセット比であり、ｂはシフト比であり、Ｎはサイクル当たりのウィンドウの数であり、Ｌはウィンドウ長であり、
【数１】
2015197436.tif 000003
は、タイミング信号から取得される第ｋサイクルの開始時点及び終了時点であり、Ｔｋはそのサイクルの長さである。オフセットτが果たす潜在的な役割は、タイミング信号から取得された開始時点及び終了時点を、入力音響信号におけるサイクルの開始時点及び終了時点とみなされるものと同期させることである。オフセット比ａは、一組のウィンドウの焦点をサイクルに対してシフトさせるのに用いることができる。サイクルごとのウィンドウの数Ｎは固定されているが、シフト比ｂの使用によって、サイクル長の変動を考慮に入れるようにウィンドウ間の間隔を変動させることが可能になる。これは、従来の分類アルゴリズムを適用するのに重要である。なぜならば、そのような分類アルゴリズムのための特徴は、全てのサンプル、ここではサイクルについて同じサイズを有する必要があるからである。
【００１６】
エンジンノックの検出の場合、タイミング信号は、ディストリビューターから直接取得されるスパーク信号とすることができる。入力音響信号におけるサイクルの開始時点及び終了時点は、シリンダーのうちの１つが上死点（ＴＤＣ）として知られている位置に到達するタイミングを、音が空気中をエンジンから入力音響信号が収録されるマイクロホンまで進むのに要する時間だけ更にオフセットさせたものとみなすことができる。オフセットτは、このように、ＴＤＣに対するスパークの相対的なタイミングを考慮に入れるとともにタイミング信号及び音響信号を取得するのに必要とされる時間差も考慮に入れることによって、スパーク信号におけるピークから取得されるスパーク時点を変更するように計算することができる。上記相対的なタイミングは、度を単位とするスパーク進み角によって表され、上記時間差は、マイクロホンまでの距離に依存する。スパーク進み角をａ［度］によって表し（例えば、＋１２は、スパークがＴＤＣの１２度前に発生することを示す）、回転速度をＲＰＭ［毎分回転数］によって表し（ここで、１回転は３６０度を意味する一方、４ストロークエンジンにおける「サイクル」は７２０度に対応することに留意されたい）、マイクロホンまでの距離をｄ［ｍ］によって表し（加速度計の場合、ｄ＝０）、音速をｃ［ｍ／ｓ］によって表す場合、以下の式に従って、オフセットτを計算し、サイクルの開始時点及び終了時点に適用して、それらをマイクロホン信号と位置合わせすることができる。
【００１７】
【数２】
2015197436.tif 000004
【００１８】
図３は、特徴処理の詳細を示している。入力は、音響信号３０１及びタイミング信号３０２である。例えば、エンジンノックを検出する場合、タイミング信号は、スパーク信号とすることができる。タイミング信号は、サイクルの開始時点及び終了時点を抽出する（３０３）のに用いられる。
【００１９】
音響信号３０１をｘ（ｔ）によって表す。上記で説明した一組のウィンドウをｘ（ｔ）に適用してサイクルごとに一組のフレームを取得し、例えば高速フーリエ変換アルゴリズムを用いて各フレームの離散フーリエ変換を行うことによって、各サイクルにおけるｘ（ｔ）の時間周波数表現が取得される。
【００２０】
長さＬの解析ウィンドウがｗとして表される場合、第ｋサイクルの第ｎフレームは、以下の式として取得される（３１０）。
【００２１】
【数３】
2015197436.tif 000005
【００２２】
特に、以下の式のサインウィンドウ（ハン（Hann）ウィンドウの平方根）を解析に用いることができる。
【００２３】
【数４】
2015197436.tif 000006
【００２４】
次に、例えば、フーリエ変換サイズとしてウィンドウサイズ又はウィンドウサイズの２倍を用いたフーリエ変換を行うことによって、パワースペクトルが求められる（３２０）。第ｋサイクルの第ｎフレームのパワースペクトルは、以下の式となる。
【００２５】
【数５】
2015197436.tif 000007
【００２６】
「非負」の周波数を維持するだけでよいことに留意されたい。すなわち、ＤＣからナイキスト周波数までの周波数、つまり、ω＝０，．．．，Ｌを維持するだけでよい。なぜならば、「負」の周波数、すなわち、ナイキスト周波数を上回る周波数、つまり、ω＝Ｌ＋１，．．．，２Ｌ−１は冗長であるからである。
【００２７】
サイクルのフレームのパワースペクトルは、時間次元において連結され、完全なサイクルのスペクトログラム状の表現が取得される。
【００２８】
フィルタリング
フィルタリング技法を用いて、周期定常成分が信号から除去される。これを行うために、背景雑音が次のように計算される（３０５）。一般的なアイデアは、全てのサイクルにわたる或る平均値
【数６】
2015197436.tif 000008
を求め、この平均値を用いて各サイクルにおける特徴を正規化することである。そのような平均値の最も単純な例は、以下の式のように、時間周波数ビンごとに独立した全てのサイクルの平均である。
【００２９】
【数７】
2015197436.tif 000009
【００３０】
他の定式化したものを用いて平均値を計算することができることが理解されよう。
【００３１】
次に、以下のように、各サイクルを正規化する（３３０）ことができる。
【００３２】
【数８】
2015197436.tif 000010
【００３３】
イベントが発生するサイクルの数が、サイクルの総数Ｋと比較して少ない場合、上記平均は、周期定常成分の良好な推定量となる可能性がある。これとは正反対に、イベントが発生するサイクルの数が多い場合、中央値等のよりロバストな推定量を用いることができる。
【００３４】
最後に、以下の式のように対数を適用して（３４０）、ダイナミックレンジが改善される。
【００３５】
【数９】
2015197436.tif 000011
【００３６】
フレームは、大きなベクトルにスタックされ（３５０）、オプションとして、以下で説明するマックスプール（max-pool）が用いられて（３６０）、特徴ベクトル３７０が取得される。
【００３７】
分類
特徴は、モデルパラメータを学習するために分類器に供給することができる。しかしながら、正確なラベルを入手することができない場合があるか、又は入手することができる場合にも、それは少数のサンプル用でしかない場合があることから、本発明者らの作業は複雑である。この問題を克服するために、複数のサンプルが対応するラベルを有する「バッグ」に組み合わされる機械学習からの複数インスタンスフレームワークを検討することができる。正のバッグは、１つ又は複数の正のインスタンスを有するバッグであり、負のバッグは、全てのインスタンスが負であるバッグである。
【００３８】
複数インスタンスフレームワークを説明する前に、ラベルが全てのトレーニングサンプルに利用可能である場合を手短に再検討することにする。一例として、ここでは、ロジスティック回帰（ＬＲ）を分類器として用いることができるが、他の分類器を用いこともできる。
【００３９】
各サンプルのためのラベルを用いた学習
ロジスティック回帰（ＬＲ）モデル
トレーニングサンプルのセットを｛（ｘ１，ｙ１），．．．，（ｘｍ，ｙｍ）｝とする。ここで、ｘｉは特徴ベクトルであり、ｙｉは対応するラベルである。本発明者らの状況では、ｘｉは、例えば、全てのフレーム
【数１０】
2015197436.tif 000012
を単一のベクトルにスタックする（３５０）ことによって取得される、式６において定義された
【数１１】
2015197436.tif 000013
をベクトル化したものである。
【００４０】
パラメータ
【数１２】
2015197436.tif 000014
を有するロジスティック回帰モデルの下では、特徴ベクトルｘｉが正のサンプルに対応する確率は、以下の式としてモデル化される。
【００４１】
【数１３】
2015197436.tif 000015
【００４２】
ここで、
【数１４】
2015197436.tif 000016
は、バイアス項を含むように特徴ベクトルを拡張したものである。特徴ベクトルが負のサンプルに対応する確率は、以下の式としてモデル化される。
【００４３】
【数１５】
2015197436.tif 000017
【００４４】
モデルパラメータ１５２は、このモデルの下でトレーニングデータの尤度を最大にするようにトレーニングされる。これは、要するに、以下の式として定義される負の対数尤度目的関数φＬＲ（θ）を最小にすることになる。
【００４５】
【数１６】
2015197436.tif 000018
【００４６】
ここで、α＋、α−、βＷ、及びβｂは重みである。最後の２つの項は、パラメータの正則化に対応し、通例、スパース性の事前確率及び平滑性の事前確率にそれぞれ対応するＷ及び／又はｂのＬ１ノルム又はＬ２ノルムのいずれかを含む。α＋及びα−の従来の設定は、α＋＝Ｎ＋であり、α−＝Ｎ−である。ここで、Ｎ＋及びＮ−は、それぞれ正のトレーニングサンプルの数及び負のトレーニングサンプルの数である。通常、βｂは、バイアス項が正則化されていないことを意味する０に設定される。正則化の主な目標は、特定の特徴がトレーニングデータに対して過度に大きな重要度を有し、オーバーフィットをもたらすことを回避することであるが、バイアス項については、そのような懸念はない。
【００４７】
パラメータθは、トレーニングされた後、式７及び式８を用いて試験データに関する事後確率を与えるのに用いることができる。
【００４８】
図４は、入力として音響信号３０１、タイミング信号３０２、及びイベントラベル４０１を取るトレーニング手順を示している。特徴は、上記で説明したように処理され（４１０）、分類器は、式（９）を用いてモデルパラメータ１５２を学習することによってトレーニングされる（４２０）。
【００４９】
図５は、信号がどのように試験されるのかを示している。入力は、音響信号、タイミング信号、及びモデルパラメータ５０１である。特徴が前述のように処理され、事後確率ｐ（ｙ｜ｘｉ，θ）が、式（７）及び式（８）を用いて計算される（５１０）。これらのトレーニングステップ及び試験ステップは、プロセッサにおいて実行することができる。
【００５０】
複数インスタンス学習（ＭＩＬ）
複数インスタンス学習フレームワークでは、ラベル情報は、各単一のインスタンス又はサンプルでなく、複数のインスタンスの「バッグ」のレベルにおいてのみ利用可能である。サンプルのバッグに負のラベルが与えられたとき、これは、そのバッグ内の全てのインスタンスが負であることを意味する。一方、バッグに正のラベルが与えられた場合、これは、そのバッグ内の少なくとも１つ（それよりも多い場合がある）のサンプルが正であることを意味する。
【００５１】
このタイプの状況は、通常、専門家が、長い時間間隔にわたって取得された幾つかのデータにラベル付けし、例えば、データの僅かな各時間内に、少なくとも１つのイベントが存在するか否かを、そのイベント又はそれらのイベントがその僅かな時間内に実際に発生したことに関して更なる精度を与えることなく判断するときに発生する。
【００５２】
そのような状況に対処する幾つかの方法がある。第１のものは、サンプルのバッグのレベルにおいてトレーニング及び試験の双方を実行することであり、事実上、ラベルが「トレーニングサンプル」ごとに与えられる状況に後退している。トレーニングサンプルは、このとき、全体としてバッグに対応する。その場合、予測は、単一のサイクルのレベルにおいて行うことはできず、サイクルのバッグのレベルにおいてのみ行うことができる。
【００５３】
そのような方法の一例は、特徴をバッグに「プール」して、単一のサンプル（ここでは、一サイクル）の特徴ベクトルと同様の特徴ベクトルを取得し、ロジスティック回帰とともに上記で例示した伝統的なフレームワークを用いることにある。これについては、以下で説明する。
【００５４】
サイクルレベルにおいてイベントの検出を可能にする第２の方法は、バッグレベルにおける情報のみが用いられるように目的関数を変更することによって単一のインスタンスのレベルにおいて分類を実行する分類器をトレーニングすることである。これについても、以下で説明する。
【００５５】
マックスプールを有するバッグレベル分類
｛（Ｂ１，ｙ１），（Ｂ２，ｙ２），．．．，（Ｂｍ，ｙｍ）｝がバッグのセット及びそれらの対応するラベルを表すものとする。ここで、
【数１７】
2015197436.tif 000019
であり、ｘｉｊは、第ｊ特徴ベクトル、すなわち、第ｉバッグの第ｊサイクルの特徴ベクトルであり、ｎｉは、第ｉバッグのサイズである。
【００５６】
バッグのインスタンスを単一のサンプルに集約することによってインスタンスレベルにおけるラベル情報の欠如を回避することができる。バッグレベルのラベルとともに、これらの集約された特徴によって、従来の監視された学習方法を適用することが可能になる。インスタンスをバッグに集約する１つの方法は、例えば、最大数を用いて全ての要素の特徴をバッグに「プール」することである。この結果、いわゆるマックスプール手順３６０が得られる。バッグＢｉの特徴ベクトルは、以下の式として定義される。
【００５７】
【数１８】
2015197436.tif 000020
【００５８】
ここで、ｌは、ここでは、
【数１９】
2015197436.tif 000021
のベクトル化された形態の対（ｎ，ω）に対応するインデックスである。
【数２０】
2015197436.tif 000022
をトレーニングデータとして用いることによって、上記で説明したような従来の伝統的なロジスティック回帰フレームワークを適用することができる。
【００５９】
しかしながら、この手法の不利な点は、モデルがバッグレベルでトレーニングされており、この手法がインスタンスレベルにおいて良好に動作するという保証がないということである。換言すれば、分類器は、バッグＢｉ内の要素について「マックスプール」された特徴ベクトル
【数２１】
2015197436.tif 000023
を分類するようにトレーニングされ、プールされていない特徴ベクトルｘｉｊのうちの１つに対して良好に動作しない場合がある。
【００６０】
インスタンスレベル分類器
次に、インスタンスレベル及びバッグレベルにおいて良好に動作するモデルを説明する。そのようなモデルは、バッグレベルラベルしか必要としない一方、それでも、インスタンスレベル分類を実行することができるので、実用上は最も有用である。
【００６１】
ロジスティック回帰モデルを複数インスタンスフレームワークに適応させることができる。上記で説明したように、負のバッグでは、全ての要素が負であり、バッグＢｉが、パラメータθを有するロジスティック回帰モデルの下で負であるための確率は、以下の式となる。
【００６２】
【数２２】
2015197436.tif 000024
【００６３】
ここで、ｐ（ｙｉｊ＝０｜ｘｉｊ，θ）は、式８と同様に定義される。
【００６４】
他方、正のバッグは、正である少なくとも１つの正の要素を有するだけでよい。これは、バッグの要素に関する確率の観点から容易に記述されず、以下の式のように、バッグが正である確率が、負でない確率として単純に表される。
【００６５】
【数２３】
2015197436.tif 000025
【００６６】
従来のロジスティック回帰の場合と同様に、以下の式の負の対数尤度目的関数φＭＩＬ（θ）を最小にすることによって、このモデルのパラメータをトレーニングすることができる。
【００６７】
【数２４】
2015197436.tif 000026
【００６８】
上記目的関数の主な難しさは、非常に小さいか又は非常に１に近い可能性のある潜在的に多くの項の積が対数内に存在することである。
【００６９】
組み合わせモデル
インスタンスレベルモデルは、バッグレベルモデルと組み合わせることができる。このアイデアは、バッグが多数の正のインスタンスを含むとき、そのバッグはバッグレベルの特徴によってより良好に集約される一方、インスタンスレベルの特徴は、正のインスタンスの数が少ないときに好ましいということである。２つの手法を組み合わせた重み付きモデルが学習され、重みパラメータは、そのデータセットに適応的に調節される。
【００７０】
インスタンスレベル分類器の最適化
ロジスティック回帰モデルと異なり、上記で説明したＭＩＬフレームワークは、非凸の定式化をもたらす。正のバッグの勾配は、以下の式として取得することができる。
【００７１】
【数２５】
2015197436.tif 000027
【００７２】
ここで、
【数２６】
2015197436.tif 000028
は、バッグｉ内のインスタンスが正である確率のベクトルであり、ｑｉｋ＝１−ｐｉｋであり、
【数２７】
2015197436.tif 000029
は、全て１のベクトルである。負のバッグの勾配は、ロジスティック回帰の場合と同じであり、以下のとおりである。
【００７３】
【数２８】
2015197436.tif 000030
【００７４】
ヘッシアンＨを計算する代わりに、ヘッシアンベクトル積計算の行列がないものが提供される。すなわち、或るベクトルｖが与えられると、以下のように、行列ベクトル積
【数２９】
2015197436.tif 000031
を効率的に計算することができる。
【００７５】
【数３０】
2015197436.tif 000032
【００７６】
ヘッシアンと組み合わされた勾配は、ニュートン共役勾配として、従来の最適化手順に入力して、ＭＩＬ目的関数を最小にすることができる。この問題は非凸であるので、局所収束性及び良好な初期化子が意味のある解を見つける鍵であることしか予想することができない。
【図１】
2015197436.tif 000033
【図２】
2015197436.tif 000034
【図３】
2015197436.tif 000035
【図４】
2015197436.tif 000036
【図５】
2015197436.tif 000037
【外国語明細書】
2015197436.tif 000038
2015197436.tif 000039
2015197436.tif 000040
2015197436.tif 000041
2015197436.tif 000042
2015197436.tif 000043
2015197436.tif 000044
2015197436.tif 000045
2015197436.tif 000046
2015197436.tif 000047
2015197436.tif 000048
2015197436.tif 000049
2015197436.tif 000050
2015197436.tif 000051
2015197436.tif 000052
2015197436.tif 000053
2015197436.tif 000054
2015197436.tif 000055
2015197436.tif 000056
2015197436.tif 000057
2015197436.tif 000058
2015197436.tif 000059
2015197436.tif 000060
2015197436.tif 000061
2015197436.tif 000062
2015197436.tif 000063