(57)【要約】  顕微内視鏡検査画像中の組織を分類する方法およびシステムが開示される。顕微内視鏡検査画像から局所特徴記述子を抽出する。学習済み識別辞書を用いて局所特徴記述子各々を符号化する。学習済み識別辞書はクラス固有の補助辞書を含み、それぞれ異なるクラスに対応づけられた補助辞書の基底間の相関にペナルティを科す。学習済み識別辞書を用いて符号化された符号化局所特徴記述子に基づき、機械学習ベースのトレーニング済み分類器を用いて、顕微内視鏡検査画像中の組織を分類する。
2018515164.tif 000002
【特許請求の範囲】
【請求項１】
１つまたは複数の顕微内視鏡検査画像中の組織を分類する方法であって、当該方法は、
・顕微内視鏡検査画像から局所特徴記述子を抽出するステップと、
・学習済み識別辞書を用いて前記局所特徴記述子各々を符号化するステップと、ただし前記学習済み識別辞書は、クラス固有の補助辞書を含み、それぞれ異なるクラスに対応づけられた複数の補助辞書の各基底間の相関にペナルティを科し、
・学習済み識別辞書を用いて前記局所特徴記述子各々を符号化した結果得られた符号化局所特徴記述子に基づき、機械学習ベースのトレーニング済み分類器を用いて、前記顕微内視鏡検査画像中の組織を分類するステップと、
を含む、
１つまたは複数の顕微内視鏡検査画像中の組織を分類する方法。
【請求項２】
前記顕微内視鏡検査画像は、共焦点レーザ顕微内視鏡検査（ＣＬＥ）プローブを用いて取得された共焦点レーザ顕微内視鏡検査（ＣＬＥ）画像である、
請求項１記載の方法。
【請求項３】
当該方法はさらに、
トレーニング画像から抽出された局所特徴記述子に基づき、前記学習済み識別辞書を学習するステップ、
を含む、
請求項１記載の方法。
【請求項４】
トレーニング画像から抽出された局所特徴記述子に基づき、前記学習済み識別辞書を学習する前記ステップは、
前記クラス固有の補助辞書と再構成係数とを学習するステップ、
を含み、
該ステップは、複数のクラス各々について、すべての基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の全体的な再構成残差と、当該クラスに対応づけられた補助辞書の基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の再構成残差とを最小化し、当該クラスに対応づけられていない補助辞書の基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の再構成にペナルティを科す、
請求項３記載の方法。
【請求項５】
前記クラス固有の補助辞書と再構成係数とを学習する前記ステップは、
前記クラス固有の補助辞書と再構成係数とをelastic-net正則化のもとで学習するステップ、
を含む、
請求項４記載の方法。
【請求項６】
前記クラス固有の補助辞書と再構成係数とを学習する前記ステップは、
・各クラスの各トレーニング画像から抽出された前記局所特徴記述子に対する再構成係数を、確定された識別辞書により更新し、
・クラス固有の各補助辞書における基底を、確定された再構成係数により更新する、
ことによって、目的関数を反復的に最適化するステップ、
を含む、
請求項５記載の方法。
【請求項７】
学習済み識別辞書を用いて前記局所特徴記述子各々を符号化する前記ステップは、
前記学習済み識別辞書を用いて前記局所特徴記述子各々を再構成するための再構成係数を決定するステップ、
を含む、
請求項１記載の方法。
【請求項８】
学習済み識別辞書を用いて前記局所特徴記述子各々を符号化した結果得られた符号化局所特徴記述子に基づき、機械学習ベースのトレーニング済み分類器を用いて、前記顕微内視鏡検査画像中の組織を分類する前記ステップは、
前記局所特徴記述子各々に対して決定された前記再構成係数に基づき、機械学習ベースの前記トレーニング済み分類器を用いて、前記顕微内視鏡検査画像中の組織を分類するステップ、
を含む、
請求項７記載の方法。
【請求項９】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を再構成するための再構成係数を決定する前記ステップは、
前記学習済み識別辞書を用いてelastic-net正則化項のもとで前記局所特徴記述子各々を符号化するための再構成係数を決定するステップ、
を含む、
請求項７記載の方法。
【請求項１０】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を再構成するための再構成係数を決定する前記ステップは、
前記学習済み識別辞書における最近傍の辞書の基底によって、前記局所特徴記述子各々を符号化するための再構成係数を決定するステップ、
を含む、
請求項７記載の方法。
【請求項１１】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を再構成するための再構成係数を決定する前記ステップは、
前記学習済み識別辞書を用いて局所制約された線形正則化項のもとで前記局所特徴記述子各々を符号化するための再構成係数を決定するステップ、
を含む、
請求項７記載の方法。
【請求項１２】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を再構成するための再構成係数を決定する前記ステップは、
前記学習済み識別辞書を用いて局所制約されたスパース正則化項のもとで前記局所特徴記述子各々を符号化するための再構成係数を決定するステップ、
を含む、
請求項７記載の方法。
【請求項１３】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を再構成するための再構成係数を決定する前記ステップは、
前記学習済み識別辞書を用いて局所制約されたelastic-net正則化項のもとで前記局所特徴記述子各々を符号化するための再構成係数を決定するステップ、
を含む、
請求項７記載の方法。
【請求項１４】
機械学習ベースの前記トレーニング済み分類器はサポートベクターマシン（ＳＶＭ）である、
請求項１記載の方法。
【請求項１５】
当該方法はさらに、
・１つの顕微内視鏡検査ビデオストリーム中の複数の顕微内視鏡検査画像各々について、局所特徴記述子を抽出するステップと、学習済み識別辞書を用いて前記局所特徴記述子各々を符号化するステップと、前記顕微内視鏡検査画像中の組織を分類するステップとを反復するステップと、
・１つの顕微内視鏡検査ビデオストリーム中の前記複数の顕微内視鏡検査画像各々における組織の分類に基づき、前記顕微内視鏡検査ビデオストリーム中の組織を分類するステップと、
を含む、
請求項１記載の方法。
【請求項１６】
前記顕微内視鏡検査画像は脳腫瘍の顕微内視鏡検査画像であり、
学習済み識別辞書を用いて前記局所特徴記述子各々を符号化した結果得られた符号化局所特徴記述子に基づき、機械学習ベースのトレーニング済み分類器を用いて、前記顕微内視鏡検査画像中の組織を分類する前記ステップは、
前記符号化局所特徴記述子に基づき前記トレーニング済み分類器を用いて、前記顕微内視鏡検査画像中の組織を膠芽腫または髄膜腫として分類するステップ、
を含む、
請求項１記載の方法。
【請求項１７】
１つまたは複数の顕微内視鏡検査画像中の組織を分類する装置であって、当該装置は、
・顕微内視鏡検査画像から局所特徴記述子を抽出する手段と、
・学習済み識別辞書を用いて前記局所特徴記述子各々を符号化する手段と、ただし前記学習済み識別辞書は、クラス固有の補助辞書を含み、それぞれ異なるクラスに対応づけられた複数の補助辞書の基底間の相関にペナルティを科し、
・学習済み識別辞書を用いて前記局所特徴記述子各々を符号化した結果得られた符号化局所特徴記述子に基づき、機械学習ベースのトレーニング済み分類器を用いて前記顕微内視鏡検査画像中の組織を分類する手段と、
を含む、
１つまたは複数の顕微内視鏡検査画像中の組織を分類する装置。
【請求項１８】
前記顕微内視鏡検査画像は、共焦点レーザ顕微内視鏡検査（ＣＬＥ）プローブを用いて取得された共焦点レーザ顕微内視鏡検査（ＣＬＥ）画像である、
請求項１７記載の装置。
【請求項１９】
当該装置はさらに、
トレーニング画像から抽出された局所特徴記述子に基づき、前記学習済み識別辞書を学習する手段を含む、
請求項１７記載の装置。
【請求項２０】
トレーニング画像から抽出された局所特徴記述子に基づき、前記学習済み識別辞書を学習する前記手段は、
前記クラス固有の補助辞書と再構成係数とを学習する手段、
を含み、
該手段は、複数のクラス各々について、すべての基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の全体的な再構成残差と、当該クラスに対応づけられた補助辞書の基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の再構成残差とを最小化し、当該クラスに対応づけられていない補助辞書の基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の再構成にペナルティを科す、
請求項１９記載の装置。
【請求項２１】
学習済み識別辞書を用いて前記局所特徴記述子各々を符号化する前記手段は、
前記学習済み識別辞書を用いて前記局所特徴記述子各々を再構成するための再構成係数を決定する手段、
を含む、
請求項１７記載の装置。
【請求項２２】
学習済み識別辞書を用いて前記局所特徴記述子各々を符号化した結果得られた符号化局所特徴記述子に基づき、機械学習ベースのトレーニング済み分類器を用いて、前記顕微内視鏡検査画像中の組織を分類する前記手段は、
前記局所特徴記述子各々に対して決定された前記再構成係数に基づき、機械学習ベースの前記トレーニング済み分類器を用いて、前記顕微内視鏡検査画像中の組織を分類する手段、
を含む、
請求項２１記載の装置。
【請求項２３】
当該装置はさらに、
複数の顕微内視鏡検査画像を含む顕微内視鏡検査ビデオストリーム中の組織を、前記顕微内視鏡検査ビデオストリーム中の前記複数の顕微内視鏡検査画像における個々の画像中の組織の分類に基づき分類する手段、
を含む、
請求項１７記載の装置。
【請求項２４】
前記顕微内視鏡検査画像は脳腫瘍の顕微内視鏡検査画像であり、
学習済み識別辞書を用いて前記局所特徴記述子各々を符号化した結果得られた符号化局所特徴記述子に基づき、機械学習ベースのトレーニング済み分類器を用いて、前記顕微内視鏡検査画像中の組織を分類する前記手段は、
前記符号化局所特徴記述子に基づき前記トレーニング済み分類器を用いて、前記顕微内視鏡検査画像中の組織を膠芽腫または髄膜腫として分類する手段、
を含む、
請求項１７記載の装置。
【請求項２５】
１つまたは複数の顕微内視鏡検査画像中の組織を分類するためのコンピュータプログラム命令を記憶する、非一時的なコンピュータ読み取り可能媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、該プロセッサは以下を含むオペレーションを実行する、すなわち、
・顕微内視鏡検査画像から局所特徴記述子を抽出するオペレーションと、
・学習済み識別辞書を用いて前記局所特徴記述子各々を符号化するオペレーションと、ただし前記学習済み識別辞書は、クラス固有の補助辞書を含み、それぞれ異なるクラスに対応づけられた複数の補助辞書の基底間の相関にペナルティを科し、
・学習済み識別辞書を用いて前記局所特徴記述子各々を符号化した結果得られた符号化局所特徴記述子に基づき、機械学習ベースのトレーニング済み分類器を用いて、前記顕微内視鏡検査画像中の組織を分類するオペレーションと、
を実行する、
非一時的なコンピュータ読み取り可能媒体。
【請求項２６】
前記顕微内視鏡検査画像は、共焦点レーザ顕微内視鏡検査（ＣＬＥ）プローブを用いて取得された共焦点レーザ顕微内視鏡検査（ＣＬＥ）画像である、
請求項２５記載の非一時的なコンピュータ読み取り可能媒体。
【請求項２７】
前記オペレーションはさらに、
トレーニング画像から抽出された局所特徴記述子に基づき、前記学習済み識別辞書を学習するオペレーション、
を含む、
請求項２５記載の非一時的なコンピュータ読み取り可能媒体。
【請求項２８】
トレーニング画像から抽出された局所特徴記述子に基づき、前記学習済み識別辞書を学習する前記オペレーションは、
前記クラス固有の補助辞書と再構成係数とを学習するオペレーション、
を含み、
該オペレーションは、複数のクラス各々について、すべての基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の全体的な再構成残差と、当該クラスに対応づけられた補助辞書の基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の再構成残差とを最小化し、当該クラスに対応づけられていない補助辞書の基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の再構成にペナルティを科す、
請求項２７記載の非一時的なコンピュータ読み取り可能媒体。
【請求項２９】
前記クラス固有の補助辞書と再構成係数とを学習する前記オペレーションは、
前記クラス固有の補助辞書と再構成係数とをelastic-net正則化のもとで学習するオペレーション、
を含む、
請求項２８記載の非一時的なコンピュータ読み取り可能媒体。
【請求項３０】
前記クラス固有の補助辞書と再構成係数とを学習する前記オペレーションは、
・各クラスの各トレーニング画像から抽出された前記局所特徴記述子に対する再構成係数を、確定された識別辞書により更新し、
・クラス固有の各補助辞書における基底を、確定された再構成係数により更新する、
ことによって、目的関数を反復的に最適化するオペレーション、
を含む、
請求項２９記載の非一時的なコンピュータ読み取り可能媒体。
【請求項３１】
学習済み識別辞書を用いて前記局所特徴記述子各々を符号化する前記オペレーションは、
前記学習済み識別辞書を用いて前記局所特徴記述子各々を再構成するための再構成係数を決定するオペレーション、
を含む、
請求項２５記載の非一時的なコンピュータ読み取り可能媒体。
【請求項３２】
学習済み識別辞書を用いて前記局所特徴記述子各々を符号化した結果得られた符号化局所特徴記述子に基づき、機械学習ベースのトレーニング済み分類器を用いて、前記顕微内視鏡検査画像中の組織を分類する前記オペレーションは、
前記局所特徴記述子各々に対して決定された前記再構成係数に基づき、機械学習ベースの前記トレーニング済み分類器を用いて、前記顕微内視鏡検査画像中の組織を分類するオペレーション、
を含む、
請求項３１記載の非一時的なコンピュータ読み取り可能媒体。
【請求項３３】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を再構成するための再構成係数を決定する前記オペレーションは、
前記学習済み識別辞書を用いてelastic-net正則化項のもとで前記局所特徴記述子各々を符号化するための再構成係数を決定するオペレーション、
を含む、
請求項３１記載の非一時的なコンピュータ読み取り可能媒体。
【請求項３４】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を再構成するための再構成係数を決定する前記オペレーションは、
前記学習済み識別辞書における最近傍の辞書の基底によって、前記局所特徴記述子各々を符号化するための再構成係数を決定するオペレーション、
を含む、
請求項３１記載の非一時的なコンピュータ読み取り可能媒体。
【請求項３５】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を再構成するための再構成係数を決定する前記オペレーションは、
前記学習済み識別辞書を用いて局所制約された線形正則化項のもとで前記局所特徴記述子各々を符号化するための再構成係数を決定するオペレーション、
を含む、
請求項３１記載の非一時的なコンピュータ読み取り可能媒体。
【請求項３６】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を再構成するための再構成係数を決定する前記オペレーションは、
前記学習済み識別辞書を用いて局所制約されたスパース正則化項のもとで前記局所特徴記述子各々を符号化するための再構成係数を決定するオペレーション、
を含む、
請求項３１記載の非一時的なコンピュータ読み取り可能媒体。
【請求項３７】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を再構成するための再構成係数を決定する前記オペレーションは、
前記学習済み識別辞書を用いて局所制約されたelastic-net正則化項のもとで前記局所特徴記述子各々を符号化するための再構成係数を決定するオペレーション、
を含む、
請求項３１記載の非一時的なコンピュータ読み取り可能媒体。
【請求項３８】
当該方法はさらに、
・１つの顕微内視鏡検査ビデオストリーム中の複数の顕微内視鏡検査画像各々について、局所特徴記述子を抽出するステップと、学習済み識別辞書を用いて前記局所特徴記述子各々を符号化するステップと、前記顕微内視鏡検査画像中の組織を分類するステップとを反復するステップと、
・１つの顕微内視鏡検査ビデオストリーム中の前記複数の顕微内視鏡検査画像各々における組織の分類に基づき、前記顕微内視鏡検査ビデオストリーム中の組織を分類するステップと、
を含む、
請求項２５記載の方法。
【請求項３９】
前記顕微内視鏡検査画像は脳腫瘍の顕微内視鏡検査画像であり、
学習済み識別辞書を用いて前記局所特徴記述子各々を符号化した結果得られた符号化局所特徴記述子に基づき、機械学習ベースのトレーニング済み分類器を用いて、前記顕微内視鏡検査画像中の組織を分類する前記ステップは、
前記符号化局所特徴記述子に基づき前記トレーニング済み分類器を用いて、前記顕微内視鏡検査画像中の組織を膠芽腫または髄膜腫として分類するステップ、
を含む、
請求項２５記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１５年３月２７日出願の米国特許仮出願第６２／１３９，０１６号明細書（U.S. Provisional Application No. 62/139,016）の利益を請求するものであり、ここで参照したことによりその開示内容を本明細書の一部とする。
【０００２】
技術分野
本発明は、機械学習ベースの画像分類を用いた、医用画像データ中の種々のタイプの組織の分類に関し、さらに詳しくは、機械学習ベースの画像分類を用いた脳腫瘍自動診断に関する。
【０００３】
発明の背景
癌は、全世界を通じて主要な健康上の問題である。癌の早期診断は、癌の治療を成功させるために非常に重要である。従来より病理学者は、患者から採取されたバイオプシの病理組織画像を取得し、顕微鏡検査のもとで病理組織画像を検査し、病理学者の知識と経験に基づき診断について判定を下してきた。残念ながら、手術中の手短な組織検査は、病理学者が正確な診断を下すために十分な情報を与えるものではないことが多い。また、バイオプシは、様々な理由から診断が不十分となって、決定的な結果をもたらすものとはならないことが多い。そのような理由として、バイオプシが最も侵攻性の強い腫瘍部位から取り出されたものではないかもしれない、という採取誤りが挙げられる。しかも腫瘍の組織構造が、検体調製中に変化する可能性がある。さらに別の欠点として挙げられるのは、双方向性が欠けており、診断結果が得られるまでに約３０〜４５分の待ち時間があることである。
【０００４】
共焦点レーザ顕微内視鏡検査（confocal laser endomicroscopy, CLE）は、細胞レベルおよび細胞レベル下でリアルタイムに組織の顕微情報を提供する医用撮像技術である。したがってＣＬＥを使用して光バイオプシを実施することができ、病理学者が直接、手術室において画像にアクセスすることができる。しかしながら、診断に関する人手による判定は、主観的なものとなる可能性があり、様々な病理学者の間で変わってしまう可能性がある。これらに加え、大量の画像データが取得されることから、光バイオプシに基づく診断タスクは、病理学者にとって相当な負担になる可能性もある。このような負担を軽減し、定量的な数値を供給して病理学者の最終診断を支援するために、コンピュータ支援型の組織自動診断方法が望まれている。
【０００５】
発明の概要
本発明によれば、機械学習ベースの画像分類を用いて、医用画像中の種々のタイプの組織を自動分類する方法および装置が提供される。本発明の実施形態によれば、学習済み識別辞書を用いて、入力された顕微内視鏡検査画像の画像特徴が再構成され、再構成されたそれらの画像特徴に基づき、トレーニング済み分類器を用いて顕微内視鏡検査画像中の組織が分類される。本発明の実施形態によれば、各辞書間の共通性の作用を最小化するクラス固有の補助辞書を明示的に学習する、辞書学習アルゴリズムが用いられる。本発明の実施形態を、膠芽腫と髄膜腫とを区別するために用いることができ、それらの実施形態によれば、共焦点レーザ顕微内視鏡検査（ＣＬＥ）画像中の脳腫瘍の組織を悪性または良性として分類することができる。
【０００６】
本発明の１つの実施形態によれば、顕微内視鏡検査画像から局所特徴記述子が抽出される。学習済み識別辞書を用いて、局所特徴記述子各々が符号化される。学習済み識別辞書はクラス固有の補助辞書を含み、それぞれ異なるクラスに対応づけられた補助辞書の基底間の相関にペナルティを科す。学習済み識別辞書を用いて局所特徴記述子各々を符号化した結果得られた符号化局所特徴記述子に基づき、機械学習ベースのトレーニング済み分類器を用いて、顕微内視鏡検査画像中の組織が分類される。
【０００７】
以下の詳細な説明および添付の図面を参照すれば、本発明のこれらの利点およびその他の利点が、当業者にとって明確なものとなろう。
【図面の簡単な説明】
【０００８】
【図１】本発明の１つの実施形態による顕微内視鏡検査画像を取得および処理するシステムの一例を示す図
【図２】脳腫瘍組織の例示的なＣＦＥ画像を示す図
【図３】本発明の１つの実施形態による顕微内視鏡検査画像中の組織を分類するオンライン画像分類のためのパイプラインの概要を示す図
【図４】本発明の１つの実施形態による識別辞書学習方法および顕微内視鏡検査画像中の組織を分類する分類器のトレーニング方法について示す図
【図５】本発明の１つの実施形態による１つまたは複数の顕微内視鏡検査画像中の組織の分類方法について示す図
【図６】本発明を実現可能なコンピュータを示す高水準のブロック図
【０００９】
詳細な説明
本発明は、機械学習ベースの画像分類を用いた、医用画像中の種々のタイプの組織の自動分類に関する。本発明の実施形態は、脳腫瘍の自動診断のために脳腫瘍組織の顕微内視鏡検査に適用することができる。医用画像中の組織の自動分類方法を視覚的に理解できるようにするために、ここで本発明の実施形態について説明する。１つのディジタル画像は、１つまたは複数の物体（または形状）の複数のディジタル表現から成ることが多い。ここで１つの物体のディジタル表現は、その物体の識別および操作に関して記述されることが多い。かかる操作は、コンピュータシステムのメモリまたは他の回路／ハードウェアにおいて達成される仮想的な操作である。よって、本発明の実施形態は、コンピュータシステム内に記憶されたデータを用いて、コンピュータシステム内で実施可能である、と理解されたい。
【００１０】
図１には、本発明の１つの実施形態による顕微内視鏡検査画像を取得および処理するシステム１００の一例が示されている。簡単に述べると、顕微内視鏡検査とは、「光バイオプシ（optical biopsy）」として知られたプロセスによって、人体内部から組織学的な画像をリアルタイムで取得する技術である。用語「顕微内視鏡検査（endomicroscopy）」とは一般的には、共焦点蛍光顕微鏡検査のことを指すが、とはいえ多光子顕微鏡や光干渉断層撮影も、これまで内視鏡での使用に合わせて適合されており、様々な実施形態においてそれらを同様に用いることができる。市販の臨床用顕微内視鏡の非限定的な例として、Pentax ISC-1000/EC3870CIKおよびCellvizio (Mauna Kea Technologies, Paris, France)が挙げられる。主要な用途は従来、胃腸管の撮像であって、特にバレット食道、膵嚢胞症および結腸直腸病変の診断および特性決定のための、胃腸管の撮像であった。共焦点顕微内視鏡検査の診断スペクトルは近年、大腸癌の選別および監視から、バレット食道、ヘリコバクターピロリに伴う胃炎および早期胃癌へと拡張されてきた。顕微内視鏡検査によれば、点走査型レーザ蛍光分析による最大解像度での内視鏡検査の進行中、腸粘膜および生体組織構造の表面分析を行うことができる。細胞構造、血管構造および結合構造を、詳細に見ることができる。共焦点レーザ顕微内視鏡検査（ＣＬＥ）は、細胞レベルおよび細胞レベル下で組織の詳細な画像を生じさせる。胃腸管に適用することに加えて、顕微内視鏡検査を脳外科にも適用することができ、その際には、正常な組織からの悪性腫瘍（膠芽腫）および良性腫瘍（髄膜腫）の識別が、臨床的に重要となる。
【００１１】
図１の実施例の場合、装置群は、共焦点レーザ顕微内視鏡検査（ＣＬＥ）を実施するように構成されている。これらの装置には、撮像コンピュータ１１０および撮像ディスプレイ１１５と連携動作するように接続されたプローブ１０５が含まれている。図１の場合、プローブ１０５は共焦点小型プローブである。ただしここで述べておくと、様々なタイプのミニチュアプローブを用いることができ、それらのミニチュアプローブには、様々な撮像視野、撮像深度、遠端直径、および横方向および軸線方向の分解能のために設計されたプローブが含まれる。撮像コンピュータ１１０は、撮像中、プローブ１０５により用いられる励起光またはレーザ光源を供給する。これに加え、撮像コンピュータ１１０は、プローブ１０５により収集された画像の記録、再構成、変更、および／または外部出力といったタスクを実行する撮像ソフトウェアを含むことができる。撮像コンピュータ１１０を、図５を参照しながらあとで詳細に説明する細胞分類方法を実施するように、さらには図４を参照しながらあとで詳しく説明する識別辞書学習のためのトレーニングプロセスおよび機械学習ベースの分類器のトレーニングを実施するように、構成することもできる。
【００１２】
撮像コンピュータ１１０に（図１には示されていない）フットペダルを接続して、たとえば共焦点撮像侵入深度の調節、画像取得のスタートおよびストップ、および／または、ローカルハードディスクドライブへの、またはデータベースサーバ１２５のようなリモートデータベースへの画像の保存、といった機能をユーザが実行できるようにしてもよい。別の選択肢として、またはこれに加えて、他の入力デバイス（たとえばコンピュータ、マウス等）を撮像コンピュータ１１０に接続して、上述の機能を実行するようにしてもよい。撮像ディスプレイ１１５は、プローブ１０５により捕捉された画像を撮像コンピュータ１１０を介して受け取り、臨床現場で閲覧するためにそれらの画像を表示する。
【００１３】
図１の実施例について続けると、撮像コンピュータ１１０は（直接的または間接的に）ネットワーク１２０と接続されている。ネットワーク１２０は、以下に限定されるものではないが、イントラネットまたはインターネットを含め、当技術分野において周知の任意のコンピュータネットワークを有することができる。撮像コンピュータ１１０はこのネットワーク１２０を介して、画像、ビデオ、または他の関連データを、リモートデータベースサーバ１２５に記憶させることができる。これらに加えユーザコンピュータ１３０が、撮像コンピュータ１１０またはデータベースサーバ１２５と通信して、データ（たとえば画像、ビデオまたは他の関連データ）を取り出すことができ、次いでそれらのデータをユーザコンピュータ１３０のところでローカルに処理することができる。たとえばユーザコンピュータ１３０は、撮像コンピュータ１１０またはデータベースサーバ１２５からデータを取り出し、それらのデータを使用して、図５に示した後述の細胞分類方法を、かつ／または、図４に示した後述の識別辞書学習のためのトレーニングプロセスおよび機械学習ベースの分類器のトレーニングを、実施することができる。
【００１４】
図１にはＣＬＥベースのシステムが示されているけれども、別の実施形態において、システムが択一的にＤＨＭ撮像デバイスを使用してもよい。干渉位相差顕微検査としても知られるＤＨＭは、透明な試料におけるサブナノレベルの光学的厚さの変化を定量的に追跡できるようにする撮像技術である。試料に関して強度（振幅）情報だけしか捕捉されない旧来のディジタル顕微検査とは異なり、ＤＨＭは位相と強度の双方を捕捉する。ホログラムとして捕捉される位相情報を用い、試料に関して拡張された形態学的な情報（たとえば深さや表面の特性）を、コンピュータアルゴリズムを用いて再構成することができる。最新のＤＨＭの実現手法によれば、たとえば高速のスキャニング／データ取得速度、低ノイズ、高分解能、標識せずに試料を取得可能、といった複数の付加的な利点がもたらされる。ＤＨＭについて最初に記述されたのは１９６０年代であったが、臨床またはポイント・オブ・ケアの用途のためにこの技術を広く採用するには、機器のサイズ、操作の複雑さおよびコストが大きな障壁であった。最近の開発によれば、キーとなる特徴を拡張しながら、これらの障壁に取り組む試みがなされてきており、それによって健康管理さらにはそれ以外においても、ＤＨＭはインパクトのある多角的なコアテクノロジーとして魅力的なオプションとなるかもしれない、という可能性が高められている。
【００１５】
顕微内視鏡検査画像の認識タスクを実行するために、画像ベースの検索アプローチが提案されてきた。かかるアプローチによれば、Bag of feature Words (BoW)ベースの画像表現を用いて画像データベースに対して問い合わせを行うことにより分類が実施され、データベースから最も類似した画像が取り出される。ただしこのアプローチのためには、大規模なデータベースサイズであると実現できない可能性のある大量の記憶スペースが必要とされる。本発明の実施形態によれば、タスク固有の学習済み辞書を用いて、顕微内視鏡検査画像から抽出された特徴記述子が符号化される。
【００１６】
本発明の実施形態によれば、自動化された機械学習ベースのフレームワークを用いて、顕微内視鏡検査画像が種々の組織タイプに分類される。このフレームワークは、（１）オフライン辞書学習、（２）オフライン分類トレーニング、および（３）オンライン画像分類、という３つのステージを有する。本発明の実施形態によればこの画像分類フレームワークは、２つの異なるタイプの脳腫瘍すなわち膠芽腫と髄膜腫とを区別するために、脳腫瘍自動診断に適用される。所定の顕微内視鏡検査画像の複数の特徴記述子を近似するために、過完備辞書を学習することができる。ただし本発明の発明者は観察の結果、種々のカテゴリの組織の画像には識別力が極めて高い特徴（たとえば膠芽腫と髄膜腫）が含まれているにもかかわらず、それらの画像は、画像認識タスクには役立たない共通のパターンも共有している可能性がある、という点に気づいた。膠芽腫と髄膜腫との区別におけるさらに別の課題は、２つのタイプの脳腫瘍の大きいクラス内分散と小さいクラス間共通性である。図２には、脳腫瘍組織の例示的なＣＦＥ画像が示されている。図２に示されているように、行２０２は、膠芽腫すなわち最も頻度の高い悪性タイプの脳腫瘍のＣＦＥ画像を示し、行２０４は、髄膜腫すなわち最も頻度の高い良性タイプの脳腫瘍をＣＦＥ画像を示す。図２からわかるように、同じクラスの脳腫瘍に基づく各画像間には大きなばらつきがある。しかも、粒状の同質のパターンが双方のクラスに混ざっていることから、２つのタイプの脳腫瘍の間の決定境界は不明確である。
【００１７】
上述の課題を解消し、辞書ベースの分類パイプラインのパフォーマンスを改善するため、本発明の実施形態は、以下のような辞書学習アルゴリズムを用いて識別辞書を学習する。すなわち、この辞書学習アルゴリズムはクラス固有の補助辞書を明示的に学習し、それらの補助辞書は各補助辞書間の共通性の作用を最小化する。学習済み識別辞書を、ＢｏＷ、スパース符号化および局所制約符号化といった辞書符号ベースの任意の符号化方法と共に用いることができる。これらに加え本明細書では、学習済み識別辞書を完全に用いる新たな符号化方法についても説明する。
【００１８】
１つの有利な実施形態によれば、顕微内視鏡検査画像中の組織の機械学習ベースの自動分類が、オフラインの教師なしコードブック（辞書）学習、オフラインの教師なし分類器トレーニング、およびオンラインの画像またはビデオの分類、という３つのステージで実行される。図３には、本発明の１つの実施形態による顕微内視鏡検査画像中の組織を分類するオンライン画像分類のためのパイプラインの概要が示されている。図３に示されているように、顕微内視鏡検査画像中の組織を分類するためのパイプラインには、入力画像取得３０２、局所特徴抽出３０４、特徴符号化３０６、特徴プーリング３０８、および分類３１０が含まれている。この場合、入力画像において局所特徴点が検出され、スケール不変特徴変換（scale invariant feature transform, SIFT）または勾配方向ヒストグラム（histograms of oriented gradients, HOG）の特徴記述子などのような特徴記述子が、各特徴点において抽出される。各特徴記述子を量子化して「符号」階層を生成するために、ｋ個のエントリをもつ学習済みのコードブックまたは辞書が適用される。用語「コードブック」および「辞書」は、本明細書では交換可能であるものとして用いられる。K-meansクラスタリング法を用いて、辞書を生成することができる。ただし本発明の１つの有利な実施形態によれば、以下のような辞書学習法を用いることで識別辞書が生成される。すなわちこの辞書学習法はクラス固有の補助辞書を明示的に学習し、それらの補助辞書は各補助辞書間の共通性の作用を最小化する。教師あり分類の場合には、各特徴記述子がＲＫ符号に変換され、入力画像に関して符号化された特徴記述子がプーリングされ、画像表現が生成される。分類器は、符号化された特徴記述子に基づき、顕微内視鏡検査画像を分類するためにトレーニングされ、トレーニングされた分類器が、入力画像を表すプーリングされ符号化された特徴記述子に適用されて、入力画像中の組織が分類される。実現可能ないくつかの実施形態によれば、サポートベクターマシン（support vector machine, SVM）またはランダムフォレスト分類器（random forest classifier）が用いられるが、本発明は何らかの特定の分類器に限定されるものではなく、任意のタイプの機械学習ベースの分類器を使用することができる。
【００１９】
図４には、本発明の１つの実施形態による識別辞書学習方法および顕微内視鏡検査画像中の組織を分類する分類器のトレーニング方法が示されている。識別辞書を学習して機械学習分類器をトレーニングするために、図４による方法をオフラインで実施することができ、その後、オンラインで、学習済み識別辞書とトレーニング済み分類器とを用いて画像分類が実施され、それによって入力顕微内視鏡検査画像中の組織が分類される。図４を参照すると、ステップ４０２においてトレーニング画像を受け取る。この場合、トレーニング画像は、特定のタイプの組織の顕微内視鏡検査画像であり、各トレーニング画像について、組織のタイプに対応するクラスは既知である。たとえばトレーニングを、悪性の組織と良性の組織に対応する２つのクラスに分割することができる。さらにトレーニング画像を、種々の組織のタイプに対応する３つ以上のクラスに分類することも可能である。１つの有利な実施態様によれば、トレーニング画像はＣＬＥ画像である。１つの例示的な実施形態によれば、トレーニング画像を脳腫瘍のＣＬＥ画像とすることができ、各トレーニング画像を膠芽腫または髄膜腫として分類することができる。画像データベースからトレーニング画像をロードすることによって、トレーニング画像を受け取ることができる。
【００２０】
ステップ４０４において、トレーニング画像から局所特徴記述子が抽出される。１つの実現可能な実施態様によれば、各トレーニング画像において局所特徴点が検出され、各トレーニング画像における特徴点各々のところで局所特徴記述子が抽出される。特徴抽出のために、様々な技術を適用することができる。たとえば、スケール不変特徴変換（Scale Invariant Feature Transform, SIFT）、局所バイナリパターン（Local Binary Pattern, LBP）、勾配方向ヒストグラム（Histogram of Oriented Gradient, HOG）、およびガボール特徴量といった特徴記述子を、各トレーニング画像中の複数のポイント各々において抽出することができる。いずれの技術であっても、臨床用途およびユーザが要求する他の結果の特性に基づき設定することができる。たとえばＳＩＦＴ特徴記述子は、コンピュータビジョンにおいて数多くの目的のために使用されてきた局所特徴記述子である。これは画像領域における並進、回転およびスケール変換に対し不変であり、かつ中庸な透視変換および照明変化に対しロバストである。ＳＩＦＴ記述子は、現実世界の条件のもとで画像マッチングおよび物体認識のために、実際に極めて有用であることが証明されている。１つの例示的な実施態様によれば、１０ピクセルの間隔を有する１つのグリッド全体について計算された２０×２０ピクセルのパッチの密なＳＩＦＴ記述子が用いられる。かかる密な画像記述子を用いて、髄膜腫のケースにおける低コントラスト領域のような細胞構造中の均一な領域を捕捉することができる。
【００２１】
他の実現可能な実施形態によれば、人間が設計した特徴記述子ではなく、機械学習技術を用いて、トレーニング画像に基づき識別に有用なフィルタを学習することができる。これらの機械学習技術は様々な特徴検出技術を用いることができ、以下に限定されるものではないが、そのような検出技術には、エッジ検出、コーナ検出、ブロブ検出、リッジ検出、エッジ検出、強度変化、動き検出、および形状検出が含まれる。
【００２２】
図４に戻ると、ステップ４０６において識別辞書を学習し、それによってトレーニング画像の局所特徴記述子を、この識別辞書内の基底のスパース線形結合として再構成することができる。１つの有利な実施形態によれば、識別辞書にはクラス固有の補助辞書が含まれており、それらの補助辞書は各補助辞書間の共通性の作用を最小化する。たとえば、トレーニング画像が膠芽腫と髄膜腫の脳腫瘍のＣＬＥ画像である場合、各クラス（すなわち膠芽腫と髄膜腫）に対応する補助辞書を学習する。この学習方法によれば、大域的な辞書と辞書内の固有のクラス表現（補助辞書）の双方を考慮しながら、トレーニング画像の特徴記述子と、識別辞書を用いて再構成された特徴記述子との間の誤差が最小化される。
【００２３】
トレーニングセットを
【数１】
2018515164.tif 000003
とした場合、旧来の辞書学習は、トレーニングサンプルを最良に再構成する基底の辞書の学習を目指している：
【数２】
2018515164.tif 000004
ただし、
【数３】
2018515164.tif 000005
は、Ｋ個の基底を含む辞書であり、
【数４】
2018515164.tif 000006
は、ｙｉに対する再構成係数であり、||・||1は、再構成係数のスパース性を促進するｌ１ノルムを表し、λはチューニングパラメータである。各トレーニングサンプルを最近傍クラスタセンタに割り当てるK-meansクラスタリングとは異なり、式（１）は過完備辞書Ｄを学習し、各トレーニングサンプルを辞書内の基底のスパース線形結合として表す。
【００２４】
教師あり学習のタスクによく適した辞書を学習するために、各クラスごとに１つの補助辞書を学習するクラス固有の辞書学習方法が提案されてきた。たとえば、かかる学習方法を以下のように定式化することができる：
【数５】
2018515164.tif 000007
ただしＣはクラスの個数であり、
【数６】
2018515164.tif 000008
はそれぞれ、トレーニングセット、再構成係数、およびクラスｃのため補助辞書である。しかしながら、式（２）を用いて学習した補助辞書は、一般に共通の（相関する）基底を共有している。したがって辞書Ｄは、分類タスクのために十分には識別力がない可能性があり、スパース表現はフィーチャの変化に敏感なものとなる。
【００２５】
本発明の１つの有利な実施形態によれば、クラス固有の補助辞書の集合の形態をとる各画像特徴表現の間の高次の結合をelastic-net正則化のもとで学習することによって、識別辞書を学習し、これは以下のように定式化される：
【数７】
2018515164.tif 000009
ただし、
【数８】
2018515164.tif 000010
である。項
【数９】
2018515164.tif 000011
は、辞書全体を使ってトレーニングサンプルの大域的な再構成残差を最小化する。項
【数１０】
2018515164.tif 000012
は、ｃ番目の補助辞書を使ってクラスｃのトレーニングサンプルの再構成残差を最小化する。したがって式（３）の最小化問題によって、辞書の基底Ｄと再構成係数Ｘとを学習し、辞書の基底すべてから１つの特定のクラスのトレーニングサンプルを再構成するための大域的な残差と、そのクラスに対応づけられた補助辞書の基底だけから特定のクラスのトレーニングサンプルを再構成するための残差とを最小化する一方、特定のクラスのトレーニングサンプルの再構成において、そのクラスに対応づけられていない補助辞書の基底の使用にはペナルティが科される。項
【数１１】
2018515164.tif 000013
は、それぞれ異なるクラスからの補助辞書を使用したトレーニングサンプルの再構成にペナルティを課す。
【数１２】
2018515164.tif 000014
は、elastic-net正則化項であり、ただし、
【数１３】
2018515164.tif 000015
はチューニングパラメータである。
【００２６】
elastic-net正則化項は、再構成係数のｌ１ノルムとｌ２ノルムの荷重合計である。単純なｌ１ノルム正則化項と比べると、elastic-net正則化項によって、相関する特徴のグループが予め既知ではないとしても、グループの選択が可能となる。グループ化された選択を強制することに加えて、elastic-net正則化項は、入力されたトレーニングサンプルに関するスパース再構成係数の安定度に対しても極めて重要である。グループのスパース性制約の強制にelastic-net正則化項を組み込むことによって、以下のような有利なクラス固有の辞書学習がもたらされる。第一に、各特徴間のクラス内変動を圧縮することができる。なぜならば、同じクラスからの特徴は、同じグループ（補助辞書）内の基底によって再構成される傾向にあるからである。第二に、それぞれ異なる補助辞書からの相関されたアトム（基底）の影響を最小化することができる。なぜならば、それらの係数は、同時にゼロまたは非ゼロになる傾向にあるからである。第三に、係数分布において生じる可能性のあるランダム性を取り除くことができる。なぜならば、係数はグループでクラスタ化されたスパース特性を有するからである。
【００２７】
式（３）の最適化により、識別辞書Ｄを学習する。式（３）の最適化を、ＤおよびＸについて最適化し、その間、他は不動にしておくことによって、反復的に解決することができる。プリセット値を用いて、ＤおよびＸを初期化することができる。辞書Ｄの確定後、係数ベクトル
【数１４】
2018515164.tif 000016
（すなわちｃ番目のクラスにおけるｊ番目のサンプルの係数ベクトル）を、以下の凸問題を解決することによって計算することができる：
【数１５】
2018515164.tif 000017
ただし、
【数１６】
2018515164.tif 000018
は恒等行列である。１つの有利な実施態様によれば、交互方向乗数法（Alternating Direction Method of Multipliers, ADMM）の手順を用いて、式（４）を解決することができる。辞書Ｄが確定された状態にある間、すべてのクラスにおけるすべてのトレーニングサンプルのための係数ベクトルを最適化するために、式（４）が解決される。
【００２８】
再構成係数が確定され、確定された再構成係数を用いて、辞書内の基底（アトム）が更新される。１つの有利な実施形態によれば、補助辞書はクラスごとに更新される。換言すれば、補助辞書Ｄｃが更新されている間、他のすべての補助辞書は不動とされる。このようにすれば、目下の補助辞書とは無関係な項を、最適化から除くことができる。よって、補助辞書Ｄｃを更新するための目的関数を、次式のように表すことができる：
【数１７】
2018515164.tif 000019
式（６）について解析解が存在する。特に、式（６）を以下の解析解を用いて解くことができる：
【数１８】
2018515164.tif 000020
各補助辞書ごとに辞書の基底を更新する目的で、式（７）における解析解を用いて式（６）を各補助辞書ごとに解くことができる。係数および辞書の基底の更新を、辞書の基底および／または再構成係数が収束するまで、あるいはプリセットされた反復回数が実行されるまで、繰り返すことができる。１つの例示的な実施形態によれば、識別辞書は２つの補助辞書を有しており、一方の辞書は膠芽腫（悪性）クラスに、他方の辞書は髄膜腫（良性）クラスに対応づけられており、膠芽腫クラスと髄膜腫クラスにおけるトレーニング画像から抽出された局所特徴記述子を再構成するために、この識別辞書を学習する。
【００２９】
図４に戻ると、ステップ４０８において、トレーニング画像の符号化特徴記述子を用いて、分類器がトレーニングされる。この分類器は、機械学習ベースの分類器であって、この分類器はある１つの画像を、ステップ４０６で学習した学習済み識別辞書を用いて、当該画像から抽出され符号化された符号化特徴記述子に基づき、複数の画像クラスのうち当該画像中の組織タイプに対応するクラスに分類するように、トレーニングされている。学習済み辞書を用いて各特徴記述子を符号化するために、様々な方法を用いることができる。それらの方法については、以下で図５のステップ５０６との関連で詳述する。１つの特定のトレーニング画像に対する符号化特徴記述子を、そのトレーニング画像の画像表現を生成する目的で、プーリングすることができる。次いで、プーリングされた符号化特徴記述子に基づき画像をクラスに分類する目的で、トレーニング画像各々に関するプーリングされた符号化特徴記述子とトレーニング画像の既知のクラスとに基づき、機械学習ベースの分類器をトレーニングすることができる。たとえば、機械学習ベースの分類器を、サポートベクターマシン（support vector machine, SVM）、ランダムフォレスト分類器、またはｋ最近傍法（k-nearest neighbors, k-NN）分類器を用いて実装することができるが、本発明はそれらに限定されるものではなく、他の機械学習ベースの分類器も同様に使用することができる。１つの例示的な実施形態によれば、分類器は、顕微内視鏡検査画像中の組織を、その画像から抽出された符号化局所特徴記述子に基づき、膠芽腫（悪性）または髄膜腫（良性）として分類するように、トレーニングされている。
【００３０】
図５には、本発明の１つの実施形態による１つまたは複数の顕微内視鏡検査画像中の組織の分類方法が示されている。外科処置中に取得された顕微内視鏡検査画像を分類するために、図５による方法を、外科処置中にリアルタイムまたはほぼリアルタイムで実施することができる。図５による方法は、外科処置に先立ちたとえば図４による方法を用いて学習／トレーニングされた、学習済み識別辞書とトレーニング済み分類器とを使用する。図５による方法を、個々の顕微内視鏡検査画像を分類するために、または一連の顕微内視鏡検査画像（すなわち顕微内視鏡検査ビデオストリーム）中の組織を分類するために、使用することができる。
【００３１】
図５を参照すると、ステップ５０２において顕微内視鏡検査画像を受け取る。たとえば顕微内視鏡検査画像を、図１に示したプローブ１０５のようなＣＬＥプローブを用いて取得されたＣＬＥ画像とすることができる。顕微内視鏡検査画像を、顕微内視鏡検査ビデオストリームの一部分として受け取られた画像フレームとすることができる。１つの有利な実施形態によれば、顕微内視鏡検査画像を取得するために用いられるプローブから直接、顕微内視鏡検査画像を受け取ることができる。このケースでは図５による方法を、顕微内視鏡検査画像が取得される外科処置中にリアルタイムまたはほぼリアルタイムで実施することができる。顕微内視鏡検査画像を、先行して取得された顕微内視鏡検査画像を、図５による方法を実施するコンピュータシステムのストレージデバイスまたはメモリから、あるいはリモートデータベースから、ロードすることによって受け取ることも可能である。１つの例示的な実施形態によれば、顕微内視鏡検査画像を脳腫瘍組織の顕微内視鏡検査画像とすることができる。
【００３２】
顕微内視鏡検査ビデオストリームを受け取る１つの実現可能な実施形態によれば、エントロピーベースのプルーニングを用いて、画像テクスチャ情報が少量の（たとえば低コントラストであり僅かな分類情報しか含まない）画像フレームを、自動的に除去することができる。そのような画像フレームは、臨床的に重要ではなく、または画像分類に適したものではない。たとえば、撮像能力が制約されているいくつかのＣＬＥ装置に対処するために、上述の除去を用いることができる。画像エントロピーは、画像の「情報性」つまり画像内に含まれる情報量を記述するために用いられる量である。低エントロピー画像は、著しく僅かなコントラストしか有しておらず、同じまたは類似のグレー値を有するピクセルが長く続いている。他方、高エントロピー画像は、１つのピクセルから次のピクセルへのコントラストが著しく大きい。膠芽腫と髄膜腫のＣＬＥ画像に関して、低エントロピー画像は、大量の均質画像領域を含む一方、高エントロピー画像は、画像ストラクチャが豊富であることを特徴とする。エントロピー閾値を用いて、プルーニングを実施することができる。識別辞書の学習および機械学習ベースの分類器のトレーニングに使用したトレーニング画像のデータセット全体にわたる画像エントロピーの分布に基づき、上述の閾値をセットすることができる。
【００３３】
ステップ５０４において、受け取った顕微内視鏡検査画像から局所特徴記述子が抽出される。１つの有利な実施形態によれば、個々の特徴記述子が、顕微内視鏡検査画像における複数のポイント各々において抽出され、その結果、顕微内視鏡検査画像から抽出された複数の局所特徴記述子が得られることになる。たとえば、スケール不変特徴変換（Scale Invariant Feature Transform, SIFT）、局所バイナリパターン（Local Binary Pattern, LBP）、勾配方向ヒストグラム（Histogram of Oriented Gradient, HOG）、またはガボール特徴量といった特徴記述子を、顕微内視鏡検査画像中の複数のポイント各々において抽出することができる。また、上述の特徴記述子のうち複数の特徴記述子を、顕微内視鏡検査画像の複数のポイント各々において抽出できるようにすることも可能である。１つの例示的な実施形態によれば、顕微内視鏡検査画像の複数のポイント各々において、ＳＩＦＴ特徴記述子が抽出される。ＳＩＦＴ特徴記述子は、画像領域における並進、回転およびスケール変換に対し不変であり、かつ中庸な透視変換および照明変化に対しロバストである。１つの例示的な実施態様によれば、１０ピクセルの間隔を有する１つのグリッド全体について計算された２０×２０ピクセルのパッチの密なＳＩＦＴ特徴記述子が、顕微内視鏡検査画像から抽出される。
【００３４】
実現可能な他の実施形態によれば、人間が設計した特徴記述子ではなく、機械学習技術を用いトレーニング画像に基づき学習したフィルタを使用して、局所特徴を自動的に抽出することができる。これらの機械学習技術は様々な特徴検出技術を用いることができ、以下に限定されるものではないが、そのような検出技術には、エッジ検出、コーナ検出、ブロブ検出、リッジ検出、エッジ検出、強度変化、動き検出、および形状検出が含まれる。
【００３５】
ステップ５０６において、顕微内視鏡検査画像から抽出された局所特徴記述子が、学習済み識別辞書を用いて符号化される。１つの有利な実施形態によれば、図４による方法を用いてトレーニングされた学習済み識別辞書を使用して、局所特徴記述子が符号化される。符号化プロセスが、顕微内視鏡検査画像から抽出された各局所特徴記述子に適用されて、この局所特徴記述子は、Ｋ個の基底の学習済み識別辞書
【数１９】
2018515164.tif 000021
を使用して、Ｋ次元の符号
【数２０】
2018515164.tif 000022
に変換される。１つの特定の局所特徴記述子に対する「符号」は、その局所特徴記述子を学習済み識別辞書の基底の線形結合として再構成するための再構成係数のベクトルである。
【００３６】
学習済み識別辞書Ｄを用いて、入力された局所特徴記述子ｙのための再構成係数χを計算するために、様々な符号化体系を用いることができる。たとえば学習済み識別辞書を、ＢｏＷ、スパース符号化または局所制約線形符号化といった既存の符号化体系における慣用の辞書の代わりに用いることができる。学習済み識別辞書Ｄを用いて、入力された局所特徴記述子ｙに対する再構成係数χを計算するための、その他の符号化体系についても、同様に本明細書において説明する。かかる特徴符号化体系は、各局所記述子ごとに再構成係数を決定する目的で、顕微内視鏡検査画像から抽出された各局所記述子に適用される。
【００３７】
１つの例示的な実施形態によれば、各局所特徴記述子ｙに対する再構成係数χを、elastic-net正則化項のもとで行われる特徴符号化を用いて計算することができる。elastic-net正則化項のもとでの局所特徴記述子ｙの符号化を、以下のように定式化することができる：
【数２１】
2018515164.tif 000023
次いで、再構成係数χを計算する目的で、ＡＤＭＭ最適化手順を適用して式（９）を最適化することができる。
【００３８】
別の例示的な実施形態によれば、各局所特徴記述子ｙに対する再構成係数χを、最近傍重心による特徴符号化を用いて計算することができる。この実施形態の場合、局所特徴記述子ｙを、次式のような最近傍の辞書の基底により符号化することができる：
【数２２】
2018515164.tif 000024
【００３９】
さらに別の例示的な実施形態によれば、各局所特徴記述子ｙに対する再構成係数χを、局所制約された線形正則化項のもとで行われる特徴符号化を用いて計算することができる。局所制約された線形正則化項のもとでの局所特徴記述子ｙの符号化を、以下のように定式化することができる：
【数２３】
2018515164.tif 000025
ただし、bは局所整合項であり、これにより辞書の基底ごとにその類似性に比例して異なる重みが入力局所特徴記述子に与えられ、すなわち、
【数２４】
2018515164.tif 000026
であり、
【数２５】
2018515164.tif 000027
は、局所整合項の減衰速度を調節するために用いられるチューニングパラメータである。
【００４０】
さらに別の例示的な実施形態によれば、各局所特徴記述子ｙに対する再構成係数χを、局所制約されたスパース正則化項のもとで行われる特徴符号化を用いて計算することができる。局所制約されたスパース正則化項のもとで行われる局所特徴記述子ｙの符号化を、以下のように定式化することができる：
【数２６】
2018515164.tif 000028
ただし、bは局所整合項であり、これにより辞書の基底ごとにその類似性に比例して異なる重みが入力局所特徴記述子に与えられ、すなわち、
【数２７】
2018515164.tif 000029
であり、
【数２８】
2018515164.tif 000030
は、局所整合項の減衰速度を調節するために用いられるチューニングパラメータである。
【００４１】
さらに別の例示的な実施形態によれば、各局所特徴記述子ｙに対する再構成係数χを、局所制約されたelastic-net正則化項のもとで行われる特徴符号化を用いて計算することができる。局所制約されたelastic-net正則化項のもとでの局所特徴記述子ｙの符号化を、以下のように定式化することができる：
【数２９】
2018515164.tif 000031
ただし、bは局所整合項であり、これにより辞書の基底ごとにその類似性に比例して異なる重みが入力局所特徴記述子に与えられ、すなわち、
【数３０】
2018515164.tif 000032
であり、
【数３１】
2018515164.tif 000033
は、局所整合項の減衰速度を調節するために用いられるチューニングパラメータである。
【００４２】
図５に戻ると、ステップ５０８において、トレーニング済み分類器を用い符号化局所特徴記述子に基づき、顕微内視鏡検査画像中の組織が分類される。１つの有利な実施形態によれば、トレーニング済み分類器は、図４による方法を用いてトレーニングされた機械学習ベースの分類器である。トレーニング済み分類器を、線形サポートベクターマシン（linear support vector machine, SVM）、ランダムフォレスト分類器、またはｋ最近傍法（k-nearest neighbors, k-NN）分類器を用いて実装することができるが、本発明はそれらに限定されるものではなく、他の機械学習ベースの分類器も同様に使用することができる。符号化局所特徴記述子すなわち局所特徴記述子各々について決定された再構成係数が、トレーニング済み分類器に入力され、トレーニング済み分類器は、符号化されたそれらの特徴に基づき、顕微内視鏡検査画像中の組織を分類する。本発明の１つの有利な実施形態によれば、辞書学習方法は、辞書の複数の基底のうち１つのクラスにおけるトレーニング画像の特徴記述子の再構成に対し、そのクラスに対応づけられた補助辞書以外の補助辞書においてはペナルティを科すので、１つの特定のクラスの顕微内視鏡検査画像に対する局所特徴記述子は大部分、そのクラスに対応づけられた補助辞書内の基底を用いて再構成されることになる。したがって、各局所特徴記述子を再構成するために識別辞書におけるいずれの基底が用いられるのかを同定する再構成パラメータが、各クラス間で区別を行う際の重要な識別値を有することになる。
【００４３】
１つの有利な実施形態によれば、トレーニング済み分類器へ入力する前に、その顕微内視鏡検査画像のための符号化局所特徴記述子（すなわち抽出された局所特徴記述子各々に対する再構成係数）を、顕微内視鏡検査画像の画像表現を生成するためにプーリングすることができる。複数の符号化特徴記述子をまとめて、顕微内視鏡検査画像の最終的な画像表現を生成するために、１つまたは複数の特徴のプーリング演算を適用することができる。たとえば最大プーリング、平均プーリング、またはそれらの組み合わせといったプーリング技術を、符号化局所特徴記述子に適用することができる。１つの実現可能な実施態様によれば、最大プーリング演算と平均プーリング演算の組み合わせを用いることができる。たとえば各特徴マップを、規則的な間隔を有する正方形のパッチに分割することができ、最大プーリング演算を適用することができる（すなわち正方形の各パッチについて特徴の最大レスポンスを求めることができる）。最大プーリング演算によって、並進に対する局所不変性が得られるようになる。次いで、最大レスポンスの平均を正方形のパッチから計算することができ、つまり最大プーリング後に平均プーリングが適用される。平均プーリング演算による複数の特徴レスポンスを統合することによって、最終的に画像表現を生成することができる。プーリングが実行されたならば、顕微内視鏡検査画像のための符号化局所特徴記述子のプーリングによって生成された画像表現が、トレーニング済み分類器へ入力され、トレーニング済み分類器は、入力された画像表現に基づき顕微内視鏡検査画像中の組織を分類する。
【００４４】
１つの有利な実施形態によれば、トレーニング済み分類器は、脳腫瘍の顕微内視鏡検査画像中の組織を、膠芽腫（悪性）または髄膜腫（良性）として分類する。組織を複数の組織分類のうちの１つ（たとえば膠芽腫または髄膜腫）に分類することに加えて、トレーニング済み分類器は、分類結果に関する確度または信頼性のスコアである分類スコアを計算することもできる。
【００４５】
図５に戻ると、ステップ５１０において、顕微内視鏡検査画像中の組織に対する分類結果が出力される。たとえば、顕微内視鏡検査画像中の組織について識別されラベルの付された分類を、コンピュータシステムのディスプレイ装置に表示することができる。たとえばクラスラベルによって、膠芽腫または髄膜腫といった特定のタイプの組織を表すことができ、あるいは顕微内視鏡検査画像中の組織が良性であるのか悪性であるのかを表すことができる。
【００４６】
図５による方法を、単一の顕微内視鏡検査画像中の組織を分類するものとして説明してきたが、図５による方法を、顕微内視鏡検査ビデオストリームに適用することもできる。１つの顕微内視鏡検査ビデオストリームは、複数の顕微内視鏡検査画像フレームから成る１つのシーケンスであるので、１つの顕微内視鏡検査ビデオストリームにおける多数の顕微内視鏡検査画像フレームに対して、ステップ５０２〜５０８を繰り返すことができ、ビデオシーケンス中の複数の顕微内視鏡検査画像フレーム各々における組織の個々の分類結果に基づき、多数決ベースの分類体系を用いて、ビデオストリームに対する総合的な組織分類を決定することができる。固定時間長にわたり取得された１つのビデオストリームにおける複数の顕微内視鏡検査画像フレームに対して、ステップ５０２〜５０８を繰り返すことができる。次いで多数決ベースの分類が行われ、固定時間長にわたり取得されたビデオストリーム内の複数の画像についての多数決結果を用いて、ビデオストリームに対し総合的なクラスラベルが割り当てられる。１つの特定のビデオストリームに対する窓の長さを、ユーザ入力に基づき設定することができる。たとえばユーザは特定の長さの値を与えることができ、またはそのような値を引き出すために用いることのできる臨床状況を与えることができる。別の選択肢として、それまでの結果の分析に基づき、時間の経過と共に長さを動的に調節することができる。たとえば、多数決による分類が不十分な結果または最適ではない結果をもたらしている、ということをユーザが指示する場合には、窓のサイズを小さい値により変更することで窓を調節することができる。時間の経過と共に、処理される特定のタイプのデータについて最適な窓の長さを学習することができる。多数決により、顕微内視鏡検査ビデオストリーム中の組織に対し総合的な分類が下されたならば、ステップ５１０が実施されて、そのビデオストリームに対する分類結果が出力される。
【００４７】
識別辞書の学習および機械学習ベースの分類器のトレーニングのための上述の方法、ならびに顕微内視鏡検査画像中の組織の自動分類を、周知のコンピュータプロセッサ、メモリユニット、ストレージデバイス、コンピュータソフトウェアおよびその他の構成要素を用いて、コンピュータにおいて実現することができる。図６には、かかるコンピュータの高水準のブロック図が示されている。コンピュータ６０２はプロセッサ６０４を含み、このプロセッサ６０４は、コンピュータ６０２のすべてのオペレーションを規定するコンピュータプログラム命令を実行することで、かかるオペレーションを制御する。コンピュータプログラム命令を、ストレージデバイス６１２（たとえば磁気ディスク）に記憶させておくことができ、コンピュータプログラム命令の実行が望まれるときに、メモリ６１０にロードすることができる。したがって図３〜図５に示した方法の各ステップを、メモリ６１０および／またはストレージ６１２に記憶されたコンピュータプログラム命令によって規定することができ、それらのコンピュータプログラム命令を実行するプロセッサ６０４によって制御することができる。コンピュータ６０２に画像データを入力するために、ＣＬＥプローブなどのような画像取得デバイス６２０を、コンピュータ６０２と連携動作するように接続することができる。画像取得デバイス６２０とコンピュータ６０２とをダイレクトに接続するか、または１つの装置として実装することができる。さらに、画像取得デバイス６２０とコンピュータ６０２とが、ネットワークを介してワイヤレスで通信し合うようにすることもできる。１つの実現可能な実施形態によれば、コンピュータ６０２を、画像取得デバイス６２０から見てリモートに配置させることができ、本明細書において説明した方法の各ステップのうちのいくつかまたはすべてを、サーバの一部またはクラウドベースのサービスとして実行することができる。このケースでは、それらの方法の各ステップを、単一のコンピュータにおいて実施してもよいし、あるいはネットワークに組み込まれた複数のコンピュータ間および／または複数のローカルコンピュータ間で分散させてもよい。さらにコンピュータ６０２には、ネットワークを介して他のデバイスと通信するための１つまたは複数のインタフェース６０６も含まれている。さらにコンピュータ６０２には、コンピュータ６０２とのユーザインタラクションを可能にする他の入／出力デバイス６０８も含まれている（たとえばディスプレイ、キーボード、マウス、スピーカ、ボタン等）。当業者であれば、実際のコンピュータの実装にさらに別の構成要素も同様に含めることができること、また、図６は、例示を目的として、かかるコンピュータの構成要素のいくつかを高水準で表現したものであること、を理解するであろう。
【００４８】
ここで理解されたいのは、これまで述べてきた詳細な説明は、あらゆる点で例示的なものであり具体例であって、何ら限定的なものではないことであり、本明細書で開示した本発明の範囲は、詳細な説明に基づき決定されるべきものではなく、特許法によって認められる範囲全体に従って解釈される各請求項に基づき決定されるべきものである。さらに理解されたいのは、本明細書で示し説明した実施形態は、本発明の原理を例示したものにすぎないこと、当業者であれば本発明の範囲および着想を逸脱することなく様々な変更を実現できることである。当業者であるならば、本発明の範囲および着想を逸脱することなく、さらに別の様々な特徴の組み合わせを実現できるであろう。
【図１】
2018515164.tif 000034
【図２】
2018515164.tif 000035
【図３】
2018515164.tif 000036
【図４】
2018515164.tif 000037
【図５】
2018515164.tif 000038
【図６】
2018515164.tif 000039
【手続補正書】
【提出日】平成29年11月22日(2017.11.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１つまたは複数の顕微内視鏡検査画像中の組織を分類する方法であって、当該方法は、
・顕微内視鏡検査画像から局所特徴記述子を抽出するステップと、
・学習済み識別辞書を用いて前記局所特徴記述子各々を符号化局所特徴記述子に符号化するステップと、ただし（ａ）各符号化局所特徴記述子は、前記局所特徴記述子を前記学習済み識別辞書の基底の線形結合として再構成するための再構成係数のベクトルを含み、（ｂ）前記学習済み識別辞書は、クラス固有の補助辞書を含み、それぞれ異なるクラスに対応づけられた複数の補助辞書の各基底間の相関にペナルティを科し、
・機械学習ベースの分類器を適用して前記符号化局所特徴記述子に基づき、前記顕微内視鏡検査画像中の組織を複数のクラスのうち１つのクラスに分類するステップと、
を含む、
１つまたは複数の顕微内視鏡検査画像中の組織を分類する方法。
【請求項２】
前記顕微内視鏡検査画像は、共焦点レーザ顕微内視鏡検査（ＣＬＥ）プローブを用いて取得された共焦点レーザ顕微内視鏡検査（ＣＬＥ）画像である、
請求項１記載の方法。
【請求項３】
当該方法はさらに、
トレーニング画像から抽出された局所特徴記述子に基づき、前記学習済み識別辞書を学習するステップ、
を含む、
請求項１記載の方法。
【請求項４】
トレーニング画像から抽出された局所特徴記述子に基づき、前記学習済み識別辞書を学習する前記ステップは、前記クラス固有の補助辞書と再構成係数とを学習するステップを含み、
該ステップは、複数のクラス各々について、すべての基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の全体的な再構成残差と、当該クラスに対応づけられた補助辞書の基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の再構成残差とを最小化し、当該クラスに対応づけられていない補助辞書の基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の再構成にペナルティを科す、
請求項３記載の方法。
【請求項５】
前記クラス固有の補助辞書と再構成係数とを学習する前記ステップは、
前記クラス固有の補助辞書と再構成係数とをelastic-net正則化のもとで学習するステップ、
を含む、
請求項４記載の方法。
【請求項６】
前記クラス固有の補助辞書と再構成係数とを学習する前記ステップは、
・各クラスの各トレーニング画像から抽出された前記局所特徴記述子に対する再構成係数を、確定された識別辞書により更新し、
・クラス固有の各補助辞書における基底を、確定された再構成係数により更新する、
ことによって、目的関数を反復的に最適化するステップを含む、
請求項５記載の方法。
【請求項７】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を前記符号化局所特徴記述子に符号化する前記ステップは、
前記学習済み識別辞書を用いてelastic-net正則化項のもとで前記局所特徴記述子各々を符号化するための前記再構成係数を決定するステップ、
を含む、
請求項１記載の方法。
【請求項８】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を前記符号化局所特徴記述子に符号化する前記ステップは、
前記学習済み識別辞書における最近傍の辞書の基底によって、前記局所特徴記述子各々を符号化するための前記再構成係数を決定するステップ、
を含む、
請求項１記載の方法。
【請求項９】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を前記符号化局所特徴記述子に符号化する前記ステップは、
前記学習済み識別辞書を用いて局所制約された線形正則化項のもとで前記局所特徴記述子各々を符号化するための前記再構成係数を決定するステップ、
を含む、
請求項１記載の方法。
【請求項１０】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を前記符号化局所特徴記述子に符号化する前記ステップは、
前記学習済み識別辞書を用いて局所制約されたスパース正則化項のもとで前記局所特徴記述子各々を符号化するための前記再構成係数を決定するステップ、
を含む、
請求項１記載の方法。
【請求項１１】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を前記符号化局所特徴記述子に符号化する前記ステップは、
前記学習済み識別辞書を用いて局所制約されたelastic-net正則化項のもとで前記局所特徴記述子各々を符号化するための前記再構成係数を決定するステップ、
を含む、
請求項１記載の方法。
【請求項１２】
前記機械学習ベースの分類器はサポートベクターマシン（ＳＶＭ）である、
請求項１記載の方法。
【請求項１３】
当該方法はさらに、
・１つの顕微内視鏡検査ビデオストリーム中の複数の顕微内視鏡検査画像各々について、局所特徴記述子を抽出するステップと、前記学習済み識別辞書を用いて前記局所特徴記述子各々を符号化するステップと、前記機械学習ベースの分類器を適用して前記顕微内視鏡検査画像中の組織を分類するステップとを反復するステップと、
・１つの顕微内視鏡検査ビデオストリーム中の前記複数の顕微内視鏡検査画像各々における組織の分類に基づき、前記顕微内視鏡検査ビデオストリーム中の組織を分類するステップと、
を含む、
請求項１記載の方法。
【請求項１４】
前記顕微内視鏡検査画像は脳腫瘍の顕微内視鏡検査画像であり、
前記機械学習ベースの分類器を適用して前記顕微内視鏡検査画像中の組織を分類する前記ステップは、
前記符号化局所特徴記述子に基づき前記機械学習ベースの分類器を用いて、前記顕微内視鏡検査画像中の組織を膠芽腫または髄膜腫として分類するステップ、
を含む、
請求項１記載の方法。
【請求項１５】
１つまたは複数の顕微内視鏡検査画像中の組織を分類する装置であって、当該装置は、
・顕微内視鏡検査画像から局所特徴記述子を抽出する手段と、
・学習済み識別辞書を用いて前記局所特徴記述子各々を符号化局所特徴記述子に符号化する手段と、ただし（ａ）各符号化局所特徴記述子は、前記局所特徴記述子を前記学習済み識別辞書の基底の線形結合として再構成するための再構成係数のベクトルを含み、（ｂ）前記学習済み識別辞書は、クラス固有の補助辞書を含み、それぞれ異なるクラスに対応づけられた複数の補助辞書の基底間の相関にペナルティを科し、
・機械学習ベースの分類器を適用して前記符号化局所特徴記述子に基づき、前記顕微内視鏡検査画像中の組織を複数のクラスのうち１つのクラスに分類する手段と、
を含む、
１つまたは複数の顕微内視鏡検査画像中の組織を分類する装置。
【請求項１６】
前記顕微内視鏡検査画像は、共焦点レーザ顕微内視鏡検査（ＣＬＥ）プローブを用いて取得された共焦点レーザ顕微内視鏡検査（ＣＬＥ）画像である、
請求項１５記載の装置。
【請求項１７】
当該装置はさらに、
トレーニング画像から抽出された局所特徴記述子に基づき、前記学習済み識別辞書を学習する手段を含む、
請求項１５記載の装置。
【請求項１８】
トレーニング画像から抽出された局所特徴記述子に基づき、前記学習済み識別辞書を学習する前記手段は、
前記クラス固有の補助辞書と再構成係数とを学習する手段、
を含み、
該手段は、複数のクラス各々について、すべての基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の全体的な再構成残差と、当該クラスに対応づけられた補助辞書の基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の再構成残差とを最小化し、当該クラスに対応づけられていない補助辞書の基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の再構成にペナルティを科す、
請求項１７記載の装置。
【請求項１９】
当該装置はさらに、
複数の顕微内視鏡検査画像を含む顕微内視鏡検査ビデオストリーム中の組織を、前記顕微内視鏡検査ビデオストリーム中の前記複数の顕微内視鏡検査画像における個々の画像中の組織の分類に基づき分類する手段、
を含む、
請求項１５記載の装置。
【請求項２０】
前記顕微内視鏡検査画像は脳腫瘍の顕微内視鏡検査画像であり、
機械学習ベースの分類器を適用して前記顕微内視鏡検査画像中の組織を複数のクラスのうち１つのクラスに分類する前記手段は、
前記符号化局所特徴記述子に基づき前記機械学習ベースの分類器を用いて、前記顕微内視鏡検査画像中の組織を膠芽腫または髄膜腫として分類する手段、
を含む、
請求項１５記載の装置。
【請求項２１】
１つまたは複数の顕微内視鏡検査画像中の組織を分類するためのコンピュータプログラム命令を記憶する、非一時的なコンピュータ読み取り可能媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、該プロセッサは以下を含むオペレーションを実行する、すなわち、
・顕微内視鏡検査画像から局所特徴記述子を抽出するオペレーションと、
・学習済み識別辞書を用いて前記局所特徴記述子各々を符号化局所特徴記述子に符号化するオペレーションと、ただし（ａ）各符号化局所特徴記述子は、前記局所特徴記述子を前記学習済み識別辞書の基底の線形結合として再構成するための再構成係数のベクトルを含み、（ｂ）前記学習済み識別辞書は、クラス固有の補助辞書を含み、それぞれ異なるクラスに対応づけられた複数の補助辞書の各基底間の相関にペナルティを科し、
・機械学習ベースの分類器を適用して前記符号化局所特徴記述子に基づき、前記顕微内視鏡検査画像中の組織を複数のクラスのうち１つのクラスに分類するオペレーションと、
を実行する、
非一時的なコンピュータ読み取り可能媒体。
【請求項２２】
前記顕微内視鏡検査画像は、共焦点レーザ顕微内視鏡検査（ＣＬＥ）プローブを用いて取得された共焦点レーザ顕微内視鏡検査（ＣＬＥ）画像である、
請求項２１記載の非一時的なコンピュータ読み取り可能媒体。
【請求項２３】
前記オペレーションはさらに、
トレーニング画像から抽出された局所特徴記述子に基づき、前記学習済み識別辞書を学習するオペレーションを含む、
請求項２１記載の非一時的なコンピュータ読み取り可能媒体。
【請求項２４】
トレーニング画像から抽出された局所特徴記述子に基づき、前記学習済み識別辞書を学習する前記オペレーションは、
前記クラス固有の補助辞書と再構成係数とを学習するオペレーション、
を含み、
該オペレーションは、複数のクラス各々について、すべての基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の全体的な再構成残差と、当該クラスに対応づけられた補助辞書の基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の再構成残差とを最小化し、当該クラスに対応づけられていない補助辞書の基底を用いて当該クラスのトレーニング画像から抽出された局所特徴記述子の再構成にペナルティを科す、
請求項２３記載の非一時的なコンピュータ読み取り可能媒体。
【請求項２５】
前記クラス固有の補助辞書と再構成係数とを学習する前記オペレーションは、
前記クラス固有の補助辞書と再構成係数とをelastic-net正則化のもとで学習するオペレーション、
を含む、
請求項２４記載の非一時的なコンピュータ読み取り可能媒体。
【請求項２６】
前記クラス固有の補助辞書と再構成係数とを学習する前記オペレーションは、
・各クラスの各トレーニング画像から抽出された前記局所特徴記述子に対する再構成係数を、確定された識別辞書により更新し、
・クラス固有の各補助辞書における基底を、確定された再構成係数により更新する、
ことによって、目的関数を反復的に最適化するオペレーション、
を含む、
請求項２５記載の非一時的なコンピュータ読み取り可能媒体。
【請求項２７】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を前記符号化局所特徴記述子に符号化する前記オペレーションは、
前記学習済み識別辞書を用いてelastic-net正則化項のもとで前記局所特徴記述子各々を符号化するための再構成係数を決定するオペレーション、
を含む、
請求項２１記載の非一時的なコンピュータ読み取り可能媒体。
【請求項２８】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を前記符号化局所特徴記述子に符号化する前記オペレーションは、
前記学習済み識別辞書における最近傍の辞書の基底によって、前記局所特徴記述子各々を符号化するための再構成係数を決定するオペレーション、
を含む、
請求項２１記載の非一時的なコンピュータ読み取り可能媒体。
【請求項２９】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を前記符号化局所特徴記述子に符号化する前記オペレーションは、
前記学習済み識別辞書を用いて局所制約された線形正則化項のもとで前記局所特徴記述子各々を符号化するための再構成係数を決定するオペレーション、
を含む、
請求項２１記載の非一時的なコンピュータ読み取り可能媒体。
【請求項３０】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を前記符号化局所特徴記述子に符号化する前記オペレーションは、
前記学習済み識別辞書を用いて局所制約されたスパース正則化項のもとで前記局所特徴記述子各々を符号化するための再構成係数を決定するオペレーション、
を含む、
請求項２１記載の非一時的なコンピュータ読み取り可能媒体。
【請求項３１】
前記学習済み識別辞書を用いて前記局所特徴記述子各々を前記符号化局所特徴記述子に符号化する前記オペレーションは、
前記学習済み識別辞書を用いて局所制約されたelastic-net正則化項のもとで前記局所特徴記述子各々を符号化するための再構成係数を決定するオペレーション、
を含む、
請求項２１記載の非一時的なコンピュータ読み取り可能媒体。
【請求項３２】
当該オペレーションはさらに、
・１つの顕微内視鏡検査ビデオストリーム中の複数の顕微内視鏡検査画像各々について、局所特徴記述子を抽出するステップと、前記学習済み識別辞書を用いて前記局所特徴記述子各々を符号化するステップと、前記機械学習ベースの分類器を適用して前記顕微内視鏡検査画像中の組織を分類するステップとを反復するオペレーションと、
・１つの顕微内視鏡検査ビデオストリーム中の前記複数の顕微内視鏡検査画像各々における組織の分類に基づき、前記顕微内視鏡検査ビデオストリーム中の組織を分類するオペレーションと、
を含む、
請求項２１記載の非一時的なコンピュータ読み取り可能媒体。
【請求項３３】
前記顕微内視鏡検査画像は脳腫瘍の顕微内視鏡検査画像であり、
前記機械学習ベースの分類器を適用して前記顕微内視鏡検査画像中の組織を分類する前記オペレーションは、
前記符号化局所特徴記述子に基づき前記機械学習ベースの分類器を用いて、前記顕微内視鏡検査画像中の組織を膠芽腫または髄膜腫として分類するオペレーション、
を含む、
請求項２１記載の非一時的なコンピュータ読み取り可能媒体。
【国際調査報告】
2018515164.tif 000040
2018515164.tif 000041
2018515164.tif 000042