(57)【要約】本発明は、デジタル組織画像からアーチファクトを除去するように構成されたプログラム論理を生成するデジタル病理学方法に関する。本方法は、複数の元の画像の各々について、元の画像の各々に対して第1の画像アーチファクト生成論理を適用することによって第1の人工的劣化画像を生成する工程;および元の画像と元の画像のそれぞれ生成された第1の劣化画像とで第1のアーチファクト除去論理を符号化する第1の機械学習論理の未訓練バージョンを訓練することによってプログラム論理を生成する工程;および訓練された第1の機械学習論理を、プログラム論理としてまたはプログラム論理の構成要素として返す工程を含む。第1の画像アーチファクト生成論理はA）画像取得システム固有の画像アーチファクト生成論理またはB）組織染色アーチファクト生成論理である。2020535502.tif 000003
2020535502.tif 000002
【特許請求の範囲】
【請求項１】
以下の工程を含む、デジタル組織画像からアーチファクトを除去するように適合されたプログラム論理を提供するための方法:
−組織試料をそれぞれ描写する複数の元の画像（208）の各々について、前記元の画像の各々に対して第1の画像アーチファクト生成論理（230〜236）を適用することによって第1の人工的劣化画像（210）を生成する工程であって、前記第1の画像アーチファクト生成論理が第1のタイプのアーチファクトを特に生成するように構成されており、前記第1の画像アーチファクト生成論理が、A）画像取得システム固有の画像アーチファクト生成論理またはB）組織染色アーチファクト生成論理である、前記工程;
−デジタル組織画像からアーチファクトを除去するように構成されたプログラム論理（218）を生成する工程であって、
前記生成が、
・前記元の画像（208）と前記元の画像のそれぞれ生成された第1の劣化画像（210）とで第1のアーチファクト除去論理（220〜226）を符号化する第1の機械学習論理の未訓練バージョンを訓練することと、
・前記訓練された第1の機械学習論理を、前記プログラム論理（218）としてまたは前記プログラム論理（218）の構成要素として返すことと
を含む、
前記工程。
【請求項２】
焦点不良アーチファクト生成論理である前記第1の画像アーチファクト生成論理を作成する工程であって、
前記作成が、
−スライド上に既知のサイズのビーズを付加することと、
−前記複数の元の画像（208）を取り込むために使用される前記画像取得システムによって、前記ビーズを有する前記スライドのデジタル画像を撮影することと、
−前記ビーズのうちの少なくとも1つによって生成された光学的パターンおよびそのサイズを自動的に決定するために、前記デジタル画像を解析することと、
−前記既知のビーズサイズを有する点から前記決定されたサイズの前記パターンの生成をシミュレートするように適合された関数を、特定することと、
−前記特定された関数を機械実行可能コードに統合することによって、前記第1の画像アーチファクト生成論理を作成することと
を含む、
前記工程
をさらに含む、請求項1のオプションA）に記載の方法。
【請求項３】
前記パターンの前記生成をシミュレートするように適合された前記関数が、点広がり関数またはガウスフィルタである、請求項2に記載の方法。
【請求項４】
ステッチアーチファクト生成論理である前記第1の画像アーチファクト生成論理を作成する工程であって、
前記作成が、
−前記複数の元の画像（208）を取り込むために使用される前記画像取得システムによって、空のスライドのデジタル画像を撮影することと、
−前記画像取得システムによって生成された前記ステッチアーチファクトをシミュレートするように構成された正方形フィルタを自動的に作成するために、前記空のスライドの前記デジタル画像を解析することと、
−前記正方形フィルタを機械実行可能コードに統合することによって、前記第1の画像アーチファクト生成論理を作成することと
を含む、
前記工程
をさらに含む、請求項1のオプションA）に記載の方法。
【請求項５】
前記画像取得システムによって生成される色相シフトアーチファクトを特に生成するように構成された色相シフトアーチファクト生成論理である、前記第1の画像アーチファクト生成論理
を作成する工程であって、
前記作成が、
−前記複数の元の画像（208）を取り込むために使用される前記画像取得システムによって、空のスライドのデジタル画像を撮影することと、
−前記画像取得システムによって生成された前記色相シフトアーチファクトをシミュレートするように構成された色相シフトフィルタを自動的に作成するために、前記空のスライドの前記デジタル画像を解析することと、
−前記色相シフトフィルタを機械実行可能コードに統合することによって、前記第1の画像アーチファクト生成論理を作成することと
を含む、
前記工程
をさらに含む、請求項1のオプションA）に記載の方法。
【請求項６】
以下の工程をさらに含む、請求項1のオプションA）に記載の方法:
−複数の画像取得システムを提供する工程;
前記複数の画像取得システムの各々について、
−請求項2〜5のいずれか一項に記載の前記第1の画像アーチファクト生成論理を作成する工程であって、前記第1の画像アーチファクト生成論理が前記画像取得システムに固有である、前記工程;
−前記画像取得システムによって、組織試料の複数の元の画像を取り込む工程;
−前記複数の元の画像（208）の各々について、前記元の画像の各々に対して前記作成された画像取得固有の第1の画像アーチファクト生成論理（230〜236）を適用することによってそれぞれの第1の人工的劣化画像を生成する工程;
−前記画像取得システムによって取り込まれたデジタル組織画像からアーチファクトを除去するように構成された画像取得システム固有のプログラム論理（218）を生成する工程であって、
前記生成が、
前記元の画像（208）と前記元の画像のそれぞれ生成された第1の劣化画像（210）とで第1のアーチファクト除去論理（220〜226）を符号化する第1の機械学習論理の未訓練バージョンを訓練することと、
前記訓練された第1の機械学習論理を、前記画像取得システム固有のプログラム論理（218）としてまたは前記プログラム論理（218）の構成要素として返すことと
を含む、
前記工程。
【請求項７】
入力画像において組織折り畳みアーチファクトを生成するように構成された組織折り畳みアーチファクト生成論理である、前記第1の画像アーチファクト生成論理
を作成する工程であって、
前記作成が、
−無作為に選択された線にわたって各入力画像を切断することによって、1つまたは複数の入力画像の各々の少なくとも2つの画像部分を生成することと、
−前記切断の前記線に沿った前記2つの画像部分の重なりが作成されるように、前記線に沿って前記少なくとも2つの画像部分を重ねることと、
−前記画像部分の前記重なりをマージし、それによって前記入力画像の劣化バージョンを生成することと、
−前記マージされた劣化画像を生成するために分割された前記入力画像から前記マージされた劣化画像をシミュレートするように適合された訓練された機械学習論理を提供するために、前記1つまたは複数の入力画像と前記劣化画像とで機械学習論理を訓練することと、
−前記訓練された機械学習論理を機械実行可能コードに統合することによって、前記第1の画像アーチファクト生成論理を作成することと
を含む、
前記工程
をさらに含む、請求項1のオプションB）に記載の方法。
【請求項８】
入力画像においてラインアーチファクトを特に生成するように適合されたラインアーチファクト生成論理である、前記第1の画像アーチファクト生成論理
を作成する工程であって、
前記ラインアーチファクトの長さ、太さ、および/または曲率が、髪の毛、気泡の輪郭、および/または布の繊維を表し、
前記作成が、
−無作為に生成された値を曲線パラメータとして使用して、複数の多項式曲線を生成することと、
−1つまたは複数の入力画像において前記多項式曲線の座標に沿って黒い線を挿入し、それによって前記入力画像の劣化バージョンを生成することと、
−前記ラインアーチファクトをシミュレートするように適合された訓練された機械学習論理を提供するために、前記1つまたは複数の入力画像と前記入力画像から生成された前記劣化画像とで機械学習論理を訓練することと、
−前記訓練された機械学習論理を機械実行可能コードに統合することによって、前記第1の画像アーチファクト生成論理を作成することと
を含む、
前記工程
をさらに含む、請求項1のオプションBに記載の方法。
【請求項９】
定義された色または色の組み合わせの光学的雑音からなるアーチファクトを入力画像において特に生成するように適合された色雑音生成論理である、前記第1の画像アーチファクト生成論理
を作成する工程であって、
前記作成が、
−残留染色剤を有する組織スライド領域をシミュレートするように適合された色固有のごま塩関数を指定することと、
−前記色固有のごま塩関数を機械実行可能コードに統合することによって、前記第1の画像アーチファクト生成論理を作成することと
を含む、
前記工程
をさらに含む、請求項1のオプションB）に記載の方法。
【請求項１０】
−前記元の画像の各々について、前記元の画像の各々に対して第2の画像アーチファクト生成論理を適用することによって第2の人工的劣化画像を生成する工程であって、前記第2の画像アーチファクト生成論理が第2のタイプのアーチファクトを特に生成するように構成されている、前記工程
をさらに含む、前記請求項のいずれか一項に記載の方法であって、
アーチファクトを除去するように構成された前記プログラム論理の前記生成が、
・前記元の画像と前記元の画像のそれぞれ生成された第2の劣化画像とで第2のアーチファクト除去論理（220〜226）を符号化する第2の機械学習論理の未訓練バージョンを訓練することと
・少なくとも前記第1および前記第2のアーチファクトタイプのアーチファクトを除去するように構成された前記プログラム論理（218）を提供するために、前記訓練された第1の機械学習論理を前記訓練された第2の機械学習論理と組み合わせることと
をさらに含む、
前記方法。
【請求項１１】
前記第2の画像アーチファクト生成論理が、A）画像取得システム固有の画像アーチファクト生成論理またはB）組織染色アーチファクト生成論理であり、前記第2の画像アーチファクト生成論理が前記第1の画像アーチファクト生成論理と異なり、前記第2の画像アーチファクト生成論理が特に、請求項2〜9に従って作成された前記画像アーチファクト生成論理のうちの1つである、請求項10に記載の方法。
【請求項１２】
アーチファクトを除去するように構成された前記プログラム論理が、複数の異なるタイプのアーチファクトを除去するように構成されている、前記請求項のいずれか一項に記載の方法であって、前記方法が、
−前記異なるアーチファクトタイプの各々について、前記特定のタイプのアーチファクトを特に生成するように構成されたそれぞれのアーチファクト生成論理（230〜236）を提供する工程;
−第1の順序に従って、前記元の画像の各々に対して前記異なる画像アーチファクト生成論理を適用する工程であって、それによって、前記第1の順序内の第1の位置にある前記画像アーチファクト生成論理が前記元の画像の各々を入力として取り込み、前記画像アーチファクト生成論理および前記第1の順序内の後続の位置にある任意の画像アーチファクト生成論理によって出力された前記劣化画像が、前記第1の順序における前記異なる画像アーチファクト生成論理の次の画像アーチファクト生成論理によって入力画像として使用され、それによって、前記元の画像の各々について、第1の多重劣化画像が生成される、前記工程
をさらに含み、
前記プログラム論理の前記生成が、
・多段階アーチファクト除去論理を符号化する機械学習論理を訓練することであって、前記訓練が、少なくとも前記元の画像と前記元の画像のそれぞれ生成された第1の多重劣化画像とで行われる、前記訓練することと、
・前記訓練された多アーチファクト機械学習論理を、複数のタイプのアーチファクトの各々のアーチファクトを順次に除去するように構成された前記プログラム論理（218）として、または前記プログラム論理（218）の一部として使用することと
をさらに含む、
前記方法。
【請求項１３】
−少なくとも第2の順序に従って、前記元の画像に対して異なる画像アーチファクト生成論理を適用する工程であって、それによって、前記第2の順序内の第1の位置にある前記画像アーチファクト生成論理が前記元の画像の各々を入力として取り込み、前記画像アーチファクト生成論理および前記第2の順序内の後続の位置にある任意の画像アーチファクト生成論理によって出力された前記劣化画像が、前記第2の順序における前記異なる画像アーチファクト生成論理の次の画像アーチファクト生成論理によって入力画像として使用され、それによって、前記元の画像の各々について、第2の多重劣化画像が生成される、前記工程
をさらに含む、請求項12に記載の方法であって、
多段階アーチファクト除去論理を符号化する前記機械学習論理の前記未訓練バージョンの前記訓練が、少なくとも前記元の画像と前記元の画像のそれぞれ生成された第1および第2の多重劣化画像とで行われる、
前記方法。
【請求項１４】
−前記異なる画像アーチファクト生成論理の複数の順序を自動的に作成する工程であって、前記それぞれの順序内の前記画像アーチファクト生成論理の前記位置を並べ替えることによって、前記複数の順序の各々が、第1、第2、および少なくとも第3の位置に異なる画像アーチファクト生成論理を含む、前記工程;
−前記複数の順序の各々について、前記元の画像に対して前記順序の前記画像アーチファクト生成論理を適用する工程であって、それによって、前記順序内の第1の位置にある前記画像アーチファクト生成論理が前記元の画像の各々を入力として取り込み、前記画像アーチファクト生成論理および前記順序内の後続の位置にある任意の画像アーチファクト生成論理によって出力された前記劣化画像が、前記順序における前記異なる画像アーチファクト生成論理の次の画像アーチファクト生成論理によって入力画像として使用され、それによって、前記元の画像の各々と前記複数の順序の各々とについて、多重劣化画像が生成される、前記工程
をさらに含む、前記請求項のいずれか一項に記載の方法であって、
多段階アーチファクト除去論理を符号化する前記機械学習論理の前記未訓練バージョンの前記訓練が、少なくとも前記元の画像と、前記複数の順序と、それらのそれぞれ生成された多重劣化画像とで行われる、
前記方法。
【請求項１５】
前記第1の順序が、手動で定義され、組織染色および画像取得ワークフローにおけるアーチファクト生成の典型的な順序を表す、請求項12〜14のいずれか一項に記載の方法。
【請求項１６】
前記画像アーチファクト生成論理を提供するためにかつ/またはアーチファクトを除去するように構成された前記プログラム論理を提供するために訓練された前記機械学習論理が、ニューラルネットワークである、前記請求項のいずれか一項に記載の方法。
【請求項１７】
前記画像アーチファクト生成論理を提供するためにかつ/またはアーチファクトを除去するように構成された前記プログラム論理を提供するために訓練された前記機械学習論理が、オートエンコーダである、前記請求項のいずれか一項に記載の方法。
【請求項１８】
以下の工程を含む、生物試料を描写する組織画像のための画像補正方法:
−アーチファクトを含む前記生物試料のデジタル画像を受け取る工程;
−アーチファクト補正画像を生成するために、前記受け取ったデジタル画像に対して、請求項1〜17のいずれか一項に従って生成されたプログラム論理を適用する工程;および
−前記アーチファクト補正画像を返す工程。
【請求項１９】
プロセッサ（228）によって実行されると、前記プロセッサに、前記請求項のいずれか一項に記載の方法を行わせる、コンピュータ解釈可能命令
を含む、コンピュータプログラム。
【請求項２０】
以下を含む、画像解析システム（200）：
−組織を各々描写する複数の元の画像（208）を含む、記憶媒体（240）;
−以下を行うように構成されたプロセッサ（228）
−前記元の画像の各々に対して第1の画像アーチファクト生成論理（230〜236）を適用することによる、前記元の画像の各々についての、第1の人工的劣化画像（210）の生成であって、
前記第1の画像アーチファクト生成論理が、第1のタイプのアーチファクトを特に生成するように構成されており、前記第1の画像アーチファクト生成論理が、A）画像取得システム固有の画像アーチファクト生成論理またはB）組織染色アーチファクト生成論理である、
前記第1の人工的劣化画像（210）の生成;
−デジタル組織画像からアーチファクトを除去するように構成されたプログラム論理（218）の生成であって、
前記生成が、
・前記元の画像と前記元の画像のそれぞれ生成された第1の劣化画像とで第1のアーチファクト除去論理（220〜226）を符号化する第1の機械学習論理の未訓練バージョンを訓練することと、
・前記訓練された第1の機械学習論理を、前記プログラム論理としてまたは前記プログラム論理の構成要素として返すことと
を含む、
前記プログラム論理（218）の生成。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
本発明は画像解析に関し、より詳細には、組織画像からのアーチファクトの除去に関する。
【背景技術】
【０００２】
背景および関連技術
デジタル病理学では、様々な生物医学的質問に答えるために、例えば、医療専門家による疾患の診断および治療を支援するために、組織スライドのデジタル画像に符号化された情報が画像から抽出される。デジタル病理学の分野は、現在、癌およびその他の重要な疾患の一層適切で、迅速かつ安価な診断、予後および予測を達成するための診断医学の最も有望な手段のうちの一つと見なされている。デジタル病理学技術はまた、病理学者が腫瘍の微小環境を理解し、患者の応答、薬物の作用機序、および組織画像から利用可能なその他の情報について知ることを支援するために薬物開発の状況においても広く使用されている。
【０００３】
スキャンされたデジタル組織画像は、特に高倍率では、染色プロセスとスキャンプロセスの両方に関連したいくつかのタイプの雑音を有する傾向にある。これらの雑音アーチファクトは、手動解析と自動解析の両方に問題を呈する。アーチファクトには、自動アルゴリズムの結果と専門の病理学者による手動のスコアリングの両方に大きく影響し、これらを制限するか、または少なくともそのような手動もしくは自動のスコアリングを非常に困難で一貫性を欠くものにする可能性がある。
【０００４】
画像から雑音アーチファクトを除去または低減するために組織画像を前処理するための様々な手法が存在する。例えば、Jainら（Jain, Viren, and Sebastian Seung. "Natural image denoising with convolutional networks" Advances in Neural Information Processing System, 2009（非特許文献1））は、畳み込みニューラルネットワークを適用することを提案し、Xieら（Xie, Junyuan, Linli Xu, and Enhong Chen "Image denoising and inpainting with deep neural networks" Advances in Neural Information Processing Systems. 2012（非特許文献2））は、画像雑音除去に積層スパースオートエンコーダを使用し、Agostenelliら（Agostinelli, Forest, Michael R. Anderson, and Honglak Lee. "Adaptive multi-column deep neural networks with application to robust image denoising" Advances in Neural Information Processing Systems, 2013（非特許文献3））は、画像雑音除去に適応マルチ・カラム・ディープ・ニューラルネットワークを使用した。ウェーブレットおよびマルコフ確率場に基づく他の手法も記載されている。
【０００５】
米国特許出願公開第2017/0213321（A1）号（特許文献1）には、画像データを雑音除去するためのコンピュータ実装方法が記載されている。この方法は、コンピュータシステムが、雑音がある画像データを含む入力画像を受け取る工程と、順次に収集された複数のマルチスケールネットワークを含むディープ・マルチスケール・ネットワークを使用して入力画像を雑音除去する工程とを含む。各個別のマルチスケールネットワークが、入力画像を複数の画像パッチに分割する工程と、それらの画像パッチを、閾値ベースの雑音除去プロセスを使用して複数のレベルの分解にわたって雑音除去する工程とを含む雑音除去プロセスを行う。閾値ベースの雑音除去プロセスは、各個別の画像パッチを、それぞれの画像パッチに存在する雑音の推定に従って増減される閾値を使用して雑音除去する。ノイジングプロセスは、画像パッチにわたって平均することによる雑音除去画像の組立てをさらに含む。
【０００６】
RUOHAN GAO ET AL: "On-demand Learning for Deep Image Restoration", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION（ICCV）, August 2017（2017-08）（非特許文献4）には、従来の「固定された」モデルの弱点の調査が記載されており、任意のレベルの破損を処理するために一般モデルを訓練することは簡単ではないことが実証されている。加えて、ディープ畳み込みニューラルネットワークで画像復元モデルを訓練するためのオンデマンド学習アルゴリズムも記載されている。その主要な考えは、フィードバック機構を利用して、最も必要とされる場合の訓練インスタンスを自己生成し、それによって難易度を横断して一般化できるモデルを学習することである。
【０００７】
現在の雑音除去法と関連付けられる問題は、雑音除去論理の生成が、必要な量および質で取得することが困難な訓練データに対する機械学習論理の訓練フェーズを含むことである。すなわち、通常、画像は、雑音アーチファクトおよび/またはアーチファクトと同様に見えるが雑音アーチファクトとして識別されるべきではない組織構造が、「本物のアーチファクト」または「本物の組織構造」としてラベル付けされた訓練データセットを生成するために手動で注釈付けされなければならない。このプロセスは多大な時間を要し、何時間も、何日間も、または何週間にさえもわたる1人または複数の経験を積んだ病理学者の作業を必要とする。さらに、「本物の雑音」および「本物の組織」の手動での注釈付けは主観的になる可能性があり、アーチファクトと確実に分類することができない特定の画像セクションの性格に関して病理学者によって異なる見解を有する場合がある。よって、アーチファクト除去プログラム論理の作成には、現在のところ、非常に時間がかかり、したがって高くつく訓練データセットの作成が必要である。
【０００８】
訓練データセットの作成に関わる高コストが原因で、実習で使用される訓練データセットは、十分な正確さの雑音除去プログラム論理の生成を可能にするのに十分なサイズものとはとても言えないものが多い。というのは、画像アーチファクトを正確に除去することができるプログラム論理の訓練は、通常、特定のアーチファクトタイプの多くの異なる現れをカバーする大規模な訓練データセットを必要とするからである。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許出願公開第2017/0213321（A1）号
【非特許文献】
【００１０】
【非特許文献１】Jain, Viren, and Sebastian Seung. "Natural image denoising with convolutional networks" Advances in Neural Information Processing System, 2009
【非特許文献２】Xie, Junyuan, Linli Xu, and Enhong Chen "Image denoising and inpainting with deep neural networks" Advances in Neural Information Processing Systems. 2012
【非特許文献３】Agostinelli, Forest, Michael R. Anderson, and Honglak Lee. "Adaptive multi-column deep neural networks with application to robust image denoising" Advances in Neural Information Processing Systems, 2013
【非特許文献４】RUOHAN GAO ET AL: "On-demand Learning for Deep Image Restoration", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION（ICCV）, August 2017（2017-08）
【発明の概要】
【００１１】
概要
本発明の目的は、独立請求項で指定される、デジタル組織画像からアーチファクトを除去するように構成されたプログラム論理を生成する改善された方法と、対応する記憶媒体および画像解析システムとを提供することである。本発明の各態様は、従属請求項に記載されている。本発明の各態様は、それらが相互に排他的でない場合、相互に自由に組み合わせることができる。
【００１２】
一局面では、本発明は、デジタル病理学方法に関する。本方法は、
組織試料をそれぞれ描写する複数の元の画像の各々について、元の画像の各々に対して第1の画像アーチファクト生成論理を適用することによって第1の人工的劣化画像を生成する工程であって、第1の画像アーチファクト生成論理が第1のタイプのアーチファクトを特に生成するように構成されている、前記工程;および
デジタル組織画像からアーチファクトを除去するように構成されたプログラム論理を生成する工程
を含む。プログラム論理の生成は、
元の画像と元の画像のそれぞれ生成された第1の劣化画像とで第1のアーチファクト除去論理を符号化する第1の機械学習論理の未訓練バージョンを訓練することと、
訓練された第1の機械学習論理を、プログラム論理としてまたはプログラム論理の構成要素として返すことと
を含む。
【００１３】
アーチファクト生成論理は、特に、画像取り込み機器固有のアーチファクト生成論理（「オプションA」）または染色プロトコルに関連したアーチファクト（「オプションB」）とすることができる。
【００１４】
前記特徴が有利であり得るのは、「真のアーチファクトなし」画像と「真のアーチファクト含有」画像とを含む訓練データセットを完全に自動的に作成することができるからである。よって、非常に大規模な訓練データセットを生成することができる。通常、基本的にいかなるアーチファクトもないかまたは少なくとも特定のタイプのアーチファクトがない高品質画像は、比較的容易に取得することができる。例えば、カメラの光学系内の塵から生じるアーチファクトは、単にその光学系に基本的に塵微粒子がない顕微鏡を使用することによって回避することができる。この顕微鏡を、異なる染色プロトコルに従って異なる染色剤で染色された異なる組織の何百何千もの画像を取り込むために使用することができる。よって、多数の「真の雑音なしの訓練画像」を容易に取り込むことができ、画像アーチファクト生成論理を適用することによって「真の雑音なしの訓練画像」から対応する数の「真の雑音含有訓練画像」を作成することができる。
【００１５】
さらに、高品質の雑音なしの画像を通常は容易に取得することができるので、劣化した「雑音ありの」訓練画像を含む訓練画像の作成が自動的に行われる際に、生成される訓練データセットは手動で注釈付けされる訓練データセットよりも大規模になり得る。よって、訓練された機械学習論理の正確さが高まり得る。
【００１６】
別の有益な局面では、訓練画像内のアーチファクトが自動的に作成され、アーチファクト生成アルゴリズムが、画像内のどの領域でアーチファクトが作成されたかを「知っている」ので、手動注釈付けプロセスに固有の訓練データセットにおける注釈の不一致が回避され得る。
【００１７】
態様によれば、複数の元の画像は、多くの異なる組織型から導出された組織を描写する画像および/または多くの異なる染色剤で染色されている組織を描写する画像および/または多くの異なる染色プロトコルに従って染色されている組織を描写する画像および/またはその画像が多くの異なる画像取り込みシステムによって取り込まれた組織を描写する画像および/または多くの異なる解像度の組織を描写する画像を含む。
【００１８】
いくつかの態様では、画像の劣化バージョンの自動生成は、アーチファクト除去に使用されるプログラム論理とは別の訓練データセットを生成するために使用される「画像劣化」アプリケーションによって行われる。
【００１９】
他の態様では、元の画像の劣化バージョンの自動生成は、アーチファクトの除去を「学習」するように訓練された機械学習アルゴリズムによって行われる。この場合には、1つまたは複数のアーチファクト除去論理を「学習」するために機械学習論理を使用することができ、そのために前記機械学習論理には訓練フェーズでも試験フェーズでも元の画像だけが入力される。機械学習論理は、2つの異なるモード、訓練フェーズモードと試験フェーズモードとで動作するように構成される。訓練フェーズモードでは選択的に、この機械学習論理は入力として受け取った元の画像から劣化画像バージョンを自動的に生成することになる。試験フェーズモードでは、訓練された機械学習論理は、入力として受け取った元の画像からアーチファクトを単に除去することになる。2つの異なる機能は、機械学習アルゴリズムの異なるモジュールで実装され得る。例えば、劣化画像バージョンの自動生成をニューラルネットワークの特定の層によって行うことができ、前記ネットワークの1つまたは複数の他の層が画像から前記アーチファクトを除去するために使用され、訓練される。
【００２０】
多くの異なる組織から、かつ/または多くの異なる画像取り込み機器から、かつ/または多くの異なる条件を受ける組織切片から基本的に雑音アーチファクトのない高品質の組織画像を取得し、次いで前記画像の「劣化した」雑音ありバージョンを自動的に導出することは、通常、同じ広い範囲を有する訓練データセットに手動で注釈付けするよりもずっと迅速かつ容易に行われ得る。よって、上述の自動生成データセットからアーチファクトを除去するように訓練された機械学習アルゴリズムは、訓練データセットのサイズおよび多様性が増加するので、組織型、染色剤、染色プロトコルなどに関する変動に対してより正確でよりロバストとなり得る。
【００２１】
態様によれば、第1の機械学習論理の未訓練バージョンの訓練は、元の画像と元の画像のそれぞれ生成された第1の劣化画像とを第1の機械学習論理の未訓練バージョンに入力する工程を含む。第1の劣化画像の各々が、元の画像のそれぞれの画像のアーチファクトありバージョンとして注釈付けされる。第1の機械学習論理は、第1のアーチファクト除去論理を符号化する。訓練は、第1の劣化画像の各々から第1の再構築画像を生成するために第1の劣化画像に対して第1のアーチファクト除去論理を適用し、第1のアーチファクト除去論理を、第1の再構築画像が導出された元の画像からの第1の再構築画像の逸脱が最小化されるように第1のアーチファクト除去論理を自動的に修正することによって行われる。
【００２２】
このアーチファクト除去論理を訓練するための「誤差関数最小化」の手法は、一般に、「教師あり学習」機械学習と呼ばれる。教師あり機械学習の技法は、例えば、ニューラルネットワークベースの機械学習論理として、サポート・ベクトル・マシン・ベースの機械学習論理としてなど、様々な形態で実施され得る。
【００２３】
態様によれば、本方法は、元の画像の各々について、第2の人工的劣化画像を生成する工程をさらに含む。第2の人工的劣化画像は、元の画像の各々に対して第2の画像アーチファクト生成論理を適用することによって生成される。第2の画像アーチファクト生成論理は、第2のタイプのアーチファクトを特に生成するように構成される。プログラム論理の生成は、元の画像と元の画像のそれぞれ生成された第2の劣化画像とで第2のアーチファクト除去論理を符号化する第2の機械学習論理の未訓練バージョンを訓練する工程、およびプログラム論理を提供するために訓練された第1の機械学習論理を訓練された第2の機械学習論理と組み合わせる工程をさらに含み、生成されたプログラム論理は、少なくとも第1および第2のアーチファクトタイプのアーチファクトを除去するように構成される。あるいは、第1および第2の機械学習論理を、第1の劣化画像と第2の劣化画像の両方を含む訓練データセットで単一の訓練工程において訓練された同じ機械学習アーキテクチャの一部とすることもできる。
【００２４】
2つの別々のセットの人工的劣化画像で1つまたは複数の機械学習論理を訓練することは、画像から特定のタイプのアーチファクトを選択的に除去することができるアーチファクト除去論理が生成される場合に有利となり得る。例えば、生成されたアーチファクト除去論理は、特定の顕微鏡と一緒に、または特定の顕微鏡と組み合わせて使用するために販売される画像解析ソフトウェアパッケージに統合され得る。このソフトウェアは、ソフトウェアのユーザが、画像から特定のタイプのアーチファクトを選択的に除去するために、1つまたは複数のアーチファクトタイプ、例えば、「ぼやけアーチファクト」、「焦点アーチファクト」、「塵」などを選択することを可能にし得る。アーチファクト除去論理が異なるタイプのアーチファクトをそれぞれ表す異なる訓練データセットで別々にトレーニングされているので、ソフトウェアはユーザに、例えば、第1のアーチファクト除去論理を選択的に選択および使用させるか、または第2のアーチファクト除去論理を選択的に選択および使用させ得る。
【００２５】
いくつかの態様では、アーチファクト除去論理は、画像取得時に、例えば画像スキャンプロセスの間にリアルタイムで適用される。よって、画像取得プロセスの間に、取得画像ごとに、現在取得されている画像に対して1つまたは複数のアーチファクト除去アルゴリズムを適用することによって「クリーン」バージョンが生成される。他の態様では、1つまたは複数のアーチファクト除去論理がすでに取得された画像に対して、例えば、過去に取得されており記憶媒体上に画像ライブラリの形態で格納されている画像に対して適用される。
【００２６】
よって、いくつかの態様では、プログラム論理を提供するために訓練された第1の機械学習論理を訓練された第2の機械学習論理と組み合わせる工程は、2つの別々にアドレス指定可能、別々に呼び出し可能な訓練プログラム論理を同じソフトウェア・アプリケーション・プログラムに組み合わせる工程を含み得る。他の態様では、組み合わせは、訓練プロセスの不可欠な部分であり得る。例えば、単一の機械学習ソフトウェアが、元の画像および第1の劣化画像と第2の劣化画像の混合を含むデータセットで訓練され得る。
【００２７】
複数のアーチファクト生成論理の組み合わせと、それぞれのアーチファクト除去論理の生成および訓練とは、実際に、複数の異なるアーチファクトの組み合わせがしばしば認められるので、有利となり得る。いくつかの態様では、1つのアーチファクト生成論理によって生成された劣化画像が、二重の（または、さらなるアーチファクト生成論理が適用される場合には、多重の）劣化画像を生成するために、異なるタイプの少なくとも1つのさらなるアーチファクト生成論理に入力される。これにより、段階的に1つの画像から多くの異なるタイプのアーチファクトを除去するように適合されたアーチファクト除去論理の生成および訓練が可能となり得る。
【００２８】
例えば、返されるアーチファクト除去論理を、最初にぼやけなどの焦点不良雑音を除去し、次いで、髪の毛や塵などといった物理的障害物によって引き起こされたライン雑音およびスペックル雑音を除去するように構成することができる。最後に、アーチファクト除去論理は、非特異的染色などの染色アーチファクトを除去することができる。したがって、第1の人工的劣化画像は、ぼやけアーチファクトをシミュレートしたアーチファクトを含むことができ、第2の人工的劣化画像は、非特異的染色アーチファクトをシミュレートしたアーチファクトを含むことができるはずである。ぼやけなどの光学的雑音は、通常、画像内の不要な対象物（髪の毛や塵など）の存在といったタイプの雑音に依存しない。しかしながら、場合によっては、不要な対象物が原因で自動焦点機構が誤った焦点層を選択することもある。さらに、スペックル雑音は、焦点不良雑音が組織切片とスペックルとのぼやけを生じる場合には、焦点不良雑音の影響を受ける可能性もある。よって、異なるタイプのアーチファクト間の関係は複雑であり、あらゆるアーチファクト除去の手法にとっての課題である。
【００２９】
手動で画像データセットに注釈付けするのに必要な時間と労力が原因で、アーチファクトありおよびなしの、または異なるアーチファクトの組み合わせを有する注釈付き組織画像を含む訓練データセットのサイズは、実際に認められ得る広範なアーチファクトの組み合わせと比較すると、通常は小さい。よって、手動で注釈付けされた訓練データセットの使用は、本質的に、訓練時の過剰適合の強いリスクを負う。多くの異なる組み合わせで多くの異なるタイプのアーチファクトを計算によって生成することにより、過剰適合のリスクが回避され、または少なくとも低減され得る。
【００３０】
態様によれば、第2の機械学習論理は、元の画像と元の画像のそれぞれ生成された第2の劣化画像とを第2の機械学習論理の未訓練バージョンに入力することによって訓練され、それによって、第2の劣化画像の各々が、元の画像のそれぞれの画像のアーチファクトありバージョンとして注釈付けされる。第2の機械学習論理は、第2のアーチファクト除去論理を符号化する。訓練は、第2の劣化画像の各々から第2の再構築画像を生成するために第2の劣化画像に対して第2のアーチファクト除去論理を適用し、第2のアーチファクト除去論理を、前記第2の再構築画像が導出された元の画像からの前記第2の再構築画像の逸脱が最小化されるように第2のアーチファクト除去論理を自動的に修正することによって行われる。よって、第2の機械学習論理および/または以下でさらに説明される多段階アーチファクト除去論理を符号化する任意の機械学習論理もまた、元の画像と劣化画像に画像再構築論理を適用した結果との逸脱を記述する誤差関数が最小化されるように訓練され得る。
【００３１】
いくつかの態様では、第2の機械学習アルゴリズムは、上記の態様について説明されたように元の画像のアーチファクトありバージョンを自動的に生成するサブモジュールを含むか、または元の画像のアーチファクトありバージョンを自動的に生成するように構成された別のサブモジュールを含む機械学習論理のサブモジュールである。よって、「元の画像の劣化（アーチファクトあり）バージョンを入力する」という表現は、劣化バージョンが、第2のプログラム論理とともに単一の実行可能プログラム論理にバンドルされたソフトウェア論理によって生成されるというオプションも含む。
【００３２】
いくつかの態様では、1つまたは複数のアーチファクトタイプのアーチファクトを除去するための第1、第2および任意のさらなる機械学習論理は、同じ機械学習論理において、例えば、ニューラルネットワークの同じインスタンスにおいて実施される。例えば、1つの機械学習論理がアーチファクトタイプごとに訓練されるかどうかにも、同じ機械学習論理が、2つ以上の異なるアーチファクトタイプのアーチファクトを含む訓練データで訓練されるかどうかにも関係なく、ニューラルネットワークを訓練されるべき機械学習論理として使用することができる。
【００３３】
例えば、それぞれのアーチファクト生成論理およびアーチファクト除去論理を訓練するために用いられるネットワークの数を、試行錯誤によって決定することができる。単一のニューラルネットワークを含むネットワークアーキテクチャがうまく働かない場合、ネットワークアーキテクチャは、2つのネットワークまたは3つのネットワークまたは異なるネットワーク層アーキテクチャに拡張され得る。あるいは、複数の異なるネットワークアーキテクチャが並行して訓練され、試験画像で訓練されたネットワークによって生成された結果が、組み合わされ、集約されて、ネットワークのいずれかから別々に得られた結果よりも正確な複数のネットワークの統合された結果が生成される（「アンサンブル法」または「アンサンブル学習」）。好ましい態様によれば、本方法は、ユーザに、処理されるべき任意の元の画像に対して自動的に適用される、既定のアーチファクトタイプのセットと選択されたアーチファクト除去論理の対応するセットのうちの1つまたは複数をユーザが選択することを可能にするGUIを提供する工程を含む。
【００３４】
態様によれば、生成されるべきアーチファクトを除去するように構成されたプログラム論理は、デジタル組織画像から少なくともN個の異なるアーチファクトタイプを除去するように構成されたプログラム論理である。数Nは1より大きい整数である。本方法は、N個の異なるアーチファクトタイプの各々について、前記特定のタイプのアーチファクトを特に生成するように構成されたそれぞれのアーチファクト生成論理を提供する工程;第1の順序に従って、元の画像に対してN個の異なる画像アーチファクト生成論理を適用する工程をさらに含み、それによって、第1の順序内の第1の画像アーチファクト生成論理は、元の画像の各々を入力として取り込み、前記画像の劣化バージョンを出力し、第1および任意の後続の画像アーチファクト生成論理によって出力された劣化画像は、第1の順序内のN個の異なる画像アーチファクト生成論理のうちの次の1つによって入力画像として使用され、それによって、元の画像の各々について、第1の多重劣化画像が生成される。プログラム論理の生成は、多段階アーチファクト除去論理を符号化する機械学習論理を、少なくとも元の画像と元の画像のそれぞれ生成された第1の多重劣化画像とで訓練する工程;およびプログラム論理を提供するために、または生成されるべきプログラム論理の一部を提供するために前記訓練された多段階アーチファクト除去論理を使用する工程をさらに含む。
【００３５】
いくつかの態様によれば、多段階アーチファクト除去論理を符号化する機械学習論理は、複数の異なるタイプの画像アーチファクトを正しく除去するよう学習するために複数の他の機械学習論理から生成された出力を使用する未訓練の機械学習論理である。他の機械学習論理は、特定のタイプの画像アーチファクトを除去するようにそれぞれ訓練されている。
【００３６】
いくつかの態様では、訓練された多段階アーチファクト除去論理は、プログラム論理を提供するために訓練された第1の機械学習論理と組み合わされる。結果として得られるプログラム論理は、Nタイプのアーチファクトの各々のアーチファクトを順次に除去するように構成される。除去は好ましくは、第1の順序の逆順に従って行われる。訓練された多段階アーチファクト除去論理を提供するための機械学習論理の訓練は、多段階アーチファクト除去論理が多重劣化訓練画像から元の画像を再構築するように行われる。例えば、多段階アーチファクト除去論理は、第1または第2の（「単一アーチファクト」）機械学習論理のいずれかを異なる順序で呼び出すように構成されてもよく、元の画像と非常に類似した、または同一の画像を再構築するのに最も適したアーチファクト除去操作の順序を学習するように構成され得る。
【００３７】
例えば、数Nは「3」であってもよく、第1の順序は、以下のタイプのアーチファクトを以下の順番で含んでいてもよい:a）「過剰染色」、b）「塵アーチファクト」、およびc）「ぼやけアーチファクト」。
【００３８】
複数のアーチファクト生成論理を前に呼び出されたアーチファクト生成論理によってそれぞれ提供された劣化画像に対して順次に適用し、アーチファクト除去論理を、多重劣化訓練画像から元の画像を再構築するように訓練することは実習に際して有利となり得、画像は多くの異なるタイプのアーチファクトを含むことができ、それによって、アーチファクトが後で導入されたタイプのアーチファクトと重なり、後で導入されたタイプのアーチファクトによってゆがみ、またはそれ以外の影響を受ける場合もある。よって、アーチファクト除去論理は、異なるタイプの画像アーチファクトの順序を特定および補正することができるように訓練され、よって、デジタル病理学の実習で一般に観察される異なるタイプのアーチファクトの複雑な組み合わせも補正することができる。態様によれば、アーチファクト生成論理の順序によって定義された各劣化工程で作成された中間画像は、ネットワークにおいて「補助損失」としてそれぞれ使用される。これが意味するのは、訓練中に、ネットの最後の出力がクリーン画像に対して比較されるのみならず、処理層に沿った1つまたは複数の位置でも、追加出力画像（「中間画像」）が（訓練中にのみ）ネットワークによって作成され、先行する層の訓練を駆動する損失を作成するために元の画像に比較されるということである。例えば、受け取った画像に対してぼやけアーチファクト除去アルゴリズムを適用することによって部分劣化画像（例えばぼやけ/ピンぼけなしの）の第1の補助損失画像（第1の中間画像）を算出することができ、順序内の後続のアーチファクト除去論理の各々について、ネットの実際の「展開」出力における最後の損失が（上記のアーチファクト除去順序のアーチファクトタイプに属するすべてのアーチファクトがないはずの）クリーン画像になるまで、前の工程で生成された中間画像に対してアーチファクト除去アルゴリズムのうちのそれぞれのアルゴリズムを適用することによって対応する次の「補助損失」/中間画像が取得される。
【００３９】
いくつかの態様によれば、本方法は、少なくとも第2の順序に従って、元の画像に対してN個の異なる画像アーチファクト生成論理を適用する工程をさらに含む。それによって、前記第2の順序内の第1の画像アーチファクト生成論理は、元の画像の各々を入力として取り込む。第1および任意の後続の画像アーチファクト生成論理によって出力された劣化画像は、第2の順序内の異なる画像アーチファクト生成論理のうちの次の1つによって入力画像として使用される。よって、第2の順序内の画像アーチファクト生成論理の各々を実行することによって、元の画像の各々について、第2の多重劣化画像が作成される。よって、この態様では、元の画像ごとに、上述のように第1の順序に従って画像アーチファクト生成論理を順次に適用することによって第1の多重劣化画像が取得される。加えて、上述のように第2の順序に従って画像アーチファクト生成論理を順次に適用することによって元の画像当たり1つの第2の多重劣化画像が取得される。第1と第2の多重劣化画像は、画像劣化アルゴリズムを適用する順序が結果として得られる画像に通常は影響を及ぼすので、互いに異なり得る。例えば、描写される塵の微粒子は、画像にぼやけアーチファクトが追加された後に塵アーチファクトが追加された場合には鋭いエッジを有し、塵アーチファクトの後にぼやけアーチファクトが追加された場合にはぼやけたエッジを有し得る。
【００４０】
好ましい態様によれば、多段階アーチファクト除去論理を符号化する機械学習論理の訓練は、少なくとも元の画像と元の画像のそれぞれ生成された第1および第2の多重劣化画像とで行われる。
【００４１】
これが有利となり得るのは、訓練データセットにおいてアーチファクト生成の2つ以上の異なる順序がカバーされ、結果として得られる訓練されたアーチファクト除去論理が、画像においてアーチファクトを生成する複数の異なる順序を補正できることになるからである。これは、アーチファクト生成の実際の順序が未知であるか、または異種である複数の異なるアーチファクトタイプの複雑な組み合わせを補正するのに非常に有用となり得る。例えば、いくつかの画像領域の部分的な過剰染色アーチファクトが、焦点ずれアーチファクトの結果として後でぼやけることがある。加えて、または代替として、またはいくつかの画像領域において選択的に、過剰染色アーチファクトに、顕微鏡のレンズ上の塵粒子から生じる塵アーチファクトが重なる場合もある。よって、アーチファクト組み合わせの数およびタイプは画像内で異なり得る。
【００４２】
アーチファクト導入の実際の物理的順番が不明確であるかまたは未知の場合もある。例えば、組織切片上の汚れや破片の粒子、例えば、髪の毛、布の繊維などにより、画像取得システムが誤った焦点層を選択することもある。結果として、汚れが合焦され、画像の他のすべての部分は焦点ずれアーチファクトを含み、ぼやけて見えることになり得る。他の画像では、汚れが焦点ずれ誤りの原因ではない場合もある。むしろ、焦点ずれ誤りは、カメラシステムの誤った構成に起因するものであり得る。この場合、汚れ粒子のみならず組織も焦点ずれ誤りを示し、組織と汚れの両方がぼやけて見えることになる。機械学習論理を、異なるタイプの人工的に作成されたアーチファクトタイプのみならず、複数の異なるアーチファクト生成順序でも訓練することによって、訓練データセットが、実習で観測されるアーチファクト組み合わせの巨大な組み合わせ空間をカバーすることが保証され得る。手動で注釈付けされた訓練データセットは通常、すべてがごく少数の実験設定および画像取得システムから導出された注釈付き画像からなることに留意されたい。よって、手動で注釈付けされたデータセットは通常、異なる染色プロトコルと、異なる組織型とを使用して異なる画像取得システムで観測されるアーチファクトタイプ組み合わせの組み合わせ的複雑さおよび異種性を反映しない。よって、手動で注釈付けされたデータセットは多くの場合、多くの異なるタイプの顕微鏡、異なるタイプのレンズおよび/または染色プロトコルに広く適用可能ではないアーチファクト除去アルゴリズムの生成をもたらした。これとは逆に、本発明の態様は、多様なアーチファクトタイプと多様な連続したアーチファクト組み合わせとをカバーする訓練データセットで訓練されているアーチファクト除去論理を自動的に生成することを可能にし得る。これは、例えば、病理学者、分子生物学者、品質管理および生産の分野の作業者など、広範囲のユーザのために設計された画像解析ソフトウェアなどに特に有用であり得る。
【００４３】
態様によれば、本方法は、N個の異なる画像アーチファクト生成論理の複数の順序を自動的に作成する工程を含む。複数の順序は、画像アーチファクト生成論理の位置を並べ替えることによる第1、第2、および少なくとも第3の順序を含む。本方法は、複数の順序の各々について、元の画像に対して前記順序のN個の異なる画像アーチファクト生成論理を適用する工程であって、それによって、前記順序内の第1の画像アーチファクト生成論理が元の画像の各々を入力として取り込む、工程をさらに含み、前記順序内の第1および任意の後続の画像アーチファクト生成論理によって出力された劣化画像は、前記順序内の異なる画像アーチファクト生成論理のうちの次の1つによって入力画像として使用され、それによって、元の画像の各々と複数の順序の各々とについて、多重劣化画像が生成される。多段階アーチファクト除去論理を符号化する機械学習論理の未訓練バージョンの訓練は、少なくとも元の画像と、複数の順序と、それらのそれぞれ生成された多重劣化画像とで行われる。
【００４４】
自動順序生成は、アーチファクトタイプ組み合わせの巨大な組み合わせ空間をカバーすることを可能にするので、有利となり得る。例えば、数Nは「3」であり、カバーされるべきアーチファクトタイプのセットはアーチファクトタイプAF1、AF2、およびAF3を含み得る。3つのアーチファクトタイプの並べ替えは、以下の順序S1からS6の自動生成をもたらすことになる:
S1:AF1、AF2、AF3
S2:AF1、AF3、AF2
S3:AF2、AF1、AF3
S4:AF2、AF3、AF1
S5:AF3、AF1、AF2
S6:AF3、AF2、AF1
【００４５】
特定の入力画像Iに上記6つのアーチファクト生成論理の各々を適用することによって、6つの多重劣化画像が前記画像について生成されることになる。加えて、いくつかの態様では、3つの一重劣化画像が生成され、機械学習論理に供給されてもよく、そのため、一重劣化画像の各々が、元の画像にAF1、またはAF2、またはAF3を適用することによって生成され得る。
【００４６】
よって、100個の元の画像と3つの異なるタイプのアーチファクトとについて、6つの順序S1〜S6、600個の多重劣化画像、および3つの一重劣化画像が各元の画像から作成され、機械学習アルゴリズムに供給されることになる。
【００４７】
いくつかの態様では、アーチファクトタイプの並べ替えは、利用可能なアーチファクト生成論理のサブセットのみを含む順序を生成することを含む。図示の例では、それらの追加順序は以下を含むことになる:
S7:AF1、AF2
S8:AF1、AF3
S9:AF2、AF1,
S10:AF2、AF3
S11:AF3、AF1
S12:AF3、AF2
【００４８】
よって、100個の元の画像と3つの異なるタイプのアーチファクトとについて、12個の順序S1〜S12、1200個の多重劣化画像、および3つの一重劣化画像が各元の画像から作成され、機械学習アルゴリズムに供給されることになる。
【００４９】
上記の例から推測できるように、組み合わせ空間は巨大である。よって、本発明の態様は、いかなる手動で注釈付けされたデータセットがカバーできるよりもはるかに多くのアーチファクト組み合わせをカバーする訓練データセットの生成を可能にし得る。
【００５０】
いくつかの態様では、生成される順序の長さは、既定の最大サイズ、例えば、2、3、または4要素の鎖の長さに制限される。これにより性能が高まり得る。
【００５１】
加えて、または代替として、アーチファクト生成論理を適用する単一の順序または少数の順序（4未満の順序）のみが手動で定義される。この場合のこの単一の順序（または少数の順序の各々）は、組織染色および画像取得ワークフローにおけるアーチファクト生成の典型的な順序を表す。この態様は、組み合わせ空間を縮小することによって性能を高める可能性があり、アーチファクト生成の典型的な順序が事前に分かっている適用シナリオに適し得る。
【００５２】
いくつかの態様によれば、ユーザが1つまたは複数の異なるタイプのアーチファクト除去論理を選択することを可能にし、それによってユーザが入力画像に適用されるべきアーチファクト除去論理の順序を手動で指定することを可能にするGUIが提供される。好ましい態様によれば、しかしながら、訓練された複数アーチファクト除去論理によって使用されるべきアーチファクト除去論理の順序は、機械学習プロセスで学習され、訓練された複数のアーチファクト除去論理において符号化される。
【００５３】
態様によれば、第1および/もしくは第2の機械学習論理ならびに/または多段階アーチファクト除去論理を符号化する機械学習論理はニューラルネットワークである。いくつかの態様では、第1および/もしくは第2の機械学習論理ならびに/または多アーチファクト機械学習論理は同じ単一のニューラルネットワークに属する。他の態様では、第1および/もしくは第2の機械学習論理ならびに/または多アーチファクト機械学習論理は、それぞれ別々のネットワークで実施され、ネットワークは「スーパー」ニューラルネットワークにおいて、または個別ネットワークによって提供された結果を統合するように適合された別の形態のソフトウェア論理において組み合わされる。例えば、「スーパー」ニューラルネットワークを、多くの異なるタイプのアーチファクトが除去されるように個別ネットワークの出力を自動的に組み合わせるよう訓練することができ、そのため「スーパー」ネットワークは異なるタイプのアーチファクトを除去するために個別ネットワークの動作を調整する。
【００５４】
態様によれば、第1および/もしくは第2の機械学習論理ならびに/または多段階アーチファクト除去論理を符号化する機械学習論理はオートエンコーダである。
【００５５】
態様によれば、第1および/または第2のアーチファクトは、染色アーチファクト、スキャンアーチファクト、組織折り畳みアーチファクト、ラインアーチファクト（気泡、繊維など）を含む群より選択される。
【００５６】
通常、機械学習論理に、元の画像と、アーチファクトタイプのうちの1つのアーチファクトを選択的に含む画像の劣化バージョンとを含む訓練データを供給するときに、前記アーチファクトタイプの各々についてそれぞれ生成されるアーチファクト除去論理は、前記単一タイプのアーチファクトを選択的に除去するように構成される。
【００５７】
態様によれば、スキャンアーチファクトは、焦点不良アーチファクト（例えば、焦点層の誤った選択や顕微鏡の誤構成から生じるぼやけた画像など）、ステッチアーチファクト（例えば、スキャナステッチングから生じる効果やパターン）、およびスペックル雑音アーチファクト（例えば、画像取得システムの光学系内の塵、カメラのセンサハードウェア内の欠陥によって生じた不良画素）を含む群より選択される。
【００５８】
態様によれば、染色アーチファクトは、背景染色アーチファクト、非特異的染色アーチファクト、残留染色アーチファクト、炭粉沈着アーチファクトを含む群より選択される。
【００５９】
態様によれば、第1および/または第2の画像アーチファクト生成論理は、元の画像の各々に対して点広がり関数（PSF）または点広がり関数の近似、例えばガウス近似を適用することによって焦点不良アーチファクトを特に生成するように構成される。
【００６０】
例えば、PSFおよび/またはガウス近似（「ガウスぼかし」）は、画像に対して局所的に適用される。例えば、既定の閾値を上回る強度を有するすべての画素ブロブを識別することができ、誤った焦点層の選択によって生成されたぼやけをシミュレートする「ぼやけた」ブロブを含む劣化画像を生成するために、PSFを識別された画素ブロブの各々に適用することができる。
【００６１】
態様によれば、PSFは、空の組織スライド上に、または組織スライド上に組織試料とともにもしくは組織試料に加えて既知のサイズのマイクロビーズを載せることによって生成され、例えば、マイクロビーズサイズは、組織スライドのデジタル画像において描写されるマイクロビーズの予期されるサイズが1つの画素または既定の画素セットになるように選択することができる。描写されるビーズの予期されるサイズは、ビーズのサイズ、倍率、解像度、および/または画像取得システムの他の特性に依存し、その場合、画像取得システムは、組織試料およびマイクロビーズを有するスライドのデジタル画像を取り込み、得られたデジタル画像は以下において「較正画像」と呼ばれ、画像解析システムは、ビーズを実際に描写している画像エリアのサイズを測定するために得られた較正画像を解析し、画像解析システムはまた、ビーズを実際に描写している画像エリア内で観察可能な画素パターンを取得し、PSFを生成するために当該パターンに数学モデルを適合させ、PSFは、予期されるビーズエリアのサイズを有する画像ブロブに適用された場合に抽出されたパターンを生成するように構成される。
【００６２】
生成されたPSFは次いで、特定の画像取得システムまたは画像取得システムタイプによって生成されたスペックル雑音を再現するスペックル雑音アーチファクトを生成するように適合された画像アーチファクト生成論理を提供するために、機械実行可能コード、例えばJavaやCプログラムコードに統合される。次いで画像アーチファクト生成論理のPSFを、元の画像の高強度ブロブの各々または少なくとも一部についての焦点不良アーチファクトをシミュレートする劣化画像を作成するために、元の画像の各高強度ブロブに対して適用することができる。本明細書で使用される「高強度ブロブ」とは、その強度が周囲の画素エリアの強度よりも著しく高い隣接する画素の領域である。例えば、高強度ブロブを、強度閾値または同様の画像処理およびセグメント化操作を適用することによって識別することができる。PSFの代わりに、特定の画像取得システムによって生成された画像劣化に数学関数を適合させることによってガウス・フィルタ・モデルを同様に作成することもできる。ガウスフィルタは、PSFの「単純な」近似と見なすことができ、同様に適用される。
【００６３】
これが有利となり得るのは、デジタル病理学では焦点不良誤りが頻繁に発生し、PSFベースのアーチファクト生成論理はこのタイプのアーチファクトを忠実に再現することが認められているからである。
【００６４】
態様によれば、本方法は、複数の異なる画像取得システム（例えば、顕微鏡やスライドスキャナ）または画像取得システムタイプ（例えば、特定の機器タイプの顕微鏡やスライドスキャナ）の各々について上述のように実験的にPSFまたはガウスフィルタを生成する工程を含む。PSF（またはガウスフィルタ）の各々は、それぞれのアーチファクト生成論理に統合され、これは以下において、「画像取得システム特有のアーチファクト生成論理、IASSアーチファクト生成論理、または画像取得システムタイプ特有のアーチファクト生成論理、すなわち、IATSSアーチファクト生成論理と呼ばれる。
【００６５】
本発明の態様によれば、アーチファクト除去論理を生成するための方法は、複数の異なる画像取得システム（IAS）の各々について行われる。これが意味するのは、IASの各々から、較正画像セットが取得され、ビーズの予期されるサイズおよび形状に対するビーズの測定された形状およびサイズの逸脱が適合された関数によって記述（モデル化）されるように数学関数を適合させることによって、IASの各々についてPSF（またはガウスフィルタ）が取得されるということである。生成されたPSF（またはガウスフィルタ）はアーチファクト生成論理に統合され、それによって、複数のIASの各々によってそれぞれ特に生成された（焦点不良）雑音アーチファクトをシミュレートするように適合されたIASSアーチファクト生成論理が生成される。元の画像に対して、または1つもしくは複数の他のアーチファクト生成論理によって劣化されている画像に対してIASSアーチファクト生成論理を適用することによって、特定のIASによって生成された焦点ずれ誤りをシミュレートする訓練データセットを生成することが可能である。さらに、これらの「シミュレートされた」焦点ずれ誤りは、1つまたは複数の他のアーチファクトタイプと組み合わされてもよく、それによって、特定の顕微鏡を使用して取得され得るアーチファクトの範囲を忠実に再現する訓練画像セットが生成される。
【００６６】
他の態様によれば、アーチファクト除去論理を生成するための方法は、複数の異なるIASタイプの各々について行われる。本方法は、上述の複数の異なる画像取得システム（IAS）の各々についてアーチファクト除去論理を生成するための方法と同様に行われ、違いは、同じタイプの複数のIASが較正画像プールを生成するために使用され、同じタイプのすべてのIASに単一のPSF（またはガウスフィルタ）であり、それによって、単一のPSF（またはガウスフィルタ）が、同じIASタイプのすべてのIASによって生成された平均雑音アーチファクトをシミュレートする（焦点不良）ように生成されることである。
【００６７】
結果として、特にこの特定のIASタイプによって生成された焦点不良アーチファクトを補正することができるIASタイプの各々について画像アーチファクト除去論理が生成されることになる。特定のIASタイプによって生成されるアーチファクトが忠実に再現され、特定のタイプのIASによって生成される焦点不良アーチファクトを補正できる雑音除去論理を自動的に生成するために使用され得るので、これは、顕微鏡システム、スライドスキャナ、または他の形態の画像取得システムの製造者にとって特に有利となり得る。
【００６８】
態様によれば、第1および/または第2の画像アーチファクト生成論理は、元の画像の各々において組織折り畳みアーチファクトを特に生成するように構成されており、組織折り畳みアーチファクトの生成は、
無作為に選択された線にわたって元の画像を切断することによって、元の画像の少なくとも2つの画像部分を生成する工程;
線に沿って少なくとも2つの画像部分を重ねる工程;および
重なりを、例えばアルファブレンディングを使用してマージする工程
を含む。
【００６９】
態様によれば、第1および/または第2の画像アーチファクト生成論理は、元の画像の各々に対してごま塩雑音関数を適用することによってスペックル雑音アーチファクトを特に生成するように構成される。
【００７０】
例えば、入力画像に対してごま塩雑音関数を適用する工程は、
入力画像内の画素ごとに、例えば0〜1の乱数値を生成すること、
ごま塩雑音閾値（例えば、スペックル雑音の影響を受けるべき画素の10％の確率に対して0.1）を指定すること、
入力画像内の画素ごとに、その画素について生成された乱数値がごま塩雑音閾値より小さいかどうかを判断すること
を含むことができ、
真（乱数値が閾値より小さい）の場合、画素は黒または白の画素で置換され、いくつかの態様では、置換工程は、必須の工程として行われ、他の態様では、置換工程は、所定の確率、例えば30％でのみ行われる。
【００７１】
前の工程で画素が黒または白の画素で置換された後、画素は、いくつかの例示的な実施態様では、より大きいサイズまで増大し、例えば、既定の半径範囲、例えば1〜5画素内の半径を無作為に選択し、置換された画素の周囲の半径内のすべての画素を置換画素の強度値と同じ強度値（黒または白）に設定することによって、画素を拡大することができる。
【００７２】
よって、様々なサイズの黒または白のスペックルを取得することができる。スペックルは、塵スペックル、（カメラの不良CCD素子によって生成された）不良画素、および画像で見られることのある他の形態のインパルス雑音を表す。この雑音は通常、まばらに発生する白と黒の画素として現れる画像信号中の鋭い突発的な外乱を特徴とする。最新技術の手法では雑音除去にメディアンフィルタまたはモルフォロジーフィルタを使用したが、この手法は、雑音をシミュレートする関数の使用と、スペックル雑音アーチファクトを自動的に除去するための元の画像とスペックル雑音画像とでの機械学習論理の訓練とに基づくものである。この手法は多くの場合、より正確でより汎用性があることが認められている。特に、雑音がシミュレートされる際に、異なる雑音アーチファクトタイプのあらゆる可能な組み合わせをカバーする大規模な訓練データセットを生成することができ、それによって、雑音アーチファクト生成の1つまたはそれ以上の時間的順序がカバーされ得る。例えば、カメラの光学系内の塵から生じる雑音スペックルは焦点ずれ誤りの影響を受けない可能性があるが、組織スライド上の塵から生じる雑音スペックルは焦点ずれ誤りの影響を受けることになる。
【００７３】
態様によれば、第1および/または第2の画像アーチファクト生成論理は、ラインアーチファクトを特に生成するように構成される。本明細書で使用される「ラインアーチファクト」とは、曲線または直線の形状を有する画像アーチファクトである。例えば、ラインアーチファクトは、布の繊維や組織スライドのカバースリップの下の気泡の輪郭によって生じ得る。ラインアーチファクトの生成は、無作為に生成された値を曲線パラメータとして使用して、複数の多項式曲線を生成する工程;および元の画像の各々において多項式曲線の座標に沿って黒い線を挿入する工程を含む。好ましくは、挿入される線の太さは、所与の倍率下で顕微鏡やスライドスキャナのようなIASによって取り込まれたデジタル画像においてラインアーチファクトを生じさせることが予期される対象物の典型的な線の太さを表す。前記対象物は、例えば、布の繊維、髪の毛、および/または気泡の輪郭であり得る。態様によれば、画像アーチファクト生成論理は、その長さ、太さ、および/または曲率が異なるタイプの対象物、例えば、髪の毛、気泡の輪郭、および/または布の繊維を表すラインアーチファクトを特に生成するように構成される。
【００７４】
例えば、髪の毛の典型的な幅は、0.05〜0.1mmである。10×のIASの倍率が与えられた場合、挿入される線の線の太さは、「髪の毛に関連した」ラインアーチファクトをシミュレートするには50〜100画素の範囲内である。いくつかの例では、多角形は0〜3°の曲率を有する。少なくとも限られたサイズ（例えば512×512画素）の劣化訓練画像を生成する場合、大部分のタイプの繊維形状のアーチファクトの曲率を忠実に再現するには小さい曲率で十分であることが認められている。
【００７５】
態様によれば、第1および/または第2の画像アーチファクト生成論理は、ステッチアーチファクトを特に生成するように構成される。ステッチアーチファクトの生成は、そのステッチアーチファクトが除去されるべきIAS（特にスライドスキャナ）を使用して空のスライドをスキャンする工程;一様な強度分布の画像に適用されると測定されたステッチ要素を生成する正方形フィルタを生成するために空のスライドのスキャン画像を自動的に解析する工程;正方形フィルタを実行可能プログラム論理に統合することによって、ステッチアーチファクト生成論理を生成する工程を含む。次いで生成されたステッチアーチファクト生成論理を、画像取得システムによって、または画像取得システムの特定のタイプによって典型的に生成されるステッチアーチファクトを生成するための第1または第2のアーチファクト生成論理として使用することができる。
【００７６】
他の態様によれば、多くの場合、特定のタイルの視野を横切る不均一な強度分布から生じる典型的な種類のステッチアーチファクトをシミュレートする2次元関数がその場限りで定義される。この2次元関数は次いで、元の画像に沿った不均一な平均強度を生成するために空のスライドの元の画像に適用される。例えば、ステッチアーチファクトを有する新しい劣化画像を生成するための関数の適用を、次式に従って行うことができる:
Z＝［C＋0.5＊（X/a-floor（X/a）＋Y/b-floor（Y/b））］/［1＋C］;
new＿image（新しい画像）＝original＿image（元の画像）＊Z
【００７７】
式中、Xは、0とimage＿width（画像幅）との間の値を有する画像幅座標であり、Yは、0とimage＿height（画像高さ）との間の値を有する画像高さ座標であり、aは、所望の（既定の）タイルアーチファクト幅であり、bは、所望の（既定の）タイルアーチファクト高さであり、Zは、幅a、高さbのタイルのグリッドからなる結果として得られる「タイルアーチファクト因数画像」であり、Cは、C/（1＋C）が元の画像の画素を乗算するための最低数量になるように選択された「最小暗さ因数」である。パラメータorig＿imageは、元のタイル化されていない画像であり、「new＿image」は、タイル化アーチファクトを有する出力画像である。
【００７８】
例えば、因数Cを、各グリッド要素の右下隅では、元の画像の画素強度に0.1の因数（Cは1/9である）が適用され、各グリッド要素の左上隅では、元の画像の画素強度にどんな追加強度も適用されない（因数1）ように選択することができる。
【００７９】
Cが「1」になるように選択された場合には、各グリッド要素の左上隅の画素は0.5＊元の画素値になるはずである。Cが「0」になるように選択された場合には、各グリッド要素の左上隅の画素は0になるはずである。他の態様では、XY軸定義が異なる場合があり、上記の式によって生じる勾配は反対方向に進む。
【００８０】
例えば、aとbeとを、使用される画像取得システムの仕様に従って選択することができる。Ventana HTScanシステムによる20×のスキャンでは、パラメータaは値1658を有し、パラメータbは値1152を有し得る。上記関数に従って生成されたステッチアーチファクトを含む人工的劣化画像が図9に描かれている。
【００８１】
本方法は、元の画像の劣化バージョンをそれぞれ取得するために元の画像の各々に対して正方形フィルタを適用する工程を含む。元の画像（または任意の他の形態の提供された入力画像）の劣化バージョンは、この特定のIASによって生成されたステッチアーチファクトを示すことになる。
【００８２】
例えば、入力画像に対する正方形フィルタの適用は、画像を観察されるステッチアーチファクトの幅と高さと等しい幅と高さの正方形に仮想的に分割する工程、および次いで、ステッチアーチファクトの正方形の画素の強度値を、正方形フィルタがマップされ、適用される入力画像の各正方形の画素強度で乗算する工程を含む。それによって、その正方形フィルタが生成されたIASまたはIASタイプのステッチ効果をシミュレートする破損し「劣化した」正方形のパターンが生成される。
【００８３】
態様によれば、第1および/または第2の画像アーチファクト生成論理は、非特異的染色アーチファクトを特に生成するように構成される。非特異的染色アーチファクトの生成は、
色固有のごま塩関数であるか、または残留染色のある領域を有する組織スライドの画像から導出された経験則である、色雑音関数を生成すること、
元の画像の各々に対して色雑音関数を適用し、それによって、元の画像の各々について、非特異的染色アーチファクトを有する劣化画像を生成すること
を含む群より選択される操作を行う工程を含む。
【００８４】
劣化した「事実上」非特異的に染色された訓練画像を有する訓練データセットを生成するための非特異的染色アーチファクトを自動的に生成し、前記訓練データセットでアーチファクト除去アルゴリズムを訓練することは、非特異的染色アーチファクトが、さらなる画像解析にとっての障害物を表す複雑な雑音パターンであることが多いので、有利となり得る。非特異的染色アーチファクトは、染色プロセスで洗い流されなかった染色染料によって作り出されたアーチファクトである。残りの染料は、その染料の特定の色の様々なサイズのパッチを作り出す。この誤りに使用される色は、組織染色プロセスで使用された染料に従って雑音除去される必要がある画像から収集される。
【００８５】
例えば、入力画像に対する色固有のごま塩関数の雑音関数の形態を有する色雑音関数の適用は、
入力画像内の画素ごとに、例えば0〜1の乱数値を生成する工程;
ごま塩雑音閾値（例えば、非特異的染色雑音の影響を受けるべき画素の10％の確率に対して0.1）を指定する工程;
入力画像内の画素ごとに、その画素に生成された乱数値がごま塩雑音閾値より小さいかどうかを判断する工程
を含み、
真（乱数値が閾値より小さい）の場合、画素は色固有のごま塩関数の特定の色の画素で置換され、この色は通常、そのためのそれぞれの画像アーチファクト訓練データセットが作成されるべきであり、その非特異的染色アーチファクトのためにそれぞれの染色固有のアーチファクト除去論理が作成される色であり、いくつかの態様では、置換工程は、必須の工程として行われ、他の態様では、置換工程は、所定の確率、例えば30％でのみ行われる。
【００８６】
他の例によれば、「パーリンノイズ生成器」の手法に基づくものである色雑音関数が生成され、非特異的染色雑音を含む劣化画像バージョンを生成するために使用される。パーリンノイズは、Ken Perlinによって開発された勾配雑音のタイプである（SIGGRAPH paper "An image Synthesizer", 1985。パーリンノイズ生成器は、映画の視覚効果のためにコンピュータ生成面上に自然に見えるテクスチャを作り出すために使用される技術である。パーリンノイズの開発により、コンピュータ・グラフィックス・アーティストが、映画産業用の視覚効果において自然現象の複雑さをより良く表現することが可能になった。驚くべきことに、パーリンノイズを特定の染料の非特異的染色アーチファクトを忠実に再現するためにも使用できることが認められている。
【００８７】
態様によれば、第1および/または第2の画像アーチファクト生成論理は、特定の画像取得システムによって生成される色相シフトアーチファクトを特に生成するように構成されており、本方法は、以下をさらに含む:
画像取得システムによって、空のスライドのデジタル画像を取り込む工程;
画像取得システムによって生成された色相シフトアーチファクトをシミュレートするように構成された色相シフトフィルタを自動的に生成するために空のスライドのデジタル画像を解析する工程;当然ながら、この工程と前の工程とは、色相シフトフィルタを生成するために使用される基礎データを改善するように空のスライドの多くのデジタル画像に対しても適用され得る;ならびに
色相シフトフィルタを入力画像に適用し、それによって入力画像の劣化バージョンを生成する工程。
【００８８】
これが有利となり得るのは、IAS機器固有の色収差および/または強度シフトおよび/または機器固有のぼやけ効果をソフトウェア論理で補正することができるからである。例えば、通常画像取得システムと組み合わせて提供されるソフトウェアプログラムは、この特定のIASのハードウェア構成要素によって作り出される特定の色相シフトおよびステッチ誤りを補正するようにそれぞれ適合されたステッチフィルタおよび色相シフトフィルタを含み得る。
【００８９】
態様によれば、画像アーチファクト生成論理は、画像取り込み機器固有のアーチファクトを作成するように適合される。本方法は、複数の画像取得システムを提供する工程;複数の画像取得システムの各々について、本明細書に記載される態様および例のいずれか1つに従って、それによって前記画像取得システムに固有であるところの第1の画像アーチファクト生成論理を作成する工程;前記画像取得システムによって、組織試料の複数の元の画像を取り込む工程;複数の元の画像の各々について、元の画像の各々に対して作成された画像取得固有の第1の画像アーチファクト生成論理を適用することによってそれぞれの第1の人工的劣化画像を生成する工程;前記画像取得システムによって取り込まれたデジタル組織画像からアーチファクトを除去するように構成された画像取得システム固有のプログラム論理を生成する工程であって、生成が、元の画像と元の画像のそれぞれ生成された第1の劣化画像とで第1のアーチファクト除去論理を符号化する第1の機械学習論理の未訓練バージョンを訓練することと、訓練された第1の機械学習論理を、画像取得システム固有のプログラム論理としてまたは前記プログラム論理の構成要素として返すこととを含む、工程を含む。
【００９０】
前記特徴は、特に生物医学的領域での画像解析のコンテキストにおいて有利となり得る。というのは、多くの場合、画像取得システムは、その構成要素が、特定の研究グループまたは実験室の必要および要求のために特に組立てられている高度に複雑なシステムだからである。例えば、複雑な顕微鏡システムまたはスライドスキャナシステムの構成要素は、異なる製造者から取得される場合があり、機能不全または旧式の部品の交換により一部の構成要素が他の構成要素よりも新しい場合があり、構成要素の組み合わせが、顕微鏡システムの代表者とそれぞれの作業グループとの間の広範で複雑な協議の結果である場合もある。多くの場合、特に生物医学的研究のコンテキストでは、複雑な画像取得システムの構成要素の組み合わせは固有である。よって、IAS固有のアーチファクト生成および除去のアルゴリズムの自動作成により、前記IASによって取得された画像に対して行われるすべてのさらなる画像解析工程の正確さが大幅に高まり得る。
【００９１】
さらなる局面では、本発明は、生物試料を描写するデジタル画像のためのデジタル病理学画像補正方法に関する。本方法は、アーチファクトを含む生物試料のデジタル画像を受け取る工程;アーチファクト補正画像を生成するために、受け取ったデジタル画像に対して、本発明の態様について本明細書に記載されるアーチファクト除去プログラム論理を生成するための方法に従って生成されたプログラム論理を適用する工程;およびアーチファクト補正画像を返す工程を含む。
【００９２】
さらなる局面では、本発明は、プロセッサによって実行されると、プロセッサに、本明細書に記載される態様のいずれか1つによる方法を行わせるコンピュータ解釈可能命令を含むコンピュータプログラムに関する。例えば、本コンピュータプログラムをデジタル揮発性または不揮発性記憶媒体上に格納することもでき、またはクラウド環境に格納し、ネットワークを介して1つまたは複数のクライアントに提供することもできる。
【００９３】
さらなる局面では、本発明は、記憶媒体とプロセッサとを含む画像解析システムに関する。記憶媒体は、各元の画像が組織を描写する複数の元の画像を含む。プロセッサは、デジタル組織画像からアーチファクトを除去するように構成されたプログラム論理を生成するように構成される。プロセッサは、元の画像の各々について、元の画像の各々に対して第1の画像アーチファクト生成論理を適用することによって第1の人工的劣化画像を生成する工程であって、第1の画像アーチファクト生成論理が第1のタイプのアーチファクトを特に生成するように構成されている、工程を含む方法を行うように構成され、プロセッサは、プログラム論理を生成するようにさらに構成され、生成は、元の画像と元の画像のそれぞれ生成された第1の劣化画像とで第1のアーチファクト除去論理を符号化する第1の機械学習論理の未訓練バージョンを訓練することと、訓練された第1の機械学習論理を、プログラム論理としてまたはプログラム論理の構成要素として返すこととを含む。
【００９４】
本明細書に記載されるアーチファクト生成論理のいずれも、一重劣化画像を取得するために元の画像に対して適用することができる。加えて、これらのアーチファクト生成論理を、1つまたは複数の他のアーチファクト生成論理によって出力されたすでに一重劣化または多重劣化した画像に対して適用することもできる。この場合、アーチファクト生成論理によって使用される入力画像は「元の画像」ではなく、「中間劣化画像」または「中間画像」とも呼ばれ得る元の画像の劣化バージョンである。
【００９５】
本明細書で使用される「元の画像」とは、画像取り込みシステムによって取得された画像またはその派生物である。例えば、元の画像は、明視野顕微鏡から取得されたRGB画像もしくはグレースケール画像であり得るか、または蛍光顕微鏡の特定のチャネルから取得されたグレースケール画像であり得る。また、その後単一チャネル画像に分解されるマルチチャネル画像でもあり得る。好ましくは、元の画像は、少なくとも標準的な画質、好ましくは良好な画質を有する画像である。好ましくは、元の画像は、アーチファクトが基本的にない、特に、後で元の画像に対してアーチファクト生成論理を適用することによって導入されるべきアーチファクトが基本的にないものであるべきである。
【００９６】
本明細書で使用される「オートエンコーダ」、「オートアソシエータ」、または「ディアボロ（Diabolo）ネットワーク」とは、その入力データサイズと出力データサイズとが等しいネットワークアーキテクチャである。例えば、入力画像は100×100画素の寸法のRGB画像であってもよく、この画像のためにオートエンコーダによって生成される出力も、100×100画素のサイズのRGB画像であり得る。オートエンコーダは、RN＝＞RNから関数を学習するように適合され、Nはそれぞれ入力画像と出力画像との画素の数である。オートエンコーダは、教師なし学習に使用される人工ニューラルネットワークであり得る。オートエンコーダは、典型的には次元削減の目的で、データセットの表現（符号化）を学習するように構成される。特に、オートエンコーダを、逆伝播を使用して恒等関数への近似を学習することによってデータの生成モデルを学習するように構成することができる。アーキテクチャ的には、オートエンコーダの最も単純な形態は、入力層と、出力層と、それらを接続する1つまたは複数の隠れ層とを有する多層パーセプトロン（MLP）に非常に類似したフィードフォワード非再帰型ニューラルネットワークであるが、出力層は入力層と同数のノードを有し、（入力Xが与えられた場合の目標値Yを予測するのではなく）それ自体の入力を再構築するという目的を有する。したがって、オートエンコーダは教師なし学習モデルである。オートエンコーダは、特に、雑音除去オートエンコーダであり得る。
【００９７】
本明細書で使用される「画像アーチファクト」または「アーチファクト」とは、組織、特に染色組織の画像に現れる光学的特徴またはパターンであり、組織試料の調製、固定もしくは染色時に、または組織試料のデジタル画像の画像取得時に発生した誤りまたは望ましくない事象の結果である。
【００９８】
本明細書で使用される「染色アーチファクト」とは、試料の調製、固定または染色時の誤りまたは望ましくない事象によって生じるアーチファクトである。染色アーチファクトは、不適切な固定、不適切なタイプの固定剤、不十分な脱水、不適切な試薬、不十分なミクロトーム切片化、不適切なタイプまたは濃度の染色剤、不適切な染色温度、不適切な染色時間、染色液の不適切なpHなどを含むいくつかの原因から生じ得る。
【００９９】
本明細書で使用される「スキャンアーチファクト」とは、画像取り込みプロセスの間の誤りまたは望ましくない事象によって生じるアーチファクトである。
【０１００】
本明細書で使用される「組織折り畳みアーチファクト」とは、組織試料の誤った生成から、または組織試料をスライドに載せる間に発生した誤りから生じる、それによって描写された組織が1つまたは複数の折り畳みを含むアーチファクトである。例えば、組織が洗浄され、パラフィンワックスで浸潤される前の脱水が不十分である場合に、組織がミクロトーム上で正しく切片化されず、切片に裂け目や穴が生じ得る。「組織折り畳みアーチファクト」はまた、組織がブレードの下面に付着した場合にも生成され得る。このタイプのアーチファクトは、組織を切断するために使用されるブレードが切れない場合および/または組織が脂肪組織の場合によく見られる。
【０１０１】
本明細書で使用される「ラインアーチファクト」とは、曲線もしくは直線の形状を有するか、または曲線もしくは直線の形状を有するセクションを含むアーチファクトである。例えば、組織試料中の気泡（特に気泡の輪郭）、髪の毛、および布または他の起源の繊維が、多くの場合、線の形態、例えば、気泡の場合には円形の線の形態を有する。カバースリップの下の気泡は、組織試料をスライド上に載せるために使用された媒質が薄すぎる場合に、媒質が乾燥して、カバースリップの下に空気が引き込まれることが原因で形成され得る。洗浄剤またはカバースリップ媒質の汚染によっても、顕微鏡下に気泡状のものが生成され得る。
【０１０２】
本明細書で使用される「炭粉沈着アーチファクト」とは、肺組織に炭粉沈着で見られる黒い着色を与える肺組織に沈着した微小炭素粒子が原因で誤って強く染色されて見える画像領域である。
【０１０３】
本明細書で使用される「非特異的染色アーチファクト」とは、染色プロセスで洗い流されなかった染色染料によって作り出された画像アーチファクトである。よって、非特異的染色アーチファクトは、特定の組織領域を選択的に染色することになっているが、組織の内側または外側の追加的な領域を染色していることが認められた著しい量の染色剤を含む組織領域または非組織領域を表す。残りの染料は、通常は組織固有のパターンも強度勾配も含まない染料の特定の色の様々なサイズのパッチを作り出す。いくつかの形態の「非特異的染色アーチファクト」も「残留染色アーチファクト」と呼ばれ得る。
【０１０４】
本明細書で使用される「色相シフトアーチファクト」とは、画像の、または画像のいくつかの領域のすべての画素の強度値が予期される画素強度から逸脱している画像アーチファクトである。例えば、色相シフトアーチファクトは、その右側よりも左側で感光性が高いセンサを含むIASの何らかの誤ったハードウェアによって生成され得る。ハードウェアIASのそのような再現可能な系統的な誤りは、本発明の態様によるロフトウェア（loftware）論理によって補正され得る。本明細書で使用される「点広がり関数（PSF）」とは、点光源または点物体に対する顕微鏡などのイメージングシステムの応答を記述する関数である。
【０１０５】
本明細書で使用される「フィルタ」とは、1つまたは複数の画像処理操作を指定するプログラム論理の関数である。例えば、フィルタは、入力画像内の画素のx座標とy座標とに応じて画素強度値を増減する関数を含み得る。
【０１０６】
本明細書で使用される「論理」とは、プロセッサによって実行されると、プロセッサに少なくとも1つの機能、例えば、入力画像からの特定のアーチファクトの除去を行わせる機械解釈可能命令セットである。
【０１０７】
本明細書で使用される「デジタル病理学方法」とは、デジタル病理学の分野で使用されるべき方法である。デジタル病理学は、デジタルスライドから生成された情報を管理できるコンピュータ技術によって可能になる画像ベースの情報環境である。デジタル病理学は、一部は仮想顕微鏡法によって可能とされ、仮想顕微鏡法は、スライドガラスを、コンピュータモニタ上で表示、管理、および解析できるデジタルスライドに変換する手法である。デジタル病理学の分野は、現在、癌およびその他の重要な疾患の一層適切で、迅速かつ安価な診断、予後および予測を達成するための診断医学の最も有望な手段のうちの一つと見なされている。
【図面の簡単な説明】
【０１０８】
以下で、本発明の態様を、例示にすぎないが、図面を参照としてさらに詳細に説明する。
【０１０９】
【図１】図1はアーチファクト除去論理を生成する方法の流れ図である。
【図２】図2は画像取得システムのブロック図である。
【図３】図3は組織折り畳みアーチファクトを有するデジタル組織画像である。
【図４】図4はスペックル雑音アーチファクトを有するデジタル組織画像である。
【図５】図5はラインアーチファクトを有するデジタル組織画像である。
【図６】図6はステッチアーチファクトを有するデジタル組織画像である。
【図７】図7は非特異的染色アーチファクトを有するデジタル組織画像である。
【図８】図8は焦点不良アーチファクトを有するデジタル組織画像である。
【図９】図9は画像取得システム固有のパラメータを用いて作成されたステッチアーチファクトを有するデジタル組織画像である。
【図１０】図10は「ナイーブ」ニューラル・ネットワーク・アーキテクチャのブロック図である。
【図１１】図11は「補助損失」ニューラル・ネットワーク・アーキテクチャのブロック図である。
【図１２】図12aは基本エンコーダユニットのブロック図である。図12bは残余エンコーダユニットのブロック図である。図12cは基本デコーダユニットのブロック図である。
【発明を実施するための形態】
【０１１０】
図1は、本発明の1つの例示的態様によるアーチファクト除去論理を生成する方法の流れ図である。この方法は、例えば、図2に描かれている本発明の別の態様による画像処理システムによって行われ得る。以下で、図1の方法を、図2を参照して説明する。
【０１１１】
図2に画像解析システム200を示す。このシステムは、1つまたは複数のプロセッサ228を備えたデータ処理システム202、例えば、標準デスクトップ・コンピュータシステム、ノートブック、タブレットコンピュータまたはサーバ・コンピュータ・システムを含む。画像解析システム200は、画像取得システム204、例えば、明視野顕微鏡や蛍光顕微鏡やスライドスキャナを含むかまたはこれに動作可能に結合されている。画像取得システムはカメラ212を含む。データ処理システム202は、カメラ212によって取り込まれた組織スライドのデジタル画像を受け取るためのインターフェースを含む。例えば、インターフェースは、ネットワーク接続、USBスティック、CD-ROMドライブなどであり得る。処理システム202は、複数の元の画像208を格納する不揮発性記憶媒体240を含む。元の画像は、カメラ212によって生成されたRGB画像またはグレースケール画像とすることができ、その解像度、コントラスト、色空間または他の特徴がカメラによって当初取り込まれた画像と異なり得る前処理画像とすることができる。以下、元の画像208は、明視野顕微鏡のカメラによって取り込まれたRGB画像であると仮定する。
【０１１２】
記憶媒体は、独立型ソフトウェアアプリケーションとしてそれぞれ実装され得る複数のアーチファクト生成論理230〜236をさらに含み得る。あるいは、アーチファクト生成論理230〜236は、単一のソフトウェアアプリケーションの構成要素として実装される。好ましくは、ユーザは、単一の特定のタイプのアーチファクトを含むか、またはアーチファクト生成の1つまたは複数の既定の時間的順序に従って生成された2つ以上のアーチファクトを含む劣化画像を生成するためのアーチファクト生成論理のうちの1つまたは複数を特に選択することができる。図2には、本明細書に記載されるアーチファクト生成論理のサブセットのみ、ステッチアーチファクト生成論理230、ラインアーチファクト生成論理232、スペックルアーチファクト生成論理234、および非特異的染色アーチファクト生成論理236が示されている。他の態様のデータ処理システムにはさらなるアーチファクト生成論理または本明細書に記載されるアーチファクト生成論理の別のサブセットが含まれ得る。態様および/またはアーチファクトのタイプに応じて、それぞれのアーチファクト生成論理を手動で、または「実際の」アーチファクトを含む組織画像に関する機械学習法に基づいて自動的に指定することができる。態様および/またはアーチファクトのタイプに応じて、アーチファクト生成論理を、特定のタイプのアーチファクトに1回指定することもでき、または特定のタイプの画像取得システム204に1回指定することもでき、または個別の画像取得システムに1回指定することもできる。例えば、特定の画像取得システムを介して較正画像を取得し、正方形フィルタまたは他の数学関数を、フィルタが較正画像（図示されていない）内で観察されたステッチパターンを忠実に再現するように適合させることによって、ステッチアーチファクト生成論理230を特定のタイプの顕微鏡について、または個別の顕微鏡システムについてさえも特に取得することができる。
【０１１３】
記憶媒体240に格納された異なるアーチファクト生成論理の数が多いほど、自動的に生成できるアーチファクトのタイプ数も多くなり、異なるタイプのアーチファクトの組み合わせ数も多くなり、元の画像208から自動的に生成できる訓練データセットも大きくなる。好ましくは、元の画像208は、基本的に画像アーチファクトがないか、または少なくとも基本的に、以下の工程でアーチファクト生成論理のうちの1つによって人工的に生成されることになるアーチファクトタイプの画像アーチファクトがない高品質画像である。
【０１１４】
第1の工程102で、画像解析システムは、元の画像208の各々に対して画像アーチファクト生成論理230、232、234、236のうちの1つを適用する。それによって、元の画像の各々について、人工的劣化画像が生成される。例えば、ステッチアーチファクト生成論理230が元の画像に対して適用される場合、結果として得られる劣化画像は、アーチファクト生成論理230によって元の画像の画素に追加され、重ね合わされ、乗算され、またはそれ以外に組み合わされたステッチパターンを示すことになる。態様に応じて、当初受け取った画像の劣化バージョンの生成を、画像取得システムによる画像取得の直後またはその最中に行うことができ、または画像が取得された何日も後に行うこともできる。
【０１１５】
元の画像の各々について、アーチファクト生成論理230〜236のうちの1つを適用することによってそれぞれの劣化画像を作成した後、元の画像208とそれぞれの（一重の）劣化画像210.Aとを含む訓練データセットが取得される。
【０１１６】
次いで、アーチファクト除去論理218が生成される。アーチファクト除去論理218の生成は、元の画像208と劣化画像210とでアーチファクト除去論理を符号化する機械学習論理を訓練する工程104、および工程106で訓練された機械学習論理218を返す工程を含む。
【０１１７】
例えば、訓練データセットが元の画像と、ステッチアーチファクト生成論理230によって生成された劣化画像からなる（任意の他のアーチファクトタイプを含む画像がない）場合、生成されたアーチファクト除去論理218は、アーチファクト除去論理220を介して、特定のカメラまたはカメラタイプのステッチアーチファクトを選択的に除去するように基本的に構成される。このアーチファクト除去論理は、ラインアーチファクト、スペックルアーチファクトなどを除去することはできない。訓練データセット210が他のアーチファクト生成論理232〜236によって生成された劣化画像をさらに含む場合、アーチファクト除去論理218は、情報が豊富化された訓練データセットで訓練され、複数の異なるタイプのアーチファクトを除去するように適合されることになる。好ましくは、それぞれのアーチファクト除去論理220〜226を生成するために使用される訓練データセットは、元の画像208のうちの特定の1つから特定の劣化画像を生成した特定のアーチファクト生成論理を記述するメタデータを含む。
【０１１８】
いくつかの態様では、アーチファクト除去論理218は、画像から特定の単一のアーチファクトタイプのアーチファクトをもっぱら選択的に除去するように構成される。図2に描かれた態様によれば、アーチファクト除去論理218は、画像から特定のタイプの画像アーチファクトを除去するようにそれぞれ訓練されかつ採用された複数の関数220、222、224、226を含む。
【０１１９】
いくつかの態様によれば、画像解析システム200は、元の画像の各々とアーチファクト生成論理230〜236とについて、それぞれの（一重の）劣化画像を生成するように構成される。元の画像と特定のアーチファクトタイプに関連した一重劣化画像とは、アーチファクトタイプ固有のアーチファクト除去論理を訓練するために使用される。いくつかの態様では、アーチファクト除去論理218は、多くの異なるアーチファクトタイプに関連する劣化画像を含む訓練データセットで訓練され、特定のアーチファクトタイプのアーチファクトを除去するためにそれぞれ学習した（ブラックボックスとして働き得る）サブ機能を含む単一の機械学習アーキテクチャである。
【０１２０】
他の態様では、アーチファクト除去論理220〜226の各々は、特定のタイプの画像アーチファクトを選択的に含む訓練データで機械学習論理の未訓練バージョンを訓練することによって生成される。生成され、訓練された機械学習論理220〜226は後で、ユーザが入力画像から複数の異なるタイプのアーチファクトを除去することを可能にする単一のソフトウェアアプリケーションに組み合わされる。
【０１２１】
好ましい態様によれば、アーチファクト生成論理230〜236は、一重劣化画像210.Aを生成するために元の画像に対して1回適用されるだけではない。むしろ、画像解析システムは、アーチファクト生成論理を順次に適用し、それによって、順序内のアーチファクト生成論理のいずれか1つによって出力された劣化画像が後続のアーチファクト生成論理によって入力として使用されるように構成することができる。例えば、ステッチアーチファクト生成論理230は、記憶媒体240から元の画像208を読み取り、ステッチアーチファクトを含む第1の中間画像を出力することができる。第1の中間画像は次いで、やはり別のアーチファクト生成論理によって入力として使用される第2の中間画像を生成するためにラインアーチファクト生成論理232によって入力として使用される。
【０１２２】
いくつかの態様では、マルチフォワード劣化画像210.Bを手動で生成するために適用されるアーチファクト生成論理の順序をユーザが指定し得る。好ましくは、ユーザは、アーチファクト生成操作の順序を、その順序が、染色および画像取得時に行われることが予期されるアーチファクト生成の「実際の」時間的順序を表すように指定する。他の態様では、画像解析システム200は、アーチファクト生成論理230〜236の所与のセットまたはサブセットについて、その方法アーチファクト生成論理を適用する連結可能な順序の多くまたは全部を自動的に決定する。次いで、元の画像208と多重劣化画像210.Bとを含む訓練データセットが生成され、それによって、多重劣化画像のうちの少なくとも一部は、アーチファクト生成論理の同じセットによって、ただし異なる時間的順序に基づいて作成されている。これが有益であり得るのは、アーチファクト生成の時間的順序は事例によって異なる可能性があり、アーチファクトタイプを適用する多くの異なる時間的順序を含む訓練データセットにより、アーチファクト除去論理218が画像からアーチファクトを除去する多くの異なる順序を「学習」することが可能になり得るからである。これが有益であり得るのは、特定の染色プロトコル、染色染料、染色組織に応じて、使用される画像取得システムでは、異なる時間的順序で異なるアーチファクトタイプが認められ、アーチファクト生成の「実際の/最も起こりそうな」順序が分からない場合があり、または事例によって異なり得るからである。高度に情報が豊富化された訓練データセットを自動的に生成することによって、本発明の態様は、デジタル病理学画像から多くの異なる時間順のアーチファクト除去方式に従って多くの異なるタイプのアーチファクトを正確に除去することができるアーチファクト除去論理の生成を可能にし得る。
【０１２３】
態様によれば、アーチファクト除去論理220〜226の各々は完全な畳み込みニューラルネットワークとして実装される。他の態様によれば、アーチファクト除去論理218の組み合わせが単一の完全な畳み込みニューラルネットワークとして実装される。
【０１２４】
いくつかの態様では、個別のまたはすべてのアーチファクトタイプについてのアーチファクト除去論理を学習するために用いられる機械学習論理は、例えば、Long, Jonathan, Evan Shelhamer, and Trevor Darrell. "Fully convolutional networks for semantic segmentation". Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015.に記載されているネットワークアーキテクチャを有するニューラルネットワークである。好ましくは、このネットワークは、エンドツーエンドで画素ごとに訓練された完全な畳み込みネットワークである。このネットワークは、AlexNet、VGG net、およびGoogLeNetなどの最新の分類ネットワークを完全な畳み込みネットワークに適合させることによって生成することができる。
【０１２５】
完全な畳み込みネットワークは、自動的に再構築画像を生成し、元の画像を再構築画像と比較し、その差が大きすぎる（例えば閾値を超える）場合には、再構築画像と元の画像との差が最小化されるようにモデルを修正するために画像の劣化バージョンに対してモデルベースのアーチファクト除去アルゴリズムを適用することによって、アーチファクトまたは特定のタイプをどのように除去するかを学習するように適合される。よって、機械学習論理は、画像から特定のタイプのアーチファクトを除去することができるモデルを「学習する」。
【０１２６】
いくつかの好ましい態様では、機械学習論理218、220、222、224、226は、本明細書に記載される雑音アーチファクトタイプに対応する少なくとも1つのタイプの雑音アーチファクトモデルを有する「雑音除去オートエンコーダ」として実装される。結果として、訓練された機械学習論理（「訓練された雑音除去エンコーダ」）は、入力画像からこの特定のタイプのアーチファクトを受信するように適合される。ネットワークアーキテクチャは、エンコーダおよびコーダ機構を備えたディープ畳み込みニューラルネットワークセットアップ、例えば、FCN-8s（Long, Jonathan, Evan Shelhamer, and Trevor Darrell. "Fully convolutional networks for semantic segmentation." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015に記載）や、Lovedeep Gondara, Simon Fraser University," Medical image denoising using convolutional denoising autoencoders, ArXiv preprint arXiv: 1608. 04667, 2016からなり得る。適切なネットワークアーキテクチャの別の例は、Unet（Ronneberger Olaf et al.: "U-Net: Convolutional Networks for Biomedical Image Segmentation", chapter in "Medical Image Computing and Computer-Assisted Intervention", MICCAI 2015:18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III", Springer International Publishing", ISBN＝"978-3-319-24574-4"）に提示されている。
【０１２７】
機械学習論理218、220〜226の訓練は、各人工的劣化画像をそれぞれの元の非劣化画像とともに入力して、オートエンコーダが「劣化」画像から元の画像を再現することを学習できるようにすることを含む。
【０１２８】
アーチファクト生成論理230〜236は、手動で指定されるか、または機械学習法に基づいて自動的もしくは半自動的に生成される。例えば、空のスライドの特定のIASのカメラによって撮影された1つまたは複数の画像から正方形フィルタを自動的に学習することによってステッチアーチファクト生成論理を取得することができる。これとは逆に、ごま塩雑音生成関数は、プログラマによって明示的に指定され得る。
【０１２９】
図3は「実際の」組織折り畳みアーチファクトを描写するデジタル組織画像である。このタイプの画像アーチファクトは多くの場合、組織切断時の切れ味の鈍いナイフの使用や、スライド載置時の取り扱い誤りの結果である。本発明のいくつかの態様によれば、画像の劣化バージョンを生成するために入力画像に人口的な組織折り畳みアーチファクトを自動的に付加するように構成された組織フォワードアーチファクト生成論理が提供される。組織折り畳みアーチファクトの生成は、元の画像を仮想的に切断して画像部分にし、画像部分を、切断線に沿って、例えば、約3〜10画素の重なりマージンで重なるように重ねることを含む。結果として得られる劣化画像は、「実際の」組織折り畳みアーチファクトを含む画像と非常に類似して見える。
【０１３０】
図4は、「実際の」スペックル雑音アーチファクトを有するデジタル組織画像である。スペックル雑音は多くの場合、カメラオブジェクト内や組織スライドのカバースライド上の塵によって引き起こされる。スペックル雑音はまた、カメラのセンサセル内の不良画素によっても生成され得る。いくつかの態様によれば、スペックルアーチファクト生成論理234は、ごま塩雑音関数を実施する。この関数は、デジタル病理学画像でよく認められるスペックル雑音を忠実に再現することができる。好ましくは、この関数は、スペックルの半径をランダム化する。
【０１３１】
図5は、気泡によって生じたラインアーチファクトを有するデジタル組織画像である。いくつかの態様によれば、ラインアーチファクト生成論理232は、異なる順番の多項式パラメータを無作為に選択して、そのパラメータに従った黒い線をデジタル画像内の気泡の縁の典型的な太さで生成するように構成される。
【０１３２】
図6は、ステッチアーチファクトを有するデジタル組織画像である。「ステッチアーチファクト」または「ステッチ雑音アーチファクト」とは、画像取得システム204の光学系または機構によって生成される画像アーチファクトであり、その場合の画像取得システムは特にスライドスキャナであり得る。態様によれば、ステッチアーチファクト生成論理230は、プログラム論理230によって受け取った任意の入力画像に対して適用される正方形フィルタを実施し、それによってシミュレートされたステッチアーチファクトを含む劣化画像を生成して返す。好ましくは、正方形フィルタは、特定の画像取得システムによって取得された空のスライドの画像を解析することによって実験的に取得される。正方形フィルタは、画像取得システムの観察されたステッチパターンを忠実に再現するように自動的に、または手動で適合される。次いで、自動的に生成されたステッチアーチファクト生成論理230において、複数の元の画像の各々について、特定の画像取得システムのシミュレートされたステッチアーチファクトを含むそれぞれの劣化画像を自動的に生成する。元の画像と劣化画像とは、特定の画像取得システムまたは画像取得システムのタイプによって生成されたステッチアーチファクトを選択的に除去することができる訓練およびアーチファクト除去論理220のための訓練データセットとして使用される。
【０１３３】
図7は、「実際の」非特異的染色アーチファクトを有するデジタル組織画像である。非特異的染色アーチファクトは、例えばプログラム論理236が、色固有のごま塩スペックル雑音生成関数を適用することによってシミュレートすることができ、その場合、この関数の色は、その非特異的染色アーチファクトがシミュレートされ、除去されるタイプの染色に対応する。例えば、画像取得システムのプログラム論理226は、元の画像208とプログラム論理236によって生成された人工的劣化画像とを含む訓練データセットから機械学習論理法に基づいて生成される。プログラム論理226は、デジタル病理学画像から特定の染色の非特異的な染色アーチファクトを選択的に除去するように構成される。
【０１３４】
図8は、顕微鏡焦点喪失の結果である「実際の」焦点不良アーチファクトを有するデジタル組織画像である。態様によれば、焦点不良雑音を含む劣化画像を、特定の画像取得システムの、例えば、特定の顕微鏡や顕微鏡タイプの点広がり関数（PSF）またはPSFのガウス近似をモデル化することによって自動的に作成することができる。
【０１３５】
図9に、画像取得システム固有のパラメータを用いて作成されたステッチアーチファクトを有するデジタル組織画像を示す。
【０１３６】
図10は、本発明の態様による機械学習論理として使用される「ナイーブ」ニューラル・ネットワーク・アーキテクチャのブロック図である。図示のネットワークアーキテクチャを、単一のアーチファクトタイプのアーチファクトの生成を学習するように訓練することができる。あるいは、このネットワークアーキテクチャを、既定の順序の異なるタイプのアーチファクトを生成するように訓練することもできる。加えて、または代替として、この図に描写されたネットワークアーキテクチャを、特定のアーチファクトタイプのアーチファクトを除去するように、または既定の順序で異なるタイプの複数のアーチファクトを除去するように訓練することもできる。ネットワークの複雑さを増減するためにより多くの層を挿入または除去することもできる。ネットワークの層を追加および除去し、基準データセットに対して訓練されたネットワークの正確さを試すことによって、最適な数の層を有するネットワークアーキテクチャを実験的に決定することができる。
【０１３７】
図11は、本発明のいくつかの他の態様において機械学習論理として使用される「補助損失」ニューラル・ネットワーク・アーキテクチャのブロック図である。図11に描かれたネットワークアーキテクチャは基本的に、図10に描かれたアーキテクチャと同じように、同じ目的で使用することができる。
【０１３８】
「ナイーブネットワーク」と「補助損失」ネットワークアーキテクチャの両方を、特定のアーチファクトタイプを作成および/または除去するよう学習するプログラム論理として使用することができる。「ナイーブネットワーク」と「補助損失」ネットワークアーキテクチャの両方を、アーチファクトの順序を作成および/または除去するよう学習するプログラム論理として使用することができる。しかしながら、「補助損失」ネットワークは、ネットワーク内の層のサブセットが、特定のアーチファクトタイプを生成または除去するための前記層のサブセットの訓練を遂行することを可能にし得る「教師」をそれ自体で割り当てているので、訓練プロセスのより厳しい制御を可能にする。
【０１３９】
図12aは、例えば、図10または図11に描かれたニューラルネットワークで使用される基本エンコーダユニットのブロック図である。基本エンコーダユニットは、バッチ正規化層が正規化層（正規化線形ユニット、ReLU）層に先行する正規化層の順序を形成する。
【０１４０】
図12bは、例えば、図10または図11に描かれたニューラルネットワークで使用される残余エンコーダユニットのブロック図である。基本エンコーダユニットは、ReLU層がバッチ正規化層に先行する正規化層の順序を形成する。
【０１４１】
図12cは、図12aに描かれたユニットのような同様のアーキテクチャを有する基本デコーダユニットのブロック図である。加えて、これはアンサンプリング層も含む。
【０１４２】
図12a〜図12cに描かれた各層は、ネットワークにおいて、例えば、図10および図11に描かれたネットワークのうちの1つにおいて機能を有する。例えば、畳み込み2Dは2D畳み込みフィルタを適用し、バッチ正規化は訓練時に勾配を正規化し、アップサンプリングは画像をより大きくし、プーリングは画像をダウンサンプリングする各層は、その値が訓練フェーズで学習（最適化）されるパラメータをそれぞれ含むことができる。
【図１】
2020535502.tif 000004
【図２】
2020535502.tif 000005
【図３】
2020535502.tif 000006
【図４】
2020535502.tif 000007
【図５】
2020535502.tif 000008
【図６】
2020535502.tif 000009
【図７】
2020535502.tif 000010
【図８】
2020535502.tif 000011
【図９】
2020535502.tif 000012
【図１０】
2020535502.tif 000013
【図１１】
2020535502.tif 000014
【図１２】
2020535502.tif 000015
【国際調査報告】
2020535502.tif 000016
2020535502.tif 000017
2020535502.tif 000018