(57)【要約】【課題】医療画像における異常の記述を生成して、患者の治療順序を判定する方法、コンピュータプログラム及びコンピューティング装置を提供する。【解決手段】学習されたニューラルネットワークによって、複数の画像記録のそれぞれから画像特徴を抽出し、学習されたニューラルネットワークによって、抽出された画像特徴に基づいて複数の画像記録のそれぞれに関連付けられた書面レポートを生成し、学習されたニューラルネットワークは、各文ベースで異常アノテーションを提供する文アノテーションモデルに基づく書面レポートを生成し、学習されたニューラルネットワークによって、各書面レポートに関連付けられた異常スコアを判定し、書面レポートを、各書面レポートに関連付けられた異常スコアに基づいて並べ替えられた順序で提供する。【選択図】図２
2020149682.tif 000002
【特許請求の範囲】
【請求項１】
複数の患者画像記録から医療画像をレビューして患者を治療するための治療順序を判定する方法であって、
学習されたニューラルネットワークによって、前記複数の画像記録のそれぞれから画像特徴を抽出すること、
前記学習されたニューラルネットワークによって、前記抽出された画像特徴に基づいて複数の画像記録のそれぞれに関連付けられた書面レポートを生成することであって、前記学習されたニューラルネットワークは、各文ベースで異常アノテーションを提供する文アノテーションモデルに基づいて前記書面レポートを生成する、書面レポートを生成すること、
前記学習されたニューラルネットワークによって、各書面レポートに関連付けられた異常スコアを判定すること、及び
前記書面レポートを、各書面レポートに関連付けられた異常スコアに基づいて並べ替えられた順序で提供すること、を含む方法。
【請求項２】
前記ニューラルネットワークは、テキストレポートに関連付けられた複数の患者画像記録を使用する学習プロセスによって学習され、前記学習プロセスは、
前記ニューラルネットワークによって、前記テキストレポートの個々の文に関連付けられた文単位の異常アノテーションを生成するために、文アノテーションモデルに基づいて各テキストレポートを分析すること、
前記ニューラルネットワークによって、前記各患者画像記録から画像特徴を抽出すること、及び
前記ニューラルネットワークによって、前記抽出された画像特徴を文単位の異常アノテーションを有する前記テキストレポートと関連付けることにより、画像レポート生成モデルを生成すること、を含む請求項１に記載の方法。
【請求項３】
前記複数の画像記録に関連付けられた前記書面レポートを生成することは、さらに
前記ニューラルネットワークによって抽出された前記画像特徴に基づいて、前記書面レポートの複数のトピックを判定すること、
前記判定された複数のトピックのそれぞれに関連付けられた書面文を生成すること、及び
前記生成された書面文を組み合わせて前記書面レポートを作成すること、を含む、請求項２に記載の方法。
【請求項４】
前記複数の判定されたトピックのそれぞれに関連付けられた前記書面文を生成することは、
前記画像レポート生成モデルと、前記文に関連付けられた前記判定されたトピックと、前記判定されたトピックに関連付けられた前記抽出された画像特徴とに基づいて、前記文の最初の単語を判定すること、及び
前記画像レポート生成モデルと、前記文に関連付けられた前記判定されたトピックと、前記判定されたトピックに関連付けられた前記抽出された画像特徴と、前記文の１つ又は複数の判定された最初の単語と、前記複数の後続の単語から予め判定された単語とに基づいて、前記文の前記複数の後続の単語を順に判定すること、を含む請求項３に記載の方法。
【請求項５】
前記複数の画像記録のそれぞれに関連付けられた前記書面レポートの各文を生成することは、さらに、前記生成された文の各単語に関連付けられた尤度確率に基づく文信頼スコアを判定することを含み、
前記書面レポートを生成することは、さらに、前記書面レポートの各文に関連付けられた前記判定された文信頼スコアに基づいて書面レポート信頼スコアを生成すること、を含む請求項４に記載の方法。
【請求項６】
正常の画像機能を示す複数の書面レポートを収集すること、
正常の画像機能を示す前記複数の書面レポートから正常の文パターンを抽出すること、
アノテーションが付与される書面レポートの各文を、前記抽出された正常の文パターンと比較すること、及び
前記抽出された正常の文パターンとの比較が閾値未満の類似度を示す前記書面レポートの各文に、異常としてアノテーションを付与すること、
により、前記文アノテーションモデルは異常な文に自動的にアノテーションを付与する、請求項２に記載の方法。
【請求項７】
アノテーションが付与される書面レポートの各文について、複数の事前定義された医療対象単語のうちの１つ又は複数と前記文の間の意味的類似性を判定すること、及び
前記複数の事前定義された医療対象単語のうちの１つ又は複数に意味的に類似すると判定される前記書面レポートにおける任意の文が異常であるとのアノテーションを付与すること、
により、前記文アノテーションモデルは異常な文に自動的にアノテーションを付与する、請求項２に記載の方法。
【請求項８】
正常又は異常が予めラベル付けされた複数の学習文を使用して、テキスト特徴と異常な文を示すラベルデータとの間の関連付けを作成するために前記ニューラルネットワークを学習すること、及び
対象文が正常か異常かを判断するために、前記学習されたニューラルネットワークを使用すること、
により、前記文アノテーションモデルは異常な文に自動的にアノテーションを付与する、請求項２に記載の方法。
【請求項９】
複数の患者画像記録から医療画像をレビューして患者を治療するための治療順序を判定する方法を実行するための命令をコンピュータに実行させるコンピュータプログラムであって、前記方法が、
学習されたニューラルネットワークによって、前記複数の画像記録のそれぞれから画像特徴を抽出すること、
前記学習されたニューラルネットワークによって、前記抽出された画像特徴に基づいて複数の画像記録のそれぞれに関連付けられた書面レポートを生成することであって、前記学習されたニューラルネットワークは、各文ベースで異常アノテーションを提供する文アノテーションモデルに基づいて前記書面レポートを生成する、書面レポートを生成すること、
前記学習されたニューラルネットワークによって、各書面レポートに関連付けられた異常スコアを判定すること、及び
前記書面レポートを、各書面レポートに関連付けられた異常スコアに基づいて並べ替えられた順序で提供すること、を含むコンピュータプログラム。
【請求項１０】
前記ニューラルネットワークは、テキストレポートに関連付けられた複数の患者画像記録を使用する学習プロセスによって学習され、前記学習プロセスは、
前記ニューラルネットワークによって、前記テキストレポートの個々の文に関連付けられた文単位の異常アノテーションを生成するために、文アノテーションモデルに基づいて各テキストレポートを分析すること、
前記ニューラルネットワークによって、前記各患者画像記録から画像特徴を抽出すること、及び
前記ニューラルネットワークによって、前記抽出された画像特徴を文単位の異常アノテーションを有する前記テキストレポートと関連付けることにより、画像レポート生成モデルを生成すること、を含む請求項９に記載のコンピュータプログラム。
【請求項１１】
前記複数の画像記録に関連付けられた前記書面レポートを生成することは、さらに
前記ニューラルネットワークによって抽出された前記画像特徴に基づいて、前記書面レポートの複数のトピックを判定すること、
前記判定された複数のトピックのそれぞれに関連付けられた書面文を生成すること、及び
前記生成された書面文を組み合わせて前記書面レポートを作成すること、を含む、請求項１０に記載のコンピュータプログラム。
【請求項１２】
前記複数の判定されたトピックのそれぞれに関連付けられた前記書面文を生成することは、
前記画像レポート生成モデルと、前記文に関連付けられた前記判定されたトピックと、前記判定されたトピックに関連付けられた前記抽出された画像特徴とに基づいて、前記文の最初の単語を判定すること、及び
前記画像レポート生成モデルと、前記文に関連付けられた前記判定されたトピックと、前記判定されたトピックに関連付けられた前記抽出された画像特徴と、前記文の１つ又は複数の判定された最初の単語と、前記複数の後続の単語から予め判定された単語とに基づいて、前記文の前記複数の後続の単語を順に判定すること、を含む請求項１１に記載のコンピュータプログラム。
【請求項１３】
前記複数の画像記録のそれぞれに関連付けられた前記書面レポートの各文を生成することは、さらに、前記生成された文の各単語に関連付けられた尤度確率に基づく文信頼スコアを判定することを含み、
前記書面レポートを生成することは、さらに、前記書面レポートの各文に関連付けられた前記判定された文信頼スコアに基づいて書面レポート信頼スコアを生成すること、を含む請求項１２に記載のコンピュータプログラム。
【請求項１４】
正常の画像機能を示す複数の書面レポートを収集すること、
正常の画像機能を示す前記複数の書面レポートから正常の文パターンを抽出すること、
アノテーションが付与される書面レポートの各文を、前記抽出された正常の文パターンと比較すること、及び
前記抽出された正常の文パターンとの比較が閾値未満の類似度を示す前記書面レポートの各文に、異常としてアノテーションを付与すること、
により、前記文アノテーションモデルは異常な文に自動的にアノテーションを付与する、請求項１０に記載のコンピュータプログラム。
【請求項１５】
アノテーションが付与される書面レポートの各文について、複数の事前定義された医療対象単語のうちの１つ又は複数と前記文の間の意味的類似性を判定すること、及び
前記複数の事前定義された医療対象単語のうちの１つ又は複数に意味的に類似すると判定される前記書面レポートにおける任意の文が異常であるとのアノテーションを付与すること、
により、前記文アノテーションモデルは異常な文に自動的にアノテーションを付与する、請求項１０に記載のコンピュータプログラム。
【請求項１６】
コンピューティング装置であって、
複数の患者画像記録を保存するメモリ記憶装置と、
前記メモリ記憶装置に通信可能に結合されたプロセッサであって、複数の患者画像記録から医療画像をレビューして患者を治療する治療順序を判定する方法を実行するように構成されている前記プロセッサとを備え、前記方法は、
学習されたニューラルネットワークによって、前記複数の画像記録のそれぞれから画像特徴を抽出すること、
前記学習されたニューラルネットワークによって、前記抽出された画像特徴に基づいて複数の画像記録のそれぞれに関連付けられた書面レポートを生成することであって、前記学習されたニューラルネットワークは、各文ベースで異常アノテーションを提供する文アノテーションモデルに基づいて前記書面レポートを生成する、書面レポートを生成すること、
前記学習されたニューラルネットワークによって、各書面レポートに関連付けられた異常スコアを判定すること、及び
前記書面レポートを、各書面レポートに関連付けられた異常スコアに基づいて並べ替えられた順序で提供すること、を含むコンピューティング装置。
【請求項１７】
前記ニューラルネットワークは、テキストレポートに関連付けられた複数の患者画像記録を使用する学習プロセスによって学習され、前記学習プロセスは、
前記ニューラルネットワークによって、前記テキストレポートの個々の文に関連付けられた文単位の異常アノテーションを生成するために、文アノテーションモデルに基づいて各テキストレポートを分析すること、
前記ニューラルネットワークによって、前記各患者画像記録から画像特徴を抽出すること、及び
前記ニューラルネットワークによって、前記抽出された画像特徴を文単位の異常アノテーションを有する前記テキストレポートと関連付けることにより、画像レポート生成モデルを生成すること、を含む請求項１６に記載のコンピューティング装置。
【請求項１８】
前記複数の画像記録に関連付けられた前記書面レポートを生成することは、さらに
前記ニューラルネットワークによって抽出された前記画像特徴に基づいて、前記書面レポートの複数のトピックを判定すること、
前記判定された複数のトピックのそれぞれに関連付けられた書面文を生成すること、及び
前記生成された書面文を組み合わせて前記書面レポートを作成することを含み、
前記複数の判定されたトピックのそれぞれに関連付けられた前記書面文を生成することは、
前記画像レポート生成モデルと、前記文に関連付けられた前記判定されたトピックと、前記判定されたトピックに関連付けられた前記抽出された画像特徴とに基づいて、前記文の最初の単語を判定すること、及び
前記画像レポート生成モデルと、前記文に関連付けられた前記判定されたトピックと、前記判定されたトピックに関連付けられた前記抽出された画像特徴と、前記文の１つ又は複数の判定された最初の単語と、前記複数の後続の単語から予め判定された単語とに基づいて、前記文の前記複数の後続の単語を順に判定すること、を含む請求項１７に記載のコンピューティング装置。
【請求項１９】
正常の画像機能を示す複数の書面レポートを収集すること、
正常の画像機能を示す前記複数の書面レポートから正常の文パターンを抽出すること、
アノテーションが付与される書面レポートの各文を、前記抽出された正常の文パターンと比較すること、及び
前記抽出された正常の文パターンとの比較が閾値未満の類似度を示す前記書面レポートの各文に、異常としてアノテーションを付与すること、
により、前記文アノテーションモデルは異常な文に自動的にアノテーションを付与する、請求項１７に記載のコンピューティング装置。
【請求項２０】
アノテーションが付与される書面レポートの各文について、複数の事前定義された医療対象単語のうちの１つ又は複数と前記文の間の意味的類似性を判定すること、及び
前記複数の事前定義された医療対象単語のうちの１つ又は複数に意味的に類似すると判定される前記書面レポートにおける任意の文が異常であるとのアノテーションを付与すること、
により、前記文アノテーションモデルは異常な文に自動的にアノテーションを付与する、請求項１７に記載のコンピューティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、テキスト記述の生成に関し、より具体的には、新しい医療画像における異常の記述に関するコンピュータ支援生成のための方法、コンピュータプログラム及びコンピューティング装置に関する。
【背景技術】
【０００２】
手入力により医療画像、特に複数の文章を記述したレポートを作成するには時間がかかり、専門知識が必要になる場合がある。医療専門家の限られた労働力とその増加する作業負荷により、関連技術の機械支援画像レポート生成方法及びシステムが近年開発されている。例えば、関連技術のアプローチは、胸部Ｘ線画像用の複数の文の記述の生成をエクスポートする。ただし、これらの関連技術のアプローチでは、記述内のすべての単語がモデルの最適化に等しく重要であると想定している。これは、レポート内の特定の文、特に医学的異常に関する文が、他の文よりも注目に値することがある医療レポートには適切に適用されないため、より高い精度が必要である。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】VINYALS, O. et al., "Show and Tell: A Neural Image Caption Generator", 2015 IEEE Conference on Computer Vision and Pattern Recognition, 2015, 9 pages
【非特許文献２】KRAUSE, J. et al., "A Hierarchical Approach for Generating Descriptive Image Paragraphs", 2017 IEEE Conference on Computer Vision and Pattern Recognition, 2017, 9 pages
【非特許文献３】WANG, X. et al., "TieNet: Text-Image Embedding Network for Common Thorax Disease Classification and Reporting in Chest X-rays ", 2018 IEEE Conference on Computer Vision and Pattern Recognition, 2018, 10 pages
【非特許文献４】JING, B. et al., "On the Automatic Generation of Medical Imaging Reports", Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, July 15-20, 2018, 10 pages, Melbourne, Australia
【非特許文献５】KOHLI, R, "Indiana University Chest X-ray Collection", https://openi.nlm.nih.gov/detailedresult?img=CXR1261_IM-0177-1001&query=Mild%20cardiomegaly.%20Normal%20pulmonary%20vascularity.&it=xg&req=4&npos=1; 2013 (Accessed 3-14-2019); 1 page
【非特許文献６】Wang, X. et al., "ChestX-ray8: Hospital-scale Chest X-ray Database and Benchmarks on Weakly-Supervised Classification and Localization of Common Thorax Diseases", 2017 IEEE Conference on Computer Vision and Pattern Recognition, 2017 (Accessed 3-14-2019); 10 pages
【非特許文献７】KOHLI, R, "Indiana University Chest X-ray Collection", https://openi.nlm.nih.gov/detailedresult?img=CXR1900_IM-0584-2001&query=stable%20appearance%20of%20the%20chest.%20no%20acute%20process&it=xg&req=4&npos=2; 2013 (Accessed 3-14-2019); 1 page
【非特許文献８】KOHLI, R, "Indiana University Chest X-ray Collection", https://openi.nlm.nih.gov/detailedresult?img=CXR1246_IM-0167-2001&query=No%20acute%20findings.%20Cardiac%20and%20mediastinal%20contours%20are%20within%20normal%20limits.%20Prior%20granulomatous&it=xg&req=4&npos=10; 2013 (Accessed 3-14-2019); 1 page
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示の技術は、医療画像における異常の記述を生成して、患者の治療順序を判定する方法、コンピュータプログラム及びコンピューティング装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本開示の第１の態様は、複数の患者画像記録から医療画像をレビューして患者を治療するための治療順序を判定する方法を含んでもよい。方法は、学習されたニューラルネットワークによって、複数の画像記録のそれぞれから画像特徴を抽出すること、学習されたニューラルネットワークによって、抽出された画像特徴に基づいて複数の画像記録のそれぞれに関連付けられた書面レポートを生成すること、学習されたニューラルネットワークは、各文ベースで異常アノテーション（annotation）を提供する文アノテーションモデルに基づく書面レポートを生成すること、学習されたニューラルネットワークによって、各書面レポートに関連付けられた異常スコアを判定すること、及び書面レポートを、各書面レポートに関連付けられた異常スコアに基づいて並べ替えられた順序で提供することを含んでもよい。
【０００６】
本開示の第２の態様は、第１の態様において、ニューラルネットワークは、テキストレポートに関連付けられた複数の患者画像記録を使用する学習プロセスによって学習され、学習プロセスは、ニューラルネットワークによって、テキストレポートの個々の文に関連付けられた文単位の異常アノテーションを生成するために、文アノテーションモデルに基づいて各テキストレポートを分析すること、ニューラルネットワークによって、各患者画像記録から画像特徴を抽出すること、及びニューラルネットワークによって、抽出された画像特徴を文単位の異常アノテーションを有するテキストレポートと関連付けることにより、画像レポート生成モデルを生成すること、を含む。
【０００７】
本開示の第３の態様は、第２の態様において、複数の画像記録に関連付けられた書面レポートを生成することは、さらにニューラルネットワークによって抽出された画像特徴に基づいて、書面レポートの複数のトピックを判定すること、判定された複数のトピックのそれぞれに関連付けられた書面文を生成すること、及び生成された書面文を組み合わせて書面レポートを作成することを含む。
【０００８】
本開示の第４の態様は、第３の態様において、複数の判定されたトピックのそれぞれに関連付けられた書面文を生成することは、画像レポート生成モデルと、文に関連付けられた判定されたトピックと、判定されたトピックに関連付けられた抽出された画像特徴とに基づいて、文の最初の単語を判定すること、及び画像レポート生成モデルと、文に関連付けられた判定されたトピックと、判定されたトピックに関連付けられた抽出された画像特徴と、文の１つ又は複数の判定された最初の単語と、複数の後続の単語から予め判定された単語とに基づいて、文の複数の後続の単語を順に判定することを含む。
【０００９】
本開示の第５の態様は、第４の態様において、複数の画像記録のそれぞれに関連付けられた書面レポートの各文を生成することは、さらに、生成された文の各単語に関連付けられた尤度確率に基づく文信頼スコアを判定することを含み、書面レポートを生成することは、さらに、書面レポートの各文に関連付けられた判定された文信頼スコアに基づいて書面レポート信頼スコアを生成することを含む。
【００１０】
本開示の第６の態様は、第２の態様において、正常の画像機能を示す複数の書面レポートを収集すること、正常の画像機能を示す複数の書面レポートから正常の文パターンを抽出すること、アノテーションが付与される書面レポートの各文を、抽出された正常の文パターンと比較すること、及び抽出された正常の文パターンとの比較が閾値未満の類似度を示す書面レポートの各文に、異常としてアノテーションを付与すること、により、文アノテーションモデルは異常な文に自動的にアノテーションを付与する。
【００１１】
本開示の第７の態様は、第２の態様において、アノテーションが付与される書面レポートの各文について、複数の事前定義された医療対象単語のうちの１つ又は複数と文の間の意味的類似性を判定すること、及び複数の事前定義された医療対象単語のうちの１つ又は複数に意味的に類似すると判定される書面レポートにおける任意の文が異常であるとのアノテーションを付与すること、により、文アノテーションモデルは異常な文に自動的にアノテーションを付与する。
【００１２】
本開示の第８の態様は、第２の態様において、正常又は異常が予めラベル付けされた複数の学習文を使用して、テキスト特徴と異常な文を示すラベルデータとの間の関連付けを作成するためにニューラルネットワークを学習すること、及び対象文が正常か異常かを判断するために、学習されたニューラルネットワークを使用すること、により、文アノテーションモデルは異常な文に自動的にアノテーションを付与する。
【００１３】
本開示の第９の態様は、複数の患者画像記録から医療画像をレビューして患者を治療するための治療順序を判定する方法を実行するための命令をコンピュータに実行させるコンピュータプログラムを含んでもよい。方法は、学習されたニューラルネットワークによって、複数の画像記録のそれぞれから画像特徴を抽出し、学習されたニューラルネットワークによって、抽出された画像特徴に基づいて複数の画像記録のそれぞれに関連付けられた書面レポートを生成し、学習されたニューラルネットワークは、各文ベースで異常アノテーションを提供する文アノテーションモデルに基づく書面レポートを生成し、学習されたニューラルネットワークによって、各書面レポートに関連付けられた異常スコアを判定し、書面レポートを、各書面レポートに関連付けられた異常スコアに基づいて並べ替えられた順序で提供することを含んでもよい。
【００１４】
本開示の第１０の態様は、第９の態様において、ニューラルネットワークは、テキストレポートに関連付けられた複数の患者画像記録を使用する学習プロセスによって学習され、学習プロセスは、ニューラルネットワークによって、テキストレポートの個々の文に関連付けられた文単位の異常アノテーションを生成するために、文アノテーションモデルに基づいて各テキストレポートを分析すること、ニューラルネットワークによって、各患者画像記録から画像特徴を抽出すること、及びニューラルネットワークによって、抽出された画像特徴を文単位の異常アノテーションを有するテキストレポートと関連付けることにより、画像レポート生成モデルを生成することを含む。
【００１５】
本開示の第１１の態様は、第１０の態様において、複数の画像記録に関連付けられた書面レポートを生成することは、さらにニューラルネットワークによって抽出された画像特徴に基づいて、書面レポートの複数のトピックを判定すること、判定された複数のトピックのそれぞれに関連付けられた書面文を生成すること、及び生成された書面文を組み合わせて書面レポートを作成することを含む。
【００１６】
本開示の第１２の態様は、第１１の態様において、複数の判定されたトピックのそれぞれに関連付けられた書面文を生成することは、画像レポート生成モデルと、文に関連付けられた判定されたトピックと、判定されたトピックに関連付けられた抽出された画像特徴とに基づいて、文の最初の単語を判定すること、及び画像レポート生成モデルと、文に関連付けられた判定されたトピックと、判定されたトピックに関連付けられた抽出された画像特徴と、文の１つ又は複数の判定された最初の単語と、複数の後続の単語から予め判定された単語とに基づいて、文の複数の後続の単語を順に判定することを含む。
【００１７】
本開示の第１３の態様は、第１２の態様において、複数の画像記録のそれぞれに関連付けられた書面レポートの各文を生成することは、さらに、生成された文の各単語に関連付けられた尤度確率に基づく文信頼スコアを判定することを含み、書面レポートを生成することは、さらに、書面レポートの各文に関連付けられた判定された文信頼スコアに基づいて書面レポート信頼スコアを生成することを含む。
【００１８】
本開示の第１４の態様は、第１０の態様において、正常の画像機能を示す複数の書面レポートを収集すること、正常の画像機能を示す複数の書面レポートから正常の文パターンを抽出すること、アノテーションが付与される書面レポートの各文を、抽出された正常の文パターンと比較すること、及び抽出された正常の文パターンとの比較が閾値未満の類似度を示す書面レポートの各文に、異常としてアノテーションを付与すること、により、文アノテーションモデルは異常な文に自動的にアノテーションを付与する。
【００１９】
本開示の第１５の態様は、第１０の態様において、アノテーションが付与される書面レポートの各文について、複数の事前定義された医療対象単語のうちの１つ又は複数と文の間の意味的類似性を判定すること、及び複数の事前定義された医療対象単語のうちの１つ又は複数に意味的に類似すると判定される書面レポートにおける任意の文が異常であるとのアノテーションを付与すること、により、文アノテーションモデルは異常な文に自動的にアノテーションを付与する。
【００２０】
本開示の第１６の態様は、複数の患者画像記録を保存するメモリ記憶装置と、メモリ記憶装置に通信可能に結合されたプロセッサを備えるコンピューティング装置を含んでもよい。プロセッサは、複数の特許画像記録の治療順序を判定する方法を行うように構成されてよい。方法は、学習されたニューラルネットワークによって、複数の画像記録のそれぞれから画像特徴を抽出し、学習されたニューラルネットワークによって、抽出された画像特徴に基づいて複数の画像記録のそれぞれに関連付けられた書面レポートを生成し、学習されたニューラルネットワークは、各文ベースで異常アノテーションを提供する文アノテーションモデルに基づく書面レポートを生成し、学習されたニューラルネットワークによって、各書面レポートに関連付けられた異常スコアを判定し、書面レポートを、各書面レポートに関連付けられた異常スコアに基づいて並べ替えられた順序で提供することを含んでもよい。
【００２１】
本開示の第１７の態様は、第１６の態様において、ニューラルネットワークは、テキストレポートに関連付けられた複数の患者画像記録を使用する学習プロセスによって学習され、学習プロセスは、ニューラルネットワークによって、テキストレポートの個々の文に関連付けられた文単位の異常アノテーションを生成するために、文アノテーションモデルに基づいて各テキストレポートを分析すること、ニューラルネットワークによって、各患者画像記録から画像特徴を抽出すること、及びニューラルネットワークによって、抽出された画像特徴を文単位の異常アノテーションを有するテキストレポートと関連付けることにより、画像レポート生成モデルを生成することを含む。
【００２２】
本開示の第１８の態様は、第１７の態様において、複数の画像記録に関連付けられた書面レポートを生成することは、さらにニューラルネットワークによって抽出された画像特徴に基づいて、書面レポートの複数のトピックを判定すること、判定された複数のトピックのそれぞれに関連付けられた書面文を生成すること、及び
生成された書面文を組み合わせて書面レポートを作成することを含み、複数の判定されたトピックのそれぞれに関連付けられた書面文を生成することは、画像レポート生成モデルと、文に関連付けられた判定されたトピックと、判定されたトピックに関連付けられた抽出された画像特徴とに基づいて、文の最初の単語を判定すること、及び画像レポート生成モデルと、文に関連付けられた判定されたトピックと、判定されたトピックに関連付けられた抽出された画像特徴と、文の１つ又は複数の判定された最初の単語と、複数の後続の単語から予め判定された単語とに基づいて、文の複数の後続の単語を順に判定することを含む。
【００２３】
本開示の第１９の態様は、第１７の態様において、正常の画像機能を示す複数の書面レポートを収集すること、正常の画像機能を示す複数の書面レポートから正常の文パターンを抽出すること、アノテーションが付与される書面レポートの各文を、抽出された正常の文パターンと比較すること、及び抽出された正常の文パターンとの比較が閾値未満の類似度を示す書面レポートの各文に異常としてアノテーションを付与すること、により、文アノテーションモデルは異常な文に自動的にアノテーションを付与する。
【００２４】
本開示の第２０の態様は、第１７の態様において、アノテーションが付与される書面レポートの各文について、複数の事前定義された医療対象単語のうちの１つ又は複数と文の間の意味的類似性を判定すること、及び複数の事前定義された医療対象単語のうちの１つ又は複数に意味的に類似すると判定される書面レポートにおける任意の文が異常であるとのアノテーションを付与すること、により、文アノテーションモデルは異常な文に自動的にアノテーションを付与する。
【００２５】
本願の第２１の態様は、複数の患者画像記録を記憶する手段と、学習されたニューラルネットワークによって、複数の画像記録のそれぞれから画像特徴を抽出する手段と、学習されたニューラルネットワークによって、抽出された画像特徴に基づいて複数の画像記録のそれぞれに関連付けられた書面レポートを生成し、学習されたニューラルネットワークは、各文ベースで異常アノテーションを提供する文アノテーションモデルに基づく書面レポートを生成する手段と、学習されたニューラルネットワークによって、各書面レポートに関連付けられた異常スコアを判定する手段と、書面レポートを、各書面レポートに関連付けられた異常スコアに基づいて並べ替えられた順序で提供する手段を含むコンピューティング装置を含んでもよい。
【図面の簡単な説明】
【００２６】
【図１】本開示の例示的実施形態により医療レポートが生成されてもよい、診断用医療画像及び関連付けられたテキスト記述を示す図である。
【００２７】
【図２】本開示の例示的実施形態による医療レポート生成システムの概略図である。
【図３】本開示の例示的実施形態による医療レポート生成システムの概略図である。
【００２８】
【図４（ａ）】本開示の例示的実施形態による異常な文に自動的にアノテーションを付与するための様々なアプローチを示す図である。
【図４（ｂ）】本開示の例示的実施形態による異常な文に自動的にアノテーションを付与するための様々なアプローチを示す図である。
【００２９】
【図５】本開示の例示的実施形態による入力Ｘ線画像に対して生成されたテキストレポートの例を示す図である。
【図６】本開示の例示的実施形態による入力Ｘ線画像に対して生成されたテキストレポートの例を示す図である。
【００３０】
【図７】本開示の例示的実施形態での使用に適した例示的なコンピュータ装置を備えた例示的なコンピューティング環境を示す図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照して本開示の技術の例示的実施形態について説明する。図の間の冗長な要素の参照番号及び説明は、明確性のために省略される。説明全体で使用される用語は、例として提供されており、限定的に意図されたものではない。例えば、「自動」という用語の使用は、本開示の技術を実施する当業者が所望する詳細な実装に応じて、実装の特定の形態に対するユーザ又はオペレーターの制御を含む、全自動又は半自動の実装を含み得る。さらに、「第１」、「第２」及び「第３」などの順序の用語は、単にラベル付けの目的で説明及び特許請求の範囲で使用されてもよく、説明された順番で説明された動作又は項目が発生することを意味するように限定されるべきではない。動作又は項目は、本開示の範囲を逸脱することなく、異なる順序で並べられたり、並行して又は動的に実行されたりしてもよい。
【００３２】
本開示において、コンピュータ可読媒体という用語は、ローカル記憶装置、クラウドベースの記憶装置、遠隔配置されたサーバー、又は当業者にとって明らかであり得る他の記憶装置を含んでよい。
【００３３】
上述したように、一般的な画像キャプション付けタスクは、通常、モデルの最適化のために、記述内の単語を等しく重要と見なす。これは、レポート内の特定の文、特に医学的異常に関する文が、他の文よりも注目に値し、かつ高い精度を必要とすることがある医療レポートには適切に適用されない。この状況に対処するために、本開示の例示的実施形態においては、レポート生成モデルを学習するために、文レベルで医学的異常の知識を統合できるシステムについて説明する。さらに、医学的異常を記述する文を特定するための少なくとも２つのアプローチが示されており、教師データのラベル付けの負担をさらに軽減する。
【００３４】
タイムリーな診断情報が患者と医師との双方にとって重要である可能性があるため、医療画像レポートの準備に要する時間を改善することは、医療分野における研究及び産業において重要なトピックであると認識されている。患者が増え続ける状況において、機械支援診断の使用は、医療専門家の作業負荷を軽減することができる。しかしながら、この分野の関連技術は、生成されたアノテーションが通常コンパクトな医学用語又は短いフレーズのタグである疾患の分類に注力している。しかしながら、医療画像レポートには、診断を説明するタグよりも多くの内容が含まれる場合がある。例えば、画像に示されている生体構造の複数文の自然言語記述が、医療レポート所見に含まれる場合がある。
【００３５】
複数文の記述を生成するために、画像キャプション用の関連技術アプローチが、近年、医療画像レポートの生成に採用されている。しかしながら、医療画像レポートの生成は、一般的な画像キャプションタスクとは異なる。これは、一般的な画像キャプションタスクにおいては、モデルを最適化するために、記述内の単語が概ね均等に重要であるためである。しかしながら、医療レポートの特定の文は、他の文よりも注目に値する場合がある。例えば、正常な生体構造の記述は、医学的異常の記述よりも重要度が低いことが多い。
【００３６】
図１は、本開示の例示的実施形態に従って医療レポートが生成されてもよい、診断用医療画像１００及び関連付けられたテキスト記述１０５を示す図である。医療画像１００は、非特許文献５に記載されたＵＲＬにおいて、ＮＩＨクリニカル・センター・レポジトリから取得可能であり、非特許文献６において議論されている。図示されているように、関連するテキスト記述１０５は、複数の節１１０、１１５、１２０、１２５を含む。しかし、これらの節の２つは、正常な生体構造を説明する節１２５又は潜在的な異常構造がないことを説明する節１２０である。したがって、４つの節１１０、１１５、１２０、１２５のうち、２つの節１１０、１１５のみが異常な構造を記述するが、これらの異常な構造の記述は、正常な生体構造を説明する節１２５又は潜在的な異常構造がないことを説明する節１２０よりも、診断上の関連性が高い。
【００３７】
自動レポート生成システムの学習用に収集された医療画像レポートのコーパス（corpus）には、診断上の関連性が低い記述がかなり含まれる（例えば、節１２５のような正常な生体構造の記述、又は節１２０のような異常な構造がないことを示す記述）。そのような教師データを使用する場合、特に異常の記述が教師データの大部分ではない場合、すべての単語の損失を最適化すると、異常に関する文又は節の損失が反映されない場合がある。ある関連技術の研究においては、教師データを使用すると、「わずかな文だけが異常に関するものである…それ（学習済みのモデル）は正常な文を生成して高いスコアを簡単に得ることができる」ことを述べている。
【００３８】
開発されるレポート生成モデルが異常な記述を無視することを学習しないようにするために、本開示の例示的実施形態は、異常な文についてのアノテーションを開発モデルに統合してもよい。教師データ内のレポートの文に重み係数を明示的又は暗黙的に割り当てるか、教師データ内のレポートの文に異なる言語モデルを割り当てるために、これらのアノテーションを使用してもよい。さらに、いくつかの例示的実施形態では、異常アノテーションは人によってラベル付けされるか、自動的に特定されてもよい。本明細書に記載されている例示的実施形態では、潜在的なラベリング作業の負担を示すように異常に関する文を特定するために、少なくとも２つのアプローチが示されている。
【００３９】
さらに、いくつかの例示的実施形態においては、信頼度スコアに応じて医師検討の様々な実施の提案を提供するために、予測スコアと組み合わせて生成されたレポートに、異常特定アプローチを適用してもよい。例えば、誤った又は不正確な診断の可能性を低減するために、低い予測信頼度スコアに関連付けられた異常の程度が高いことを示すレポートに、診断画像の複数のレビュー担当者を割り当ててもよい。
【００４０】
図２及び図３は、本開示の例示的実施形態による医療レポート生成システム２００の概略図である。図２には、学習段階におけるシステム２００が示され、図３には、テスト段階におけるシステム２００が示される。図２に示すように、学習段階には、テスト段階で実行されるすべてのアクションに加えて、学習段階でのみ実行される追加のアクションが含まれる。学習段階の間、医療画像のコーパスの教師データに含まれる各医療画像及びレポート２１５において、教師データの各画像２３５は、各画像２３５の複数文の記述を含むテキストレポート２２０と関連付けられている。医療画像のコーパス及びレポート２１５には、画像及び関連するレポートの双方を含む教師データ、並びに画像のみを含むテストデータが含まれてもよい。
【００４１】
さらに、学習段階では、文アノテーション２２５において、人及びニューラルネットワーク、もしくは人の行為と半自動アノテーションモデル（例えば、人による承認のための提案を提供する自動化されたワークフローモデル）との組み合わせ、又はその組み合わせによって、各テキストレポート２２０の異常な文章が特定され、かつアノテーションが付与される。文アノテーション２２５は、文単位の異常アノテーション２３０を組み込んだテキストレポートを生成する。
【００４２】
ニューラルネットワークを使用して文単位で教師データにアノテーションを付与することにより、正常な構造を記述する文と比較して、そのような文が診断上より重要であることが多いため、異常を表す文に対してより大きな重みを与えることができる。
【００４３】
あるいは、ニューラルネットワークを使用して文単位で教師データにアノテーションを付与することにより、そのアノテーションに基づいた文に適切な言語モデルを割り当ててもよい。これにより、異常を表す文が正常な構造を記述する文によって影響されることを回避することができる。
【００４４】
学習段階中に並行して、テキストレポート２２０と関連する画像２３５は、ニューラルネットワークにおける画像特徴抽出モデル２４０に入力され、画像コンテンツの特徴表現を抽出するために、画像特徴抽出モデル２４０を学習する。画像特徴抽出モデル２４０は生体構造を認識し、正常な構造と異常な構造とを区別するために、医療画像内の生体構造の形状、テクスチャ、又は他の形態を検出するように、オブジェクト認識技術を使用してもよい。画像特徴抽出モデル２４０によって使用されるオブジェクト認識技術は、当業者に明らかであり得る任意のオブジェクト認識技術であってもよい。
【００４５】
画像特徴抽出モデル２４０が画像２３５の画像コンテンツの特徴表現を抽出した後、ニューラルネットワークにおけるテキスト生成モデル２４５は、画像２３５の画像コンテンツの抽出された特徴表現及びテキストレポート２５０を生成するために、テキスト生成モデル２４５の事前に予測された単語を考慮することにより、テキストレポート２２０の文中の単語を順次予測するように学習される。テキスト生成モデル２４５の学習中に、最適化損失は、単語予測の損失及び文アノテーションに従って計算されてもよい。なお、アノテーションは、生成された文が文アノテーションモデル２２５によって提供された文単位の異常アノテーションに基づく医学的異常を記述している可能性に基づいて決定される。
【００４６】
いくつかの例示的実施形態においては、テキストレポートを生成するために、ニューラルネットワークにおける階層テキスト生成モデルを使用してもよい。例えば、いくつかのトピックが生成され、各トピックは文で表示されてよい。次に、各文は、文単位の異常アノテーションに基づいて単語ごとに生成されてもよい。コーパス２１５の教師データ内の各画像についてテキストレポート２５０が生成されると、学習段階は終了されてもよい。
【００４７】
図３に示すように、テスト段階中、システム２００は、入力画像３３５の特徴を抽出するために、ニューラルネットワークにおける学習された画像特徴抽出モデル２４０を使用してもよく、テキストレポート３５０を生成するために、ニューラルネットワークにおける画像レポート生成モデル２４５を使用して単語を連続的に予測してもよい。いくつかの例示的実施形態においては、生成された文の各単語が関連付けられた予測確率は、文全体の予測信頼度を提供するために集約されてもよい。医療画像のコーパス２１５及びレポートのテストデータの各画像３３５についてテキストレポート及び信頼スコアが生成された後、テスト段階が終了されてもよい。
【００４８】
いくつかの例示的実施形態においては、テキストレポートを生成するために、ニューラルネットワークにおける階層テキスト生成モデルを使用してもよい。例えば、いくつかのトピックが生成され、各トピックは文で表示されてもよい。次に、文全体の予測信頼度を提供するために集約された、各生成された単語に関連付けられた予測信頼度を用いて、文単位の異常アノテーションに基づいて単語ごとに各文が生成されてもよい。
【００４９】
さらに、いくつかの例示的実施形態においては、生成されたテキストレポート３５０は、生成された各テキストレポート３５０の異常な文章の特定３６０を提供するために、学習段階中に使用されるニューラルネットワークにおける文アノテーションモデル２２５を介して処理されてもよい。生成されたレポートにおける各文を分析することにより、いずれの文が異常に関連するかを判定してもよい。さらに、いくつかの例示的実施形態においては、レポートにおける異常文の数を表す異常スコアが判定されてもよい。最も多くの異常がある画像に関連するレポートと、比較的正常な画像に関連するレポートとを自動的に優先順位付けするために、この異常スコアを使用してもよい。例えば、５つの異常関連文を含むレポートは、１つの異常文を含むレポートより優先されてもよい。
【００５０】
したがって、いくつかの例示的実施形態においては、システムが多数のレポートをソートできるようにし、レポートにおいて検出された異常関連の文の数に基づいて優先順位を付けることができるようにし、医師の時間を節約し、医師が最も深刻なケースに迅速に対応できるようにしてもよい。例えば、システムは、医療画像から判定された患者診断の検出又は予測された重症度に基づいて医師が医療画像をレビューして、患者を治療する治療順序を提供又は推奨してもよい。したがって、いくつかの例示的実施形態においては、システムは、タイムリーな患者ケアを促進するために、最も多くの異常を示すレポートの優先リストを提供してもよい。
【００５１】
いくつかの例示的実施形態においては、生成された各テキストレポート３５０の異常な文の特定３６０の後、テスト段階は終了されてもよい。
【００５２】
いくつかの例示的実施形態においては、図２及び３に示すように、異常な文アノテーションモデル２２５を自動化するために、さまざまなアプローチを使用してもよい。例えば、第１のアプローチでは、文が正常のルーチン検査を記述している文とは異なる文であることが検出された場合、文が医学的異常に関連していると仮定してもよい。図４（ａ）は、インディアナ大学が発表した胸部Ｘ線画像レポートの公開データセットから抽出された、正常の場合に頻繁に現れる正常のルーチン検査コメントのグループを示す図である。正常のルーチン検査コメントとは異なる教師データの文章を検出することにより、医学的異常に関連する文章を検出してもよい。例えば、異常な文アノテーションモデルは、公開データセットから抽出された正常のルーチン検査コメント（例えば、「肺がはっきりしている」、「気胸又は胸水がない」、「心臓のサイズが正常」など）と、教師データで特定された類似の文章（例、「肺がはっきりしない」、「気胸が特定された」、「胸水が特定された」、「心臓が大きくなった」）との差を計算するように学習されてもよい。
【００５３】
「正常の文」における共通パターンを特定することにより、レポートにおいて分類されていない文は、「正常な文」パターンと比較され、「正常な文」パターンとの類似性に基づいて、正常又は異常である確率が割り当てられる。次に、教師データの文に正常又は異常として自動的にアノテーションを付与するために、正常又は異常である確率を使用してもよい。
【００５４】
別の例として、異常な文アノテーションモデルを自動化する第２のアプローチでは、レポートに関連付けられた医療対象見出し（MeSH：Medical Subject Headings）用語（又はその他の種類の事前定義された医療対象用語）に関連するものとして検出された文が、医学的異常に関して発生しやすいと想定してもよい。したがって、第２のアプローチでは、単語ベクトル空間上の各表現の距離を使用して、教師データのテキストレポート内の文とレポートのＭｅＳＨ用語間の関連性を判断してもよい。図４（ｂ）は、本開示の実施形態の教師データの一部として使用できるＭｅＳＨ用語でタグ付けされたレポートの例を示す図である。図示されるように、ＭｅＳＨ用語４１０は、所見の記述４０５及び印象４１５から抽出されている。抽出されたＭｅＳＨ用語４１０は、医学的異常を表す可能性がより高い所見４０５及び印象４１５の文を特定するために使用されてもよい。
【００５５】
ＭｅＳＨ用語を使用することにより、既知の異常な文との比較を行うことができ、未分類の文は類似性に基づいて正常又は異常として分類されてもよい。
【００５６】
したがって、いくつかの例示的実施形態においては、コンテンツベースの異常な文分類モデルを、１つ以上の上記アプローチによって取得された人のアノテーション又はアノテーションを使用して学習してもよい。その後、異常な文分類モデルを使用して、人のアノテーション、参照の正常のルーチン検査、又はＭｅＳＨ用語が利用できないときに、例えばテスト段階で生成されたテキストレポートにおいて、異常な文を特定することができる。
【００５７】
第３の可能なアプローチにおいては、手動でラベル付けされた教師データによりニューラルネットワークを学習してもよく、学習されたニューラルネットワークは、テスト段階において文に自動的にラベルを付与する。例えば、学習段階中に、特定の文のセットはそれぞれ、正常又は異常として手動で（例えば、人のオペレーターによって）ラベルが付与されてもよい。次に、ニューラルネットワークを学習し、テキストの特徴を抽出し、テキストの特徴とラベルとの間の関連を学習するために、これらの手動でラベルが付与された文を使用してもよい。次に、テスト段階中に、学習されたニューラルネットワークは、入力文が正常か異常かを自動的に予測してもよい。
【００５８】
評価
本出願人は、本出願のサポートのために例示的実施形態の評価テストを実施した。インディアナ大学によって公開された公開データセットは、モデルの学習と評価に使用された。データセットには、７，４７０個の胸部Ｘ線画像と対応するテキストレポートが含まれていた。各テキストレポートには、一連のＭｅＳＨ用語がラベル付けされていた。米国国立衛生研究所によってリリースされた別の公開データセット、ＣｈｅｓｔＸ−ｒａｙ１４は、画像の特徴を学習するために使用された。このデータセットは、１１２，１２０個の胸部Ｘ線画像で構成されている。学習、検証、及びテストは、それぞれ９０％、５％、及び５％のデータセットに分割された。
【００５９】
評価された例示的実施形態においては、画像特徴学習は、ニューラルネットワークベースのアプローチであるＶＧＧ−Ｎｅｔに基づいていた。テキスト生成は、階層ＬＳＴＭに基づいており、文と単語ベクトル空間に関するテキストレポートのＭｅＳＨ用語間の類似性によって計算された文アノテーションとさらに統合されていた。単語ベクトル空間は、２２００万の生物医学文書に２８億のトークンを含むＰｕｂＭｅｄデータセットによって学習された。
【００６０】
図５及び図６は、本開示の実施形態に従って入力Ｘ線画像に対して生成されたテキストレポートの例を示す。図５の医療画像は、非特許文献７に記載されたＵＲＬにおいてＮＩＨクリニカル・センター・レポジトリから取得可能であり、非特許文献６において議論されている。図５において、我々のアプローチによって生成されたレポート（ｂ−５１０）は、医学的な異常（ボックス５２０で強調表示）を捉えることができるが、異常な文を考慮せずにベースラインによって生成されたレポート（ａ−５０５）は、正常のルーチン検査コメントのみを特定し、異常を記述できていない。比較のために、医師が口述したグランドトゥルースノート（ｃ−５１５）も図５に示されている。
【００６１】
本開示の例示的実施形態によって作成されたレポート（ｂ−６１０）は、ベースラインレポート（ａ−６０５）と比較して示されている。本開示の例示的実施形態によって作成されたレポート（ｂ−６１０）は、ベースラインモデル（ａ）よりも医療の異常（ボックス６２０で強調表示）をよりよく捉えることができている、生成されたテキストレポートの別の例が図６に示されている。比較のために、医師によって口述されたグランドトゥルースノート（ｃ−６１５）も図６に示されている。図６の医療画像は、非特許文献８に記載のＵＲＬにおいてクリニカル・センター・レポジトリから取得可能であり、非特許文献６で議論されている。
【００６２】
コンピューティング環境の例
図７は、本開示のいくつかの実施形態での使用に適した例示的なコンピュータ装置７０５を備えた例示的なコンピューティング環境７００を示す。コンピューティング環境７００のコンピューティング装置７０５は、１つ又は複数の処理部、コア、又はプロセッサ７１０、メモリ７１５（例えば、ＲＡＭ、ＲＯＭなど）、内部ストレージ７２０（例えば、磁気、光学、ソリッドステートストレージ、及び／又は有機）、及び／又はＩ／Ｏインターフェース７２５を含むことができ、これらのいずれも、情報を通信するための通信機構又はバス７３０に結合されるか、コンピューティング装置７０５に組み込むことができる。
【００６３】
コンピューティング装置７０５は、入力インターフェース７３５及び出力デバイスインターフェース７４０に通信可能に結合することができる。入力インターフェース７３５及び出力デバイスインターフェース７４０のいずれか又は両方は、有線又は無線インターフェースであり、取り外し可能である。入力インターフェース７３５には、入力を提供するために使用できる物理的又は仮想のデバイス、コンポーネント、センサー、又はインターフェースを含めることができる（例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティングカーソル制御、マイク、カメラ、点字、モーションセンサー、光学式読み取り装置など）。
【００６４】
出力装置インターフェース７４０は、ディスプレイ、テレビ、モニター、プリンター、スピーカー、点字などを含んでもよい。いくつかの実施形態では、入力インターフェース７３５（例えば、ユーザインターフェース）及び出力デバイスインターフェース７４０は、コンピューティング装置７０５に組み込まれるか、物理的に結合できる。他の実施形態では、他のコンピューティング装置は、コンピューティング装置７０５の入力インターフェース７３５及び出力デバイスインターフェース７４０として機能するか、その機能を提供してもよい。これらの要素には、ユーザがＡＲ環境と対話できるように、周知のＡＲハードウェア入力が含まれるが、これらに限定されるものではない。
【００６５】
コンピューティング装置７０５の例としては、高度にモバイルなデバイス（スマートフォン、車両内のデバイス及び他の機械、人及び動物が携帯するデバイスなど）、モバイルデバイス（タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、及びモバイル向けに設計されていないデバイス（デスクトップコンピュータ、サーバーデバイス、その他のコンピュータ、情報キオスク、１つ以上のプロセッサが組み込まれた及び／又は結合されたテレビなど、ラジオなど）が含まれるが、これらに限定されない。
【００６６】
コンピューティング装置７０５は、同じ又は異なる構成である１つ又は複数のコンピューティング装置を含む任意の数のネットワークコンポーネント、デバイス、及びシステムと通信するために、外部ストレージ７４５及びネットワーク７５０に通信可能に（例えば、Ｉ／Ｏインターフェース７２５を介して）結合されることができる。コンピューティング装置７０５又は接続されたコンピューティング装置は、サーバー、クライアント、シンサーバー、一般機械、特殊用途機械、又は別のラベルとして機能するか、サービスを提供するか、そのように参照される。
【００６７】
Ｉ／Ｏインターフェース７２５は、少なくともすべての接続されたコンポーネント、デバイス、及びコンピューティング環境７００のネットワークとの間で情報を通信するために、任意の通信又はＩ／Ｏプロトコル又は規格（例えば、イーサネット（登録商標）、７０２．１１ｘｓ、ユニバーサルシステムバス、ＷｉＭＡＸ、モデム、セルラーネットワークプロトコルなど）を使用する有線及び／又は無線インターフェースを含むことができるが、これらに限定されない。ネットワーク７５０は、任意のネットワーク又はネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）であり得る。
【００６８】
コンピューティング装置７０５は、一時的な媒体及び非一時的な媒体を含む、コンピュータで使用可能な又はコンピュータ可読媒体を使用及び／又は使用して通信できる。一時的な媒体には、伝送媒体（金属ケーブル、光ファイバーなど）、信号、搬送波などが含まれる。非一時的な媒体には、磁気メディア（ディスク、テープなど）、光学メディア（ＣＤ−ＲＯＭ、デジタルビデオディスク、ブルーレイディスクなど）、ソリッドステートメディア（ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージなど）、及びその他の不揮発性ストレージ又はメモリが含まれる。
【００６９】
コンピューティング装置７０５は、いくつかのコンピューティング環境の例で、テクニック、メソッド、アプリケーション、プロセス、又はコンピュータ実行可能命令を実装するために使用できる。コンピュータで実行可能な命令は、一時的な媒体から取得でき、非一時的な媒体に保存され、非一時的な媒体から取得できる。実行可能命令は、プログラミング、スクリプト、機械言語（例えば、C、C++、C＃、Java（登録商標）、Visual Basic、Python、Perl、JavaScript（登録商標）など）の１つ以上から生成できる。
【００７０】
プロセッサ７１０は、ネイティブ又は仮想環境で、（図示しない）任意のオペレーティングシステム（ＯＳ）で実行できる。論理部７５５、アプリケーションプログラミングインターフェース（ＡＰＩ）部７６０、入力部７６５、出力部７７０、文アノテーション部７７５、画像特徴抽出部７８０、書面レポート生成部７８５、及び互いに、ＯＳと、及び（図示されない）他のアプリケーションと通信するための異なる部のための部間通信メカニズム７９５を含む１つ以上のアプリケーションを配備することができる。
【００７１】
例えば、文アノテーション部７７５、画像特徴抽出部７８０、及び書面レポート生成部７８５は、図２及び３に示される１つ以上のプロセスを実施してもよい。説明されている部及び要素は、設計、機能、構成、又は実装が様々に変更可能であり、提供されている記述に限定されない。
【００７２】
いくつかの実施形態では、情報又は実行命令がＡＰＩ部７６０によって受信されると、ＡＰＩ部７６０は１つ又は複数の他の部（例えば、文アノテーション部７７５、画像特徴抽出部７８０、書面レポート生成部７８５）と通信してもよい。例えば、文アノテーション部７７５は、異常を示すと判断された書面レポートの文に自動的にアノテーションを付与し、書面レポート生成部７８５にその文書を提供してもよい。さらに、画像特徴抽出部７８０は、書面レポートに関連する１つ以上の画像ファイルから画像特徴を抽出し、抽出された画像特徴を書面レポート生成部７８５に提供してもよい。さらに、書面レポート生成部７８５は、文書特徴部７７５によって提供されるアノテーション及び画像特徴抽出部７８０によって提供される抽出された画像特徴に基づいて、１つ以上の書面レポートを生成することができる。書面レポート生成部７８５は、出力部７７０を介してエクスポートされてもよい。
【００７３】
場合によっては、ロジック部７５５は、部間の情報フローを制御し、上述したいくつかの実施形態におけるＡＰＩ部７６０、入力部７６５、文部７７５、画像特徴抽出部７８０及び書面レポート生成部７８５によって提供されるサービスを指示するように構成されてもよい。例えば、１つ又は複数のプロセス又は実装のフローは、論理部７５５のみによって、又はＡＰＩ部７６０と組み合わせて制御されてもよい。
【００７４】
いくつかの例示的実施形態が示され説明されているが、これらの実施形態は、当業者に本明細書に記載された主題を伝えるために提供される。本明細書に記載される主題は、記載される実施形態に限定されることなく、様々な形態で実施され得ることが理解されるべきである。本明細書に記載の主題は、具体的に定義又は記載された事項なしに、又は記載されていない他の又は異なる要素又は事項とともに実施することができる。添付の特許請求の範囲及びそれらの均等物に定義されているように、本明細書に記載の主題から逸脱することなく、これらの実施形態に変更を加えることができることは、当業者によって理解されるであろう。
【図１】
2020149682.tif 000003
【図２】
2020149682.tif 000004
【図３】
2020149682.tif 000005
【図４（ａ）】
2020149682.tif 000006
【図４（ｂ）】
2020149682.tif 000007
【図５】
2020149682.tif 000008
【図６】
2020149682.tif 000009
【図７】
2020149682.tif 000010