(57)【要約】【課題】人工知能基盤医療機器の臨床的有効性評価システム及び方法が開示される。【解決手段】本発明の臨床的有効性評価システムは、複数の専門医と人工知能基盤医療機器から任意の臨床データに対する診断結果を受信する診断結果受信部と、前記受信された診断結果間の一致度を計算する一致度計算部と、前記計算された一致度に基づいて所定の統計値を誘導する統計値誘導部と、前記誘導された統計値を用いて前記人工知能基盤医療機器に対する比較検定を行う比較検定部とを含むことができる。【選択図】図１
2019212301.tif 000002
【特許請求の範囲】
【請求項１】
複数の専門医と人工知能基盤医療機器から任意の臨床データに対する診断結果を受信する診断結果受信部と、
前記受信された診断結果間の一致度を計算する一致度計算部と、
前記計算された一致度に基づいて所定の統計値を誘導する統計値誘導部と、
前記誘導された統計値を用いて前記人工知能基盤医療機器に対する比較検定を行う比較検定部とを含む、人工知能基盤医療機器の臨床的有効性評価システム。
【請求項２】
前記一致度計算部は、
専門医−専門医一致度計算部と、
専門医−ＡＩ医療機器一致度計算部とを含み、
前記専門医−専門医一致度計算部は、２人の専門医の診断結果間の一致度である専門医−専門医一致度を計算し、
前記専門医−ＡＩ医療機器一致度計算部は、１人の専門医の診断結果と人工知能基盤医療機器の診断結果間の一致度である専門医−ＡＩ医療機器一致度を計算する、請求項１に記載の人工知能基盤医療機器の臨床的有効性評価システム。
【請求項３】
前記一致度がＣｏｈｅｎのカッパ統計量で表現される、請求項１に記載の人工知能基盤医療機器の臨床的有効性評価システム。
【請求項４】
前記統計値誘導部で誘導される前記所定の統計値は、
前記一致度計算部で計算された一致度の平均値、加重平均、切削平均、最小値、最大値、中央値、分位数、最頻値、分散、標準偏差、及び前記統計量の標準誤差のうちの少なくとも一つを含む、請求項１に記載の人工知能基盤医療機器の臨床的有効性評価システム。
【請求項５】
前記統計値誘導部は、
前記専門医−専門医一致度の平均である専門医−専門医平均一致度と、前記専門医−ＡＩ医療機器一致度の平均である専門医−ＡＩ医療機器平均一致度を誘導し、
前記比較検定部は、
前記専門医−専門医平均一致度と前記専門医−ＡＩ医療機器平均一致度とを比較することにより、前記人工知能基盤医療機器に対する比較検定を行う、請求項２に記載の人工知能基盤医療機器の臨床的有効性評価システム。
【請求項６】
前記比較検定部は、
前記専門医−専門医平均一致度が前記専門医−ＡＩ医療機器平均一致度と同じかそれよりも小さいという帰無仮説Ｈ０と、前記専門医−専門医平均一致度が前記専門医−ＡＩ医療機器平均一致度よりも大きいという対立仮説Ｈ１を樹立し、
前記帰無仮説Ｈ０を棄却しない場合、前記人工知能基盤医療機器が臨床的に有効であると判断する、請求項５に記載の人工知能基盤医療機器の臨床的有効性評価システム。
【請求項７】
前記統計値誘導部は、
前記専門医−専門医一致度の最小値と、前記専門医−ＡＩ医療機器一致度の平均である専門医−ＡＩ医療機器平均一致度を誘導し、
前記比較検定部は、
前記専門医−専門医一致度の最小値と前記専門医−ＡＩ医療機器平均一致度とを比較することにより、前記人工知能基盤医療機器に対する比較検定を行う、請求項２に記載の人工知能基盤医療機器の臨床的有効性評価システム。
【請求項８】
前記比較検定部は、
前記専門医−専門医一致度の最小値が前記専門医−ＡＩ医療機器平均一致度と同じかそれよりも大きいという帰無仮説Ｈ０と、前記専門医−専門医一致度の最小値が前記専門医−ＡＩ医療機器平均一致度よりも小さいという対立仮説Ｈ１を樹立し、
前記帰無仮説Ｈ０を棄却する場合、前記人工知能基盤医療機器が臨床的に有効であると判断する、請求項７に記載の人工知能基盤医療機器の臨床的有効性評価システム。
【請求項９】
前記統計値誘導部は、
前記専門医−専門医一致度の平均である専門医−専門医平均一致度と前記専門医−ＡＩ医療機器一致度の平均である専門医−ＡＩ医療機器平均一致度を誘導し、
前記比較検定部は、
前記専門医−専門医平均一致度に対して特定の値を加減した専門医−専門医修正平均一致度と前記専門医−ＡＩ医療機器平均一致度とを比較することにより、前記人工知能基盤医療機器に対する比較検定を行う、請求項２に記載の人工知能基盤医療機器の臨床的有効性評価システム。
【請求項１０】
前記比較検定部は、
前記専門医−専門医修正平均一致度が前記専門医−ＡＩ医療機器平均一致度と同じかそれよりも大きいという帰無仮説Ｈ０と、前記専門医−専門医修正平均一致度が前記専門医−ＡＩ医療機器平均一致度よりも小さいという対立仮説Ｈ１を樹立し、
前記帰無仮説Ｈ０を棄却しない場合、前記人工知能基盤医療機器が臨床的に有効であると判断する、請求項９に記載の人工知能基盤医療機器の臨床的有効性評価システム。
【請求項１１】
複数の専門医と人工知能基盤医療機器から任意の臨床データに対する診断結果を受信する診断結果受信段階と、
前記受信された診断結果間の一致度を計算する一致度計算段階と、
前記計算された一致度に基づいて所定の統計値を誘導する統計値誘導段階と、
前記誘導された統計値を用いて前記人工知能基盤医療機器に対する比較検定を行う比較検定段階とを含む、人工知能基盤医療機器の臨床的有効性評価方法。
【請求項１２】
前記一致度計算段階は、
専門医−専門医一致度及び専門医−ＡＩ医療機器一致度を計算し、
前記専門医−専門医一致度は、２人の専門医の診断結果間の一致度であり、
前記専門医−ＡＩ医療機器一致度は、１人の専門医の診断結果と人工知能基盤医療機器の診断結果間の一致度である、請求項１１に記載の人工知能基盤医療機器の臨床的有効性評価方法。
【請求項１３】
前記一致度がＣｏｈｅｎのカッパ統計量で表現される、請求項１１に記載の人工知能基盤医療機器の臨床的有効性評価方法。
【請求項１４】
前記統計値誘導段階で誘導される前記所定の統計値は、
前記一致度計算段階で計算された一致度の平均、加重平均、切削平均、最小値、最大値、中央値、分位数、最頻数、分散、標準偏差、及び前記統計量の標準誤差のうちの少なくとも一つを含む、請求項１１に記載の人工知能基盤医療機器の臨床的有効性評価方法。
【請求項１５】
前記統計値誘導段階は、
前記専門医−専門医一致度の平均である専門医−専門医平均一致度と、前記専門医−ＡＩ医療機器一致度の平均である専門医−ＡＩ医療機器平均一致度を誘導し、
前記比較検定段階は、
前記専門医−専門医平均一致度と前記専門医−ＡＩ医療機器平均一致度とを比較することにより、前記人工知能基盤医療機器に対する比較検定を行う、請求項１２に記載の人工知能基盤医療機器の臨床的有効性評価方法。
【請求項１６】
前記比較検定段階は、
前記専門医−専門医平均一致度が前記専門医−ＡＩ医療機器平均一致度と同じかそれよりも小さいという帰無仮説Ｈ０と、前記専門医−専門医平均一致度が前記専門医−ＡＩ医療機器平均一致度よりも大きいという対立仮説Ｈ１を樹立し、
前記帰無仮説Ｈ０を棄却しない場合、前記人工知能基盤医療機器が臨床的に有効であると判断する、請求項１５に記載の人工知能基盤医療機器の臨床的有効性評価方法。
【請求項１７】
前記統計値誘導段階は、
前記専門医−専門医一致度の最小値と、前記専門医−ＡＩ医療機器一致度の平均である専門医−ＡＩ医療機器平均一致度を誘導し、
前記比較検定段階は、
前記専門医−専門医一致度の最小値と前記専門医−ＡＩ医療機器平均一致度とを比較することにより、前記人工知能基盤医療機器に対する比較検定を行う、請求項１２に記載の人工知能基盤医療機器の臨床的有効性評価方法。
【請求項１８】
前記比較検定段階は、
前記専門医−専門医一致度の最小値が前記専門医−ＡＩ医療機器平均一致度と同じかそれよりも大きいという帰無仮説Ｈ０と、前記専門医−専門医一致度の最小値が前記専門医−ＡＩ医療機器平均一致度よりも小さいという対立仮説Ｈ１を樹立し、
前記帰無仮説Ｈ０を棄却する場、前記人工知能基盤医療機器が臨床的に有効であると判断する、請求項１７に記載の人工知能基盤医療機器の臨床有効性評価方法。
【請求項１９】
前記統計値誘導段階は、
前記専門医−専門医一致度の平均である専門医−専門医平均一致度と、前記専門医−ＡＩ医療機器一致度の平均である専門医−ＡＩ医療機器平均一致度を誘導し、
前記比較検定段階は、
前記専門医−専門医平均一致度に対して特定の値を加減した専門医−専門医修正平均一致度と前記専門医−ＡＩ医療機器平均一致度とを比較することにより、前記人工知能基盤医療機器に対する比較検討を行う、請求項１２に記載の人工知能基盤医療機器の臨床的有効性評価方法。
【請求項２０】
前記比較検定段階は、
前記専門医−専門医修正平均一致度が前記専門医−ＡＩ医療機器平均一致度と同じかそれよりも大きいという帰無仮説Ｈ０と、前記専門医−専門医修正平均一致度が前記専門医−ＡＩ医療機器平均一致度よりも小さいという対立仮説Ｈ１を樹立し、
前記帰無仮説Ｈ０を棄却しない場合、前記人工知能基盤医療機器が臨床的に有効であると判断する、請求項１９に記載の人工知能基盤医療機器の臨床的有効性評価方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、人工知能（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）基盤医療機器の臨床的有効性を評価するための方法及びシステムに関する。
【背景技術】
【０００２】
最近では、人工知能を基盤とする医療機器への需要と展望が日増しに高まっている。例えば、人工知能を基盤とする脳梗塞診断医療機器の場合は、脳梗塞関連医療ビッグデータを活用して人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に脳梗塞パターンを学習させ、学習されたデータに基づいて脳梗塞の類型分類を行うことができる。
【０００３】
人工知能を基盤とする医療機器を臨床で使用するには、その診断結果に対する臨床的有効性を検証する必要がある。人工知能基盤医療機器の臨床的有効性を検証するための従来技術として、臨床試験の前に先行された研究記録から専門医間の診断一致度を収集して平均診断一致度を算出し、これを、臨床試験に参加した専門医と人工知能基盤医療機器間の診断一致度と比較する技術が知られている（特許文献１参照）。
【０００４】
ところが、それぞれの研究ごとに実験環境及び対象が異なるため、これらを単純比較するか或いは単純平均値を利用することは、評価結果の信頼性に問題をもたらすおそれがある。具体的には、臨床試験で使用されるデータ及び実験環境が先行の研究等と多少の違いを示す場合には、歪んだ結果が導き出されるおそれがある。さらに、一致度が記録された先行研究が存在しない場合には、有効性検証が不可能であるという限界がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】韓国特許第１０−１８１１０２８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示の技術的課題は、人工知能基盤医療機器の診断結果に対する臨床的有効性を検証することができる、人工知能基盤医療機器の臨床的有効性評価方法及びシステムを提供することにある。
【０００７】
本開示の他の技術的課題は、人工知能基盤医療機器から発生した診断結果の信頼性を向上させることができる、人工知能基盤医療機器の臨床的有効性評価のための方法及びシステムを提供することにある。
【０００８】
本開示で解決しようとする技術的課題は、上述した技術的課題に限定されず、上述していない別の技術的課題は、以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
【課題を解決するための手段】
【０００９】
本開示の一態様によれば、人工知能基盤医療機器の臨床的有効性評価システムが提供できる。前記システムは、複数の専門医と人工知能基盤医療機器から任意の臨床データに対する診断結果を受信する診断結果受信部と、前記受信された診断結果間の一致度を計算する一致度計算部と、前記計算された一致度に基づいて所定の統計値を誘導する統計値誘導部と、前記誘導された統計値を用いて前記人工知能基盤医療機器に対する比較検定を行う比較検定部とを含むことができる。
【００１０】
本開示の他の態様によれば、人工知能基盤医療機器の臨床的有効性評価方法が提供できる。上記の方法は、複数の専門医と人工知能基盤医療機器から任意の臨床データに対する診断結果を受信する診断結果受信段階と、前記受信された診断結果間の一致度を計算する一致度計算段階と、前記計算された一致度に基づいて所定の統計値を誘導する統計値誘導段階と、前記誘導された統計値を用いて前記人工知能基盤医療機器に対する比較検定を行う比較検定段階とを含むことができる。
【００１１】
本開示の別の態様によれば、本開示の人工知能基盤医療機器の臨床的有効性評価方法を行うために実行可能な命令（ｅｘｅｃｕｔａｂｌｅ  ｉｎｓｔｒｕｃｔｉｏｎｓ）を有するソフトウェア又はコンピュータ可読媒体（ｃｏｍｐｕｔｅｒ−ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）が提供できる。
【００１２】
本開示について上記で簡単に要約された特徴は、後述する本開示の詳細な説明の例示的な様相に過ぎず、本開示の範囲を制限するものではない。
【発明の効果】
【００１３】
本開示によれば、人工知能基盤医療機器の診断結果に対する臨床的有効性を検証することができる、人工知能基盤医療機器の臨床的有効性評価方法及びシステムが提供できる。
【００１４】
また、本開示によれば、人工知能基盤医療機器から発生した診断結果の信頼性を高めることができる、人工知能基盤医療機器の臨床的有効性評価のための方法及びシステムが提供できる。
【００１５】
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
【図面の簡単な説明】
【００１６】
【図１】本開示による人工知能基盤医療機器の臨床的有効性評価システムを説明するための図である。
【図２】本開示による人工知能基盤医療機器の臨床的有効性評価方法を説明するための図である。
【図３】本開示の一実施形態に係る人工知能基盤医療機器の臨床的有効性評価方法を行うコンピューティングシステムを例示するブロック図である。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照して、本開示の実施形態について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。ところが、本開示は、さまざまな異なる形態で実現でき、ここで説明する実施形態に限定されない。
【００１８】
本開示の実施形態を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断された場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係のない部分は省略し、類似の部分については類似の図面符号を付した。
【００１９】
本開示において、ある構成要素が他の構成要素に「連結」、「結合」或いは「接続」されているとした場合、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が介在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」或いは「有する」とした場合、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
【００２０】
本開示において、用語「第１」、「第２」などは、一つの構成要素を他の構成要素から区別する目的にのみ使われ、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。よって、本開示の範囲内において、一実施形態における第１構成要素は、他の実施形態における第２構成要素と命名することもでき、これと同様に、一実施形態における第２構成要素を他の実施形態における第１構成要素と命名することもできる。
【００２１】
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためであり、構成要素が必ずしも分離されることを意味するのではない。すなわち、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で行われてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で行われてもよい。よって、別途言及しなくても、このように統合された又は分散された実施形態も本開示の範囲に含まれる。
【００２２】
本開示において、様々な実施形態で説明する構成要素が必ずしも必須的な構成要素を意味するのではなく、一部は選択的な構成要素であってもよい。よって、一実施形態で説明する構成要素の部分集合で構成される実施形態も、本開示の範囲に含まれる。また、多様な実施形態で説明する構成要素にさらに他の構成要素を含む実施形態も、本開示の範囲に含まれる。
【００２３】
以下、添付図面を参照して、本開示の実施形態について説明する。
【００２４】
図１は本開示による人工知能基盤医療機器（以下、「ＡＩ医療機器」という。）の臨床的有効性評価システムを説明するための図である。
【００２５】
本開示による臨床的有効性評価システム１００は、診断結果受信部１１０、一致度計算部１２０、統計値誘導部１３０及び／又は比較検定部１４０を含むことができる。臨床的有効性評価システム１００は、臨床的有効性評価装置と呼ぶこともある。
【００２６】
臨床データ１５０は、ＡＩ医療機器の臨床的有効性を評価するための入力の一つであり得る。臨床データ１５０を対象として診断を行う診断主体グループ１６０は、２人以上の複数の専門医とＡＩ医療機器を含むことができる。診断主体グループ１６０に含まれている複数の専門医は、２人以上であり得る。以下で説明する実施形態において、５人の専門医（「専門医Ａ」、「専門医Ｂ」、「専門医Ｃ」、「専門医Ｄ」、「専門医Ｅ」）が診断主体グループ１６０に含まれるものとする。診断主体グループ１６０に含まれているＡＩ医療機器は、本開示による臨床的有効性評価の対象であり得る。診断主体グループ１６０に属する複数の専門医とＡＩ医療機器のそれぞれは、臨床データ１５０に基づいて診断を行い、診断結果を生成することができる。「専門医Ａ」乃至「専門医Ｅ」の診断結果は、それぞれ「診断結果Ａ」乃至「診断結果Ｅ」で表す。ＡＩ医療機器の診断結果は「ＡＩ診断結果」で表す。
【００２７】
本開示による臨床的有効性評価システム１００は、診断結果受信部１１０を介して「診断結果Ａ」乃至「診断結果Ｅ」及び「ＡＩ診断結果」を受信することができる。
一致度計算部１２０は、診断結果受信部１１０で受信された複数の診断結果に基づいて、診断結果間の一致度を計算することができる。一致度計算部１２０は、専門医−専門医一致度計算部１２１及び／又は専門医−ＡＩ医療機器一致度計算部１２２を含むことができる。
【００２８】
専門医−専門医一致度計算部１２１は、２人の専門医の診断結果間の一致度（以下、「専門医−専門医一致度」という。）を計算することができる。すなわち、専門医−専門医一致度計算部１２１は、「診断結果Ａ」乃至「診断結果Ｅ」から選択された２つの診断結果間の一致度を計算することができる。例えば、専門医の診断結果が合計５個である場合、このうちの２つの診断結果を選択する組み合わせは１０個である。よって、専門医−専門医一致度計算部１２１は、合計１０個の一致度を計算することができる。
専門医−ＡＩ医療機器一致度計算部１２２は、本開示による臨床的有効性評価の対象であるＡＩ医療機器の診断結果と専門医１人の診断結果間の一致度（以下、「専門医−ＡＩ医療機器一致度」という。）を計算することができる。すなわち、専門医−ＡＩ医療機器一致度計算部１２２は、「ＡＩ診断結果」と「診断結果Ａ」乃至「診断結果Ｅ」から選択された１つの診断結果間の一致度を計算することができる。例えば、専門医の診断結果が合計５個である場合、これらのそれぞれと「ＡＩ診断結果」との間で一致度が計算できる。よって、図１を参照して説明する実施形態において、専門医−ＡＩ医療機器一致度計算部１２２は、合計５つの一致度を計算することができる。
【００２９】
専門医間の診断結果の一致度及び／又はＡＩ医療機器と専門医間の診断結果の一致度を評価する尺度として、Ｃｏｈｅｎのカッパ統計量（ｋａｐｐａ  ｓｔａｔｉｓｔｉｃｓ）を使用することができる。図１に示された実施形態において、専門医−専門医一致度計算部１２１が計算する１０個の一致度は、それぞれκ０，１乃至κ０，１０で表示することができる。また、専門医−ＡＩ医療機器一致度計算部１２２が計算する５つの一致度は、それぞれκ１，１乃至κ１，５で表示することができる。前記κ０，１乃至κ０，１０及びκ１，１乃至κ１，５のそれぞれはカッパ統計量であり得る。
【００３０】
統計値誘導部１３０は、一致度計算部１２０で計算された一致度の入力を受けて所定の統計値を誘導することができる。例えば、所定の統計値が平均である場合、統計値誘導部１３０は、専門医−専門医一致度計算部１２１で計算されたκ０，１乃至κ０，１０の入力を受け、これらの値の平均（以下、「専門医−専門医平均一致度」という。）を計算することができる。また、統計値誘導部１３０は、専門医−ＡＩ医療機器一致度計算部１２２からκ１，１乃至κ１，５の入力を受けてこれらの値の平均（以下、「専門医−ＡＩ医療機器平均一致度」という。）を計算することができる。統計値誘導部１３０は、「専門医−専門医平均一致度」を計算するモジュールと「専門医−ＡＩ医療機器平均一致度」を計算するモジュールを別途備えることができる。又は、統計値誘導部１３０の機能の全部又は一部は、一致度計算部１２０に含まれて実現されてもよい。又は、統計値誘導部１３０の全部又は一部は、後述する比較検定部１４０に含まれて実現されてもよい。
【００３１】
本開示の他の実施形態に係る臨床的有効性評価システムは、統計値誘導部１３０を備えなくてもよい。この場合、後述する比較検定部１４０は、専門医−専門医一致度計算部１２１で計算された一致度値と専門医−ＡＩ医療機器一致度計算部１２２で計算された一致度値を用いて、臨床的有効性評価を行うことができる。
比較検定部１４０は、統計値誘導部１３０で誘導された統計値に基づいて、ＡＩ医療機器に対する検定を行うことができる。本開示の一実施形態によって、所定の統計値が平均である場合、比較検定部１４０は、「専門医−専門医平均一致度」と「専門医−ＡＩ医療機器平均一致度」を受信し、これに基づいてＡＩ医療機器に対する検定を行うことができる。具体的には、「専門医−専門医平均一致度」と「専門医−ＡＩ医療機器平均一致度」との間に差が存在するかを検定することができる。すなわち、「専門医−ＡＩ医療機器平均一致度」が「専門医−専門医平均一致度」に準じるという事実を証明する方式で検定が行われ得る。このため、次のとおり様々な形態（Ｔｙｐｅ  Ａ乃至Ｔｙｐｅ  Ｃ）の仮説が使用できる。
【００３２】
まず、専門医−専門医平均一致度」と「専門医−ＡＩ医療機器平均一致度」をそれぞれμ０とμ１とするとき、帰無仮説Ｈ０と対立仮説Ｈ１を次のとおりに樹立して、帰無仮説を棄却しなければ、臨床試験が成功したと判断することができる（Ｔｙｐｅ  Ａ）。すなわち、ＡＩ医療機器が臨床的に有効であると評価することができる。
＜Ｔｙｐｅ  Ａ＞
Ｈ０：μ０≦μ１
Ｈ１：μ０＞μ１
【００３３】
このとき、主張しようとする仮説が帰無仮説なので、有意水準と検定力を考える上で注意を要する。有意確率を一緒に明示することにより、データが仮説をどれほど支持するかを確認することを可能とする。
【００３４】
他の実施形態として、専門医−専門医一致度計算部１２１が計算した１０個の一致度κ０，１乃至κ０，１０の中で最も小さい値ｍ０を基準値とし、帰無仮説Ｈ０と対立仮説Ｈ１を次のとおりに樹立し、帰無仮説を棄却すると、臨床試験が成功したと判断することができる（Ｔｙｐｅ  Ｂ）。
＜Ｔｙｐｅ  Ｂ＞
Ｈ０：ｍ０≧μ１
Ｈ１：ｍ０＜μ１
【００３５】
Ｔｙｐｅ  Ａの変形例として、特定の値Ｃに対して帰無仮説Ｈ０と対立仮説Ｈ１を次のとおりに樹立し、帰無仮説を棄却すると、臨床試験が成功したと判断することができる（Ｔｙｐｅ  Ｃ）。
＜Ｔｙｐｅ  Ｃ＞
Ｈ０：μ０−Ｃ≧μ１
Ｈ１：μ０−Ｃ＜μ１
【００３６】
前述したように、比較検定部１４０が利用する仮説に基づいて、一致度の統計値として、平均又は最小値を使用することができる。しかし、これに限定されず、統計値誘導部１３０は、平均又は最小値に加えて、一致度の加重平均、切削平均、最大値、中央値、分位数、最頻値（最も多く出現した値）、分散、標準偏差、及び前記統計量の標準誤差などの様々な統計値を誘導することができ、比較検定部１４０は、誘導された統計値を用いることができる。このとき、一致度は、専門医−専門医間の一致度であってもよく、専門医−ＡＩ医療機器間の一致度であってもよく、両方ともの一致度であってもよい。
【００３７】
前述したように、比較検定部１４０は、利用する仮説に基づく入力として前記統計値の受信を受けるか、或いはκ０，１乃至κ０，１０及び／又はκ１，１乃至κ１，５の入力を直接受け、これから仮説検定に必要な統計値を直接誘導することもできる。比較検定部１４０が前記統計値の受信を受ける場合、例えば、統計値誘導部１３０を用いて前記統計値を誘導することができる。
【００３８】
本開示の臨床的有効性評価システム１００によれば、同じ臨床試験環境で２人以上の複数の専門医の意見を収集して利用することができるので、より正確で信頼性の高いリファレンスを得ることができる。また、先行研究が存在しなくても、臨床的有効性評価を行うことができる。
【００３９】
図２は本開示による人工知能基盤医療機器の臨床的有効性評価方法を説明するための図である。
【００４０】
診断主体グループに含まれている複数の診断主体のそれぞれは、同じ臨床データに対する診断結果を生成することができる。複数の診断主体は、２つ以上の専門医と臨床的有効性評価の対象であるＡＩ医療機器を含むことができる。例えば、５人の専門医、「専門医Ａ」乃至「専門医Ｅ」がそれぞれ「診断結果Ａ」乃至「診断結果Ｅ」を生成することができ、ＡＩ医療機器が「ＡＩ診断結果」を生成することができる。
【００４１】
本開示の臨床的有効性評価方法によれば、段階Ｓ２１０で、前記生成された複数の診断結果を受信することができる。段階Ｓ２１０の動作は、図１を参照して説明された診断結果受信部１１０で行われ得る。
【００４２】
段階Ｓ２２０で、受信された複数の診断結果に基づいて、診断結果間の一致度を計算することができる。診断結果間の一致度は、２人の専門医の診断結果間の一致度及び専門医とＡＩ医療機器の診断結果間の一致度を含むことができる。診断主体グループに含まれている専門医が５人である場合、２人の専門医の診断結果間の一致度として、合計１０個の一致度が計算できるのは前述したとおりである。また、診断主体グループに含まれている専門医が５人である場合、１人の専門医とＡＩ医療機器の診断結果間の一致度として、合計５つの一致度が計算できる。前記一致度はカッパ統計量で表示できる。段階Ｓ２２０の動作は、図１を参照して説明された一致度計算部１２０で行われ得る。
【００４３】
段階Ｓ２３０で、比較検定を行うための統計値を誘導することができる。例えば、比較検定を行うために、一致度の平均が用いられる場合、段階Ｓ２２０で計算された一致度値の平均が段階Ｓ２３０で誘導できる。前記統計値は、前述したように、一致度の平均に加えて、最小値、加重平均値、切削平均、最大値、中央値、分位数、最頻値、分散、標準偏差、及び前記統計量の標準誤差などの様々な統計値が使用でき、段階Ｓ２３０では、これらの中から選択された所定の統計値を誘導することができる。段階Ｓ２３０の動作は、図１を参照して説明された統計値誘導部１３０で行われ得る。
【００４４】
段階Ｓ２４０で、誘導された統計値を用いて比較検定を行うことができる。比較検定を行うために、図１を参照して説明された多様な形態の仮説のうちの少なくとも一つが使用できる。比較検定を行った結果として、ＡＩ医療機器が臨床的に有効であるか有効でないかについての有効性評価が出力できる。段階Ｓ２４０の動作は、図１を参照して説明された比較検定部１４０で行われ得る。
【００４５】
図３は本開示の一実施形態に係る人工知能基盤医療機器の臨床的有効性評価方法を実行するコンピューティングシステムを例示するブロック図である。
【００４６】
図３を参照すると、コンピューティングシステム１０００は、バス１２００を介して接続される少なくとも一つのプロセッサ１１００、メモリ１３００、ユーザーインターフェース入力装置１４００、ユーザーインターフェース出力装置１５００、ストレージ１６００、及びネットワークインターフェース１７００を含むことができる。
【００４７】
プロセッサ１１００は、中央処理装置（ＣＰＵ）又はメモリ１３００及び／又はストレージ１６００に保存された命令語に対する処理を実行する半導体装置であり得る。メモリ１３００及びストレージ１６００は、様々な種類の揮発性又は不揮発性記憶媒体を含むことができる。例えば、メモリ１３００は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を含むことができる。
【００４８】
したがって、本明細書に開示された実施形態に関連して説明された方法又はアルゴリズムの段階は、プロセッサ１１００によって実行されるハードウェア、ソフトウェアモジュール、又はこれらの２つの組み合わせで直接実現できる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、着脱型ディスク、ＣＤ−ＲＯＭなどの記憶媒体（すなわち、メモリ１３００及び／又はストレージ１６００）に常駐することもできる。例示的な記憶媒体は、プロセッサ１１００にカップリングされ、そのプロセッサ１１００は、記憶媒体から情報を読み取ることができ、記憶媒体に情報を書き込むことができる。他の方法として、記憶媒体は、プロセッサ１１００と一体型であってもよい。プロセッサ及び記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）内に常駐することもできる。ＡＳＩＣは、ユーザー端末内に常駐することもできる。他の方法として、プロセッサ及び記憶媒体は、ユーザー端末内に個別コンポーネントとして常駐することもできる。
【００４９】
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは段階が行われる順序を制限するためのものではなく、必要によっては、それぞれの段階が同時に又は異なる順序で行われてもよい。本開示による方法を実現するために、例示する段階にさらに他の段階を含むか、一部の段階を除いて残りの段階を含むか、或いは一部の段階を除いて更なる別の段階を含むこともできる。
【００５０】
本開示の様々な実施形態は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な様相を説明するためのものであり、様々な実施形態で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。
【００５１】
また、本開示の様々な実施形態は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合は、一つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ  ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
【００５２】
本開示の範囲は、様々な実施形態の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン−実行可能な命令語（たとえば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又は命令などが保存されて装置又はコンピュータ上で実行可能な非一時的コンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ−ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）を含む。
【図１】
2019212301.tif 000003
【図２】
2019212301.tif 000004
【図３】
2019212301.tif 000005
【外国語明細書】
2019212301000001.pdf