(57)【要約】  医用イメージングデバイスの現在の実際のフィールドの使用状況を反映するだけでなく将来の使用状況についての見通しも提供する、医用イメージングデバイスのためのデバイステストケースを生成するシステム及び方法が開示される。使用状況パターンの確率モデルが、現在の使用状況パターンをマイニングすることにより、デバイスフィールドログに存在する履歴データから生成される。使用状況パターンのディープ長・短期記憶ニューラルネットワークモデルが、将来の使用状況パターンを予測するように構築される。さらに、フィールドでのデバイス使用状況パターンの変化する傾向を捉えるために、予測モデルがリアルタイムで継続的に更新され、モデルにより生成されたテストケースが自動化されたテストシステムに統合される。
2021507325.tif 000002
【特許請求の範囲】
【請求項１】
医用イメージングデバイスのためのテストスクリプトを生成することを容易にするシステムであって、前記システムは、
１つ又は複数のイメージングデバイスにより行われる検査に関連するデータを含むフィールドログファイルを格納したフィールドログファイルデータベースと、
１つ又は複数のプロセッサと
を備え、前記１つ又は複数のプロセッサは、
前記フィールドログファイルデータベースに格納された前記フィールドログファイルを処理し、顕著なフィールド使用状況パターンを識別するマイニングモジュールと、
前記フィールドログファイルデータベースに格納された前記フィールドログファイルを処理することによって、将来のワークフローパターンを予測する予測モジュールと、
識別された前記顕著なフィールド使用状況パターン及び前記将来のワークフローパターンに少なくとも部分的に基づいて、イメージングデバイスのための少なくとも１つのテストスクリプトを生成及び実行するテストケース準備及び実行モジュールと
を実行する、システム。
【請求項２】
新しいフィールドログファイルを分析して、識別された前記顕著なフィールド使用状況パターンを更新するマイニングパターン更新モジュールと、
前記新しいフィールドログファイルを分析して、予測された前記将来のワークフローパターンを更新する予測パターン更新モジュールと
をさらに備える、請求項１に記載のシステム。
【請求項３】
前記マイニングモジュールはさらに、
各検査中に行われる並列のユーザインターフェース（ＵＩ）操作及びスキャンのシーケンスの観点から全ての検査を識別する、請求項１又は２に記載のシステム。
【請求項４】
前記マイニングモジュールはさらに、
識別された検査をツリーのデータ構造で表して、検査の各スキャンが前記ツリー内のノードとして表され、あるスキャンから他のスキャンへの遷移が前記ツリー内のエッジとして表されるようにする、請求項３に記載のシステム。
【請求項５】
各ノードは、前記ツリーをポピュレートしている間に前記ノードが発生した回数のカウントを格納し、各検査の開始及び終了はそれぞれ、開始ノード及び終了ノードとして表される、請求項４に記載のシステム。
【請求項６】
前記マイニングモジュールはさらに、
所与の検査についての前記終了ノードに対する前記所与の検査中に行われたＵＩ操作を格納し、
前記ログファイルデータベースにおける全ての前記検査を用いて前記ツリーをポピュレートした後、各終了ノードに、前記ログファイルデータベース内に存在しかつ前記終了ノードに対応する特定の検査のカウントを表す値を格納する、請求項５に記載のシステム。
【請求項７】
前記マイニングモジュールはさらに、
最も一般的に使用される検査のセットを識別し、前記最も一般的に使用される検査のセットを、顕著な使用状況パターンとして提案し、
使用状況パターンの確率モデルを生成し、最も顕著なフィールド使用状況パターンを識別する、請求項６に記載のシステム。
【請求項８】
前記予測モデルはさらに、
入力層を受け取り、
前記入力層を第１の長・短期記憶（ＬＳＴＭ）層に密結合し、
前記第１のＬＳＴＭ層に対してドロップアウト関数を実行して、ネットワーク規則性を改善し、
第２のＬＳＴＭ層を前記第１のＬＳＴＭ層に密結合し、
前記第２のＬＳＴＭ層に対して前記ドロップアウト関数を実行し、
前記第２のＬＳＴＭ層をソフトマックス出力層に密結合する
ことによって、ＬＳＴＭニューラルネットワークを構築する、請求項１から７のいずれか一項に記載のシステム。
【請求項９】
前記予測モデルはさらに、長・短期記憶（ＬＳＴＭ）ニューラルネットワークを構築し、前記予測モデルは、
入力テンソルＸを、等しいスキャン長の検査のバッチに分割し、
バッチスキャン長に合致するように前記ＬＳＴＭニューラルネットワークをロールオーバし、
出力テンソルｙを利用して損失を計算するカテゴリクロスエントロピ関数を実行し、
適応モーメント推定（ＡＤＡＭ）最適化関数を実行して各エポック中にネットワーク重みを更新する
ことによって前記ＬＳＴＭニューラルネットワークを訓練する、請求項１から８のいずれか一項に記載のシステム。
【請求項１０】
医用イメージングデバイスのためのテストスクリプトを生成する方法であって、前記方法は、
１つ又は複数のイメージングデバイスにより行われる検査に関連するデータを含むフィールドログファイルを受け取るステップと、
前記フィールドログファイルを処理し、顕著なフィールド使用状況パターンを識別するステップと、
長・短期記憶（ＬＳＴＭ）ニューラルネットワークを構築し訓練して、将来のワークフローパターンを識別するステップと、
識別された前記顕著なフィールド使用状況パターン及び前記将来のワークフローパターンに少なくとも部分的に基づいて、イメージングデバイスをテストするための少なくとも１つのテストスクリプトを生成及び実行するステップと
を有する、方法。
【請求項１１】
新しいフィールドログファイルを分析し、前記新しいフィールドログファイルに含まれる情報に基づいて、識別された前記顕著なフィールド使用状況パターン及び予測された前記将来のワークフローパターンを更新するステップをさらに有する、請求項１０に記載の方法。
【請求項１２】
各検査中に行われる並列のユーザインターフェース（ＵＩ）操作及びスキャンのシーケンスの観点から全ての検査を識別するステップをさらに有する、請求項１０又は１１に記載の方法。
【請求項１３】
識別された検査をツリーのデータ構造で表して、検査の各スキャンが前記ツリー内のノードとして表され、あるスキャンから他のスキャンへの遷移が前記ツリー内のエッジとして表されるようにするステップをさらに有する、請求項１２に記載の方法。
【請求項１４】
各ノードに、前記ツリーをポピュレートしている間に前記ノードが発生した回数のカウントを格納するステップと、各検査の開始及び終了をそれぞれ開始ノード及び終了ノードとして表すステップとをさらに有する、請求項１３に記載の方法。
【請求項１５】
所与の検査についての前記終了ノードに対する前記所与の検査中に行われたＵＩ操作を格納するステップと、
前記ログファイルデータベースにおける全ての前記検査で前記ツリーをポピュレートした後、各終了ノードに、前記ログファイルデータベース内に存在しかつ前記終了ノードに対応する特定の検査のカウントを表す値を格納するステップと
をさらに有する、請求項１４に記載の方法。
【請求項１６】
最も一般的に使用される検査のセットを識別し、前記最も一般的に使用される検査のセットを、顕著な使用状況パターンとして提案するステップと、
使用状況パターンの確率モデルを生成し、最も顕著なフィールド使用状況パターンを識別するステップと
をさらに有する、請求項１５に記載の方法。
【請求項１７】
前記長・短期記憶（ＬＳＴＭ）ニューラルネットワークを前記構築するステップは、
入力層を受け取るステップと、
前記入力層を第１のＬＳＴＭ層に密結合するステップと、
前記第１のＬＳＴＭ層に対してドロップアウト関数を実行して、ネットワーク規則性を改善するステップと、
第２のＬＳＴＭ層を前記第１のＬＳＴＭ層に密結合するステップと、
前記第２のＬＳＴＭ層に対して前記ドロップアウト関数を実行するステップと、
前記第２のＬＳＴＭ層をソフトマックス出力層に密結合するステップと
を有する、請求項１０から１６のいずれか一項に記載の方法。
【請求項１８】
前記ＬＳＴＭニューラルネットワークを前記訓練するステップは、
入力テンソルＸを、等しいスキャン長の検査のバッチに分割するステップと、
バッチスキャン長に合致するように前記ＬＳＴＭニューラルネットワークをロールオーバするステップと、
出力テンソルｙを利用して損失を計算するカテゴリクロスエントロピ関数を実行するステップと、
適応モーメント推定（ＡＤＡＭ）最適化関数を実行して各エポック中にネットワーク重みを更新するステップと
を有する、請求項１０から１７のいずれか一項に記載の方法。
【請求項１９】
医用イメージングデバイスのための将来のワークフローパターンを予測する方法であって、前記方法は、
スキャンのシーケンスの観点から、複数の医用イメージングデバイスにより行われる全ての検査Ｅを識別するステップと、
将来のワークフローを予測するために長・短期記憶（ＬＳＴＭ）ニューラルネットワークモデルを構築するステップと、
全ての検査にわたって一意のスキャン名を収集することによって、スキャン名及びユーザインターフェース（ＵＩ）操作の辞書Ｄを生成するステップと、
辞書Ｄにおける検査Ｅの各辞書ワードのインデックスを識別することによって、検査Ｅのワンホットエンコーディングを生成するステップと
を有する、方法。
【請求項２０】
前記辞書Ｄにおける複数のワードのそれぞれについての確率を決定するステップと、
決定された前記確率の関数として将来のワークフローを予測するステップと
をさらに有する、請求項１９に記載の方法。
【請求項２１】
複数のイメージングデバイスからのデータログファイルからの情報を使用してイメージングデバイスにおいて実行するためのテストケースを生成することを容易にするシステムであって、前記システムは、
ログファイルを生成する複数のイメージングデバイスと、
前記ログファイルを格納するログファイルデータベースと、
１つ又は複数のプロセッサと
を備え、前記１つ又は複数のプロセッサは、
前記イメージングデバイスにより行われるスキャン操作のシーケンスを含むワークフローを識別し、
識別された前記ワークフローにおける意図されない無効な使用状況パターン及び意図されない有効な使用状況パターンを識別し、
新しいスキャンプロダクト及びスキャンプロダクト更新の少なくとも一方のテストケースシーケンスを生成し、
前記新しいスキャンプロダクト及び前記スキャンプロダクト更新の少なくとも一方をテストするために、前記複数のイメージングデバイスのうちの１つ又は複数で実行するために前記テストケースシーケンスをスケジュールする、システム。
【請求項２２】
前記１つ又は複数のプロセッサはさらに、
順次操作の複数のシーケンスのそれぞれの発生の頻度を識別し、
前記順次操作を記述する条件付き確率ツリーを生成し、
識別された前記順次操作に対応する並列操作を識別し、
各順次操作について、前記順次操作に対応する識別された前記並列操作の使用状況分布情報を生成し、
識別された前記順次操作、対応する並列操作、条件付き確率ツリー、及び使用状況分布情報に基づいて、少なくとも１つのテストケースシーケンスを生成する、請求項２１に記載のシステム。
【請求項２３】
前記１つ又は複数のプロセッサはさらに、
識別された前記順次操作の前記頻度及びアイデンティティと、前記対応する並列操作と、前記条件付き確率ツリーと、前記使用状況分布情報とに関する情報を有するサマリを含む使用状況レポート及びパフォーマンスレポートを生成し、
前記使用状況レポート及び前記パフォーマンスレポートをリモートサーバに送信する、請求項２２に記載のシステム。
【請求項２４】
前記１つ又は複数のプロセッサはさらに、
識別された前記順次操作、前記対応する並列操作、及び前記条件付き確率ツリーに基づいて将来のワークフローを予測することによって、前記少なくとも１つのテストケースシーケンスを生成し、
検証のために前記少なくとも１つのテストケースシーケンスを提出する、請求項２２又は２３に記載のシステム。
【請求項２５】
前記使用状況レポート及び前記パフォーマンスレポートは、条件付き確率分布情報に少なくとも部分的に基づいてフィールドサービス問題をトリアージするための情報を含む、請求項２４に記載のシステム。
【請求項２６】
前記１つ又は複数のプロセッサは、前記使用状況分布情報に基づいて前記少なくとも１つのテストケースシーケンスを繰り返し更新する、請求項２２から２５のいずれか一項に記載のシステム。
【請求項２７】
前記少なくとも１つのテストケースシーケンスは、新しく導入されたスキャンプロトコル用のスキャンシーケンスである、請求項２６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]  以下は、一般に医用イメージングデバイスの信頼性の向上に関する。
【背景技術】
【０００２】
[0002]  医療機器のハードウェアやソフトウェアの誤動作は患者の診断プロセスに悪影響を及ぼすため、一貫した信頼できる機能を保証するための医療機器の包括的テストが極めて重要である。さらに、機器の障害が、それらを使用する病院の生産性を低下させる可能性がある。従来のマシンテスト方法論では、技術者が病院で行う臨床ワークフローに類似する運用プロファイルを現場の専門家が準備する。運用プロファイルは、スキャンワークフロー及び対応するソフトウェア操作の観点から、様々な解剖学的構造を画像化するために行われる典型的なワークフローを含むことが多い。そして、このプロファイルを使用してデバイス検証チームがマシンの機能を検証する。
【０００３】
[0003]  テストシナリオの包括的リストを含むデバイス運用プロファイルを準備することには、いくつかの課題がある。イメージングデバイスは、技術者が様々なコントラストパラメータを変更して所望の画像コントラストを達成することを可能にすることによって、所望のコントラストの画像を生成することを容易にする。現場で使用されるそのような異なるコントラスト構成の数は非常に多い。実際の現場での使用状況（以下、フィールド使用状況）に応じて、いくつかのそのような構成を運用プロファイルに含める必要がある。
【０００４】
[0004]  さらに、イメージングデバイスは、デバイスＵＩを介して技術者が多くの管理及び画像後処理操作を行うことを可能にする。その結果、技術者は、そのようなＵＩの助けを借りて、マルチタスクを行って複数の患者に対し並行に作業をすることが多い。例えば、技術者は、現在のスキャンの進行中に、前の患者又はスキャンの画像の後処理などの活動に対応し、画像を印刷し、画像を転送する。そのような状況で医療機器が確実に動作することを保証するために、実際のフィールド使用状況に従って、全ての提供されるＵＩ操作の使用状況を運用プロファイルに含む必要がある。
【０００５】
[0005]  さらに、医療機器と共にパッケージ化された高度なイメージング機能の一部は、計算及びメモリ集約的であり、これらを利用すると、機器ソフトウェアシステムのハングアップやクラッシュさえも生じる可能性がある。したがって、それらの機能の使用状況を運用プロファイルに含めることが非常に重要である。
【０００６】
[0006]  フィールドでのイメージングデバイスの実際の使用状況の変動は、包括的使用シナリオを想定することを非常に困難にする別の側面である。臨床スキャンシーケンスは、患者の病状に応じて大きく異なる。例えば、細胞性を研究するためのイメージング技術は、脳出血を分析するための技術とは大きく異なり得る。さらに、臨床スキャンシーケンスは、病院の臨床業務に応じても異なる。さらに、病院は効果的な改善されたスキャンシーケンスを継続的に作り出している。したがって、将来の進歩を予測し運用プロファイルに含めるために、現在知られているスキャン構成を推定する必要がある。さらに、臨床業務における進行中の傾向を捉えるために、運用プロファイルが継続的に更新される必要がある。
【０００７】
[0007]  イメージングデバイスの実際のテストの実行に伴うコスト及び時間は、運用プロファイルに含めることが可能なテストの数に制限を課す。例えば、ＭＲＩ装置の運用及び維持コストは非常に高く、１日当たり約１０００ドルと見積もられる。さらに、１つの臨床プロトコルを完了させるために必要な平均時間は約３０分と見積もられる。これは、運用プロファイルに含まれるプロトコルがイメージングデバイスのフィールド使用状況を簡潔に表す必要があることを示唆する。
【０００８】
[0008]  イメージングデバイスは、全ての実行されたスキャン及びＵＩ操作の記述をタイムスタンプと共にログファイルに記録する。さらに、ログは、臨床ワークフローの開始及び終了を示す補助情報を含む。ログファイルに格納されたイベントタイムスタンプを使用してログ情報をマシン操作の時系列に整列することができ、開始及び終了インジケータを使用して臨床ワークフローを抽出することができる。したがって、ログファイルは、フィールドでの実際のデバイス使用状況についての洞察を引き出すのに適している。また、ログファイルは世界中のマシン設備から毎日取得できるので、進行中の臨床傾向を分析し捉えるのに適している。さらに、ログファイルはマシンの実際の使用状況の記述であるため、ログファイルから導き出されたテストケースは検証をほとんど必要としない。
【０００９】
[0009]  従来のテスト方法論は、フィールドの専門家により準備された運用プロファイルによって推進される。しかしながら、それらのプロファイルは専門家の知識に限定されており、臨床ワークフロー全体を適切に表していないことが多い。さらに、そのようなプロファイルは、まれにしか更新されず、したがって、継続的に進歩する臨床業務を十分に反映しないことがある。
【００１０】
[0010]  ほとんどの忙しい病院では、技術者はマルチタスクを行い、複数の患者又は検査に対し並行に作業をすることが多い。例えば、技術者は、現在のスキャンの進行中に、前の患者又はスキャンの画像の後処理などの活動に対応し、画像を印刷し、画像を転送する。そのような活動の異なる組合せの数は非常に大きい。例えば、様々なマシンパラメータを変更することによって、技術者は２００個を超える一意のスキャンを構成することができる。次いで、現在の患者のシナリオに最も適したシーケンスでそのようなスキャンのサブセットを選択することによって検査を構成する。典型的な検査は１０個のそのようなスキャンを含み、これは、スキャンの可能な順列の総数が１００万を超えることを示唆する。したがって、専門家がそのような活動の最もあり得る組合せを識別して運用プロファイルに含めることは非常に困難である。
【００１１】
[0011]  従来のテスト方法論の別の欠点は、多くの場合、それらは、将来の使用状況パターンを予測してテストシステムに組み込むためのモジュールを有していないことである。これらの方法論は、多くの場合、明示的に指定されたテストシナリオの使用に限定され、それにより、馴染みのない使用状況パターンに直面したときにデバイス障害のリスクが高まる。
【００１２】
[0012]  フィールドログファイルは、医療機器の実際の使用状況に関する情報を豊富に含む。しかしながら、フィールドログファイルを利用してテストの使用状況パターンを導き出すには多くの課題がある。まず、最も顕著なワークフローを正確に識別することは、デバイス使用状況の変動があるので些細なことではない。例えば、技術者は同じスキャンセットを多くの異なる順序で行うことができる。さらに、いくつかのマシンパラメータは患者の状態に合わせて変更できるため、使用状況パターンは疎に分散することが多い。したがって、導き出されたテストパターンは、実際のデバイス使用状況を完全には表していない。さらに、フィールドログに見られる使用状況パターンを推定することにより導き出されたテストパターンがマシンの実際の臨床使用状況と合致することを保証するのは困難である。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
[0013]  運用プロファイルの準備及びログファイルの有用性における上記の課題に照らして、フィールド臨床ワークフローとフィールドログファイルから実際のワークフローを推定することにより導き出されたワークフローとをテストシステムにシームレスに統合する、革新的なテスト方法論が必要である。
【００１４】
[0014]  以下にいくつかの改善点を開示する。
【課題を解決するための手段】
【００１５】
[0015]  開示される一態様では、医用イメージングデバイスのためのテストスクリプトを生成することを容易にするシステムが、１つ又は複数のイメージングデバイスにより行われる検査に関連するデータを含むフィールドログファイルを格納したフィールドログファイルデータベースを備える。システムはまた、１つ又は複数のプロセッサを備え、１つ又は複数のプロセッサは、前記フィールドログファイルデータベースに格納された前記フィールドログファイルを処理し、顕著なフィールド使用状況パターンを識別するマイニングモジュールと、前記フィールドログファイルデータベースに格納された前記フィールドログファイルを処理することによって、将来のワークフローパターンを予測する予測モジュールとを実行する。システムは、識別された前記顕著なフィールド使用状況パターン及び前記将来のワークフローパターンに少なくとも部分的に基づいて、イメージングデバイスのための少なくとも１つのテストスクリプトを生成及び実行するテストケース準備及び実行モジュールをさらに備える。
【００１６】
[0016]  別の開示される態様では、医用イメージングデバイスのためのテストスクリプトを生成する方法が、１つ又は複数のイメージングデバイスにより行われる検査に関連するデータを含むフィールドログファイルを受け取るステップと、前記フィールドログファイルを処理し、顕著なフィールド使用状況パターンを識別するステップと、長・短期記憶（ＬＳＴＭ）ニューラルネットワークを構築し訓練して、将来のワークフローパターンを識別するステップとを有する。前記方法は、識別された前記顕著なフィールド使用状況パターン及び前記将来のワークフローパターンに少なくとも部分的に基づいて、イメージングデバイスをテストするための少なくとも１つのテストスクリプトを生成及び実行するステップをさらに有する。
【００１７】
[0017]  別の開示される態様では、医用イメージングデバイスのための将来のワークフローパターンを予測する方法が、スキャンのシーケンスの観点から、複数の医用イメージングデバイスにより行われる全ての検査Ｅを識別するステップと、将来のワークフローを予測するために長・短期記憶（ＬＳＴＭ）ニューラルネットワークモデルを構築するステップと、全ての検査にわたって一意のスキャン名を収集することによって、スキャン名及びユーザインターフェース（ＵＩ）操作の辞書Ｄを生成するステップとを有する。前記方法は、辞書Ｄにおける検査Ｅの各辞書ワードのインデックスを識別することによって、検査Ｅのワンホットエンコーディングを生成するステップをさらに有する。
【００１８】
[0018]  別の開示される態様では、複数のイメージングデバイスからのデータログファイルからの情報を使用してイメージングデバイスにおいて実行するためのテストケースを生成することを容易にするシステムが、ログファイルを生成する複数のイメージングデバイス（１２０、１２２、１２４）と、前記ログファイルを格納するログファイルデータベース（２０）と、１つ又は複数のプロセッサ（１４）とを備え、前記１つ又は複数のプロセッサ（１４）は、前記イメージングデバイスにより行われるスキャン操作のシーケンスを含むワークフローを識別する。１つ又は複数のプロセッサはさらに、識別された前記ワークフローにおける意図されない無効な使用状況パターン及び意図されない有効な使用状況パターンを識別し、新しいスキャンプロダクト及びスキャンプロダクト更新の少なくとも一方のテストケースシーケンスを生成し、前記新しいスキャンプロダクト及び前記スキャンプロダクト更新の少なくとも一方をテストするために、前記複数のイメージングデバイスのうちの１つ又は複数で実行するために前記テストケースシーケンスをスケジュールする。
【００１９】
[0019]  １つの利点は、一群の医用イメージングデバイスにわたるテストケースの改善である。
【００２０】
[0020]  別の利点は、ワークフロー予測の動的更新である。
【００２１】
[0021]  所与の実施形態が、上記の利点の１つ、２つ、より多く、若しくは全てを提供してよく、及び／又は本開示を読んで理解すると当業者に明らかとなるように他の利点を提供してもよい。
【００２２】
[0022]  本発明は、様々な構成要素及び構成要素の配置並びに様々なステップ及びステップの配置の形を取り得る。図面は、単に好ましい実施形態を例示することを目的としており、本発明を限定するものとして解釈されるべきではない。
【図面の簡単な説明】
【００２３】
【図１】[0023]  本明細書に記載された１つ又は複数の態様による、医用イメージングデバイスをテストするためのテストケースを生成することを容易にするシステムを示す図である。
【図２】[0024]  本明細書に記載された１つ又は複数の態様による、本明細書に記載されたニューラルネットワークを生成するための方法を示す図である。
【図３】[0025]  本明細書に記載された１つ又は複数の特徴による、ニューラルネットワークを訓練するための方法を示す図である。
【図４】[0026]  本明細書に記載された１つ又は複数の特徴による、革新の詳細な態様を示すブロック図である。
【図５】[0027]  本明細書に記載された１つ又は複数の態様による、アナライザモジュールの様々な態様を図式的に示す図である。
【図６】[0028]  本明細書に記載された１つ又は複数の態様による、ワークフローを識別する方法を示す図である。
【図７】[0029]  本明細書に記載された１つ又は複数の態様による、ワークフローを層別化することができる基準の様々な例を示す図である。
【図８】[0030]  本明細書に記載された１つ又は複数の態様による、層ワークフローを分析するための方法、例えばプロセッサ１４（図１）を示す図である。
【図９】[0031]  本明細書に記載された１つ又は複数の態様による、ワークフローを分析するための方法を示す図である。
【図１０】[0032]  ワークフローサマリを生成するための方法を示す図である。
【図１１】[0033]  本明細書に記載された１つ又は複数の特徴による、テストケースを推定するための方法を示す図である。
【図１２】[0034]  本明細書に記載された１つ又は複数の特徴による、将来の使用状況テストケースを予測するための方法を示す図である。
【図１３】[0035]  本明細書に記載された１つ又は複数の特徴による、使用状況レポートを生成する方法を示す図である。
【図１４】[0036]  本明細書に記載された１つ又は複数の特徴による、層分析モジュールにより行われ得るようなパフォーマンスを分析するための方法を示す図である。
【図１５】[0037]  本明細書に記載された様々な態様による、動的モデルビルダスケジューラにより行われ得るような１つ又は複数のイメージングデバイスによって実行するためのテストケースをスケジュールするための方法を示す図である。
【発明を実施するための形態】
【００２４】
[0038]  この説明されるシステム及び方法は、フィールドログファイルを広範囲に分析して、運用プロファイルで提供されるワークフローを病院で行われる実際のワークフローによって強化することによって、従来のテスト方法論の制限を克服することを目的とするテスト方法論に関する。この手法は、様々なワークフローを識別するためにログファイルを処理することから始まり、病院全体にわたってワークフローを統合することによって最も重要な使用状況パターンを導き出す。この手法はさらに、機械学習技術を使用して現在行われているワークフローで可能な将来の変動を予測し、それらの予測されたプロファイルをテストシステムに追加することによって、運用プロファイルを改善する。さらに、提案された手法は、新しく導入されたプロダクト特性の使用状況を予測し、それらの新しく導入されたプロダクト特性からなる新しい運用プロファイルを生成する。さらに、この方法は、構築された機械学習モデルを新しく利用可能なフィールドログでリアルタイムに継続的に更新する。加えて、この手法は、完全に自動化されたテストシステムを提供し、フィールドログから導き出された新しいテストケースと、予測されたワークフローとの継続的な統合を提供する。
【００２５】
[0039]  運用プロファイルを生成することと共に、説明される革新は、全ての利用可能なスキャンタイプ、ＵＩ操作、及びシステムの他のモジュールの使用状況レポートを生成する。このレポートは、（以下に限定されないが）広く使用されているスキャンタイプ、広く使用されているＵＩ操作、ほとんど使用されていないスキャンタイプ、ほとんど使用されていないＵＩ操作などを含む。さらに、説明される革新は、医療機器の広範なパフォーマンスレポートを生成する。このレポートは、（以下に限定されないが、）ＣＰＵ使用状況、メモリ使用状況、各スキャンタイプにかかる時間の分析、各ＵＩ操作の使用時間の分析、様々な機械学習モジュールのパフォーマンス、画質の分析などを含む。
【００２６】
[0040]  提案された手法は、フィールドログファイルを利用して顕著な使用状況パターンを導き出す際の課題を解決する。最も頻繁な使用状況パターンを識別すると共に、この方法論は、使用状況パターンの確率モデルを構築し、変動する確率の複数のパターンを探求する。これは、導き出されたパターンが使用状況パターンの疎な空間を包含することを確実にする。予測パターンは実際の使用状況パターンから構成されるため、得られたパターンは、マシンの実際の臨床使用状況と合致すると予想される。さらに、この方法論は、使用状況パターンの多層ニューラルネットワーク（例えば長・短期記憶（ＬＳＴＭ））モデルを構築し、それにより多重的な利点を提供する。多層ニューラルネットワークモデルは、入力位置に関係なく入力シーケンスにおけるサンプルに対する適切な重み付けを学習することができる。したがって、多層ニューラルネットワークによって予測される使用状況パターンは、デバイス使用状況に順序の不整合がある場合でも実際のデバイス使用状況を効率的に要約する。
【００２７】
[0041]  さらに、多層ニューラルネットワークモデルは、データの意味的関係を学習する固有の能力を有する。これは、提案された方法論が使用状況パターンの変動を予測することを可能にするだけでなく、予測パターンがマシンの実際の臨床使用状況と合致することを確実にもする。さらに、提案された手法は、医療機器の可能な意図されない使用状況からなる運用プロファイルを生成する。これは２つのやり方で行われる。第１に、フィールドログファイルを分析することによって、フィールドでの意図されない使用状況を識別することによる。第２に、それらを前述の多層ニューラルネットワーク及び統計モデルを使用して合成することによる。最終的に、提案されたシステム及び方法は、層別化手順を使用して識別されたデータの任意のサブセットで運用プロファイルを生成する能力を有する。
【００２８】
[0042]  図１は、本明細書に記載された１つ又は複数の態様による、医用イメージングデバイスをテストするためのテストケースを生成することを容易にするシステム１０を示す。システム１０は、ユーザインターフェース（ＵＩ）１３、プロセッサ１４、及びメモリ１６（すなわち、コンピュータ可読媒体）に結合されたテストモジュール又はデバイス１２を備え、システム１０によりテストされている医療機器についての使用状況パターンを識別するように構成される。「使用状況パターン」は、本明細書では「ワークフローパターン」とも呼ばれ、検査におけるスキャン及び検査中に行われる並列ユーザインターフェース（ＵＩ）操作のシーケンスとして定義される。
【００２９】
[0043]  プロセッサ１４は、本明細書に説明されている様々な機能、方法などを実行するための１つ又は複数のコンピュータ実行可能モジュールを実行し、メモリ１６は、それらのモジュールを格納している。「モジュール」は、本明細書で使用される場合、コンピュータ実行可能アルゴリズム、ルーチン、アプリケーション、若しくはプログラムなど、及び／又はそうしたコンピュータ実行可能アルゴリズム、ルーチン、アプリケーション、若しくはプログラムなどを実行するプロセッサを示す。
【００３０】
[0044]  メモリ１６は、制御プログラムが格納されたディスク又はハードドライブなどのコンピュータ可読媒体である。コンピュータ可読媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、若しくは他の任意の磁気記憶媒体、ＣＤ−ＲＯＭ、ＤＶＤ、若しくは他の任意の光学媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）−ＥＰＲＯＭ、その変形、他のメモリチップ、若しくはカートリッジ、又はプロセッサ１４が読み取り実行できる他の任意の有形媒体などである。この文脈では、説明されているシステムは、１つ若しくは複数の汎用コンピュータ、専用コンピュータ、プログラムされたマイクロプロセッサ若しくはマイクロコントローラ及び周辺集積回路要素、ＡＳＩＣ若しくは他の集積回路、デジタル信号プロセッサ、ディスクリート素子回路などのハードワイヤード電子回路若しくは論理回路、又は、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、グラフィックス処理ユニット（ＧＰＵ）、若しくはＰＡＬなどのプログラマブル論理デバイスなどにおいて実施され又はそれらとして実施されてよい。
【００３１】
[0045]  テストモジュール１２は、新しいフィールドログファイル１８を受け取り、フィールドログファイルデータベース２０に格納する。すなわち、病院などに設置されたイメージングデバイスから作成されたログファイルが、フィールドログファイルデータベースに格納される。格納されたログファイルは、データベース２０から、将来のワークフローを予測する予測モジュール２２と、ログファイルからワークフローパターンをマイニングするマイニングモジュール２４とのそれぞれに提供される。また、新しいログファイル１８は、マイニングされたワークフローパターンを新しい入力に基づいて更新するマイニングパターン更新モジュール２６、及び予測モジュール２２により予測されたパターンを更新する予測パターン更新モジュールに提供される。テストケース準備モジュール３０は、予測モジュール２２、マイニングモジュール２４、マイニングパターン更新モジュール２６、及び予測パターン更新モジュール２８のそれぞれから入力を受け取り、また、テストケースを生成し、所与のイメージングデバイス３２上で１つ又は複数のテストを行うように構成される。
【００３２】
[0046]  予測モジュール２２は、データベース２０に格納されたログファイルを処理することによって将来のワークフローを予測して、現在顕著なワークフローパターンにおける将来の変動を予測する。ログファイルは、イメージングデバイスで行われた様々な操作の詳細を含む。予測モジュールは、まずスキャンのシーケンスの観点から全ての検査を識別する。次いで、予測モジュールは多層ニューラルネットワークモデルを構築して、以下の手順を使用して将来のワークフローを予測する。
【００３３】
[0047]  データ準備：Ｅを全ての検査の集合とする。ここで、ｉ番目の検査Ｅｉは次のように定義される。
Ｅｉ＝Ｅｉ１，Ｅｉ２，…，Ｅｉｐ，ただし、ｉ＝１，２，…，ｎ，
ここで、Ｅｉｊは、Ｅｉにおけるｊ番目のスキャンの名前であり、ｉｐは、Ｅｉにおけるスキャン及びＵＩ操作の数であり、ｎは、Ｅにおける検査の総数である。検査の開始及び終了は特別なスキャンとして表され、それぞれ開始スキャン及び終了スキャンと呼ばれる。Ｅの全ての検査は、Ｅｉ１が開始スキャンとなりＥｉｐが終了スキャンとなるように、開始スキャン及び終了スキャンを含むように修正される。
【００３４】
[0048]  予測モジュール２２は、全ての検査にわたって一意の名前を収集することによって、スキャン名及びＵＩ操作の辞書Ｄを生成する。これは次のように定義される。
Ｄ＝Ｄ１，Ｄ２，…，Ｄｌ，
ここで、Ｄｉは、辞書におけるｉ番目のワードであり、ｌは、辞書における要素の数である。
【００３５】
[0049]  さらに、予測モジュールは、ＤにおけるＥの各辞書ワードのインデックスを識別することによって、Ｅの「ワンホットエンコーディング」を生成する。「ワンホットエンコーディング」は次のように定義される。
ＯＨＥｄｉｃｔｉｏｎａｒｙ  ｗｏｒｄ＝［ｘ０，ｘ１，…，ｘｎ−１］，
ここで、ｉ＝Ｄにおける辞書ワードのインデックスである場合、ｘｉ＝１であり、さもなければ０である。
【００３６】
[0050]  ＬＳＴＭの入力テンソルＸ及び出力テンソルｙは、次のように準備される。
Ｘ＝Ｘ１，Ｘ２，…，Ｘｎであり、ここで、ｉ番目の要素Ｘｉは次のように定義される。
Ｘｉ＝ＯＨＥ（Ｅｉ１），ＯＨＥ（Ｅｉ２），…，ＯＨＥ（Ｅｉｐ−１）、また、
ｙ＝ｙ１，ｙ２，…，ｙｎであり、ここで、ｉ番目の要素ｙｉは次のように定義される。
ｙｉ＝ＯＨＥ（Ｅｉ２），ＯＨＥ（Ｅｉ３），…，ＯＨＥ（Ｅｉｐ）
【００３７】
[0051]  図１をさらに参照すると、予測モジュール２２は、次のようにネットワークステップを訓練中に構築されるＬＳＴＭモデルを使用してワークフローを予測するための手順を実行する。
【００３８】
[0052]  ＵをＬＳＴＭモデルの入力テンソルとし、これを次のように定義する。
Ｕ＝ＯＨＥ（Ｕ１），ＯＨＥ（Ｕ２），…，ＯＨＥ（Ｕｋ），
ここで、ｉ＝ｉからｋについてＵｉは入力辞書ワードであり、Ｕ１＝開始スキャンである。
【００３９】
[0053]  ｐｒｅｄをＬＳＴＭ予測関数とし、その形式は、
ｐｒｅｄＵ＝［Ｖ１，Ｖ２，…，Ｖｋ］であり、
ここで、ｉ＝ｉからｋについて各Ｖｉは、辞書Ｄにおける各ワードのクラス確率のベクトルである。
Ｖ１＝［ｐ０，ｐ１，…，ｐｌ−１］とする。
ここで、ｐ０は辞書における１番目のワードの確率であり、ｐ１は辞書における２番目のワードの確率であり、以下同様である。ｒａｎｄ（ｐ０，ｐ１，…，ｐｌ−１）を、所与の確率分布ｐ０，ｐ１，…，ｐｌ−１に従う範囲（０、ｌ−１）におけるランダムインデックスジェネレータとする。
【００４０】
[0054]  次いで、予測された辞書ワードを次の式を使用して導き出すことができる。
ｓｃａｎｐｒｅｄＵ＝Ｄ［ｐｒｅｄＵのｒａｎｄｌａｓｔ要素］
【００４１】
[0055]  予測のための初期入力テンソルＩは次のように準備される。
Ｉ＝［ＯＨＥ開始ｓｃａｎ］
【００４２】
[0056]  さらに、予測される検査Ｐは次のように初期設定される。
Ｐ＝［開始ｓｃａｎ］
【００４３】
[0057]  Ｉについての予測スキャン名は、
ｃ＝ｓｃａｎｐｒｅｄ（Ｉ）
によって与えられる。
【００４４】
[0058]  次に、Ｉ及びＰが予測スキャン名を使用して次のように更新される。
Ｉ＝［Ｉ，ＯＨＥ（ｃ））］、及び
Ｐ＝［Ｐ，ｃ］
【００４５】
[0059]  更新されたＩは、次の辞書ワードを予測するためにさらに使用される。予測は、ｃ＝終了スキャンになるまで繰り返される。終了スキャンに遭遇すると、更新されたＰは予測された将来のワークフローとして認識される。辞書はスキャン名とＵＩ操作の両方を含むので、予測された将来のワークフローはスキャン名とＵＩ操作の両方を含む。上記の手順を繰り返して将来の複数のワークフローを取得する。
【００４６】
[0060]  予測パターン更新モジュール２８は、新しく利用可能なフィールドログファイルを使用して予測モジュールによって生成された使用状況パターンの多層ニューラルネットワークモデルを更新する。まず、予測モジュールは、新しいログファイルにおけるスキャンのシーケンスの観点から全ての検査を識別する。予測パターン更新モジュール２８は、将来のワークフローを予測するときに予測モジュールによって格納済みデータベースログファイルにおいて識別された検査と新しい検査を組み合わせることによって、新しいデータセットを生成し、予測モジュール２２と同様の手順に従って、予測使用状況パターンの更新されたセットを生成する。
【００４７】
[0061]  マイニングモジュール２４は、データベース２０に格納されたログファイルを処理して、最も顕著なフィールド使用状況パターンを決定する。ログファイルは、医療機器で行われた様々な操作の詳細を含む。マイニングモジュール２４は、まず、検査中に行われるスキャン及び並列ＵＩ操作のシーケンスの観点から全ての検査を識別する。次いで、マイニングモジュール２４は、識別された検査をツリーのデータ構造で表す。検査の各スキャンはツリー内のノードとして表され、あるスキャンから他のスキャンへの遷移はツリー内のエッジとして表される。各ノードは、ツリーをポピュレートしている間にノードに遭遇したカウントを格納する。検査の開始及び終了がツリー内の特別なノードとして表され、それぞれ開始ノード及び終了ノードと呼ばれる。さらに、マイニングモジュール２４は、終了ノードに対する検査中に行われたＵＩ操作を格納する。ログファイルデータベースにおける全ての検査を用いてツリーをポピュレートした後、終了ノードに格納されたカウントは、ログファイルデータベース内に存在する特定の検査のカウントを表すことになる。次いで、マイニングモジュール２４は、手順１及び手順２と呼ばれる下記の手順を使用して、２セットの顕著な使用状況を生成する。
【００４８】
[0062]  手順１：この手順では、最も一般的に使用される検査を識別し、以下の手順を使用してそれらを顕著な使用状況パターンとして提案する：Ｃｉを、ｉ番目の終了ノードに格納されたカウントとする。次いで、ｋ番目の最も顕著なパターンが次のように定義される。
Ｅｋ＝［Ｅｋ０，Ｅｋ１，…，Ｅｋｎ］，ただし、ｋ＝１，２，…，
ここで、Ｅｋ０は開始ノードであり、Ｅｋｎはｋ番目の最も発生する終了ノードである。
【００４９】
[0063]  手順２：この手順では、使用状況パターンの確率モデルを生成し、以下の手順を使用して最も顕著なフィールド使用状況パターンを識別する：Ｃｉｊを、ツリーのｉ番目のノードのｊ番目の子ノードに格納されたカウントとする。次いで、ｉ番目のノードからｉ番目のノードのｊ番目の子ノードに遷移する確率Ｐｉｊが次のように定義される。
Ｐｉｊ＝ＣｉｊＳｉ
ここで、Ｓｉ＝Ｃｉｊであり、ｎはｉ番目のノードの子ノードの数である。
【００５０】
[0064]  さらに、ｋ番目の最も顕著なパターンは次のように定義される。
Ｅｋ＝［Ｅｋ０，Ｅｋ１，…，Ｅｋｎ］，ただしｋ＝１，２，…，
ここで、Ｅｋ０は、開始ノードであり、Ｅｋｎは、終了ノードであり、Ｅｋ１は、Ｅｋ０のｋ番目の最もあり得る子ノードであり、以下同様である。
【００５１】
[0065]  マイニングパターン更新モジュール２６は、新しく利用可能なフィールドログファイル１８を使用して、ワークフローパターンをマイニングするときにマイニングモジュール２４により生成された使用状況パターンの確率モデルを更新する。まず、マイニングパターン更新モジュール２６は、新しいログファイル１８における検査中に行われたスキャン及び並列ＵＩ操作のシーケンスの観点から全ての検査を識別する。次いで、マイニングパターン更新モジュール２６は、ワークフローパターンをマイニングするときにマイニングモジュール２４により識別された検査と新しい検査を組み合わせることによって、新しいデータセットを生成し、更新された顕著なフィールド使用状況パターンを生成するために、マイニングモジュールにより実行されたのと同様の手順に従う。
【００５２】
[0066]  テストケース準備モジュール３０は、他のモジュールにより識別された使用状況パターンを使用してテストスクリプトを生成し、イメージングデバイス上でテストを行い、テストレポートを生成する。
【００５３】
[0067]  引き続き図１を参照して、図２は、本明細書に記載された１つ又は複数の態様による、図１の予測モジュール２２によって実行できるような本明細書に説明されているニューラルネットワークを生成するための方法を示す。多層の長・短期記憶（ＬＳＴＭ）ネットワークが、図２に示されるように２（又は３）層ＬＳＴＭを使用して構築される。しかしながら、ニューラルネットワークを構築するときに、より多数又は少数の層が利用されてもよいことは理解されよう。入力テンソルＸは、５０において入力層として受け取られる。入力層は、５２において第１のＬＳＴＭ層に密結合される。ＬＳＴＭ層は、１つ又は複数のＬＳＴＭセルで構成される。各ＬＳＴＭセルは、３つのゲート、すなわち、入力ゲート、忘却ゲート、及び出力ゲートを含み、これらの式は以下で与えられる。
ｉ（ｔ）＝ｇ（ＷｘｉＸ（ｔ）＋ＷｈｉＨ（ｔ−１）＋Ｂｉ］，ただし、ｔ＝０，１，２，…，
ｆ（ｔ）＝ｇ（ＷｘｆＸ（ｔ）＋ＷｈｆＨ（ｔ−１）＋Ｂｆ］，ただし、ｔ＝０，１，２，…，
ｏ（ｔ）＝ｇ（ＷｘｏＸ（ｔ）＋ＷｈｏＨ（ｔ−１）＋Ｂｏ］，ただし、ｔ＝０，１，２，…，
ここで、ｉ（ｔ）は入力ゲート、ｆ（ｔ）は忘却ゲート、及びｏ（ｔ）は出力ゲートの時間ｔでの活性化であり、Ｗｘは重みであり、Ｂはバイアスであり、Ｘ（ｔ）は時間ｔでの入力であり、Ｈ（ｔ−１）は前の時間ステップでのセル出力である。入力は、以下のようにｔａｎｈによって変換される。
ｃ＿ｉｎ（ｔ）＝ｔａｎｈ（ＷｘｃＸ（ｔ）＋ＷｈｃＨ（ｔ−１）＋Ｂｃ＿ｉｎ］，ただし、ｔ＝０，１，２，…，
ここで、ｃ＿ｉｎ（ｔ）は変換された入力であり、Ｗｘは重みであり、Ｂはバイアスであり、Ｘ（ｔ）は時間ｔでの入力であり、Ｈ（ｔ−１）は前の時間ステップでのセル出力である。さらに、隠れ状態は次のように更新される。
ｃ（ｔ）＝ｆ（ｔ）＊ｃ（ｔ−１）＋ｉ（ｔ）＊ｃ＿ｉｎ（ｔ），ただし、ｔ＝０，１，２，…，
ｈ（ｔ）＝ｏ（ｔ）＊ｔａｎｈ（ｃ（ｔ）），ただし、ｔ＝０，１，２，…，
ここで、＊は要素ごとの積演算であり、ｃ（ｔ−１）は前の時間ステップでのセル活性化であり、ｈ（ｔ）は時間ｔでのセル出力である。５４において、ドロップアウト関数を第１のＬＳＴＭ層に適用してネットワーク規則性を改善する。ドロップアウト関数は、訓練中にネットワークノードの一部及び対応する活性化を無視する。ドロップアウト関数は、訓練の繰り返しごとに置き換えてランダムにノードの新しいセットを選択する。５６において、第２のＬＳＴＭ層が第１のＬＳＴＭ層に密結合され、５８において、ドロップアウト関数が第２のＬＳＴＭ層に適用される。したがって、各ＬＳＴＭ層はさらに次のレベルのＬＳＴＭ層に密結合され、ドロップアウト関数はさらにネットワーク規則性を改善するように適用される。最後のＬＳＴＭ層は、６０において「ソフトマックス」出力層に密結合される。ソフトマックス関数は以下のように与えられる。
【数１】
2021507325.tif 000003
ここで、Ｚは関数に対するＫ次元の入力であり、ｅｘｐは指数関数である。
【００５４】
[0068]  図３は、本明細書に記載された１つ又は複数の特徴による、ニューラルネットワークを訓練するための方法を示す。ネットワークを訓練するとき、８０において、入力テンソルＸが、等しいスキャン長の検査のバッチに分割される。次いで、訓練中に、８２において、ネットワークはバッチスキャン長に合致するようにロールオーバされる。ここで、ロールオーバは、入力長に合致するようにＬＳＴＭセルを複製するプロセスを指し、それにより、全てのそのように複製されたセルが、ネットワークの重み及びバイアスの同じコピーを使用するようになる。カテゴリクロスエントロピが損失関数として使用され、８４において、出力テンソルｙを活用して損失を計算する。カテゴリクロスエントロピは以下のように定義される。
Ｈ（ｐ，ｙ）＝−Σｘｐ（ｘ）ｌｏｇ（ｙ（ｘ）），
ここで、ｐは真の分布である。しかしながら、ニューラルネットワークを構築するときに、いくつかの他の損失関数（例えば、平均二乗誤差、カルバック・ライブラー発散など）を利用してもよいことは理解されよう。さらに、８６において、適応モーメント推定（ＡＤＡＭ）最適化を使用してネットワーク重みを各エポック中に更新する（すなわち、全ての訓練例にわたって１つの順方向パスと１つの逆方向パス）。しかしながら、ニューラルネットワークを訓練するときに、他のいくつかの最適化関数（例えば、確率的勾配降下法、ＲＭＳｐｒｏｐ、Ａｄａｇｒａｄなど）を利用してもよいことは理解されよう。
【００５５】
[0069]  図４は、本明細書に記載された１つ又は複数の特徴による、図１のシステム１０で構成され、プロセッサ１４によって実行されるような、革新の詳細な態様を示すブロック図である。データベース２０は、複数のユーザデバイス１２０、１２２、１２４（すなわち、医用イメージングデバイス）のそれぞれからログファイル及び監視エージェントレポートを受け取って格納する。複数のユーザデバイス１２０、１２２、１２４のそれぞれは、それぞれのパフォーマンス監視エージェント１２１、１２３、１２５を備える。動的モデルビルダスケジューラモジュール１２６が、データベース１２０からの全ての利用可能なログファイル及びレポート、並びにテストケースをスケジュールするためのスケジューラ構成情報を受け取る。プロセッサ１４（図１）によって実行可能なアナライザモジュール１２８は、アナライザ構成情報、及び分析を行うためにルールが定義されるルールベースに加えて、スケジューラモジュール１２６からの全ての利用可能なログファイル及びレポートを受け取る。アナライザは、パフォーマンス更新をユーザデバイス１２０、１２２、１２４のそれぞれに送信する。１つ又は複数の実施形態では、アナライザモジュールは、図１のマイニングモジュール２４及び／又は将来ワークフロー予測モジュール２２の機能を実行する。これに関連して、図１のマイニングモジュール及び／又は将来ワークフロー予測モジュールは、図４のアナライザを含むものと考えることができ、したがって、アナライザモジュール１２８によって実行される全ての機能、手順、方法などは、マイニングモジュール２４及び／又は将来ワークフロー予測モジュール２２によって同様に実行され得る。
【００５６】
[0070]  アナライザ１２８はまた、分析されているイメージングデバイスに関して、意図されない無効なユースケース、意図されない有効なユースケース、パフォーマンスレポート、使用状況レポートなどを含むがこれらに限定されない追加情報を識別し、プロダクトマーケティングサーバ１３０に送信する。この情報に基づいて、プロダクト及びマーケティングサーバ１３０は、プロダクト更新としてユーザデバイスに送信される１つ又は複数の改善されたプロダクトバージョン１３２を展開する。さらに、アナライザ１２８は、選択された最適テストケースのセットをテストケースの評価及びテストレポートの生成のために評価チームサーバ１３４に送信し、テストレポートは、プロダクトバージョンを改善するためにプロダクト及びマーケティングサーバ１３０に提供される。
【００５７】
[0071]  図５は、本明細書に記載された１つ又は複数の態様による、アナライザモジュール１２８の様々な態様を図式的に示す。アナライザモジュールは、全ての利用可能なログファイル及び監視エージェントレポートを受け取り、ワークフロー識別モジュール１４０は、それからワークフローを識別し、識別されたワークフローを層別化モジュール１４２に提供する。層ワークフローは、第１の層ワークフローを分析する第１の層分析モジュール１４４から第ｎの層ワークフローを分析する第ｎの層分析モジュール１４６を含む複数の層分析モジュールによって分析される。各層分析モジュール１４４、１４６は、テストケースを生成し、テストセットオプティマイザモジュール１４８に提供され、テストセットオプティマイザモジュール１４８は、１つ又は複数の所定の基準に基づいて最適テストセットを生成し出力する。各層分析モジュール１４４、１４６は、意図されない有効なユースケースを識別し、意図されない有効なユースケースを組み合わせて出力する有効ユースケース結合モジュール１５０にそれらを提供する。意図されない無効なユースケースも層分析モジュールによって識別され、意図されない無効なユースケースを組み合わせて出力する無効ユースケース結合モジュール１５２に送信される。パフォーマンスレポートが、層アナライザによって、パフォーマンスレポートを組み合わせて出力するパフォーマンスレポート結合モジュール１５４に提供される。さらに、使用状況レポートが、層アナライザによって、使用状況レポートを組み合わせて出力する使用状況レポート結合モジュール１５６に提供される。
【００５８】
[0072]  図６は、本明細書に記載された１つ又は複数の態様による、プロセッサ（例えば、図１のプロセッサ１４）によって実行されたときにワークフロー識別モジュール１４０によって行われるような、ワークフローを識別する方法を示す。ワークフロー識別モジュールは、全ての利用可能なログファイル及びアナライザ構成情報を受け取る。ログファイルごとに、ワークフロー識別モジュール１４０は、１８０で順次操作、１８２で並列操作、１８４で各ワークフローの開始及び終了、１８６でパフォーマンスメトリクス、並びに１８８で各ワークフローの属性を識別する。１９０において、ワークフロー識別モジュール１４０は、これらの識別された情報から１つ又は複数のワークフローを生成し出力する。
【００５９】
[0073]  図７は、本明細書に記載された１つ又は複数の態様による、層別化モジュール１４２によりワークフローを層別化することができる基準の様々な例を示す。層別化モジュールは、ワークフロー識別モジュール１４０（図６）により生成されたワークフロー、及びアナライザ構成情報を受け取り、アナライザ構成情報で指定され得る１つ又は複数の基準又はパラメータに基づいてワークフローを層別化する。第１の例では、ワークフローは、それぞれのワークフローを使用して画像化される患者の解剖学的領域のような解剖学的構造に基づいて層別化される。第２の例では、ワークフローは、それぞれのワークフローを使用するデバイスが設置された領域（例えば、物理的な場所又は地域、病院又はデパートなど）に基づいて層別化される。第３の例では、ワークフローは、それらが利用される病院のタイプ（例えば、手術センター、がんセンターなど）に基づいて層別化される。第４の例では、ワークフローは、患者のタイプ（例えば、小児科、老年科など）に基づいて、又は所与の事前設定に基づいて層別化される。第５の例では、ワークフローは、ワークフローを使用するデバイスで検出されたエラー、クラッシュ、又はスキャン中止などの１つ又は複数の存在に基づいて層別化される。別の例では、アナライザ構成情報により示されている場合、全ての利用可能なワークフローが層別化なしに通過する。いずれの場合も、各層（１，２，…，ｎ）のワークフローが出力される。
【００６０】
[0074]  図８は、本明細書に記載された１つ又は複数の態様による、プロセッサ１４（図１）などのプロセッサによって実行されたときに層分析モジュール１４４（及び１４６）によって行われるような、層ワークフローを分析するための方法を示す。層別化モジュール１４２によって出力された層別化ワークフローは、層ワークフローを分析するために、監視エージェントレポート、アナライザ構成情報、及び１つ又は複数のルールを定義するルールベース情報と共に、層分析モジュールによって受け取られる。ワークフロー分析は、２２０において、テストケース、意図されない有効なユースケース、及び意図されない無効なユースケースを識別し出力するために行われる。さらに、層のワークフローに含まれる全ての操作についての使用状況分布情報が出力され、２２２において、使用状況レポートを生成し出力するために使用状況分析が行われる。パフォーマンス分析も２２４で行われ、ワークフロー及び／又はワークフローを利用するイメージングデバイスのパフォーマンスを記述するパフォーマンスレポートを生成し出力する。
【００６１】
[0075]  図９は、本明細書に記載された１つ又は複数の態様による、プロセッサ（図１のプロセッサ１４など）によって実行されたときにワークフロー分析モジュール２２０によって実行されるような、ワークフローを分析するための方法を示す。所与のワークフロー層のワークフローは、ワークフロー分析モジュール２２０によって受け取られる。２４０において、ワークフロー分析モジュールはワークフローのサマリを生成する。サマリは、層に含まれるワークフロー内の全ての操作についての使用状況分布情報を出力として含む。２４２において、ルールベースを使用して識別されたテストケースが有効であるかどうかに関する決定が行われる。フィールドで実施されている（及びログファイルをマイニングすることによって生成されている）がルールベースに従って検証されていないテストケースは、意図されない有効なテストケースと考えられる。フィールドで実施されルールベースに従って検証されたテストケースは、有効なテストケースとして出力される。
【００６２】
[0076]  ２４４において、テストケース推定が行われる。このステップは、マイニングモジュール２４（図１）によって行われる処理と同様又は同一であってよい。テストケース推定は、例えば、順次操作の条件付き確率ツリー（すなわち、ワークフロー中に順次に実行される操作）、及び各順次操作の並列操作の分布を使用して、実行することができる。２４６において、推定されたテストケースがルールベースに従って有効であるかどうかに関する決定が行われる。無効なケースは、意図されない無効なユースケースとして出力される一方、ルールベースに従って有効な推定されたテストケースは、有効なテストケースのプールに出力される。
【００６３】
[0077]  さらに、２４０における識別されたテストケースを、２４８において、将来の使用状況テストケースを生成するために分析することができる。このステップは、将来ワークフロー予測モジュール２２（図１）によって行われる処理と同様又は同一であってよい。２５０において、予測された将来の使用状況テストケースがルールベースに従って有効であるかどうかに関する決定が行われる。無効なテストケースは、意図されない無効なユースケースとして出力される一方、ルールベースに従って有効な予測された将来の使用状況テストケースは、有効なテストケースのプールに出力される。
【００６４】
[0078]  図１０は、図９に関連して説明されたワークフロー分析モジュール２２０によって行われるような、ワークフローサマリを生成するための方法を示す。ワークフロー分析モジュールは、所与の層についての１つ又は複数のワークフロー、及びアナライザ構成情報を受け取り、２６０において、各ワークフローで実行される順次操作の各シーケンスの頻度を識別する。２６２において、各順次操作について対応する並列操作が識別され、ワークフロー分析モジュールによって出力されたテストケース２６４について分布情報が生成される。
【００６５】
[0079]  並行して、２６６において、条件付き確率ツリーが、層ワークフローにおける順次操作経路の確率を表すように生成される。順次操作はノードＳで識別され、確率はツリー内のエッジとして表される。さらに、２６８において、使用状況分布情報２７０が各順次操作の並列操作に関して生成される。２７２において、全ての操作（並列及び順次）の使用状況分布情報２７４が生成され出力される。
【００６６】
[0080]  図１１は、本明細書に記載された１つ又は複数の特徴による、ワークフロー分析モジュール２２０によって図９のステップ２４４で行われ得るような、テストケースを推定するための方法を示す。順次操作の条件付き確率ツリー、各順次操作についての並列操作の使用状況分布、及びアナライザ構成情報に関する情報を受け取った後、２８０において、ワークフロー分析モジュール２２０は、条件付き確率ツリーをトラバースし、順次操作のシーケンスを生成してテストケースを形成する。２８２において、各順次操作についての並列操作の使用状況分布を使用して並列操作統合を行って、推定されたテストケース２８４を生成する。
【００６７】
[0081]  図１２は、本明細書に記載された１つ又は複数の特徴による、ワークフロー分析モジュール２２０によって図９のステップ２４８で行われ得るような、将来の使用状況テストケースを予測するための方法を示す。２４０における識別されたテストケース、各順次操作についての並列操作の使用状況分布、及びアナライザ構成情報に関する情報を受け取った後、３００において、ワークフロー分析モジュール２２０が、ワークフローのセマンティック分析に基づいて予測使用状況モデルを構築し出力する。一例によれば、所与のイメージングモダリティに対して新しいスキャンタイプが導入されると、フィールドからのスキャンタイプの使用状況例が少ないことがある。セマンティック分析モデルは、特定のルールを書き換える必要なしに、同様のスキャンタイプ（例えば、同様のパラメータを有するスキャンタイプ）の使用状況に基づいて、新しいスキャンタイプの将来の使用状況の予測を容易にする。
【００６８】
[0082]  ３０２において、使用状況モデルを使用して順次操作のシーケンスが予測され、それは、順次操作テストケースを生成するために、新しく導入された順次操作を含む。並行して、３０４において、追加の順次操作テストケースを生成するために、順次操作のシーケンスが無制約に予測される（すなわち、新しく導入された順次操作だけでなく全ての順次操作を含む）。３０６において、将来の使用状況テストケース３０８を生成し出力するために、３０２及び３０４で生成された順次操作テストケースに対して並列操作統合が行われる。
【００６９】
[0083]  図１３は、本明細書に記載された１つ又は複数の特徴による、アナライザモジュール１２８の層分析モジュール１４４によって図４のプロダクト及びマーケティングサーバ１３０へ出力されるような、使用状況レポートを生成する方法を示す。３２０において、広く使用されている順次操作が識別される。一実施形態では、「広く使用されている」は、第１の所定の閾値レベル（例えば、ワークフローの２０％、ワークフローの４０％、又は他のある所定の閾値レベル）を上回る使用状況を示す。３２２において、より使用されていない順次操作が識別される。一実施形態では、「より使用されていない」は、第１の所定の閾値レベルを下回る使用状況を示す。３２４において、広く使用されている並列操作が識別される。並列操作の広い使用は、広く使用されている順次操作に用いられた第１の閾値、又は異なる（第２の）閾値レベルを上回るものとして定義され得る。３２６において、より使用されていない並列操作が識別される。並列操作がより使用されていないことは、広く使用されている並列操作を識別するために用いられた閾値を下回る使用として定義され得る。
【００７０】
[0084]  さらに、３２８において、新しく導入された操作の将来の使用状況パターンが、使用状況分布における同様のタイプの操作を識別することによって予測される。例えば、新しいスキャンタイプ又はユーザインターフェースが所与のイメージングデバイスに導入されたとき、新しいスキャンタイプ又はユーザインターフェースが新しいビルドバージョンとして市場にリリースされる前に、層分析モジュール１４４は、同様の操作タイプの使用状況に基づいて、使用状況分布情報を使用してスキャンタイプ又はユーザインターフェースの将来の使用状況パターンを予測する。使用状況レポートを生成し出力するために、使用状況分析中に行われるステップの任意の２つ以上が並列に（並行して）又は順次に（任意の望ましい順序で）行われ得ることは理解されよう。
【００７１】
[0085]  図１４は、本明細書に記載された１つ又は複数の特徴による、層分析モジュール１４４（及び１４６）（例えば図５参照）によってステップ２４４（図９）で行われ得るような、パフォーマンスを分析するための方法を示す。パフォーマンスレポート及び／又は更新を生成するために分析できるパラメータの例が与えられる。層ワークフロー情報を受け取った後、３４０において、複数のスキャンタイプのそれぞれを実行するのに必要な時間の量が分析及び／又は計算される。３４２において、各スキャン及び／又はＵＩ操作のメモリ要件が分析及び／又は計算される。３４４において、使用される各イメージングモダリティの画質が分析及び／又は計算される。３４６において、複数のＵＩ操作のそれぞれにユーザが費やす時間の量が分析及び／又は計算される。３４８において、所与のプロダクトに展開された複数の機械学習モデルのそれぞれのパフォーマンスが分析及び／又は計算される。上記の分析及び／又は計算のいずれか又は全ては、本明細書で説明されている層分析モジュールにより出力されるパフォーマンスレポートに含めることができる。
【００７２】
[0086]  パフォーマンス監視エージェント１２１、１２３、１２５（図１）から１つ又は複数のレポートを受け取った後、３５０において、所与のプロダクトについての処理（ＣＰＵ）使用状況パターンが分析及び／又は計算される。３５２において、所与のプロダクトについてのメモリ使用状況パターンが分析及び／又は計算される。３５４において、所与のプロダクトについてのランタイムパターンが分析及び／又は計算される。上記の分析及び／又は計算のいずれか又は全ては、本明細書で説明されている層分析モジュールにより出力されるパフォーマンス更新に含めることができる。
【００７３】
[0087]  図１５は、本明細書に記載された様々な態様による、動的モデルビルダスケジューラ１２６により行われ得るような１つ又は複数のイメージングデバイスによって実行するためのテストケースをスケジュールするための方法を示す。全ての利用可能なログファイル及び監視レポートを受け取った後、３７０において、１つ又は複数の基準（最後の実行からの時間、イメージングデバイス可用性、操作状況など）に基づいて、所与のテストケースを実行のためにスケジュールできるかどうかに関する決定が行われる。３７０での決定が１つ又は複数の基準を満たせないために否定である場合、この方法は、テストケースプロトコルのスケジュールを試み続けるために繰り返しループする。３７０での決定が肯定である場合、３７２において、テストケースは実行のためにスケジュールされる。
【００７４】
[0088]  提案された手法は、フィールドにおける実際のデバイス使用状況を表すいくつかのテストケースを作成する。磁気共鳴画像法（ＭＲＩ）の場合、テストケースは、デバイステストを実行するためにＭＲＩ検査カードに変換される。
【００７５】
[0089]  本発明は、好ましい実施形態を参照して説明されている。上述の詳細な説明を読んで理解すると他者に修正及び変更が明らかとなり得る。例示的な実施形態は、それらが添付の特許請求の範囲又はその均等物の範囲内に入る限り、全てのそのような修正及び変更を含むものと解釈されることが意図されている。
【図１】
2021507325.tif 000004
【図２】
2021507325.tif 000005
【図３】
2021507325.tif 000006
【図４】
2021507325.tif 000007
【図５】
2021507325.tif 000008
【図６】
2021507325.tif 000009
【図７】
2021507325.tif 000010
【図８】
2021507325.tif 000011
【図９】
2021507325.tif 000012
【図１０】
2021507325.tif 000013
【図１１】
2021507325.tif 000014
【図１２】
2021507325.tif 000015
【図１３】
2021507325.tif 000016
【図１４】
2021507325.tif 000017
【図１５】
2021507325.tif 000018
【国際調査報告】
2021507325.tif 000019
2021507325.tif 000020