(57)【要約】  本発明は磁気共鳴撮像システム１００、３００、５００を提供する。磁気共鳴撮像システムは、磁気共鳴撮像データ１４４の取得中に被検者１１８の顔領域１１９の動画像１４６を提供する動画システム１２２、１２２’、１２２”を備える。磁気共鳴撮像システムはさらに、機械実行可能命令１４０およびパルスシーケンスコマンド１４２を記憶するためのメモリ１３４を含む。機械実行可能命令の実行により、プロセッサ１３０は、パルスシーケンスコマンドを用いて磁気共鳴撮像システムを制御することで磁気共鳴撮像データを取得し（２００）、パルスシーケンスコマンドの実行中に動画システムから動画像を受け取り（２０２）、動画像を動画ベースの音声活動検出モジュールに入力することによって動画像についてリアルタイムで音声活動状態１５０を決定し（２０４）、ここで、音声活動状態は被検者の発話中状態または被検者の非発話中状態を示し、音声活動状態が発話中状態を示す場合、音声活動信号１５２を供給する（２０６）。
2021526048.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも部分的に撮像ゾーン内にいる被検者から磁気共鳴撮像データを取得するための磁気共鳴撮像システムであって、前記磁気共鳴撮像システムは、
前記磁気共鳴撮像データの取得中に前記被検者の顔領域の動画像を提供する動画システムと、
機械実行可能命令およびパルスシーケンスコマンドを格納するためのメモリであって、前記パルスシーケンスコマンドは、前記磁気共鳴撮像データを取得するように前記磁気共鳴撮像システムを制御する、メモリと、
前記磁気共鳴撮像システムを制御するためのプロセッサとを備え、前記機械実行可能命令の実行により、前記プロセッサは、
前記パルスシーケンスコマンドを用いて前記磁気共鳴撮像システムを制御することで前記磁気共鳴撮像データを取得し、
前記パルスシーケンスコマンドの実行中に前記動画システムから前記動画像を受け取り、
前記動画像へのアクセスを有する動画ベースの音声活動検出モジュールによって、前記動画像からリアルタイムで音声活動状態を決定し、ここで、前記音声活動状態は前記被検者の発話中状態または前記被検者の非発話中状態を示し、
前記音声活動状態が前記発話中状態を示す場合、音声活動信号を供給し、前記機械実行可能命令の実行により、前記プロセッサはさらに、前記音声活動信号としてユーザインターフェース上にインジケータを提供し、前記ユーザインターフェースは、前記音声活動信号に応答して、オペレータと前記被検者との間の通信チャネルを開く、
磁気共鳴撮像システム。
【請求項２】
前記磁気共鳴撮像システムはさらに、前記被検者から音声データを取得する被検者マイクを備える、請求項１に記載の磁気共鳴撮像システム。
【請求項３】
前記機械実行可能命令の実行により、前記プロセッサはさらに、
前記動画システムを使用して前記被検者のフレームを含む予備的動画像を記録し、
前記予備的動画像の記録と同時に、前記被検者マイクを用いて前記音声データを記録し、
前記音声データを音声ベースの音声活動検出モジュールに入力することによって、前記フレームに発話中または非発話中としてラベルを付け、
前記動画像からリアルタイムで音声活動状態を決定するために、前記フレームおよび各フレームの前記ラベルを使用して前記動画ベースの音声活動検出モジュールを訓練する、請求項２に記載の磁気共鳴撮像システム。
【請求項４】
前記音声ベースの音声活動検出モジュールは、前記フレームを発話中または非発話中としてラベル付けしている間、前記動画ベースの音声活動検出モジュールの前記訓練から勾配コイルノイズを除外する、請求項３に記載の磁気共鳴撮像システム。
【請求項５】
前記磁気共鳴撮像システムはさらに、前記被検者に質問を提示するプロンプターを含み、前記機械実行可能命令の実行により、前記プロセッサはさらに、前記予備的動画像および予備的音声の記録中に前記プロンプターを使用して前記被検者に質問リストを提示する、請求項３または４に記載の磁気共鳴撮像システム。
【請求項６】
前記磁気共鳴撮像システムはさらに、前記撮像ゾーン内で前記被検者の少なくとも一部を支持する被検者支持台を備え、前記被検者マイクは前記被検者支持台に組み込まれている、請求項２から５のいずれか一項に記載の磁気共鳴撮像システム。
【請求項７】
前記機械実行可能命令の実行により、前記プロセッサはさらに、
前記磁気共鳴撮像データの取得中に前記被検者マイクを使用して、前記動画像と同期した前記音声データを継続的に記録し、
前記音声活動状態を用いて前記音声データにラベルを付け、
前記ユーザインターフェースからの信号が受信されたとき、前記発話中状態でラベル付けされた前記音声データを再生する、
請求項２から６のいずれか一項に記載の磁気共鳴撮像システム。
【請求項８】
前記機械実行可能命令の実行により、前記プロセッサはさらに、
前記音声データを音声認識モジュールに入力することによって話された言葉のリストを受け取り、
前記話された言葉のリストのうちの少なくとも一部が所定の単語リストと合致する場合に前記磁気共鳴撮像システムのユーザインターフェースにおいて所定の警告を生成すること、前記話された言葉のリストのうちの少なくとも一部が前記所定の単語リストと合致する場合に磁気共鳴撮像データの取得を停止すること、およびこれらの組み合わせのうちのいずれかを実行する、
請求項２から７のいずれか一項に記載の磁気共鳴撮像システム。
【請求項９】
前記動画ベースの音声活動検出モジュールは畳み込みニューラルネットワークを含む、請求項１から８のいずれか一項に記載の磁気共鳴撮像システム。
【請求項１０】
前記磁気共鳴撮像システムはボアを有する磁石を含み、前記カメラシステムは前記ボア内に取り付けられた複数のカメラを含む、請求項１から９のいずれか一項に記載の磁気共鳴撮像システム。
【請求項１１】
前記磁気共鳴撮像システムはヘッドコイルを含み、前記カメラシステムは前記ヘッドコイルに取り付けられたコイル取り付けカメラを含む、請求項１から１０のいずれか一項に記載の磁気共鳴撮像システム。
【請求項１２】
前記カメラシステムは、前記被検者の前記顔領域の反射画像を撮像するフランジ取り付けカメラを備える、請求項１から１１のいずれか一項に記載の磁気共鳴撮像システム。
【請求項１３】
少なくとも部分的に撮像ゾーン内にいる被検者から磁気共鳴撮像データを取得する磁気共鳴撮像システムの動作方法であって、前記磁気共鳴撮像システムは、前記磁気共鳴撮像データの取得中に前記被検者の顔領域の動画像を提供する動画システムを含み、前記方法は、
パルスシーケンスコマンドを使用して、前記磁気共鳴撮像データを取得するように前記磁気共鳴撮像システムを制御するステップであって、前記パルスシーケンスコマンドは、前記磁気共鳴撮像データを取得するように前記磁気共鳴撮像システムを制御するために構成される、ステップと、
前記パルスシーケンスコマンドの実行中に前記動画システムから前記動画像を受け取るステップと、
前記動画像を動画ベースの音声活動検出モジュールに入力することによって、前記動画像についてリアルタイムで音声活動状態を決定するステップであって、前記音声活動状態は前記被検者の発話中状態または前記被検者の非発話中状態を示す、ステップと、
前記音声活動状態が前記発話中状態を示す場合、音声活動信号を供給するステップとを含み、
前記音声活動信号としてユーザインターフェース上にインジケータが提供され、
前記ユーザインターフェースは、前記音声活動信号に応答して、オペレータと前記被検者との間の通信チャネルを開く、方法。
【請求項１４】
少なくとも部分的に撮像ゾーン内にいる被検者から磁気共鳴撮像データを取得する磁気共鳴撮像システムを制御するプロセッサによって実行される機械実行可能命令を含むコンピュータプログラムであって、前記機械実行可能命令の実行により、前記プロセッサは、
前記磁気共鳴撮像データの取得中に動画システムから動画像を受け取り、
前記動画像を動画ベースの音声活動検出モジュールに入力することによって、前記動画像についてリアルタイムで音声活動状態を決定し、ここで、前記音声活動状態は前記被検者の発話中状態または前記被検者の非発話中状態を示し、
前記音声活動状態が前記発話中状態を示す場合、音声活動信号を供給し、
前記音声活動信号としてユーザインターフェース上にインジケータを提供し、
前記音声活動信号に応答して、オペレータと前記被検者との間の通信チャネルを開く、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、磁気共鳴撮像、特に磁気共鳴撮像システムのオペレータと、磁気共鳴撮像システムにおいて撮像されている被検者との間のコミュニケーションに関する。
【背景技術】
【０００２】
磁気共鳴イメージング（ＭＲＩ）スキャナでは、被検者の体内画像を生成するための手順の一部として原子の核スピンを整列させるために、大きな静磁場が使用される。この大きな静磁場をＢ０磁場または主磁場と呼ぶ。ＭＲＩを使用して、被検者の様々な量または特性を空間的に測定することができる。しかし、磁気共鳴撮像データの取得は瞬間的ではない。被検者は何分間もできる限り動かないようにしなければならない可能性がある。被検者の安全を確保するために、被検者がオペレータに連絡する必要がある場合に握りしめることができるゴム球または圧力式バルーンスイッチが被検者に提供される。例えば、被検者が痛みや不快感を経験している場合、または音のために、および／または閉所にいるためにパニックに陥っている場合が挙げられる。
【０００３】
米国特許出願公開ＵＳ２０１１／０２３０７５５は、画像プロセッサが内蔵されたシングルカメラ、ＩＲ照射器、および患者に取り付けられた光学基準ターゲットを用いた、磁気共鳴撮像（ＭＲＩ）用途での前向き（リアルタイム）モーション補正のために最適化された光学的剛体６−ＤＯＦモーショントラッキングシステムを開示する。内蔵画像プロセッサによって制御される角度抽出アルゴリズムは、逐次近似を利用して、原点に近い角度の３点姿勢問題を解き、サブマイクロラジアンレベルへの収束を実現する。モーショントラッキングシステムと通信するモニターおよびＧＵＩアプリケーションによって、モーションアラームが可能になる。ＭＲＩコントローラと通信するモーショントラッキングシステムの動作中に取得されたＭＲスキャン画像に対してモーション補正が可能になる。
【０００４】
米国特許出願ＵＳ２００５／０２８３０６８は、予測ノイズキャンセリングシステムを備えた磁気共鳴撮像システムを開示する。予測ノイズキャンセリングシステムは、その反復性を利用して勾配システムの音響ノイズをキャンセルする。患者のマイクからＭＲＩ音響ノイズを除去することで、ＭＲＩ磁石がもたらす非常に激しいノイズの存在下であっても、技師は患者の声を明瞭に聞くことができる。
【発明の概要】
【０００５】
本発明は、独立請求項において磁気共鳴イメージングシステム、コンピュータプログラム製品、および方法を提供する。従属請求項には実施形態が記載されている。
【０００６】
ゴム球を使用して磁気共鳴撮像システムのオペレータに警告することの難しさは、被検者が誤ってゴム球を落としてパニックになったり、ゴム球を拾おうとして動き始めたりする可能性があることである。また、ゴム球を持ち続けるのは子供や高齢者にとっては難しい可能性がある。本発明の実施形態は、磁気共鳴撮像データの取得中に被検者の顔領域を撮像する動画システムを提供することによって、ゴム球の利用に代わる方法を提供する。動画システムは、被検者が話していることを検出する動画ベースの音声活動検出モジュールに入力される複数の動画像を提供する。動画ベースの音声活動検出モジュールを使用して被検者が話していると判断されると、音声活動信号が提供される。
【０００７】
本発明の一態様は、少なくとも部分的に撮像ゾーン内にいる被検者から磁気共鳴撮像データを取得するための磁気共鳴撮像システムを提供する。磁気共鳴撮像システムは、被検者の顔領域の動画像を提供する動画システムを備える。これは磁気共鳴撮像データの取得中であってもよいし、または場合によってはその前であってもよい。磁気共鳴イメージングシステムはさらに、機械実行可能命令およびパルスシーケンスコマンドを記憶するためのメモリ含む。パルスシーケンスコマンドは、磁気共鳴イメージングプロトコルに従って磁気共鳴イメージングデータを取得するよう、磁気共鳴イメージングシステムを制御するように構成される。パルスシーケンスコマンドは、例えば、プロセッサが、磁気共鳴撮像データを取得するよう様々なコンポーネントを制御することを可能にするコマンド、またはそのようなコマンドに変換可能なデータであってもよい。
【０００８】
磁気共鳴イメージングシステムは、該磁気共鳴イメージングシステムを制御するためのプロセッサをさらに備える。機械実行可能命令の実行により、プロセッサは、パルスシーケンスコマンドを用いて磁気共鳴イメージングシステムを制御することで磁気共鳴イメージングデータを取得する。機械実行可能命令の実行により、プロセッサはさらに、磁気共鳴イメージングデータの取得中に動画システムから動画像を受け取る。機械実行可能命令の実行により、プロセッサはさらに、動画像を動画ベースの音声活動検出モジュールに入力することによって、動画像についてリアルタイムで音声活動状態を決定する。音声活動状態は被検者の発話中状態または非発話中状態を示す。機械実行可能命令の実行により、プロセッサはさらに、音声活動状態が発話中状態を示す場合、音声活動信号を供給する。
【０００９】
この実施形態は、磁気共鳴撮像データを取得するための機械実行可能命令の実行中に被検者が不快感を経験しているとき、または問題を抱えているときを特定する手段を提供し得るので、有益であり得る。通常、被検者には現在、磁気共鳴撮像システムのオペレータに合図を送るために手で握ることができるゴム球が与えられている。これは問題となり、例えば、被検者がゴム球から手を放してしまい、バルブを手の中に戻すことができない可能性がある。また、被検者はゴム球を保持し続けることを心配してストレスを感じる可能性がある。本実施形態において被検者が問題を抱えているか、または痛みを感じている場合、被検者は単純に話し始めることができ、それにより、例えば、オペレータに警告するために使用され得る音声活動信号が供給される。
【００１０】
いくつかの例では、音声活動が有効化される前にラベル付けされるフレーム数の閾値が存在し得る。
【００１１】
典型的な動画ベースの音声活動検出器では、適切に訓練されていたとしても、被検者が話しているか否かを判定するために、短いクリップ、例えば長さでいえば０．５秒、またはフレームレートが５０フレームの場合は２５フレームなどの一連のフレームを使用し得る。いくつかの例では、発話を指し示すために特定の持続時間またはフレーム数の基準が使用され得る。場合によっては、フレームが発話中状態にあるとラベル付けされるべきか否かを決定するために、特定のフレームの前の所定のフレーム数または持続時間が使用され得る。動画システムによって取得された個々の画像は、例えば、動画像と呼ばれ、または単一の画像もしくは複数の動画像を指してフレームと称され得る。
【００１２】
顔領域は、例えば口が見える領域を含み得る。いくつかの例では、これは被検者の歯および唇を含み得る。
【００１３】
別の実施形態では、磁気共鳴イメージングシステムは通信システムを備える。通信システムは、音声活動信号が提供されたときに有効化されるように構成され得る。いくつかの例では、通信システムは、被検者とオペレータとの間の音声および／またはビデオ通信を提供し得る。
【００１４】
一実施形態では通信システムはインターコムである。
【００１５】
別の実施形態では、磁気共鳴撮像システムはさらに、被検者から音声データを取得する被検者マイクを備える。被検者のマイクを含めることは、オペレータが被検者と直接話したり通信したりする手段を提供し得るため、有益である可能性がある。他の例では、特定の被検者について動画ベースの音声活動検出モジュールを訓練する手段を提供し得ることから、被検者によるマイクの使用が有益であり得る。他の例では、磁気共鳴撮像データの取得中に被検者が言った言葉を記録するために使用できるので有益であり得る。例えば、音声活動信号が提供された後に被検者からの音声を再生する上で役立ち得る。これは、例えば、オペレータが被検者による発言を無視する機会を提供したり、被検者と話したり通信したりすることなく即座にシステムをシャットダウンする必要があると判断する機会を提供する。
【００１６】
他の実施形態では、機械実行可能命令の実行により、プロセッサはさらに、動画システムを使用して被検者の予備的動画像を記録する。予備的動画像はフレームを含む。機械実行可能命令の実行により、プロセッサはさらに、予備的動画像の記録と同時に、被検者マイクを用いて被検者の予備的音声を記録する。機械実行可能命令の実行により、プロセッサはさらに、予備的音声を音声ベースの音声活動検出モジュールに入力することによって、フレームに発話中または非発話中としてラベルを付ける。機械実行可能命令の実行により、プロセッサはさらに、フレームおよび各フレームのラベルを使用して動画ベースの音声活動検出モジュールを訓練する。この実施形態では、被検者から音声および動画を取得することによって動画ベースの音声活動検出モジュールが訓練され得る。例えば、動画ベースの音声活動検出モジュールは事前に訓練され得るが、追加訓練は、特定の被検者の音声を検出するか否かの能力を強化するために使用され得る。
【００１７】
別の実施形態では、動画ベースの音声活動検出モジュールの訓練は深層学習を使用して実行される。例えば、動画ベースの音声活動検出モジュールは、ニューラルネットワークまたはいわゆる畳み込みニューラルネットワークであり得る。
【００１８】
別の実施形態では、音声ベースの音声活動検出モジュールは、フレームを発話中または非発話中としてラベル付けする間に勾配コイルノイズを除外する。例えば、音声活動検出モジュールはフィルタを使用してもよいし、または勾配コイルが使用する可能性のあるカチッという音やドンドンという音を無視するように訓練されてもよい。例えば、磁気共鳴画像プロトコルが実行される際の最初のスキャンの準備フェーズでは多くの場合、比較的静かであるか、または様々なプロトコルで通常、再現可能な短いカチッという音からなる低ノイズを生成する。共振周波数決定の音は、約５秒間続く、明確な数回のカチッという音である。例えば、訓練データを生成するための被検者の予備的動画像および予備的音声を収集するためにそのような期間が使用されてもよい。したがって、勾配コイルシステムによって生成される可能性のあるこれらの音を無視するように、音声ベースの音声活動検出アルゴリズムを事前に訓練して構成することが提案され得る。
【００１９】
別の実施形態では、磁気共鳴撮像システムはさらに、被検者に質問を提示するためのプロンプターを備える。機械実行可能命令の実行により、プロセッサはさらに、予備的動画像および予備的音声の記録中にプロンプターを使用して被検者に質問リストを提示する。これは、例えば、予備的動画像および予備的音声として記録可能な会話を被検者に促し得るため、有益である可能性がある。これはまた、オペレータが被検者に尋ね得る様々な質問が自動的に尋ねられ、また、動画ベースの音声活動検出モジュールの訓練を提供することに加えて、被検者に関する有用な情報またはメタデータが得られるという利点を有し得る。
【００２０】
プロンプターは、例えば、被検者が読むことができる質問を生成するビデオ表示プロンプターであり得る。他の例では、プロンプターは、被検者に質問を投げかける事前に録音または合成された音声を再生可能な音声システムであり得る。
【００２１】
いくつかの実施形態では、動画システムは、被検者が磁気共鳴撮像システムの外部にいるときに被検者を撮像するためのカメラを含み得る。例えば、被検者を磁石内に移動させることができる被検者支持台がある場合、被検者は、例えば、被検者が磁気共鳴撮像システムに入る前に顔を撮像されてもよい。これは、被検者が磁気共鳴撮像システム内に配置される前に予備的動画像および／または予備的音声を取得することを可能にし得る。
【００２２】
別の実施形態では、磁気共鳴撮像システムはさらに、撮像ゾーン内で被検者の少なくとも一部を支持する被検者支持台を備える。被検者マイクは被検者支持台に組み込まれる。これは、被検者から音声データを録音する便利な手段を提供し得るので有益であり得る。
【００２３】
他の実施形態では、機械実行可能命令の実行により、プロセッサはさらに、磁気共鳴撮像データの取得中に被検者マイクを使用して音声データを継続的に記録する。音声データは動画像と同期される。機械実行可能命令の実行により、プロセッサはさらに、動画ベースの音声活動検出モジュールを使用して決定された音声活動状態を用いて音声データにラベルを付ける。機械実行可能命令の実行により、プロセッサはさらに、ユーザインターフェースから信号が受信されたとき、発話中状態でラベル付けされた音声データを再生する。例えば、被検者の発話が動画システムを使用して検出された後、被検者が話していると検出されたときに記録された音声が磁気共鳴撮像システムのオペレータに対して制御可能な形で再生され得る。これは、オペレータが磁気共鳴データの取得を停止すべきか否か、または何らかの他のアクションを取るべきかを決定するのを助け得る。
【００２４】
別の実施形態では、機械実行可能命令の実行により、プロセッサはさらに、音声データを音声認識モジュールに入力することによって話された言葉のリストを受け取る。例えば、録音された音声データが発話に変換され、その後トークン化されたり、またはリスト化されてもよい。機械実行可能命令の実行により、プロセッサはさらに、話された言葉のリストのうちの少なくとも一部が所定の単語リストと合致する場合に磁気共鳴撮像システムのユーザインターフェースにおいて所定の警告を生成することのうちのいずれかを実行する。あるいは、または加えて、プロセッサは、話された言葉のリストのうちの少なくとも一部が所定の単語リストと合致する場合に磁気共鳴撮像データの取得を停止し得る。この実施形態は、被検者が痛みを示したり、「熱い」などの単語や、磁気共鳴撮像データ取得中の深刻な問題を示し得る他の単語を発したりする場合など、特定の単語が示された場合に適切なアクションをとるように磁気共鳴撮像システムをプログラムできるため、有益である可能性がある。この場合、磁気共鳴撮像システムは、オペレータが停止するよりも速く自身を停止可能であり得る。
【００２５】
他の実施形態では、機械実行可能命令の実行により、プロセッサはさらに、信号としてユーザインターフェース上にインジケータを提供する。ユーザインターフェースはオペレータと被検者との間の通信チャネルを開くよう構成される。
【００２６】
他の実施形態では、機械実行可能命令の実行により、プロセッサはさらに、音声活動信号が提供された場合に可聴音を生成する。
【００２７】
他の実施形態では、動画ベースの音声活動検出モジュールは畳み込みニューラルネットワークを含む。畳み込みニューラルネットワークは音声および／または動画内に存在し得る様々なパターンの認識に優れているため、有益であり得る。
【００２８】
別の実施形態では、磁気共鳴撮像システムはボアを有する磁石を含む。カメラシステムは、ボア内に取り付けられた複数のカメラを含む。これは、被検者が配置される位置が重要ではなくなるという利点を有する。多数の異なるカメラがある場合、オペレータまたはシステム自体が、被写体の顔領域を最も良く捉えるカメラを選択し得る。
【００２９】
非常に小さいコンパクトなカメラが設けられてもよい。磁石のボア内に多数のカメラを設置することが実践的であり得る。
【００３０】
別の実施形態では、磁気共鳴撮像システムはヘッドコイルを備える。カメラシステムは、ヘッドコイルに取り付けられたコイル取り付けカメラを備える。ヘッドコイルは所定の態様で被検者にフィットするよう設計され得るので、この実施形態は有益であり得る。このようにして、被写体の顔領域を最適に撮像するようにカメラを設けることができる。また、ヘッドコイルのためのデータバスがコイル取り付けカメラと共有されてもよい。
【００３１】
別の実施形態では、カメラシステムは、被検者の顔領域の反射画像を撮像するフランジ取り付けカメラを備える。例えば、被検者の顔領域の画像をフランジ取り付けられカメラに反射するために使用され得るミラーが磁気共鳴撮像システムに取り付けられてもよいし、または、被検者の頭部に配置されるヘッドコイルまたは他の装置に取り付けられてもよい。
【００３２】
本発明の他の態様は、少なくとも部分的に撮像ゾーン内にいる被検者から磁気共鳴撮像データを取得する磁気共鳴撮像システムの動作方法を提供する。磁気共鳴撮像システムは、磁気共鳴撮像データの取得中に被検者の顔領域の動画像を提供する動画システムを備える。方法は、パルスシーケンスコマンドを用いて磁気共鳴撮像システムを制御することで磁気共鳴撮像データを取得するステップを含む。パルスシーケンスコマンドは、磁気共鳴撮像データを取得するように磁気共鳴撮像システムを制御するために構成される。方法はさらに、動画システムから動画像を受け取るステップを含む。これは磁気共鳴撮像データの取得中に行われる。
【００３３】
方法はさらに、動画像を動画ベースの音声活動検出モジュールに入力することによって、動画像についてリアルタイムで音声活動状態を決定するステップを含む。音声活動状態は被検者の発話中状態または非発話中状態を示す。方法はさらに、音声活動状態が発話中状態を示す場合、音声活動信号を供給するステップを含む。この実施形態の利点は上記の通りである。
【００３４】
本発明の他の態様は、少なくとも部分的に撮像ゾーン内にいる被検者から磁気共鳴撮像データを取得する磁気共鳴撮像システムを制御するプロセッサによって実行される機械実行可能命令を含むコンピュータプログラム製品を提供する。機械実行可能命令の実行により、プロセッサはさらに、磁気共鳴撮像データの取得中に動画システムから動画像を受け取る。機械実行可能命令の実行により、プロセッサはさらに、動画像を動画ベースの音声活動検出モジュールに入力することによって、動画像とともにリアルタイムで音声活動状態を決定する。
【００３５】
音声活動状態は被検者の発話中状態または非発話中状態を示す。機械実行可能命令の実行により、プロセッサはさらに、音声活動状態が発話中状態を示す場合、音声活動信号を供給する。この実施形態は、例えば、上記した機能を追加することができる、既存の磁気共鳴撮像システムのためのプラグインまたはアドオンソフトウェアとして使用され得る。利点は上記の通りである。
【００３６】
本発明の他の態様は、少なくとも部分的に撮像ゾーン内にいる被検者から磁気共鳴撮像データを取得する磁気共鳴撮像システムを制御するプロセッサによって実行される機械実行可能命令を含むコンピュータプログラム製品を提供する。磁気共鳴撮像システムは、磁気共鳴撮像データの取得中に被検者の顔領域の動画像を提供する動画システムを備える。機械実行可能命令の実行により、プロセッサは、パルスシーケンスコマンドを用いて磁気共鳴イメージングシステムを制御することで磁気共鳴イメージングデータを取得する。
【００３７】
パルスシーケンスコマンドは、磁気共鳴撮像データを取得するように磁気共鳴撮像システムを制御するために構成される。機械実行可能命令の実行により、プロセッサはさらに、磁気共鳴撮像データの取得中に動画システムから動画像を受け取る。機械実行可能命令の実行により、プロセッサはさらに、動画像を動画ベースの音声活動検出モジュールに入力することによって、動画像についてリアルタイムで音声活動状態を決定する。音声活動状態は被検者の発話中状態または非発話中状態を示す。機械実行可能命令の実行により、プロセッサはさらに、音声活動状態が発話中状態を示す場合、音声活動信号を供給する。
【００３８】
本明細書で使用される「リアルタイム」という用語は、特定のフレームまたは動画像が取得されたときから所定の遅延内に音声活動状態が決定されることを指す。被検者の発話中状態または非発話中状態の決定は、通常、１つまたは複数の画像、動画像、またはフレームからのデータに基づく。よって、音声活動状態はリアルタイムで決定されるが、決定は、例えば目立たない時間間隔でなされ得る。
【００３９】
いくつかの実施形態では、「リアルタイム」という用語は、音声活動状態が０．５秒以内に決定されることを意味する。他の例では、「リアルタイム」という用語は音声活動状態が１秒または２秒以内に決定されることを示し得る。
【００４０】
組み合わせられる実施形態が相反するものでない限り、本発明の上記実施形態の１つ以上を組み合わせることができる。
【００４１】
当業者によって理解されるように、本発明の側面は、装置、方法、またはコンピュータプログラム製品として具現化され得る。したがって、本発明の側面は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェア側面およびハードウェア側面を組み合わせた実施形態の形態をとることができる（本明細書では、全てが一般的に「回路」、「モジュール」、または「システム」と称され得る）。さらに、本発明の側面は、コンピュータ実行可能コードが実装された１つまたは複数のコンピュータ可読媒体によって具現化されるコンピュータプログラム製品の形態をとってもよい。
【００４２】
１つまたは複数のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。本明細書で使用される「コンピュータ可読記憶媒体」とは、計算装置のプロセッサによって実行可能な命令を格納することができる任意の有形記憶媒体を包含し得る。コンピュータ可読記憶媒体は、コンピュータ可読非一時的記憶媒体とも呼ばれ得る。また、コンピュータ可読記憶媒体は、有形コンピュータ可読媒体とも呼ばれ得る。一部の実施形態では、コンピュータ可読記憶媒体は、計算装置のプロセッサによってアクセス可能なデータを格納可能であってもよい。コンピュータ可読記憶媒体の例は、限定はされないが、フロッピーディスク（登録商標）、磁気ハードディスクドライブ、ソリッドステートハードディスク、フラッシュメモリ、ＵＳＢサムドライブ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、光ディスク、光磁気ディスク、およびプロセッサのレジスタファイルを含む。光ディスクの例は、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋｓ）およびＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋｓ）、例えばＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＷ、またはＤＶＤ−Ｒディスクなどを含む。コンピュータ可読記憶媒体という用語は、計算装置がネットワークまたは通信リンクを介してアクセスすることができる様々なタイプの記録媒体も指す。例えば、モデム、インターネット、またはローカルエリアネットワークを介してデータが取り出されてもよい。コンピュータ可読媒体に組み込まれるコンピュータ実行可能コードは、限定はされないが、無線、有線、光ファイバケーブル、ＲＦなど、またはこれらの任意の適切な組み合わせを含む任意の適切な媒体を使用して送信することができる。
【００４３】
コンピュータ可読信号媒体は、コンピュータ実行可能コードを含む（例えばベースバンド内、または搬送波の一部として）伝播データ信号を含み得る。このような伝播信号は、限定はされないが、電磁気、光学、またはこれらの任意の適切な組み合わせを含む様々な形態のいずれかをとることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによってまたは関連して使用されるプログラムを通信、伝搬、または転送可能な任意のコンピュータ可読媒体であり得る。
【００４４】
「コンピュータメモリ」または「メモリ」は、コンピュータ可読記憶媒体の一例である。コンピュータメモリは、プロセッサが直接アクセス可能な任意のメモリである。「コンピュータストレージ」または「ストレージ」は、コンピュータ可読記憶媒体の他の例である。コンピュータストレージは、任意の不揮発性のコンピュータ可読記憶媒体である。一部の実施形態では、コンピュータストレージはコンピュータメモリでもあり、その逆で可能である。
【００４５】
本明細書で使用される「プロセッサ」とは、プログラム、機械実行可能命令、またはコンピュータ実行可能コードを実行することができる電子コンポーネントを包含する。「プロセッサ」を含む計算装置への言及は、複数のプロセッサまたは処理コアを含む可能性があると解釈されるべきである。プロセッサは、例えば、マルチコアプロセッサであってもよい。プロセッサは、単一のコンピュータシステムに集約された、または複数のコンピュータシステム間で分散された複数のプロセッサの集合を指す可能性もある。計算装置という用語は、それぞれが１つまたは複数のプロセッサを含む複数の計算装置の集合またはネットワークを意味するとも解釈されるべきである。コンピュータ実行可能コードは、同じ計算装置に集約された、または複数の計算装置にわたって分散された複数のプロセッサによって実行され得る。
【００４６】
コンピュータ実行可能コードは、プロセッサに本発明の側面を実行させる機械実行可能命令またはプログラムを含むことができる。本発明の側面の動作を実施するためのコンピュータ実行可能コードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、およびＣ言語のような従来の手続き型プログラミング言語、または同様なプログラミング言語のうちの１つまたは複数の任意の組み合わせで記述され、機械実行可能命令にコンパイルされ得る。場合によっては、コンピュータ実行可能コードは、高水準言語の形態またはプリコンパイルされた形態であってもよく、オンザフライで機械実行可能命令を生成するインタプリタとともに使用されてもよい。
【００４７】
コンピュータ実行可能コードは、完全にユーザコンピュータ上で、部分的にユーザコンピュータ上で、スタンドアローンソフトウェアパッケージとして、部分的にユーザコンピュータ上および部分的にリモートコンピュータ上で、または完全にリモートコンピュータまたはサーバ上で実行され得る。後者の場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザコンピュータに接続され、または、外部コンピュータに接続が確立されてもよい（例えば、インターネットサービスプロバイダを使用してインターネットを介して）。
【００４８】
本発明の側面は、本発明の実施形態に係る方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して説明される。フローチャート、イラスト、および／またはブロック図の各ブロックまたは一群のブロックは、妥当な場合には、コンピュータ実行可能コードの形態でコンピュータプログラム命令によって実施され得ることが理解されよう。相互に矛盾しない場合、異なるフローチャート、イラスト、および／またはブロック図におけるブロックを組み合わせることができることも理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されて、マシンを生成し得る。コンピュータのプロセッサまたは他のプログラム可能データ処理装置を介して実行される命令は、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて特定される機能／動作を実装するための手段を作成する。
【００４９】
これらのコンピュータプログラム命令は、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスを特定の態様で機能させることが可能なコンピュータ可読媒体に保存されてもよい。コンピュータ可読媒体に保存された命令は、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて特定される機能／動作を実施する命令を含む製品を生成する。
【００５０】
コンピュータプログラム命令は、コンピュータ、他のプログラム可能データ処理装置、または他のデバイス上にロードされてもよく、コンピュータ、他のプログラム可能装置、または他のデバイス上で一連の動作ステップを実行させることによって、コンピュータ実装プロセスが生成され得る。コンピュータまたは他のプログラム可能装置上で実行される命令は、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて特定される機能／動作を実施するためのプロセスを提供する。
【００５１】
本明細書で使用される「ユーザインターフェース」とは、ユーザまたはオペレータがコンピュータまたはコンピュータシステムとインタラクトすることを可能にするインターフェースである。「ユーザインターフェース」は、「ヒューマンインターフェースデバイス」とも称され得る。ユーザインターフェースは、情報またはデータをオペレータに提供し、かつ／または、オペレータから情報またはデータを受け取り得る。ユーザインターフェースは、オペレータからの入力をコンピュータが受け取ることを可能にし、また、コンピュータからユーザに出力を提供し得る。言い換えれば、ユーザインターフェースは、オペレータがコンピュータを制御または操作することを可能にし、また、インターフェースは、オペレータの制御または操作の効果をコンピュータが表示することを可能にし得る。ディスプレイまたはグラフィカルユーザインターフェース上のデータまたは情報の表示は、情報をオペレータに提供することの一例である。キーボード、マウス、トラックボール、タッチパッド、ポインティングスティック、グラフィックタブレット、ジョイスティック、ゲームパッド、ウェブカム、ヘッドセット、ペダル、ワイヤードグローブ、リモコン、および加速度計を介するデータの受け取りはいずれも、オペレータからの情報またはデータの受け取りを可能にするユーザインターフェース要素の例である。
【００５２】
本明細書で使用される「ハードウェアインターフェース」とは、コンピュータシステムのプロセッサが外部の計算デバイスおよび／または装置とインタラクトしおよび／または該デバイス／装置を制御することを可能にするインターフェースを包含する。ハードウェアインターフェースは、プロセッサが制御信号または命令を外部計算デバイスおよび／または装置に送信することを可能にし得る。ハードウェアインターフェースはまた、プロセッサが外部計算デバイスおよび／または装置とデータを交換することを可能にし得る。ハードウェアインターフェースの例としては、限定はされないが、ユニバーサルシリアルバス、ＩＥＥＥ１３９４ポート、パラレルポート、ＩＥＥＥ１２８４ポート、シリアルポート、ＲＳ−２３２ポート、ＩＥＥＥ−４８８ポート、Ｂｌｕｅｔｏｏｔｈ接続、無線ローカルエリアネットワーク接続、ＴＣＰ／ＩＰ接続、イーサネット接続、制御電圧インターフェース、ＭＩＤＩインターフェース、アナログ入力インターフェース、およびデジタル入力インターフェースなどがある。
【００５３】
本明細書で使用される「ディスプレイ」または「ディスプレイデバイス」とは、画像またはデータを表示するように適合された出力デバイスまたはユーザインターフェースを包含する。ディスプレイは、視覚的、聴覚的、または触覚的なデータを出力し得る。ディスプレイの例としては、限定はされないが、コンピュータモニタ、テレビ画面、タッチスクリーン、触覚電子ディスプレイ、点字スクリーン、ブラウン管（ＣＲＴ）、蓄積管、双安定ディスプレイ、電子ペーパー、ベクトルディスプレイ、フラットパネルディスプレイ、蛍光表示管ディスプレイ（ＶＦ）、発光ダイオード（ＬＥＤ）ディスプレイ、エレクトロルミネセンスディスプレイ（ＥＬＤ）、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、プロジェクタ、およびヘッドマウントディスプレイなどがある。
【００５４】
本明細書において、磁気共鳴撮像（ＭＲＩ）データは、磁気共鳴撮像スキャン中に磁気共鳴装置のアンテナを使用して原子スピンによって放たれる無線周波数信号の測定記録として定義される。本明細書において、磁気共鳴画像／ＭＲ画像は、磁気共鳴撮像データ内に含まれる解剖学的データの再構成された２次元または３次元の視覚化として定義される。この視覚化は、例えばコンピュータを用いて実行され得る。
【図面の簡単な説明】
【００５５】
以下、本発明の単なる例に過ぎない好ましい実施形態について、以下の図面を参照しながら説明する。
【図１】図１は、磁気共鳴イメージングシステムの例を示す。
【図２】図２は、図１の磁気共鳴イメージングシステムの動作方法の例を示すフローチャートを示す。
【図３】図３は、磁気共鳴イメージングシステムの他の例を示す。
【図４】図４は、図３の磁気共鳴イメージングシステムの動作方法の例を示すフローチャートを示す。
【図５】図５は、磁気共鳴イメージングシステムの他の例を示す。
【図６】図６は、グラフィカルユーザインターフェースの警告ダイアログボックスの例を示す。
【図７】図７は、グラフィカルユーザインターフェースの警告ダイアログボックスのさらなる例を示す。
【図８】図８は、グラフィカルユーザインターフェースの警告ダイアログボックスのさらなる例を示す。
【発明を実施するための形態】
【００５６】
図面における同様の番号を有する要素は、等価な要素であるか、または同じ機能を果たす。前に説明された要素は、機能が同等であれば、後の図面では必ずしも説明されない。
【００５７】
図１は、磁石１０４を備えた磁気共鳴イメージングシステム１００の例を示す。磁石１０４は、自身を貫通するボア１０６を有する超伝導円筒形磁石である。異なる種類の磁石の使用も可能である。例えば、分割円筒形磁石といわゆるオープン磁石の両方を使用することも可能である。分割円筒形磁石は、標準的な円筒形磁石に類似しているが、磁石のアイソ面（ｉｓｏ−ｐｌａｎｅ）へのアクセスを可能にするために、クライオスタットが２つの部分に分割されている点で異なり、このような磁石は、例えば荷電粒子ビーム療法と併用され得る。オープン磁石は２つの磁石部分を有し、一方が、その間に被検者を収容するのに十分なスペースを与えるよう、他方の上方に位置し、２つの部分の配置はヘルムホルツコイルの配置と似ている。被検者がより閉塞されないため、オープン磁石は人気がある。円筒形磁石のクライオスタットの内部には、超伝導コイルの集合体がある。円筒形磁石１０４のボア１０６内には、磁気共鳴イメージングを行うのに十分に強く均一な磁場が存在するイメージングゾーン１０８が存在する。撮像ゾーン１０８内には関心領域１０９が示されている。磁気共鳴データは、典型的には、関心領域について取得される。被検者１１８は、被検者１１８の少なくとも一部が撮像ゾーン１０８および関心領域１０９内にあるように被検者支持体１２０によって支持されているように示されている。
【００５８】
また、磁石のボア１０６内には、磁石１０４の撮像ゾーン１０８内の磁気スピンを空間的に符号化するために予備磁気共鳴データ取得に使用される磁場勾配コイル１１０のセットが存在する。磁場勾配コイル１１０は、磁場勾配コイル電源１１２に接続されている。磁場勾配コイル１１０は代表的なものであることを理解されたい。典型的には、磁場勾配コイル１１０は、３つの直交する空間方向において空間符号化するための別個のコイルセットを３つ含む。磁場勾配電源は、磁場勾配コイルに電流を供給する。磁場勾配コイル１１０に供給される電流は、時間の関数として制御され、傾斜をつけられたり、またはパルス化され得る。
【００５９】
撮像ゾーン１０８の隣には、イメージングゾーン１０８内の磁気スピンの向きを操作するための、およびイメージングゾーン１０８内のスピンから無線信号を受信するための無線周波数コイル１１４が存在する。撮像ゾーン１０８内には被検者の頭部領域１１８が示されている。この例では、無線周波数コイルはヘッドコイル１１４である。ヘッドコイル１１４は被検者１１８の頭部を取り囲むものとして示されている。被検者の頭部領域の一部を撮像する関心領域１０９が存在する。ヘッドコイル１１４はまた、被検者１１８からの音声データを記録するためのオプションの被検者マイク１２５を含むものとして示されている。音声データは、例えば、被検者１１８が発した音声を含み得る。カメラシステム１２２が磁石１０４のフランジに取り付けられている。カメラ１２２は、例えば、フランジ取り付けカメラと呼ばれ得る。カメラ１２２は磁石のボア１０６を覗き込む。
【００６０】
被検者１１８の顔領域の反射がカメラシステム１２２に反射されるようにミラー１２４が配置される。ミラー１２４は、例えば、ヘッドコイル１１４に取り付けられたり組み込まれてもよく、または磁石１０４のボア１０６に取り付けられてもよい。ヘッドコイル１１４がない場合であっても顔領域１１９を撮像するミラーが設けられ得る。例えば、ミラー１２４は、他の実施例において被検者の頭に取り付けられるヘッドギアまたはサポートに組み込まれ得る。
【００６１】
無線周波数コイル１１４またはアンテナは複数のコイル要素を含み得る。また、無線周波数アンテナは、チャネルまたはアンテナと呼ばれ得る。無線周波数コイル１１４は、無線周波数送受信機１１６に接続される。無線周波コイル１１４および無線周波数送受信機１１６は、別個の送信コイルおよび受信コイルと、別個の送信機および受信機とによって置き換えられてもよい。無線周波数コイル１１４および無線周波数送受信機１１６は代表的なものであることを理解されたい。また、無線周波数コイル１１４は、専用送信アンテナおよび専用受信アンテナも表すことが意図されている。同様に、送受信機１１６は、別個の送信機および受信機も表し得る。無線周波数コイル１１４はまた、複数の受信／送信要素を有してもよく、無線周波数送受信器１１６は、複数の受信／送信チャネルを有してもよい。例えば、ＳＥＮＳＥなどの並列イメージング技術が実行される場合、無線周波数コイル１１４は複数のコイル要素を有する。
【００６２】
送受信機１１６、勾配コントローラ１１２、およびカメラシステム１２２は、コンピュータシステム１２６のハードウェアインターフェース１２８に接続されているものとして示されている。コンピュータシステムは、ハードウェアシステム１２８、メモリ１３４、およびユーザインターフェース１３２と通信するプロセッサ１３０をさらに備える。メモリ１３４は、プロセッサ１３０にアクセス可能な任意のメモリの組み合わせであり得る。メインメモリ、キャッシュメモリ、さらにはフラッシュＲＡＭ、ハードドライブ、その他の記憶装置等の不揮発性メモリ等が含まれ得る。いくつかの例では、メモリ１３４は、非一時的コンピュータ可読媒体と見なすことができる。
【００６３】
メモリ１３４は、機械実行可能命令１４０を含むものとして示されている。機械実行可能命令１４０は、プロセッサ１３０が磁気共鳴イメージングシステム１００の動作および機能を制御することを可能にする。機械実行可能命令１４０はまた、プロセッサ１３０が様々なデータ分析および計算機能を実行することを可能にし得る。コンピュータメモリ１３４は、さらに、複数のパルスシーケンスコマンド１４２を含むものとして示されている。パルスシーケンスコマンドは、磁気共鳴イメージングプロトコルに従って被検者１１８から磁気共鳴データを取得するよう、磁気共鳴イメージングシステム１００を制御するように構成される。
【００６４】
パルスシーケンスコマンドは、磁気共鳴撮像データ１４４を取得するように磁気共鳴撮像システム１００の様々な構成要素を制御するコマンド、またはそのようなコマンドに変換可能なデータである。メモリ１３４は、ＭＲＩシステム１００をパルスシーケンスコマンド１４２で制御することによって取得された磁気共鳴撮像データ１４４を含むものとして示されている。コンピュータメモリ１３４は、さらに、磁気共鳴撮像データ１４４と同時に取得された動画像１４６を含むものとして示されている。動画像１４６は取得後、動画ベースの音声活動検出モジュール１４８に入力された。
【００６５】
例えば、動画像１４６は、プロセッサによって受け取られた後、動画ベースの音声活動検出モジュールに入力され得る。次に、動画ベースの音声活動検出モジュール１４８は、音声活動状態１５０を出力し得る。音声活動状態は、被検者１１８が発話中であるか否かを示すために使用され得る。被検者１１８が発話中である場合、プロセッサ１３０は音声活動信号１５２を生成する。音声活動信号１５２は様々な形式でオペレータに対して表示または提示され得る。一部の例では音声信号、映像信号、視覚的信号、またはグラフィカルユーザインターフェース上のダイアログボックスが提示され得る。他の例では、音声活動信号１５２は、プロセッサ１３０に追加命令を実行させるトリガーである。
【００６６】
図２は、磁気共鳴イメージングシステム１００の動作方法を示すフローチャートを示す。まず、ステップ２００において、パルスシーケンスコマンド１４２を用いてＭＲＩシステム１００が制御され、磁気共鳴撮像データ１４４が取得される。次に、ステップ２０２において、パルスシーケンスコマンド１４２が実行されているのと同時に動画像１４６がカメラシステム１２２から受け取られる。これは、磁気共鳴撮像データ１４４が取得されているときであるとも考えることができる。これら２つは同義である。次に、ステップ２０４において、動画像１４６を動画ベースの音声活動検出モジュール１４８に入力することによって、動画像１４６についてリアルタイムで音声活動状態１５０が決定される。最後に、ステップ２０６において、音声活動状態１５０が被検者１１８の発話中状態を示す場合、音声活動信号１５２が提供される。
【００６７】
図３は、磁気共鳴イメージングシステム３００のさらなる例を示す。図３に示される例は、カメラシステム１２２’がヘッドコイル１１４に統合されていることを除いて、図１に示される例と同様である。カメラシステム１２２’は、例えば、ヘッドコイル１１４が被検者１１８の頭部に取り付けられた状態で、カメラシステム１２２’が顔領域１１９に向くように取り付けられ得る。
【００６８】
メモリ１３４はさらに、取得された予備的動画像３０２として示されている。メモリ１３４はさらに、予備的動画像３０２と同時に取得された複数のオーディオデータ３０４を含むものとして示されている。予備的動画像３０２およびオーディオデータ３０４は、例えば、磁気共鳴撮像データの取得の前に取得されてもよく、または他の例では、磁気共鳴撮像プロトコルの開始時に取得されてもよい。メモリ１３４はさらに、オーディオベースの音声活動検出器モジュール３０８への入力としてオーディオデータ３０４を使用することによって作成された、ラベル付き予備的動画像３０６を含むものとして示されている。ラベル付き予備的動画像３０６は、例えば、ビデオベースの音声活動検出モジュール１４８を訓練するために使用され得る。いくつかの例では、ビデオベースの音声活動検出モジュール１４８は事前に訓練されてもよく、その後、ラベル付き予備的動画像３０６を使用して、特定の被検者１１８の音声によりよく応答するように訓練が調整され得る。
【００６９】
図４は、図３の磁気共鳴イメージングシステム３００の動作方法を示すフローチャートを示す。磁気共鳴撮像システム１００が音声ベースの音声活動検出モジュール３０８も含む場合、図４に示される方法は、図１の磁気共鳴撮像システム１００を動作させるためにも使用され得る。
【００７０】
まず、ステップ４００において、予備的動画像３０２が記録される。予備的動画像３０２の記録と同時にステップ４０２が実行される。ステップ４０２では、被検者マイク１２５を使用して被検者１１８の音声データ３０６が記録される。次に、ステップ４０４において、音声データ３０４を音声ベースの音声活動検出モジュール３０８に入力することによって、予備的動画像３０２のフレームにラベルが付される。予備的動画像と音声データ３０４を同期させることで、ラベル付き予備的動画像３０６を作成することができる。フレームとして並べられた特定のフレームは、被検者１１８の発話中状態または非発話中状態としてラベル付けされる。そして、これらのラベル付けされた予備的動画像３０６は、各フレームのラベルを使用して動画ベースの音声活動検出モジュール１４８を訓練するステップ４０６で使用される。
【００７１】
いくつかの例では、動画ベースの音声活動検出モジュールは畳み込みニューラルネットワークである。この場合、動画ベースの音声活動検出モジュール１４８の訓練は深層学習を使用して達成され得る。
【００７２】
図５は、磁気共鳴イメージングシステム５００のさらなる例を示す。図５に示される磁気共鳴イメージングシステム５００は図１および図３に示される磁気共鳴イメージングシステムと類似する。この例では、ビデオシステム１２２”は複数のマルチカメラ１２３を含む。マルチカメラ１２３は磁石１０４のボア１０６の内側に取り付けられる。例えば、携帯電話などのデジタル機器で使用されるような小型カメラを採用することで、多数の小型カメラをボア１０６内に配置することができる。これにより、被検者１１８を比較的任意の位置に配置することが可能になり得る。図１および図３に示される例では、ヘッドコイル１１４の使用により、撮像は被検者１１８の頭部領域に制限される。この例では被検者１１８の腹部領域が撮像されている。無線周波数コイル１１４’が被検者１１８の腹部上に配置され、その下の関心領域１０９が撮像される。被検者１１８がボア１０６内に配置された後、マルチカメラ１２３から選択されたカメラ１２３’が被検者１１８の顔領域１１９の画像を取得するために選択され得る。この例では、オプションの被検者マイク１２５が被検者支持台１２０の被検者１１８の頭部の近くであり得る領域に組み込まれている。図５に示される例は、特別な器具または被検者１１８上に配置されるものを必要としないので、便利であり得る。
【００７３】
図５はまた、質問のリスト５０４を被検者１１８に提供するために使用され得るオプションのプロンプター５０２を示す。プロンプター５０２は、例えば、質問５０４のリストのテキスト形式を表示するビデオスクリーンであり得る。プロンプターがビデオプロンプター５０２である場合、プロンプターはボア１０６の外部にあってもよいし、または場合によっては内部にあってもよい。プロンプターがボア１０６の外部にある場合、被検者が磁石１０４に入る前に顔領域１１８を撮像するための追加のカメラが設けられてもよい。他の例では、プロンプター５０２は、質問のリスト５０４を音声形式で提供するための音声システムであり得る。いずれにせよ、プロンプター５０２は、予備的動画像３０２および音声データ３０６を生成するために使用される、被検者１１８が応答する質問を生成する。
【００７４】
コンピュータメモリ１３４は、さらに、磁気共鳴撮像データ１４４から再構成された磁気共鳴画像５０６を含むものとして示されている。磁気共鳴画像５０６は図１および図３に示される実施例にも存在し得る。同様に、プロンプター５０２および質問のリスト５０４も図１および図３に示される例に組み込まれ得る。また、図１、図３、および図５に示される特徴は、相互に排他的でない限り、自由に組み合わせることができる。
【００７５】
図５はさらに、図１、図３、および図５に示される例に組み込まれ得る別の任意選択的特徴を示す。メモリ１３４はさらに、音声認識モジュール５０８を含むものとして示されている。磁気共鳴撮像データを取得するためのパルスシーケンスコマンド１４２の実行中に、音声データ３０６が継続的に記録され得る。取得された音声データ３０６は順次、音声認識モジュール５０８に入力され得る。次に、音声認識モジュール５０８によって決定された単語が所定の単語リスト５１０と比較され得る。例えば、「やけど」、「助けて」、「とめて」などの単語、または被検者１１８の苦痛や不快感を表し得る他の単語が、プロセッサ１３０による即時応答をトリガーするために使用され得る。例えば、特定の単語が検出されると、磁気共鳴撮像システム５００は磁気共鳴撮像データの取得を自動的に停止してもよい。
【００７６】
図６は、音声活動信号１５２に応答してコンピュータシステム１２６のユーザインターフェース１３２上に開かれ得るダイアログボックス６００の例を示す。ダイアログボックスには被検者の発話が検出されたことの警告６０２が含まれる。ダイアログボックス６００はまた、オペレータが被検者１１８との通信チャネルを開くことを可能にする制御要素６０４を含む。例えば、これは、被検者１１８が図１、図３、および図５に示されるような被検者マイク１２５を使用してオペレータと話すことを可能にし得る。また、オペレータからの音声を提供するために使用可能なスピーカーまたは音声システムが存在してもよい。他の例では、制御要素６０４は、コンピュータシステム１２６に組み込まれていない手動制御要素である。
【００７７】
図７は、音声活動信号１５２に応答してユーザインターフェース上に生成され得るダイアログボックス７００のより複雑な例を示す。図７のダイアログボックス７００は図６のダイアログボックス６００のすべての機能に加えて、音声再生制御要素７０２を含む。この例では、音声再生制御要素７０２を使用して、被検者１１８が話していると検出された時間に対応する音声データ３０６の部分を再生することができる。これにより、例えば、オペレータは発話中状態が検出されたときに被検者１１８が何を言っていたかを知ることができる。例えば、被検者１１８が単に独り言を言っていた、または磁気共鳴撮像スキャンに関係のないことを言っていた場合、オペレータが不必要にパルスシーケンスコマンドの実行を停止するのを防ぐのに役立つ可能性がある。
【００７８】
図８はダイアログボックス８００のさらなる例を示す。この例でも、被検者の発話が検出されたという警告６０２が存在する。しかし、この例では追加の制御要素は存在せず、取得が停止されたという通知８０２がある。これは、例えば、所定の単語リスト５１０内の単語と一致する単語が被検者１１８によって発せられたことの認識に応答して生成されるダイアログボックス８００であり得る。
【００７９】
上記のように、現在、被検者は、スキャナの騒音のために患者のインターフォン（通信システム）はオフにされているので、スキャン中に通信を行いたいことを知らせるために従来の圧力式バルーンスイッチを使用している。
【００８０】
最近、スキャン中の患者の全体的な動きや生理学的な動きを検出するためにボア内カメラを使用する研究が流行っている。例えば、発話に典型的な口の動きを検出するためにそのようなカメラが使用され得る。これは音声会議でのマイク制御などの用途で実証されている。この技術を利用して、通常は患者がバルーンスイッチ（ゴム球）を押すことによってトリガーされるイベントをトリガーする（音声活動信号を提供する）ことができる（よって、バルーンスイッチは不要となり得る）。結果として、スイッチの準備をして患者に説明を行う時間を節約することができる。この手法はまた、子供や認知症患者、精神疾患を持つ患者にとっては当然ではない患者の理解および遵守の必要性を排除する。さらに、患者はバルーンを手に持ち続けるという心地の悪い行為をする必要がなくなり、また、紛失したバルーンを再び手に取るために動く必要がない。
【００８１】
例えば、バルーンスイッチ使用の以下の欠点のうちの１つまたは複数を克服し得る。バルーンスイッチの使用には次の欠点が存在する。
−  患者はスキャン中にバルーンを手に持ち続ける必要があり、これは不快になる可能性がある。
−  患者は手からバルーンを失くして、再び手に取るために少なくとも手と腕を動かす可能性がある。これは動きアーチファクトを発生させ得る。
−  ＭＲオペレータは患者ごとにスイッチを準備する必要があり、時間がかかる。
−  ＭＲオペレータはスイッチの使用方法を患者に指示する必要があり、時間がかかる。
−  患者は指示を理解し遵守する必要があるが、子供、認知症患者、精神疾患を持つ患者など、一部の患者にとっては難しい可能性がある。
−  バルーンがスキャナの部品表（ＢＯＭ）に追加される。例えば、ソフトウェアは追加されない可能性がある。
【００８２】
いくつかの例では、ボア内カメラを使用して発話に典型的な口の動き（顔の動き）が検出され得る。これを利用して、通常は患者がバルーンを押すことによってトリガーされるイベントをトリガーすることができ、よってバルーンを省くことができる。
【００８３】
ビデオ用途での会話の検出に使用されるこれらの技術の一部は、アルゴリズムの訓練を必要とするニューラルネットワークに基づき得る。いくつかの例では、この訓練のために、または訓練を特定の被検者に合わせて調整するために、ＭＲオペレータと被検者との間の典型的な初期会話が利用され得る。
【００８４】
例えば、患者の配置後にＲＦドアを閉じたときに開始し、最初のスキャンの準備フェーズのサイレント期間まで続く自動化された患者コミュニケーションを組み込むことによって訓練データが生成され得る。このコミュニケーションは被検者に会話を促し、それぞれの同期ビデオおよび音声データを使用して動画解析を訓練する。さらに、この概念は時間を節約し、オペレータが最初のスキャンの準備で非常に忙しい時間中に、患者が快適でオペレータの声を明確に聞き取ることができるかを尋ねるルーチン作業からオペレータを解放する。現在のＭＲオペレータの声で事前に録音された音声クリップが、患者が会話がコンピュータによって行われていることに気付かないようにＭＲオペレータがインタラクティブに自分自身に割り込む可能性と組み合わせて使用されてもよい。
【００８５】
この手法では、患者が現在話しているかどうかを判断するために（動画ベースの音声活動検出器を用いた）動画解析が使用されてもよい。そのような動画解析の最もよく知られているソリューションは、適切な動画データを使用して訓練する必要があるニューラルネットワークに基づく。
【００８６】
動画解析はリアルタイム対応であり、訓練の計算時間は、最初のスキャンを開始する前に実行できるように十分に短くする必要がある。患者が話しているか否かのラベルが付された適切な訓練データの入手は容易ではない。適切な訓練データなしで動作する会話検出アルゴリズムはエラーを生じやすい。患者警報メカニズムは、安全上の理由から非常に低い偽陰性率を有すべきであり（患者警報が検出されない事例）、また高いスキャン効率のために低い偽陽性率を有すべきである（誤った患者警報の事例）。
【００８７】
一例では、カメラおよびマイクがＭＲＩ磁石のボアに組み込まれ得る。自動化された患者−オペレータ／スキャナ通信は、最初のスキャンの準備段階中、およびその後のスキャンとスキャンの間に実行される。この通信は患者に会話を促し、同期ビデオおよび音声データの出力を使用して動画解析を訓練する。
【００８８】
この例では、少なくとも１つのカメラが、最も一般的なスキャン用途および患者位置のために患者の顔を捉えられるように、スキャナのボアに組み込まれている。適切な位置は、ボアの上部の、アイソセンターから磁石の後方に約２０ｃｍの位置である。患者はほとんどの場合、仰向けで顔がこの位置にある状態でスキャンされるからである。同じくボアの上端にあり、Ｂ０磁場軸に沿ってずらされた第２のカメラを設けると、一般的位置のいくらかの範囲にかけて少なくとも一方のカメラが顔を捉えることができるので有利である。少なくとも１つのカメラごとにマイクが追加される。
【００８９】
動画解析のための訓練データは、患者が継続的に話しているまたは話していない約０．５秒間の短いクリップを複数含み得る。各クリップには、ほとんど無視できるエラー率でそれぞれラベルが付され得る。なぜなら、そうでない場合は訓練データが損なわれ、あってはならないリアルタイム動画解析のエラー率も高くなるからである。この堅実にラベル付けされた訓練データを生成するために、スキャナの騒音がほとんどないときに患者に話をさせることが提案される。そのような時間帯では、比較的簡単な音声分析で会話中の時間をしっかりと検出することができる。この情報を使用して、動画データは発話中／非発話中クリップ（発話中状態／非発話中状態）に分けられる。音声活動検出（ｖｏｉｃｅ  ａｃｔｉｖｉｔｙ  ｄｅｔｅｃｔｉｏｎ：ＶＡＤ）アルゴリズムは、音声データから会話中の期間を検出するための技術として音声認識で知られている。例えば、ニューラルネットワークがこれらのラベル付きクリップを使用して訓練され得る。
【００９０】
訓練ワークフロー
コンピュータ制御される通信を使用することで、患者との通信を自動化して訓練データを生成することができる。これにより時間が節約され、通常は最初のスキャンの準備で非常に忙しい時間においてオペレータはこの作業から解放される。この通信は、患者を配置してＲＦドアが閉じられるとすぐに開始し、最終的に最初のスキャンの準備フェーズのサイレント期間を利用し得る。ＭＲオペレータはこの通信を聞くことができるので、患者の早期のリクエストや警告が発生した場合に介入することができる。対応するＭＲオペレータ自身の声による音声クリップを事前に録音してこの通信中に再生することができる。患者から複雑なリクエストがあった場合、ＭＲオペレータはインタラクティブに通信に割り込むことができる。これにより、患者が自分が機械と話していることに気付くのを防ぐことができる。
【００９１】
典型的通信
１．  スキャナ（ＭＲＩシステム）が「はっきり聞こえますか？」と尋ねる。患者は回答し、音声認識システムは答えが肯定または否定であったかを解析し得る。回答が否定であった場合、スピーカーの音量が増加するとともに音量増加が患者に通知される。回答が肯定であった場合、スキャナは「音量は適切でしょうか？」と尋ねてもよい。この会話は適切な音量に達するまでループし得る。
２．  スキャナは患者に名前と年齢を尋ね得る「あなたの声がはっきりと聞こえるか確認させて頂きたいので氏名と年齢を仰って頂けますでしょうか。」
３．  患者の快適さ（位置や温度など）を尋ねるさらなる質問が使用され得る。場合によっては、音声認識システムは答えを評価して温度を調節さえしてもよい。
【００９２】
既知の典型的スキャナノイズ
最初のスキャンの準備フェーズのほとんどは非常に静かであるか、非常に再現性のある（例えば、共振周波数決定）短いカチッという音で構成される小さい音を生じる。このような期間は訓練データの生成にも使用され得る。したがって、そのような既知のノイズを無視するようにＶＡＤアルゴリズムを訓練することが提案される。
【００９３】
スキャンワークフロー
通常のスキャン中、機械学習ベースのビデオ解析を使用して患者が話し始めた時期が検出される。この場合、ＭＲオペレータのスピーカーはミュートされていない。その後、オペレータはスキャンを終了することを決定し得る。
【００９４】
本発明は、図面および上記において詳細に図示および記載されているが、かかる図示および記載は説明的または例示的であり、非限定的であると考えられるべきである。本発明は、開示の実施形態に限定されない。
【００９５】
開示の実施形態の他の変形例が、図面、開示、および添付の特許請求の範囲から、クレームされる発明に係る当業者によって理解および実施され得る。特許請求の範囲において、「含む」という用語は他の要素またはステップを排除するものではなく、単数形は複数を除外しない。単一のプロセッサまたは他のユニットが、請求項に記載される複数のアイテムの機能を果たし得る。複数の手段が互いに異なる従属請求項に記載されているからといって、これらの手段の組み合わせが好適に使用することができないとは限らない。コンピュータプログラムは、他のハードウェアと共にまたは他のハードウェアの一部として供給される光学記憶媒体またはソリッドステート媒体等の適切な媒体上で記憶および／または分配されてもよいし、インターネットまたは他の有線若しくは無線テレコミュニケーションシステムを介して等の他の形態で分配されてもよい。特許請求の範囲内のいかなる参照符号も、その範囲を限定するものと解釈されるべきではない。
【符号の説明】
【００９６】
１００  磁気共鳴イメージングシステム
１０４  磁石
１０６  磁石のボア
１０８  撮像ゾーン
１０９  関心領域
１１０  磁場勾配コイル
１１２  磁場勾配コイル電源
１１４  ヘッドコイル
１１４’  無線周波数コイル
１１６  送受信機
１１８  被検者
１１９  顔領域
１２０  被検者支持台
１２２  カメラシステム
１２２’  カメラシステム
１２２”  カメラシステム
１２３  マルチカメラ
１２３’  選択されたカメラ
１２４  ミラー
１２５  被検者マイク
１２６  コンピュータシステム
１２８  ハードウェアインターフェース
１３０  プロセッサ
１３２  ユーザインターフェース
１３４  コンピュータメモリ
１４０  機械実行可能命令
１４２  パルスシーケンスコマンド
１４４  磁気共鳴イメージングデータ
１４６  動画像
１４８  動画ベースの音声活動検出モジュール
１５０  音声活動状態
１５２  音声活動信号
２００  パルスシーケンスコマンドを用いて磁気共鳴イメージングシステムを制御することで磁気共鳴イメージングデータを取得する
２０２  動画システムから動画像を受け取る
２０４  動画像を動画ベースの音声活動検出モジュールに入力することによって、動画像についてリアルタイムで音声活動状態を決定する  
２０６  音声活動状態が発話中状態を示す場合、音声活動信号を供給する
３００  磁気共鳴イメージングシステム
３０２  予備的動画像
３０４  音声データ
３０６  ラベル付き予備的動画像
３０８  音声ベースの音声活動検出モジュール
４００  動画システムを使用して被検者の予備的動画像を記録する
４０２  予備的動画像の記録と同時に、被検者マイクを用いて音声データを記録する
４０４  音声データを音声ベースの音声活動検出モジュールに入力することによって、各フレームに発話中または非発話中としてラベルを付ける
４０６  各フレームと各フレームのラベルを使用して動画ベースの音声活動検出モジュールを訓練する
５００  磁気共鳴イメージングシステム
５０２  プロンプター
５０４  質問リスト
５０６  磁気共鳴画像
５０８  音声認識モジュール
５１０  所定の単語リスト
６００  ダイアログボックス
６０２  警告
６０４  通信チャネルを開くための制御要素
７００  ダイアログボックス
７０２  音声再生制御要素
８００  ダイアログボックス
８０２  取得が停止されたことの通知
【図１】
2021526048.tif 000003
【図２】
2021526048.tif 000004
【図３】
2021526048.tif 000005
【図４】
2021526048.tif 000006
【図５】
2021526048.tif 000007
【図６】
2021526048.tif 000008
【図７】
2021526048.tif 000009
【図８】
2021526048.tif 000010
【国際調査報告】
2021526048.tif 000011
2021526048.tif 000012
2021526048.tif 000013