(57)【要約】      （修正有）【課題】超音波探触子の誘導ナビゲーション用装置及び方法を提供する。【解決手段】先ず、超音波ナビゲーション支援方法では、身体の標的臓器の画像を超音波探触子によって取得する。次に、ニューラルネットワークなどの推定システムを用いて、取得した画像を画像処理する。続いて、この画像処理によって、標的臓器を画像化するのに最適な超音波探触子の姿勢位置からの取得画像で判明した探触子の現在の姿勢位置の偏差を算出する。最後に、超音波探触子の末端利用操作者に、先に算出した姿勢位置の偏差を提示する。【選択図】図１
2018134386.tif 000002
【特許請求の範囲】
【請求項１】
超音波ナビゲーション支援方法であって、
超音波探触子を用いて、身体の標的臓器の画像を取得する工程と、
推定システムを用いて前記画像を処理する工程であって、前記推定システムは前記標的臓器を画像化するのに最適な前記超音波探触子の姿勢位置からの前記取得画像で判明した前記探触子の現在の姿勢位置の偏差を算出する工程と、
前記算出した偏差を、前記超音波探触子の末端利用操作者に提示する工程と、を有する方法。
【請求項２】
前記推定システムはニューラルネットワークで構成されることを特徴とする、請求項１の方法。
【請求項３】
加速度計、ジャイロスコープ及び磁気計の少なくとも１つを有する慣性測定装置から受信した探触子の方向及び移動データに基づき、前記した現在の姿勢位置を追加して算出することを特徴とする、請求項１の方法。
【請求項４】
前記探触子と接続したコンピュータ装置の表示部に、前記算出した偏差を視覚的に表示することを特徴とする、請求項１の方法。
【請求項５】
前記最適姿勢位置までの前記探触子の近さに基づき、音色を変化させることによって、前記算出した偏差を可聴的に提示することを特徴とする、請求項１の方法。
【請求項６】
前記最適姿勢位置までの前記探触子の近さに基づき、短い音を繰返し可聴的に提示する頻度を変化させることによって、前記の算出した偏差を可聴的に提示することを特徴とする、請求項１の方法。
【請求項７】
前記最適姿勢位置までの前記探触子の近さに基づき、前記探触子の振動を変化させることによって、前記算出した偏差を触覚的に提示することを特徴とする、請求項１の方法。
【請求項８】
超音波ナビゲーション支援用に構成した超音波画像データ処理装置であって、
記憶部及び少なくとも１つの処理部をもつコンピュータと、
前記コンピュータに接続された表示部と、
前記コンピュータ及び前記表示部に接続されたビーム形成回路と、
前記ビーム形成回路に接続されたトランスデューサを有する超音波探触子と、を有し、
前記コンピュータの前記記憶部で実行されるナビゲーション支援モジュールは、
前記コンピュータの前記処理部で実行されるプログラムコードを有し、
身体の標的臓器の画像を前記超音波探触子によって取得し、
前記の取得画像から判明した前記標的臓器に対する前記超音波探触子の現在の姿勢位置と、前記標的臓器を画像化するのに最適な前記超音波探触子の姿勢位置との間の偏差を算出することで、推定システムを用いて前記取得画像を処理し、並びに、
前記超音波探触子の末端利用操作者に前記算出した偏差を提示する、ことを特徴とする装置。
【請求項９】
前記推定システムはニューラルネットワークであることを特徴とする、請求項８の装置。
【請求項１０】
加速度計、ジャイロスコープ及び磁気計の少なくとも１つを有する慣性測定装置から受信した探触子の方向及び移動データに基づき、前記現在の姿勢位置を追加して算出することを特徴とする、請求項８の装置。
【請求項１１】
前記探触子と接続したコンピュータ装置の表示部に、前記算出した偏差を視覚的に表示することを特徴とする、請求項８の装置。
【請求項１２】
前記最適姿勢位置までの前記探触子の近さに基づき音を変化させることで、前記算出した偏差を可聴的に提示することを特徴とする、請求項８の装置。
【請求項１３】
前記最適姿勢位置までの前記探触子の近さに基づき前記探触子の振動を変化させることで、前記算出した偏差を触覚的に提示することを特徴とする、請求項８の装置。
【請求項１４】
超音波ナビゲーション支援用コンピュータプログラム製品であって、前記コンピュータプログラム製品はプログラム命令を内部に納めたコンピュータ可読記憶媒体を有し、前記プログラム命令が装置で実行する方法は、
超音波探触子によって、身体の標的臓器の画像を取得する工程と、
推定システムを用いて前記画像を処理する工程であって、前記推定システムは前記標的臓器を画像化するのに最適な前記超音波探触子の姿勢位置と、前記取得した画像から判明した前記超音波探触子の現在の姿勢位置との間の偏差を算出することを特徴とする工程と、  
前記超音波探触子の末端利用操作者に、前記算出した偏差を提示する工程と、を有することを特徴とするコンピュータプログラム製品。
【請求項１５】
前記推定システムはニューラルネットワークであることを特徴とする、請求項１４のコンピュータプログラム製品。
【請求項１６】
加速度計、ジャイロスコープ及び磁気計の少なくとも１つを有する慣性測定装置から受信した探触子の方向及び移動データに基づき、前記現在の姿勢位置を追加して算出することを特徴とする、請求項１４のコンピュータプログラム製品。
【請求項１７】
前記探触子に接続したコンピュータ装置の表示部に、前記算出した偏差を視覚的に表示することを特徴とする、請求項１４のコンピュータプログラム製品。
【請求項１８】
前記最適姿勢位置までの前記探触子の近さに基づき音を変化させることで、前記算出した偏差を可聴的に提示することを特徴とする、請求項１４のコンピュータプログラム製品。
【請求項１９】
前記最適姿勢位置までの前記探触子の近さに基づき、短い音を繰返し可聴的に提示する頻度を変化させることで、前記算出した偏差を可聴的に提示することを特徴とする、請求項１４のコンピュータプログラム製品。
【請求項２０】
前記最適姿勢位置までの前記探触子の近さに基づき前記探触子の振動を変化させることで、前記算出した偏差を触覚的に提示することを特徴とする、請求項１４のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全米科学財団（ＮＳＦ）の映像要約及び推薦提案番号ＩＩＰ−１４１６６１２の意味論的映像解析：ＳＢＩＲ第Ｉフェーズでの政府支援によって行われた。合衆国政府は本発明に一定の権利を有する。
【０００２】
本発明は超音波画像処理、特に、超音波画像取得方法に関する。
【背景技術】
【０００３】
超音波検査としても知られる超音波画像処理は、高周波数音波を用いて生物の身体内部の三次元構造の観察に用いられる医療用画像処理技術である。超音波画像はリアルタイムで取得できるため、ヒトの身体の血管を通る血流や組織の硬直度と共に、身体の内臓の動きを表示する。Ｘ−線画像処理とは異なり、超音波画像処理には電離放射線を含まないので、長時間の超音波画像処理による組織及び内臓障害に脅かされることなく、超音波画像処理を長時間行うことができる。
【０００４】
超音波検査中、超音波画像を取得するには、通常、探触子と称される変換器を、直接皮膚や、身体の開口部内に配置する。ゲルを薄く皮膚に塗り、ゲル媒体を介して変換器から身体に超音波を伝える。超音波画像は、身体構造から反響する超音波を測定することで得ることができる。検出した反響超音波の振幅として測定される超音波信号の強度、並びに、超音波が身体を伝播するに要する時間から、画像を計算するのに必要な情報が提供される。
【０００５】
医療用画像処理に係る他の優れた方法と比べ、超音波による方法は、診断医及び患者にとって幾つかの利点を有する。第１の且つ最も優れた利点は、超音波はリアルタイムで画像を提供することである。また、超音波画像処理に必要な器具は、携帯可能で患者のベッドサイドに運ぶことができる。また、実用面では、超音波画像処理器具は他の医療用画像処理器具よりも、略低コストであり、上記したように有害な電離放射線を使用しない。しかし依然として、品質の良い超音波画像を得るためには、熟練操作者に頼るところが大きい。
【０００６】
ただし、画像処理に選ばれた身体部分に応じて、最初にどの姿勢位置に超音波探触子を配置すればよいのかを、熟練操作者は知らねばならない。次に、熟練操作者は前記探触子をどこに移動すれば所望のイメージを取得できるのかを知らねばならない。一般に、超音波操作中に得られたイメージを視覚的にフィードバックされて、超音波操作者は探触子の初期配置、移動方向及び移動について誘導をうける。従って、探触子のナビゲーションは、本質的に反復した試行錯誤からなる手作業である。よって、超音波ナビゲーションの現在の方法は最適ではないことが明白である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の実施形態によって、超音波探触子ナビゲーションにおける従来技術の欠点を解決し、超音波探触子を誘導ナビゲーションする、新規で進歩性のある方法、装置及びコンピュータプログラム製品を提供する。
【課題を解決するための手段】
【０００８】
本発明の一実施形態では、超音波ナビゲーション支援方法を用い、超音波探触子で身体の標的臓器の画像を取得する。また、前記方法は、機能的又はプログラム的近似詞、例えば、分類子、独立変数、状態機械、又はニューラルネットワークなどを含んで構成される推定システムを用いて画像処理を行う工程を含む。推定システムを用いて処理することで、超音波探触子の現在の姿勢位置、つまり標的臓器に対する超音波探触子の姿勢位置と方向、及び標的臓器を画像化する超音波探触子の最適姿勢位置との偏差を出力する。こうして、前記した方法は、超音波探触子の末端利用操作者に前記偏差を提示する。
【０００９】
本実施形態の一態様では、加速度計、ジャイロスコープ及び磁気計の少なくとも一つを含む慣性測定装置から受信する直線移動及び角度移動に基づき、超音波探触子の現在の姿勢位置をさらに向上させる。また、本実施形態の別の態様中、探触子と連動してコンピュータ装置の表示部に計算した偏差を視覚的に表示する。さらに、最適姿勢位置に探触子が近接するに従い音を変化させて聴覚的に偏差を示す、又は、最適姿勢位置に探触子が近接するに従い、短い音を繰返し聴覚的に示す頻度を変えて聴覚的に偏差を示す。或いは、最適姿勢位置に探触子が近接するに従い、探触子の振動を変えて触覚的に偏差を示すことができる。
【００１０】
また、本実施形態の別の態様では、超音波画像データ処理装置は、超音波ナビゲーション支援装置として構成される。前記装置は、記憶部及び少なくとも１つの処理部、コンピュータに接続された表示部、コンピュータ及び表示部に接続されたビーム形成回路、並びに、ビーム形成回路に接続されたアレー変換器を有する超音波探触子を有する。また、前記装置は、コンピュータの記憶部で実行されるナビゲーション支援モジュールもさらに有する。また、前記モジュールは、コンピュータの処理部の実行で作動するプログラムコードを有し、超音波探触子が捉えた身体の標的臓器画像を取得し、ニューラルネットワークなどの推定システムを処理するために前記画像を提供し、標的臓器に対する超音波探触子の現在の姿勢位置と、標的臓器を画像化する超音波探触子を配置する最適姿勢位置との偏差を算出し、超音波探触子の末端利用操作者にこの算出した偏差を提示する。
【００１１】
また、本発明の別の態様の一部は、以下の本開示に記載されるとともに、本開示から自明であり、或いは、本発明を実施することで習得できる。本発明の態様は、添付した請求項に特に提示された要素及びその組み合わせによって実現及び達成される。また、請求項で示すように、先の一般的な記載部分と以下の詳細な記載部分の両者ともに、典型例や単なる例示に外ならず、本発明を限定するものではないことを理解できるだろう。
【００１２】
添付した図面は、本明細書に組み入れられてその一部を構成するが、本発明の実施形態や開示を図示すると共に、本発明の原理を説明するものである。ここに図示した実施形態は、現時点で好適である。しかし、本発明は図示した厳密な配置及び装置類に限定されるものではない。
【図面の簡単な説明】
【００１３】
【図１】超音波探触子を誘導ナビゲーションする方法を示す図である。
【図２】超音波探触子を誘導ナビゲーションするように構成した超音波データ処理装置の概略図を示す。
【図３】超音波探触子を誘導ナビゲーションする方法を示すフローチャートである。
【発明を実施するための形態】
【００１４】
本発明の実施形態を用いて、超音波探触子の誘導ナビゲーションを示す。本発明の一実施形態では、超音波探触子を身体表面に配置する。続いて、身体の標的臓器の画像を取得し、前記取得した画像から判明した超音波探触子の現在の姿勢位置と、標的臓器に係る最適姿勢位置との偏差を、超音波探触子の末端利用操作者に提示する。例えば、前記偏差を、対応する表示部に視覚的に提示、又は、可聴的誘導信号を用いて聴覚的に提示する。或いは、文字による指示を音声提示するテキストを用い、又は、超音波探触子の外郭を通して触覚的に、前記した偏差を提示する。
【００１５】
図１は超音波探触子を誘導ナビゲーションする方法を図示したものである。図１に示すように、超音波探触子１２０をヒトなどの身体１１０の外表面に配置する。超音波探触子１２０の操作者は標的臓器の画像１３０を取得し、前記した標的臓器の画像１３０をニューラルネットワークなどの推定システム１４０に入力して表示する。推定システム１４０は、１以上の異なる標的臓器の１組のトレーニング用画像１５０に基づいてトレーニングされる。このとき各画像には、探触子を配置する最適姿勢位置からの探触子の現在の姿勢位置の既知の偏差を有する。現時点で取得した画像１３０を推定システム１４０に入力することで、超音波探触子１２０を配置する最適姿勢位置との超音波探触子１２０の現在の姿勢位置の偏差１９０を出力させる。
【００１６】
随意に、超音波探触子１２０は、超音波探触子１２０の方向及び移動を示す、磁気計情報１８０Ａ、ジャイロスコープ情報１８０Ｂ及び加速度計情報１８０Ｃを含む探触子の方向及び移動データ１８０を取得し、超音波探触子１２０の姿勢位置変化を計算する。続いて、誘導ナビゲーション論理回路１６０は、探触子の方向及び移動データ１２０を処理し、最適姿勢位置１９０からの偏差１９０をより良く計算する。この場合、取得した画像１３０について推定システム１４０が出力する姿勢位置の偏差１９０を考慮するのみならず、探触子の方向及び移動データ１８０から得られる超音波探触子１２０の姿勢位置の変化を考慮して、上記の計算を実行する。
【００１７】
続いて、誘導ナビゲーション論理回路１６０は、超音波探触子１２０の姿勢位置の偏差１９０を処理し、現在の姿勢位置及び最適姿勢位置を示す２個の探触子モジュールによって、示唆された操作と共に三次元描写した画像などの視覚的フィードバック形態としてフィードバック１７０を送信する。さらに、現在の姿勢位置と最適姿勢位置が一致するまでの量をフィードバックしたり、或いは、最適姿勢位置に近づけるために超音波探触子１２０の方向をどの程度調節する必要があるのかを、赤、緑又は黄色で示したり、音などの聴覚的フィードバックや触覚的フィードバックなどで提示する。後者の方法についていえば、本発明の一態様中、超音波探触子１２０は姿勢位置の偏差１９０に応じて、さらに強く又はより高い振動数で振動を起こすことができる。
【００１８】
また、前者の方法についていえば、本発明の一態様中、超音波探触子１２０が姿勢位置の偏差１９０の程度に基づいて対応する場合、超音波探触子１２０はより激しい異なる音色の音を出すこともできる。また、超音波探触子１２０は、姿勢位置の偏差１９０の程度に応じた振動数でクリック音やポップ音などの短い音を、繰返し発してもよい。
或いは、本発明の別の態様では、超音波探触子１２０が、姿勢位置の偏差１９０の大きさに応じて移動する場合、さらに強く又はより高い振動数で振動を起こしてもよい。
【００１９】
図１に関して示した方法は、超音波データ処理装置で実行される。また、図２は超音波探触子を誘導ナビゲーションするために構成した超音波データ処理装置を概略的に示したものである。この装置は、１以上のコンピュータからなるホストコンピュータ装置２００と接続した超音波探触子２１０を有し、各コンピュータには記憶部及び少なくとも１個の処理部を有する。超音波探触子２１０は、ホストコンピュータ装置２００のビーム形成回路と接続した変換器によって、超音波画像を取得する。続いて、超音波探触子２１０は、ホストコンピュータ装置２００のビーム形成回路に前記の取得超音波画像を送信し、ホストコンピュータ装置２００の記憶部に設置した超音波利用者インターフェース２９０を介して、ホストコンピュータ装置２００の表示部に、画像を表示する。
【００２０】
超音波探触子２１０は、ピエゾ駆動器や音源２４０などの電気機械的振動発生器２３０を有する。この電子機械的振動発生器２３０は、超音波探触子２１０中で駆動し、ホストコンピュータ装置２００の指示通りに、所定の周波数及び所定の時間で超音波探触子２１０を振動させる。また、音源２４０は、超音波探触子２１０中で駆動し、ホストコンピュータ装置２００の指示通りに、所定の周波数、振幅及び所定の時間で、可聴音を発信する。また、音源２４０は、ホストコンピュータ装置２００に、随意に設置してもよい。
【００２１】
また、画像データ記憶部２６０は、各画像の姿勢位置の偏差が判明するように設定した条件下で事前に取得した様々な複数の超音波画像を、その内部に記憶する。画像データ記憶部２６０の全画像は、ニューラルネットワークなどの推定システム２２０をトレーニングするためのトレーニング用画像として提供され、これら全画像を用いることで、ヒトの標的臓器の入力画像から探触子を配置する最適姿勢位置までの偏差を判断する。この点、推定システム２２０は、取得した画像から抽出した様々な特徴を処理するノードを複数有し、これらのノードは超音波探触子の姿勢位置を判定して、分かっている標的臓器の画像化に最適な姿勢位置から現在の姿勢位置の偏差を提示する。ここにおいて、前記した姿勢位置は、ユークリッド空間や任意の数字配列において数学的に表示される。
【００２２】
最後に、超音波利用者インターフェース２９０とナビゲーション支援モジュール３００を接続する。ホストコンピュータ装置２００の記憶部でプログラムコードが実行されると、超音波探触子２１０を用いて現時点での超音波画像を取得するプログラムコードと、推定システム２２０を用いてホストコンピュータ装置の取得済み超音波画像を処理するプログラムコードとを、ナビゲーション支援モジュール３００は有する。ホストコンピュータ装置２００の記憶部でプログラムコードが実行されている間、ナビゲーション支援モジュール３００のプログラムコードは、推定システム２２０の支援のもと、取得画像及び超音波探触子２１０の最適姿勢位置から明らかな、姿勢位置の求めた偏差を受信する。
【００２３】
また、超音波探触子２１０は慣性測定部２５０を、随意に有する。慣性測定部２５０は、磁気計２５０Ａ、ジャイロスコープ２５０Ｂ及び加速度計２５０Ｃの各々を有する。このように、慣性測定部２５０が取得したデータは、ホストコンピュータ装置２００で解読され、所定の時間間隔における姿勢位置の変化を、例えば、超音波探触子２１０の直線加速度や角速度を測定して予測する。この姿勢位置変化と推定システムに由来する姿勢位置の偏差とを組み合わせて、より正確な姿勢位置を予測する。一例として、カルマンフィルターの利用が挙げられる。
【００２４】
例えば、慣性測定部２５０を用い、推定システム２２０から求めた偏差を微調整するプロセスアルゴリズム法は、以下のように表される。
１．Ｉ（ｔ）を、時間ｔで超音波探触子２１０が取得した画像と定義する。
２． ?を、ニューラルネットワーク２２０などの推定システムとし、この推定システムが、最適姿勢位置に関する時間ｔでの画像から推定する姿勢位置ｐ（ｔ）ｉｍｇを取得画像Ｉ（ｔ）から出力する。つまり、ｐ（ｔ）ｉｍｇ  ＝  ?（Ｉ（ｔ））である。
３．ｔ０からｔ１（＞ｔ０）までの間の姿勢位置変化Δｐ（ｔ１，ｔ０）ｉｍｇは、以下のようにして求められる：
Δｐ（ｔ１，ｔ０）ｉｍｇ＝ｐ（ｔ１）ｉｍｇ−ｐ（ｔ０）ｉｍｇ
つまり、ｐ（ｔ１）ｉｍｇ＝ｐ（ｔ０）ｉｍｇ＋Δｐ（ｔ１，ｔ０）ｉｍｇ
４．慣性測定部２５０はｔ０からｔ１までの姿勢位置変化を測定し、Δｐ（ｔ１，ｔ０）ＩＭＧとして定義する。また、Δｐ（ｔ１，ｔ０）ｉｍｇとΔｐ（ｔ１，ｔ０）ＩＭＵとを組合せ、カルマンフィルターを用いて、姿勢位置変化をより良好に予測する：
Δｐ（ｔ１，ｔ０）Ｋ＝Ｋ（Δｐ（ｔ１，ｔ０）ｉｍｇ，Δｐ（ｔ１，ｔ０）ＩＭＵ；ｐ（ｔ０）ｉｍｇ）
ここで、Ｋはカルマンフィルターである（つまち、画像に基づく姿勢位置変化、慣性測定部２５０に基づく姿勢位置変化、及び、ｔ０における姿勢位置を入力する）。Δｐ（ｔ１，ｔ０）Ｋ  は、組合せによる姿勢位置変化であり、Δｐ（ｔ１，ｔ０）ｉｍｇ又はΔｐ（ｔ１，ｔ０）ＩＭＵ単独のいずれよりも正確であると推定される。
５．次に、より正確なΔｐ（ｔ１，ｔ０）Ｋを用い、時間ｔ１での、より正確な絶対的姿勢位置ｐ（ｔ１）Ｋを予測できる：
ｐ（ｔ１）Ｋ＝ｐ（ｔ０）ｉｍｇ  ＋  Δｐ（ｔ１，ｔ０）Ｋ
６．続く全ての時間における姿勢位置は以下のようになる。
ｐ（ｔｊ＋１）Ｋ＝ｐ（ｔｊ）Ｋ  ＋  Δｐ（ｔｊ，ｔｊ＋１）Ｋ
【００２５】
いかなる場合でも、計算した偏差に基づき、ナビゲーション支援モジュール３００のプログラムコードによって、対応するフィードバックが決定され、超音波探触子２１０を介して提示される。例えば、ナビゲーション支援モジュール３００のプログラムコードが音源２４０を直接制御し、算出した超音波探触子２１０の最適姿勢位置までの近さに比例又は反比例して、特定の周期を有する特定の音パターンを発信する。また、別の例では、ナビゲーション支援モジュール３００のプログラムコードが超音波探触子２１０の電気機械的振動発生器を直接制御し、算出した超音波探触子２１０の最適姿勢位置までの近さに比例又は反比例して、特定の強度を有する特定の振動を引き起こす。
【００２６】
ナビゲーション支援モジュール３００の操作法を更に示すために、図３に超音波探触子を誘導ナビゲーションする方法をフローチャートで示す。操作方法はブロック３１０から開始され、利用者インターフェースを用いて身体内の標的臓器を選択し、超音波探触子が取得した超音波画像を視覚化する超音波をあてる。続いて、ブロック３２０では、標的臓器に関するニューラルネットワークなどの推定システムを、超音波探触子と接続したコンピュータ装置の記憶部にロードする。ブロック３３０では、超音波探触子が、現時点の超音波画像を取得し、続いて、ブロック３４０において、超音波探触子の方向と移動データを超音波探触子の慣性測定部から受信し、データを取得する。ブロック３５０では、コンピュータ装置で推定システムと関連付けて現時点の超音波画像を画像処理する。
【００２７】
ブロック３６０によって、取得画像から判明した、超音波探触子の現在の姿勢位置と最適姿勢位置との偏差を、推定システムを取得画像に適用して決定する。また、随意に、探触子の方向及び移動データを用い、先に決定した姿勢位置の偏差の精度をさらに向上させる。ブロック３７０では、例えば、姿勢位置の偏差をグラフ表示したり、特定の振動強度を触覚的フィードバックとしたり、或いは、特定の周波数、周期、振幅又はこれら組合せを聴覚的フィードバックとして、前記した姿勢位置の偏差に基づくフィードバックを決定する。続いて、ブロック３９０では、先に決定したフィードバックを、コンピュータ装置又は接続された超音波探触子によって出力する。最後に、判定ブロック４００において、姿勢位置又は方向の閾値的変化が超音波探触子に生じるか否かを、超音波探触子の慣性測定部が提示する。閾値的変化が生じる場合、或いは、慣性測定部が存在しないか非活動状態の場合、このプロセスはブロック３４０を通って繰返される。
【００２８】
本発明は、装置、方法、コンピュータプログラム製品、又はこれら組み合わせのなかで具体化される。コンピュータプログラム製品は、単独又は複数のコンピュータ可読記憶媒体を有し、これら記憶媒体は本発明の態様を処理部に実行させるコンピュータ可読命令を含む。また、コンピュータ可読記憶媒体は実体装置であり、命令実行装置に用いられる命令を保持及び記憶する。コンピュータ可読記憶媒体は、以下に限定されるものではないが、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、或いはこれらの好適な組み合わせなどである。
【００２９】
本明細書で記載するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体や、ネットワークを介した外部コンピュータや外部記憶装置から、計算／処理装置にそれぞれダウンロードされる。コンピュータ可読プログラム命令は、スタンドアロンソフトウエアパッケージとして利用者のコンピュータで全体が実行され、又は利用者のコンピュータで一部が実行される。或いは、利用者のコンピュータで一部が、遠隔コンピュータで一部が、又は遠隔コンピュータやサーバーで全体が実行される。本発明の種々の態様は、フローチャート図、及び／又は、ブロック図で、本発明の様々な実施形態係る方法、装置（システム）、及びコンピュータプログラム製品を参照して説明される。フローチャート図、及び／又は、ブロック図、フローチャート図及び／又はブロック図におけるブロックの組合せの各々は、コンピュータ可読プログラム命令で実行されることが理解されるであろう。
【００３０】
上記のコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、又はその他プログラム化可能なデータ処理装置の処理部に提供されて機械装置を製造する。こうして、コンピュータ処理部や他のプログラム化可能なデータ処理装置を介して実行される命令によって、フローチャート及び／又はブロック図のブロックやブロック類で特定される機能／行動を実行するための手段を作り出す。これらコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラム化可能データ処理装置、及び／又は、他の装置を特定の方法で作動させる。こうして、内部記憶した命令をもつコンピュータ可動記憶媒体は、フローチャート及び／又はブロック図の単独又は複数のブロックで特定される機能／行動の態様を実行する命令を有する製品を構成する。
【００３１】
コンピュータ可読プログラム命令は、コンピュータ、他のプログラム化可能データ処理装置、又はその他装置にロードされ、一連の操作過程をコンピュータ、他のプログラム化可能な装置、又はその他装置で実行されて、コンピュータ実行方法を提供する。こうして、コンピュータ、他のプログラム化可能な装置、又はその他装置で実行される命令によって、フローチャート及び／又はブロック図の単独又は複数のブロックで特定される機能／行動が実行される。
【００３２】
図面のフローチャート及びブロック図は、本発明の種々の実施形態に係る装置、方法及びコンピュータプログラム製品の実施可能な構成、機能、及び操作法を図示する。この点、フローチャート及びブロック図の各ブロックは、モジュール、セグメント、又は命令の一部を表し、前記ブロックは特定の論理機能を実行するための１以上の実行可能な命令を有する。また、別の幾つかの例では、ブロック内に記載された機能は、図に記したように順番に実行されない場合もある。例えば、連続して示された２個のブロックは、実際その機能に応じて略同時に実行されることもあし、或いは、逆順で実行されることもある。また、ブロック図及び／又はフローチャートの各ブロック、並びに、ブロック図及び／又はフローチャートのブロックの組み合わせは、特別な目的のハードウエア装置によって実行される可能性にも留意されたい。なお、前記装置は、特定の機能又は行動を実行するか、或いは、特別な目的のハードウエア及びコンピュータ命令の組みあわせを実行する。
【００３３】
最後に、本明細書で用いた用語は、個々の実施形態をのみ説明する目的で用いられ、本発明を限定するものではない。本明細書で用いたように、単数形の“ａ、”“ａｎ”、及び“ｔｈｅ”がつく用語は、別に明示して記載しない限り、その複数形も含むものとする。また、“有する（ｃｏｍｐｒｉｓｅ）”及び／又は“構成する（ｃｏｍｐｒｉｓｉｎｇ）”の用語は、本明細書で用いられるとき、記載した特徴、整数、工程、操作、要素、及び／又は成分が存在することを明示するが、１以上の他の特徴、整数、工程、操作、要素、成分及び／又はそれらの群の存在又は追加を排除するものではない。
【００３４】
以下に示す請求項に記載した全ての手段又は工程及び機能要素に対応する構造体、材料、行動及びその等価物は、具体的に請求されるように、他の請求要素と組み合わせてその機能を実行するために任意の構造体、材料や行動を含むように意図されている。本発明の記載は、例示や説明のために提示してきたが、網羅的なものではなく、また、開示した形態の発明に限定されるものでもない。本発明の範囲及び精神から逸脱することなく、多数の変更や変形を行えることは、当業者にとって明白であろう。本発明の原理及び実際の用途を最適に説明するために、本実施形態を選択し、説明した。また、熟慮した特別な使用に好適なように、様々な変更を有する多様な実施形態についても、本発明を他の当業者が理解できるように説明した。
【００３５】
こうして、本願発明を詳細かつその実施形態を参照しながら説明してきた。従って、以下に添付した請求項に規定した本発明の範囲を逸脱することなく、多数の変更及び変形を行えることが明白であろう。
【図１】
2018134386.tif 000003
【図２】
2018134386.tif 000004
【図３】
2018134386.tif 000005
【外国語明細書】
2018134386000001.pdf