(57)【要約】【課題】本発明は、対象体の第１の映像を第２の映像に対応する映像に変換して変換映像を形成し、変換映像と第２の映像間で映像整合を行うシステムおよび方法を提供する。【解決手段】本発明による映像整合システムは、対象体の第１の映像を提供する第１の映像提供部と、前記対象体の第２の映像を提供する第２の映像提供部と、前記第１の映像提供部および前記第２の映像提供部に連結され、前記第１の映像のピクセルを入力に設定し、前記第２の映像のピクセルを出力に設定し、前記第１の映像を前記第２の映像に対応する映像に変換するための映像変換パラメータを検出し、前記映像変換パラメータを用いて前記第１の映像に映像変換を行って変換映像を形成し、前記変換映像と前記第２の映像との間で映像整合を行うプロセッサとを備える。【選択図】図１
2010131388.tif 000002
【特許請求の範囲】
【請求項１】
映像整合システムであって、
対象体の第１の映像を提供する第１の映像提供部と、
前記対象体の第２の映像を提供する第２の映像提供部と、
前記第１の映像提供部および前記第２の映像提供部に連結され、前記第１の映像のピクセルを入力に設定し、前記第２の映像のピクセルを出力に設定し、前記第１の映像を前記第２の映像に対応する映像に変換するための映像変換パラメータを検出し、前記映像変換パラメータを用いて前記第１の映像に映像変換を行って変換映像を形成し、前記変換映像と前記第２の映像との間で映像整合を行うプロセッサと
を備えることを特徴とする映像整合システム。
【請求項２】
前記第１の映像は、超音波映像を含み、前記第２の映像は、ＭＲＩ映像およびＣＴ映像のうちのいずれか一つを含むことを特徴とする請求項１に記載の映像整合システム。
【請求項３】
前記第１の映像は、ＭＲＩ映像およびＣＴ映像のうちのいずれか一つを含み、前記第２の映像は、超音波映像を含むことを特徴とする請求項１に記載の映像整合システム。
【請求項４】
前記プロセッサは、
前記第１の映像と前記第２の映像を映像整合して整合された第１および第２の映像を出力し、前記整合された第１および第２の映像から複数のピクセルデータセットを選択して前記映像変換パラメータを検出する映像変換パラメータ検出部と、
前記第１の映像のピクセルに前記映像変換パラメータを適用して前記変換映像を形成する映像変換部と、
前記変換映像と前記第２の映像との間で映像整合を行う映像整合部と
を備えることを特徴とする請求項１に記載の映像整合システム。
【請求項５】
前記映像変換パラメータ検出部は、前記第１の映像のピクセルを入力に設定し、前記第２の映像のピクセルを出力に設定する神経網アルゴリズムを用いて前記映像変換パラメータを検出することを特徴とする請求項４に記載の映像整合システム。
【請求項６】
前記映像整合された前記変換映像と前記第２の映像を表示するディスプレイ部をさらに備えることを特徴とする請求項１〜５のいずれか一項に記載の映像整合システム。
【請求項７】
映像整合方法であって、
ａ）対象体の第１の映像を提供する段階と、
ｂ）前記対象体の第２の映像を提供する段階と、
ｃ）前記第１の映像のピクセルを入力に設定し、前記第２の映像のピクセルを出力に設定し、前記第１の映像を前記第２の映像に対応する映像に変換するための映像変換パラメータを検出する段階と、
ｄ）前記映像変換パラメータを用いて前記第１の映像に映像変換を行い、変換映像を形成する段階と、
ｅ）前記変換映像と前記第２の映像との間で映像整合を行う段階と
を備えることを特徴とする映像整合方法。
【請求項８】
前記第１の映像は、超音波映像を含み、前記第２の映像は、ＭＲＩ映像およびＣＴ映像のうちのいずれか一つを含むことを特徴とする請求項７に記載の映像整合方法。
【請求項９】
前記第１の映像は、ＭＲＩ映像およびＣＴ映像のうちのいずれか一つを含み、前記第２の映像は、超音波映像を含むことを特徴とする請求項７に記載の映像整合方法。
【請求項１０】
前記段階ｃ）は、
前記第１の映像と前記第２の映像を映像整合して整合された第１および第２の映像を出力する段階と、
前記整合された第１および第２の映像から複数のピクセルデータセットを選択する段階と、
前記選択されたピクセルデータセットに基づいて前記映像変換パラメータを検出する段階と
を備えることを特徴とする請求項７に記載の映像整合方法。
【請求項１１】
前記段階ｃ）は、前記第１の映像のピクセルを入力として設定し、前記第２の映像のピクセルを出力として設定する神経網アルゴリズムを用いて前記映像変換パラメータを検出する段階を備えることを特徴とする請求項７に記載の映像整合方法。
【請求項１２】
前記段階ｄ）は、前記第１の映像のピクセルに前記映像変換パラメータを適用して前記変換映像を形成する段階を備えることを特徴とする請求項７に記載の映像整合方法。
【請求項１３】
ｆ）前記映像整合された第１の映像および第２の映像を表示する段階
をさらに備えることを特徴とする請求項７〜１２のうちいずれか一項に記載の映像整合方法。
【請求項１４】
映像整合方法を行うためのプログラムを格納するコンピュータ読み出し可能記録媒体であって、前記方法は、
ａ）対象体の第１の映像を提供する段階と、
ｂ）前記対象体の第２の映像を提供する段階と、
ｃ）前記第１の映像のピクセルを入力に設定し、前記第２の映像のピクセルを出力に設定し、前記第１の映像を前記第２の映像に対応する映像に変換するための映像変換パラメータを検出する段階と、
ｄ）前記映像変換パラメータを用いて前記第１の映像に映像変換を行い、変換映像を形成する段階と、
ｅ）前記変換映像と前記第２の映像との間で映像整合を行う段階と
を備えることを特徴とする映像整合方法を行うためのプログラムを格納するコンピュータ読み出し可能記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像整合に関し、特に互いに異なった映像特性を有する映像間で映像整合を行うシステムおよび方法に関する。
【背景技術】
【０００２】
超音波システムは、無侵襲および非破壊特性を有しており、対象体内部の情報を得るために医療分野で広く用いられている。超音波システムは、対象体を直接切開して観察する外科手術の必要がなく、対象体の内部組織を高解像度の映像で医師に提供することができるので、医療分野で非常に重要なものとして用いられている。
【０００３】
一方、超音波映像は、信号対雑音比が低い場合があり、これを補完するためにＣＴ（ｃｏｍｐｕｔｅｒｉｚｅｄ  ｔｏｍｏｇｒａｐｈｙ）映像またはＭＲＩ（ｍａｇｎｅｔｉｃ  ｒｅｓｏｎａｎｃｅ  ｉｍａｇｉｎｇ）映像と超音波映像との間で映像の整合がしばしば行われる。この映像整合を行うために、超音波映像とＣＴ映像（またはＭＲＩ映像）から特徴点が抽出され、その抽出された特徴点のマッチングを通じて両者の映像間で映像整合が行われる。
【０００４】
しかし、超音波映像とＣＴ映像（またはＭＲ映像）は解像度、画質、視野、部位別コントラストなどで大きな差があるため、互いに異なる映像間の整合を行うことが難しいという問題がある。
【先行技術文献】
【特許文献】
【０００５】
特開２００９−０７１８２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、対象体の第１の映像を第２の映像に対応する映像に変換して変換映像を形成し、変換映像と第２の映像との間で映像整合を行うシステムおよび方法を提供する。
【課題を解決するための手段】
【０００７】
前記の課題を解決するために、本発明による映像整合システムは、対象体の第１の映像を提供する第１の映像提供部と、前記対象体の第２の映像を提供する第２の映像提供部と、前記第１の映像提供部および前記第２の映像提供部に連結され、前記第１の映像のピクセルを入力に設定し、前記第２の映像のピクセルを出力に設定し、前記第１の映像を前記第２の映像に対応する映像に変換するための映像変換パラメータを検出し、前記映像変換パラメータを用いて前記第１の映像に映像変換を行って変換映像を形成し、前記変換映像と前記第２の映像との間で映像整合を行うプロセッサとを備える。
【０００８】
本発明による映像整合方法は、ａ）対象体の第１の映像を提供する段階と、ｂ）前記対象体の第２の映像を提供する段階と、ｃ）前記第１の映像のピクセルを入力に設定し、前記第２の映像のピクセルを出力に設定し、前記第１の映像を前記第２の映像に対応する映像に変換するための映像変換パラメータを検出する段階と、ｄ）前記映像変換パラメータを用いて前記第１の映像に映像変換を行い、変換映像を形成する段階と、ｅ）前記変換映像と前記第２の映像との間で映像整合を行う段階を備える。
【０００９】
本発明による映像整合方法を行うためのプログラムを格納するコンピュータ読み出し可能記録媒体は、前記方法が、ａ）対象体の第１の映像を提供する段階と、ｂ）前記対象体の第２の映像を提供する段階と、ｃ）前記第１の映像のピクセルを入力に設定し、前記第２の映像のピクセルを出力に設定し、前記第１の映像を前記第２の映像に対応する映像に変換するための映像変換パラメータを検出する段階と、ｄ）前記映像変換パラメータを用いて前記第１の映像に映像変換を行って変換映像を形成する段階と、ｅ）前記変換映像と前記第２の映像との間で映像整合を行う段階とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明は、第１の映像を第２の映像に対応する映像に変換して第２の映像と類似の映像特性を有する変換映像を形成し、変換映像と第２の映像との間で映像整合を行うため、映像特性が相違する映像間で映像の整合を正確に行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例における映像整合システムの構成を示すブロック図である。
【図２】本発明の実施例における第１の映像提供部の構成を示すブロック図である。
【図３】本発明の実施例におけるプロセッサの構成を示すブロック図である。
【図４】本発明の実施例によって映像変換パラメータを検出する例を示す例示図である。
【発明を実施するための最良の形態】
【００１２】
以下、添付した図面を参照して本発明の実施例を説明する。
【００１３】
図１は、本発明の実施例における映像整合システムの構成を示すブロック図である。映像整合システム１００は、第１の映像提供部１１０、第２の映像提供部１２０、プロセッサ１３０およびディスプレイ部１４０を備える。
【００１４】
第１の映像提供部１１０は、対象体の第１の映像を提供する。第１の映像提供部１１０は、超音波信号を対象体に送信して対象体から反射される超音波信号（即ち、超音波エコー信号）を受信し、対象体の第１の映像を形成するように動作する超音波診断装置を備えている。第１の映像は、２次元超音波映像および３次元超音波映像のうちいずれか一つを含んでいる。
【００１５】
図２は、本発明の実施例における第１の映像提供部の構成を示すブロック図である。第１の映像提供部１１０は、送信信号形成部１１１、複数の変換素子（ｔｒａｎｓｄｕｃｅｒ  ｅｌｅｍｅｎｔ）（図示せず）を含む超音波プローブ１１２、ビームフォーマ１１３、超音波データ形成部１１４および超音波映像形成部１１５を備える。
【００１６】
送信信号形成部１１１は、変換素子の位置および集束点を考慮し、複数の変換素子それぞれに印加される送信信号を形成する。本実施例で送信信号は、超音波映像のフレームを得るための送信信号である
【００１７】
超音波プローブ１１２は、送信信号形成部１１１から送信信号が提供されると、送信信号を超音波信号に変換して対象体に送信し、対象体から反射される超音波エコー信号を受信して受信信号を形成する。
【００１８】
ビームフォーマ１１３は、超音波プローブ１１２から受信信号が提供されると、受信信号をアナログデジタル変換してデジタル信号を形成する。また、ビームフォーマ１１３は、変換素子の位置および集束点を考慮してデジタル信号を受信集束させ、受信集束信号を形成する。
【００１９】
超音波データ形成部１１４は、ビームフォーマ１１３から受信集束信号が提供されると、受信集束信号を用いて超音波データを形成する。また、超音波データ形成部１１４は、超音波データを形成するのに必要な多様な信号処理（例えば、ゲイン（ｇａｉｎ）調節、フィルタリング処理等）を受信集束信号に行う。
【００２０】
超音波映像形成部１１５は、超音波データ形成部１１４から超音波データが提供されると、超音波データを用いて対象体の超音波映像を形成する。また、超音波映像形成部１１５は、最適の超音波映像を形成するため多様な映像処理を行う。
【００２１】
再び図１を参照すれば、第２の映像提供部１２０は、対象体の第２の映像を提供する。第２の映像提供部１２０は、ＭＲＩ（ｍａｇｎｅｔｉｃ  ｒｅｓｏｎａｎｃｅ  ｉｍａｇｉｎｇ）映像を提供するＭＲＩ診断装置、ＣＴ（ｃｏｍｐｕｔｅｄ  ｔｏｍｏｇｒａｐｈｙ）映像を提供するＣＴ装置などを備えている。
【００２２】
プロセッサ１３０は、第１の映像提供部１１０および第２の映像提供部１２０に連結され、映像変換を行うための映像変換パラメータを用い、第１の映像を映像変換して変換映像を形成し、その変換映像と第２の映像との間で映像整合を行う。
【００２３】
図３は、本発明の実施例におけるプロセッサの構成を示すブロック図である。プロセッサ１３０は、映像変換パラメータ検出部１３１、映像変換部１３２および映像整合部１３３を備える。
【００２４】
映像変換パラメータ検出部１３１は、第１の映像提供部１１０から提供される第１の映像のピクセルを入力に設定し、第２の映像提供部１２０から提供される第２の映像のピクセルを出力に設定し、第１の映像を映像変換するための映像変換パラメータを検出する。映像変換パラメータ検出部１３１は、バックプロパゲーション（ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ）アルゴリズムなどを含む神経網（ニューロン）アルゴリズムを用いて映像変換パラメータを検出することができる。
【００２５】
本実施例で、映像変換パラメータ検出部１３１は、図４に示すように、第１の映像のピクセルＵＰ１１〜ＵＰｍｎを入力層（ｉｎｐｕｔ  ｌａｙｅｒ）２１０として設定し、第２の映像のピクセルＣＰ１１〜ＣＰｍｎを出力層（ｏｕｔｐｕｔ  ｌａｙｅｒ）２２０として設定する。映像変換パラメータ検出部１３１は、第１の映像のピクセル（ＵＰ１１〜ＵＰｍｎ）に隠匿層(hidden layer)２３０で予め定められた積算や加算などの操作を複数回行って出力ピクセル値を算出する。即ち、映像検出部１３１は、第１の映像のピクセル（ＵＰ１１〜ＵＰｍｎ）に映像変換パラメータＰＭ１１〜ＰＭｍｎを適用して、第２の映像に対応するピクセル値を出力する。
【００２６】
更に、映像変換パラメータ検出部１３１は、前記の出力ピクセル値と第２の映像のピクセルＣＰ１１〜ＣＰｍｎ値との間の誤差を算出し、もし算出された誤差が予め定められたしきい値以上であれば、算出された誤差に応じて映像変換パラメータＰＭ１１〜ＰＭｍｎを更新する。ここで、映像変換パラメータは、勾配降下法（ｇｒａｄｉｅｎｔ  ｄｅｓｃｅｎｔ）などを用いて更新することができる。映像変換パラメータ検出部１３１は、第１の映像のピクセルＵＰ１１〜ＵＰｍｎに前記のような方法で更新された映像変換パラメータＰＭ１１〜ＰＭｍｎを積算、加算する過程を複数回行い、第２の映像のピクセルＣＰ１１〜ＣＰｍｎに対応するピクセル値を算出する。このようにして映像変換パラメータ検出部１３１は、隠匿層(hidden layer)２３０からの出力ピクセル値と第２の映像のピクセルＣＰ１１〜ＣＰｍｎ値との間の誤差が予め定められたしきい値以下になるまで前述した過程を繰り返して行い、最終的な変換パラメータを決定する。
【００２７】
映像変換パラメータ検出部１３１は、映像変換パラメータを検出する前に第１の映像と第２の映像との間に映像整合（ｉｍａｇｅ  ｒｅｇｉｓｔｒａｔｉｏｎ）を行うこともできる。この場合、映像変換パラメータ検出部１３１は、整合された第１の映像と第２の映像とのピクセルを用いて映像変換パラメータを検出することができる。即ち、映像変換パラメータ検出部１３１は、複数の第１の映像の中から少なくとも一つと、前記複数の第２の映像の中から少なくとも一つとを映像整合して整合された第１および第２の映像を出力し、整合された第１および第２の映像から複数のピクセルデータセットを選択して入力層と出力層に設定し、映像変換パラメータを検出することができる。
【００２８】
映像変換部１３２は、映像変換パラメータ検出部１３１から提供される映像変換パラメータを用いて第１の映像に映像変換を行い、変換映像を形成する。即ち、映像変換部１３２は、映像変換パラメータ検出部１３１から映像変換パラメータが提供されると、第１の映像のピクセルに映像変換パラメータを積算、加算する過程を複数回行って変換映像を形成する。ここで、第１の映像は、第１の映像獲得部１１０から新たに提供される映像または映像変換パラメータ検出部１３１に提供された映像であってもよい。
【００２９】
映像整合部１３３は、変換映像と第２の映像との間で映像整合を行い、整合映像を形成する。一例として、映像整合部１３３は、変換映像および第２の映像を分析して特定点を抽出し、抽出された特徴点を用いて変換映像と第２の映像との間で映像整合を行う。ここでは、特徴点を用いて映像整合を行うものと説明したが、これに限定されずに他の多様な映像整合方法を用いて映像整合を行ってもよい。
【００３０】
再び図１を参照して、ディスプレイ部１４０は、プロセッサ１３０で映像整合された変換映像および第２の映像をディスプレイする。ディスプレイ部１４０は、第１の映像および第２の映像をそのままディスプレイすることもできる。
【００３１】
本発明は望ましい実施例によって説明および例示をしたが、当業者であれば添付した特許請求の範囲の事項および範疇を逸脱することなく、様々な変形および変更が可能である。
【００３２】
一例として、前述した実施例では第１の映像を映像変換するための映像変換パラメータを検出し、その映像変換パラメータを用いて第１の映像に映像変換を行って変換映像を形成し、変換映像と第２の映像との間で映像整合を行うものと説明したが、他の実施例では第２の映像を映像変換するための映像変換パラメータを検出し、その検出された映像変換パラメータを用いて第２の映像に映像変換を行って変換映像を形成し、変換映像と第１の映像との間で映像整合を行ってもよい。
【符号の説明】
【００３３】
１１０  映像整合システム
１１０  第１の映像提供部
１２０  第２の映像提供部
１３０  プロセッサ
１４０  ディスプレイ部
１１１  送信信号形成部
１１２  超音波プローブ
１１３  ビームフォーマ
１１４  超音波データ形成部
１１５  超音波映像形成部
１３１  映像変換パラメータ検出部
１３２  映像変換部
１３３  映像整合部
２１０  入力層
２２０  出力層
２３０  隠匿層(hidden layer)
【図１】
2010131388.tif 000003
【図２】
2010131388.tif 000004
【図３】
2010131388.tif 000005
【図４】
2010131388.tif 000006