(57)【要約】【課題】画像間の位置合わせにおける推定誤差または信頼度を取得する。【解決手段】画像処理装置であって、第１の変形を推定する際に使用する第１の条件で第１の画像と第２の画像との間の第１の変形を推定して第１の変形情報を取得する第１の推定部と、第１の条件とは異なり、第２の変形を推定する際に使用する第２の条件で第１の画像と第２の画像との間の第２の変形を推定して第２の変形情報を取得する第２の推定部と、第１の変形情報と第２の変形情報との差異に基づいて、画像上の各点における第１の変形の推定誤差または信頼度を取得する取得部とを備える。【選択図】  図１
2018171513.tif 000002
【特許請求の範囲】
【請求項１】
第１の変形を推定する際に使用する第１の条件で第１の画像と第２の画像との間の前記第１の変形を推定して第１の変形情報を取得する第１の推定手段と、
前記第１の条件とは異なり、第２の変形を推定する際に使用する第２の条件で前記第１の画像と前記第２の画像との間の前記第２の変形を推定して第２の変形情報を取得する第２の推定手段と、
前記第１の変形情報と前記第２の変形情報との差異に基づいて、画像上の各点における前記第１の変形の推定誤差または信頼度を取得する取得手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の変形情報に基づいて、前記第２の画像と一致するように前記第１の画像に座標変換を施した変形画像を生成する画像生成手段
をさらに備え、
前記取得手段は、前記変形画像のボクセルごとに、該ボクセルにおける前記第１の変形の推定誤差または信頼度を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の条件に基づいて前記第２の条件を設定する設定手段をさらに備えることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記設定手段は、前記第１の条件の少なくとも一部を変更することにより前記第２の条件を設定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の条件は、前記第１の変形を推定する際に使用する変形記述モデルの種類と、前記変形記述モデルの詳細設定とを含むことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記設定手段は、前記第１の条件の前記変形記述モデルの詳細設定の一部を変更することにより前記第２の条件を設定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第２の画像の断面画像と、前記画像生成手段により生成された前記変形画像の対応断面画像とをディスプレイに表示する制御を行う表示制御手段をさらに備えることを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記取得手段は、前記推定誤差の分布を示す推定誤差画像を生成することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記表示制御手段は、前記推定誤差画像から前記変形画像の断面画像に対応する断面を切り出して推定誤差マップとして、前記変形画像の断面画像に重畳してディスプレイに表示する制御を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
画像について座標変換を行うことにより変形画像を生成する画像生成手段と、
前記変形画像について変形の推定誤差または信頼度に関する情報を取得する取得手段と、
前記変形画像と前記推定誤差または前記信頼度に関する前記情報とを相互に関連付けてディスプレイに表示する表示制御手段と
を備え、
前記表示制御手段は、表示される前記変形画像について指定された位置に関する情報を受信し、前記位置に関する情報に基づいて前記変形画像と、前記推定誤差または前記信頼度に関する前記情報とを前記ディスプレイに表示することを特徴とする画像処理装置。
【請求項１１】
前記表示制御手段は、前記推定誤差または前記信頼度に関する前記情報と前記変形画像とを並べて前記ディスプレイに表示することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記表示制御手段は、前記推定誤差または前記信頼度に関する前記情報と前記変形画像とを重畳して前記ディスプレイに表示することを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記表示制御手段は、ユーザの指定に基づいて前記推定誤差または前記信頼度に関する前記情報の重畳表示をオン又はオフにすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記表示制御手段は、前記変形画像と、前記推定誤差または前記信頼度に関する前記情報としての前記位置に関する前記情報に基づいた前記位置の前記推定誤差または前記信頼度に関するテキストとを、前記ディスプレイに表示することを特徴とする請求項１０に記載の画像処理装置。
【請求項１５】
前記取得手段は、前記変形画像ついての前記変形の前記推定誤差または前記信頼度に関する前記情報として、前記変形画像について位置の変形を表すマップを取得し、
前記表示制御手段は、前記変形画像と、前記推定誤差または前記信頼度に関する前記情報としての前記マップとを、前記ディスプレイに表示することを特徴とする請求項１０乃至１３のいずれか１項に記載の画像処理装置。
【請求項１６】
画像処理方法であって、
第１の変形を推定する際に使用する第１の条件で第１の画像と第２の画像との間の前記第１の変形を推定して第１の変形情報を取得する工程と、
前記第１の条件とは異なり、第２の変形を推定する際に使用する第２の条件で前記第１の画像と前記第２の画像との間の前記第２の変形を推定して第２の変形情報を取得する工程と、
前記第１の変形情報と前記第２の変形情報との差異に基づいて、画像上の各点における前記第１の変形の推定誤差または信頼度を取得する工程と
を有することを特徴とする画像処理方法。
【請求項１７】
画像について座標変換を行うことにより変形画像を生成する工程と、
前記変形画像について変形の推定誤差または信頼度に関する情報を取得する工程と、
前記変形画像と前記推定誤差または前記信頼度に関する前記情報とを相互に関連付けて表示する工程とを有し、
前記表示する工程は、表示される前記変形画像について指定された位置に関する情報を受信し、前記位置に関する情報に基づいて前記変形画像と、前記推定誤差または前記信頼度に関する前記情報とをディスプレイに表示することを特徴とする画像処理方法。
【請求項１８】
請求項１６または１７に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像間の位置合わせを行う画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
医用画像（被検体内部の情報を表す３次元断層画像）を用いた画像診断において、医師は、複数の撮像装置（モダリティ）、異なる体位、時刻、撮像パラメータ等で撮像した画像を対比しながら診断を行う。しかし、画像間で被検体の姿勢や形状が異なるため、病変部の同定や対比を行うことが困難である。そこで、複数画像間の位置合わせを行うことが試みられている。これにより、一方の画像に姿勢の変換や変形を施して他方と同一にした画像を生成することが可能となる。
【０００３】
しかし、一般的な位置合わせの結果は誤差を含むのであり、必ずしも正確ではない。そのため、医師は、位置合わせの結果をどの程度信頼して良いのか判断できないという課題がある。
【０００４】
これに対して特許文献１は、位置合わせの誤差を推定する方法として、変形位置合わせの結果として推定した変形パラメータの不安定さ（解の曖昧さ）に基づく手法を開示している。特許文献１の手法では、不安定なパラメータを意図的に変動させた際の注目点の対応点の推定位置の変動範囲に基づいて、当該位置の誤差を推定している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１９８７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の誤差の推定方法では、推定パラメータの不安定さ以外の要因を考慮できないという課題があった。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、複数画像間の位置合わせ（特に、補間に起因する位置合わせ）における推定誤差や信頼度を取得する方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するための本発明の一様態による画像処理装置は、以下の構成を備える。すなわち、
第１の変形を推定する際に使用する第１の条件で第１の画像と第２の画像との間の前記第１の変形を推定して第１の変形情報を取得する第１の推定手段と、
前記第１の条件とは異なり、第２の変形を推定する際に使用する第２の条件で前記第１の画像と前記第２の画像との間の前記第２の変形を推定して第２の変形情報を取得する第２の推定手段と、
前記第１の変形情報と前記第２の変形情報との差異に基づいて、画像上の各点における前記第１の変形の推定誤差または信頼度を取得する取得手段と
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数画像間の位置合わせにおける推定誤差や信頼度を取得することができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る画像処理システムおよび画像処理装置の機能構成を示す図。
【図２】第１実施形態に係る画像処理装置の処理手順を示すフローチャート。
【図３】第１実施形態における推定誤差表示の例を示す模式図。
【図４】第２実施形態における推定誤差表示の例を示す模式図。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照しながら、本発明の実施の形態について詳説する。ただし、本発明の範囲は図示例に限定されるものではない。
【００１２】
（第１実施形態）
本実施形態に係る画像処理装置は、複数の３次元断層画像間の変形位置合わせを行う装置であり、一方の３次元断層画像を他方の３次元断層画像に位置や形状が合うように変形させた変形画像を生成する。このとき、生成した変形画像の夫々の位置における位置合わせの推定誤差や信頼度を求めて、その分布を変形画像と対応付けて表示することを第一の特徴とする。以下、本実施形態に係る画像処理装置について説明する。
【００１３】
＜１．画像処理システム１の構成＞
図１は、本実施形態に係る画像処理システム１の構成を示す。同図に示すように、本実施形態における画像処理システム１は、画像処理装置１０と、データサーバ２０と、ディスプレイ３０とを有している。画像処理装置１０は、画像取得部１１０、対応情報取得部１２０、設定部１２５、位置合わせ部１３０、画像生成部１４０、推定誤差取得部１５０、および表示制御部１６０を備えている。
【００１４】
画像取得部１１０は、位置合わせの対象である被検体の複数の３次元断層画像（すなわち、第１の画像と第２の画像）を、データサーバ２０から取得する。
【００１５】
対応情報取得部１２０は、第１の画像および第２の画像の夫々の画像座標系における対応情報を取得する。
【００１６】
設定部１２５は、位置合わせ処理（変形推定処理）を実行する際の条件（第１の条件）を設定する。条件設定の詳細は後述する。また、設定部１２５は、第１の条件に基づいて当該第１の条件とは異なる第２の条件を設定する。
【００１７】
位置合わせ部１３０は、対応情報取得部１２０により取得された対応情報に基づいて、設定部１２５により設定された条件下で、第１の画像と第２の画像の位置合わせ処理（変形推定処理）を実行する。
【００１８】
画像生成部１４０は、位置合わせ部１３０により得られた位置合わせ結果に基づいて、第２の画像と一致するように第１の画像に座標変換を施した新たな画像（変形画像）を生成する。
【００１９】
推定誤差取得部１５０は、設定部１２５により設定された第１の条件下で得られた位置合わせ結果と、第２の条件下で得られた位置合わせ結果とに基づいて、画像生成部１４０により得られた変形画像上の各点における位置合わせの推定誤差や信頼度を計算し、その分布を示す推定誤差画像を生成する。
【００２０】
表示制御部１６０は、第２の画像の断面画像と、画像生成部１４０により生成された変形画像の対応断面画像とをディスプレイ３０に表示する制御を行う。
【００２１】
ここで、データサーバ２０は、位置合わせの対象である被検体の複数の３次元断層画像を保持している。なお、夫々の３次元断層画像は、付帯情報として、画像のサイズ、解像度、モダリティの種類、撮像情報（撮像部位、体位など）、症例情報（患者情報、臓器領域情報、注目領域情報など）等を含んでいる。これらの付帯情報は、必要に応じて、画像と共に画像処理装置１０へと送信される。
【００２２】
＜２．画像処理装置１０が実施する処理＞
次に、図２のフローチャートを参照して、本実施形態に係る画像処理装置１０が実施する処理の手順について説明する。なお、以下の説明では、同一の被検体を異なる体位で撮像した第１の画像と第２の画像を複数の３次元断層画像としてデータサーバ２０から読み込み、第１の画像に変形処理を施し、第２の画像と位置や形状が合うように変形させた変形画像を生成する場合を例にとって説明する。
【００２３】
（ステップＳ２００；入力画像の取得）
ステップＳ２００において、画像取得部１１０は、位置合わせの対象である被検体の複数の３次元断層画像（すなわち、第１の画像と第２の画像）を、データサーバ２０から取得する。そして、取得した画像を、画像生成部１４０および表示制御部１６０に送信する。
【００２４】
（ステップＳ２１０；対応情報の取得）
ステップＳ２１０において、対応情報取得部１２０は、第１の画像および第２の画像の夫々の画像座標系における対応情報を取得する。そして、取得した対応情報を、位置合わせ部１３０に送信する。ここで、対応情報とは、２つの画像間で対応する点や線や面の情報のことである。対応情報の取得は、例えば、ユーザが目視で同定した画像間の対応点を画像処理装置１０に入力することによって実行される。具体的には、ディスプレイ３０に表示されている夫々の３次元断層画像の断面画像を比較しながら、夫々の画像上において解剖学的に同じとみなした位置を、不図示のマウスのクリック等によって対応点として入力することによって取得する。
【００２５】
（ステップＳ２２０；パラメータの設定）
ステップＳ２２０において、設定部１２５は、位置合わせ処理（変形推定処理）を実行する際の条件（第１の条件）を設定して（ユーザの選択を取得して）、位置合わせ部１３０に送信する。第１の条件は、変形を推定する際に使用する変形記述モデルの種類と、前記変形記述モデルの詳細設定とを含む。例えば、以下の条件に関するユーザの選択を取得する。
【００２６】
・変形記述モデルの選択（例えば、ＦＦＤ（Ｆｒｅｅ−Ｆｏｒｍ  Ｄｅｆｏｒｍａｔｉｏｎ）を用いるか、放射基底関数を用いるかの選択）
・ＦＦＤを用いる場合の、制御点のグリッドサイズの選択（例えば、５ｍｍ、１０ｍｍ、１５ｍｍ、および２０ｍｍからの選択）
・放射基底関数を用いる場合の、放射基底関数の形状の選択（例えば、ＴＰＳ（Ｔｈｉｎ  Ｐｌａｔｅ Ｓｐｌｉｎｅ）関数、Ｇａｕｓｓ関数、Ｗｅｎｄｌａｎｄ関数、およびｃｕｂｉｃ関数からの選択）
・変形の最適化計算に用いるコスト関数における各種の正則化項（体積の保存や滑らかさの維持などを評価する項）の有無や重みの設定
なお、全ての条件をユーザが設定する必要は必ずしも必要ではなく、一部の条件のみをユーザが設定可能な状態としておいて、他の条件は既定の値を設定するようにしてもよい。もちろん、上記の条件は一例にすぎず、採用する変形記述モデルや位置合わせ手法に応じて、上記以外の条件を設定可能とすることが望ましい。
【００２７】
（ステップＳ２３０；位置合わせ）
ステップＳ２３０において、位置合わせ部１３０は、ステップＳ２１０で取得した対応情報に基づいて、ステップＳ２２０で設定した条件下で、第１の画像と第２の画像の位置合わせ処理（変形推定処理）を実行する。すなわち、設定条件下で第１の画像を変形した場合に第２の画像との間での対応点位置の残差が（あるいは、該残差を含むコスト関数が）最小となるような変形情報（第１の変形情報）を（当該条件下における変形パラメータを）推定する。そして、得られた推定結果（以下、第１の位置合わせ結果と呼ぶ）を、画像生成部１４０および推定誤差取得部１５０へと送信する。なお、以下の説明では、本ステップで推定される変形情報を、第１の画像の座標ｐの第２の画像への写像関数φ（ｐ）と表記する。
【００２８】
（ステップＳ２４０；条件変動下での位置合わせ）
ステップＳ２４０において、設定部１２５は、ステップＳ２２０で設定した第１の条件に基づいて、該条件とは異なる１つ以上の（Ｎ通りの）条件（第２の条件）を設定する。そして、位置合わせ部１３０は、新たに設定した夫々の条件下で、ステップＳ２１０で取得した対応情報に基づいて、第１の画像と第２の画像の位置合わせ処理を実行する。夫々の条件を設定した後の処理は、ステップＳ２３０と同様である。そして、得られた複数の推定結果である変形情報（第２の変形情報）（以下、第２の位置合わせ結果と呼ぶ）を、推定誤差取得部１５０へと送信する。なお、以下の説明では、本ステップで推定されるｉ番目の変形情報を、第１の画像の座標ｐの第２の画像への写像関数φｉ（ｐ）と表記する。
【００２９】
ここで、第２の条件の設定は、ステップＳ２２０で設定した第１の条件から一部の条件以外を固定し、固定しなかった一部の条件（変動条件）の値を変動させることで行う。すなわち、第１の条件の少なくとも一部を変更することにより、第２の条件を設定する。この時、変動条件は、第１の条件に応じて定めることができる。例えば、第１の条件として設定した変形記述モデルに応じて、変動条件を決定する。例えば、第１の条件の変形記述モデルに応じて、夫々の変形記述モデルの詳細設定の一部を変動条件とする。
【００３０】
より具体的には、第１の条件で変形記述モデルとしてＦＦＤが設定されている場合には、例えば制御点のグリッドサイズを変動条件とする。このとき、例えば、第１の条件で制御点のグリッドサイズが５ｍｍに設定されている場合には、ＦＦＤのグリッドサイズを５ｍｍ以外の値、即ち、１０ｍｍ、１５ｍｍ、および２０ｍｍに変更した場合の夫々を第２の条件とする。
【００３１】
また、第１の条件で変形記述モデルとして放射基底関数が設定されている場合には、放射基底関数の形状を変動条件とする。このとき、例えば、第１の条件で放射基底関数としてＴＰＳ関数が設定されている場合には、放射基底関数をＴＰＳ関数以外の関数、即ち、Ｇａｕｓｓ関数、Ｗｅｎｄｌａｎｄ関数、およびｃｕｂｉｃ関数に変更した場合の夫々を第２の条件とする。
【００３２】
あるいは、第１の条件における夫々の正則化処理の有効・無効の設定に応じて、変動条件を決定するようにしてもよい。例えば、第１の条件で有効と設定されている正則化処理に関して、該当する正則化項の重みを、設定されている値以外の様々な値に変更した場合の夫々を第２の条件とすることができる。なお、変動条件は、設定部１２５を介してユーザが指定する構成であってもよい。
【００３３】
（ステップＳ２５０；変形画像の生成）
ステップＳ２５０において、画像生成部１４０は、ステップＳ２３０で得た位置合わせ結果に基づいて、第２の画像と一致するように第１の画像に座標変換を施した新たな画像（変形画像）を生成する。
【００３４】
（ステップＳ２６０；推定誤差の取得）
ステップＳ２６０において、推定誤差取得部１５０は、ステップＳ２３０およびステップＳ２４０で得た位置合わせ結果（第１の変形情報および第２の変形情報の差異）に基づいて、ステップＳ２５０で得た変形画像上の各点における位置合わせの推定誤差や信頼度を計算し、その分布を示す推定誤差画像を生成する。そして、生成した推定誤差画像を、表示制御部１６０へ送信する。
【００３５】
本実施形態における推定誤差画像は、各ボクセル値が、その位置における位置合わせの推定誤差を示すボリューム画像である。以下に、推定誤差画像の注目ボクセル（座標ｑとおく）における、推定誤差の取得方法を説明する。まず、ステップＳ２３０で得た写像φ（第１の変形情報）に基づき、φによって座標ｑに写像される第１の画像の座標ｐを導出する（すなわち、ｑ＝φ（ｐ）となるｐを求める）。次に、ステップＳ２４０で得た写像φｉ（第２の変形情報）の夫々で該座標ｐを写像し、変形画像の座標ｑｉ＝φｉ（ｐ）を導出する。ここで、第１の画像の座標ｐにとって、座標ｑは、ステップＳ２３０の位置合わせ結果に基づく変位先であり、一方、座標ｑｉは、ステップＳ２４０の夫々の位置合わせ結果に基づく変位先である。そこで、座標ｐの変位先としての座標ｑの推定誤差を、座標ｑと座標ｑｉの関係に基づいて算出する。より具体的には、座標ｑに対する座標ｑｉのばらつきに基づいて算出する。例えば、ｑと夫々のｑｉとの３次元距離の平均値、メディアン値、最大値の何れかを推定誤差と定義する。あるいは、ｑと夫々のｑｉとのｘ，ｙ，ｚ各軸の距離を求め、軸毎の推定誤差を同様に求めるようにしてもよい。また、ｑとｑｉを合わせた点群の分散や標準偏差を求め、これを推定誤差として用いてもよい。また、このようにして求めた値に所定の正規化処理を施すことで０〜１に換算した値を、信頼度として保持するようにしてもよい。信頼度は、第１の変形情報と第２の変形情報の差異、若しくは推定誤差に基づいて求められ、変形画像上の各点がどの程度信頼して良いのかを示す指標である。例えば、第１の変形情報と第２の変形情報の差異、若しくは推定誤差が小さければ、信頼度が高い。第１の変形情報と第２の変形情報の差異、若しくは推定誤差が大きければ、信頼度が低い。
【００３６】
以上の処理を、変形画像上の所定のボクセルに対して実行することで、誤差推定画像を生成する。なお、推定誤差を計算する領域は、変形画像の全体（全てのボクセル）としてもよいし、注目する臓器領域内や病変等の注目領域内としてもよい。後者の場合、ステップＳ２００でデータサーバ２０から取得した臓器領域や注目領域の情報を参照する。もしくは、画像の閾値処理や既存の領域抽出の方法を用いて臓器領域や病変領域を取得する。あるいは、ユーザが指定した画像上の領域を注目領域として取得する。そして領域内の点を注目点として設定し、夫々の注目点について推定誤差を取得する。このようにすることで、後段の処理に不要な計算を省略できる。また、注目点は、領域内の全ボクセルとしてもよいし、一定間隔毎（例えば、５ボクセルおき）としてもよい。このようにすることで、推定誤差の計算時間を短縮することができる。
【００３７】
（ステップＳ２７０；断面画像と推定誤差の表示）
ステップＳ２７０において、表示制御部１６０は、第２の画像の断面画像と、ステップＳ２５０で生成した変形画像の対応断面画像とを、ユーザの操作に応じて、ディスプレイ３０に表示する制御を行う。また、表示制御部１６０は、ステップＳ２６０で取得した推定誤差画像から、変形画像の該断面画像に対応する断面を切り出して、推定誤差マップとしてディスプレイ３０に表示する制御を行う。
【００３８】
図３（ａ）に、ディスプレイ３０に表示される変形画像の断面画像３１０の例を示す。また、図３（ｂ）に、ディスプレイ３０に表示される推定誤差マップの表示の一例を示す。この例では、変形画像の断面画像３１０に重畳する形で、推定誤差マップ３２０が表示されている。ここで表示される推定誤差マップ３２０は、ステップＳ２６０で取得した推定誤差画像（ボリュームデータ）を、変形画像の断面画像３１０と対応する断面で切った断面画像である。画像の輝度値は、推定誤差マップのボクセル値を変換した値とする。例えば、所定の推定誤差（例えば、推定誤差１０ｍｍ）を輝度値２５５、推定誤差０ｍｍを輝度値０に変換することでグレースケールの推定誤差マップを作成して、これに疑似カラーを割りあて疑似カラーマップとして表示する。
【００３９】
なお、推定誤差マップは断面画像に並べて表示してもよいし、重畳して表示してもよい。重畳表示のオン／オフは、例えば、ディスプレイ３０に表示される不図示のＧＵＩ上の重畳表示ボタンをユーザがオン／オフすることで制御できる。このボタンがオフの場合は、推定誤差マップを非表示にして断面画像３１０のみを表示し、オンの場合は、推定誤差マップ３２０と断面画像３１０とを重畳表示する。また、ステップＳ２６０で各軸方向の推定誤差を求めている場合には、夫々の推定誤差マップを並べて表示するようにしてもよいし、何れの軸方向の推定誤差マップを表示するかを選択できるようにしてもよい。
【００４０】
なお、本ステップで表示する推定誤差マップは、推定誤差画像に所定の加工を施したものであってもよい。例えば、推定誤差が閾値以上のボクセルの上にのみ赤色等を半透明で重畳表示することで、推定誤差の不十分な部位をより明示的に確認できるようにしてもよい。もちろん、何れの推定誤差マップを重畳表示するかを、ユーザが選択できることが望ましい。
【００４１】
以上説明したように、本実施形態に係る画像処理装置（画像処理装置１０）は、第１の条件で第１の画像と第２の画像との間の変形を推定して第１の変形情報を取得する第１の推定部（位置合わせ部１３０、Ｓ２３０）と、第１の条件とは異なる第２の条件で第１の画像と第２の画像との間の変形を推定して第２の変形情報を取得する第２の推定部（位置合わせ部１３０、Ｓ２４０）と、第１の変形情報と第２の変形情報との差異に基づいて、画像上の点における変形の推定誤差または信頼度を取得する取得部（推定誤差取得部１５０、Ｓ２６０）とを備える。
【００４２】
本実施形態によれば、変形の推定誤差または信頼度を取得することができる。また、変形画像の断面画像上に推定誤差マップが重畳表示されるため、ユーザは、表示された断面画像の各点がその位置にあることの信頼度（どの程度信頼して良いのか）を、容易に把握できる。
【００４３】
（変形例１）
ステップＳ２６０のボリューム画像としての推定誤差画像の生成は必ずしも必須ではない。その代わりに、ステップＳ２７０の処理で表示することが決定された変形画像の断面画像上の各ボクセルについてのみ推定誤差の取得を行い、表示する推定誤差の断面画像を直接生成してもよい。
【００４４】
（変形例２）
ステップＳ２１０で対応情報取得部１２０が実行する対応情報の取得は、画像解析処理によって自動的に行ってもよい。例えば、夫々の画像から画像パターンの特徴的な点や線を検出し、画像パターンの類似性に基づいて自動で取得するようにしてもよい。また、画像解析処理によって自動取得した対応点を候補として、ユーザが手動で修正した点を最終的な対応点の位置としてもよい。なお、対応情報の取得は、データサーバ２０が保持している情報を読み込むことにより行ってもよい。
【００４５】
（変形例３）
ステップＳ２４０で位置合わせ部１３０が実施する処理において、推定方法（推定条件）を変動させる方法は上記に限定されない。例えば、複数の異なる変形記述モデルを用いることで、異なる変形推定結果を得るようにしてもよい。例えば、ステップＳ２３０でＦＦＤを用いた変形推定が実施される場合に、本ステップでは放射基底関数を用いた変形推定を行うようにしてもよい。
【００４６】
＜第２実施形態＞
第１実施形態では、推定誤差の分布を可視化した推定誤差マップを変形画像の断面画像上に重畳表示する例について説明した。これに対して、第２実施形態に係る画像処理装置は、マップ以外の形態で推定誤差の表示を行うことを特徴とする。以下、本実施形態に係る画像処理装置について、第１実施形態と異なる部分についてのみ説明する。
【００４７】
本実施形態における画像処理システム１の構成、画像処理装置１０の各部の動作、処理手順は、第１の実施形態と概ね同様である。ただし、ステップＳ２７０で表示制御部１６０が行う処理のみが、第１実施形態と異なっている。
【００４８】
（ステップＳ２７０；断面画像と推定誤差の表示）
ステップＳ２７０において、表示制御部１６０は、第２の画像の断面画像と、ステップＳ２５０で生成した変形画像の対応断面画像とを、ユーザの操作に応じて、ディスプレイ３０に表示する制御を行う。また、表示制御部１６０は、変形画像の該断面画像上でユーザが指示した点の推定誤差を、ステップＳ２６０で取得した推定誤差画像から取得して、ディスプレイ３０に表示する制御を行う。
【００４９】
図４に、本実施形態における推定誤差の表示の例を示す。表示制御部１６０は、ディスプレイ３０に表示した変形画像の断面画像３１０上の座標の、マウス等による指示を取得すると、該座標における推定誤差を推定誤差画像から取得する。そして、例えば図４（ａ）に示すように、カーソル４１０の示す座標に対して、該座標における推定誤差を表す文字情報４２０を、カーソル４１０の近傍に重畳表示する。あるいは、図４（ｂ）に示すように、カーソル４３０の示す座標に対して、該座標における推定誤差の断面画像上での分布（誤差推定範囲）４４０を示す楕円を表示する。これにより、表示された断面画像３１０上でカーソルを移動させるだけで、ユーザは、当該座標における誤差の推定値を知ることができる。
【００５０】
このように、第１実施形態では推定誤差の分布を可視化した推定誤差マップを変形画像の断面画像上に重畳表示し、第２実施形態では、カーソルの示す座標に対して、推定誤差を表す文字情報や誤差推定範囲を変形画像の断面画像上に表示している。ただし、この際の変形情報の取得方法や推定誤差または信頼度の取得方法は、第１実施形態で説明した方法に限定されず、種々の方法を用いてもよい。変形画像と推定誤差または信頼度とが対応付けられて表示されることにより、表示された断面画像の各点がその位置にあることの信頼度（どの程度信頼して良いのか）をユーザが把握できればよい。
【００５１】
以上説明したように、第１乃至第２実施形態に係る画像処理装置（画像処理装置１０）は、画像の変形情報を取得する情報取得部（対応情報取得部１２０、位置合わせ部１３０等）と、変形情報に基づいて画像に座標変換を施した変形画像を生成する画像生成部（画像生成部１４０）と、変形画像上における変形の推定誤差または信頼度を取得する取得部（推定誤差取得部１５０）と、変形画像と推定誤差または信頼度を示す情報（第１実施形態では推定誤差マップ３２０、第２実施形態では文字情報４２０や誤差推定範囲４４０を示す楕円など）とを対応付けて（例えば、重畳して）表示させる表示制御部（表示制御部１６０）とを備える。
【００５２】
本実施形態によれば、変形の推定誤差または信頼度をマップ以外の表示方法で提示することが可能となり、誤差推定マップ等の重畳によって断面画像が見にくくなるというデメリットを回避できる。
【００５３】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５４】
１０：画像処理装置、２０：データサーバ、３０：ディスプレイ、１１０：画像取得部、１２０：対応情報取得部、１２５：設定部、１３０：位置合わせ部、１４０：画像生成部、１５０：推定誤差取得部、１６０：表示制御部
【図１】
2018171513.tif 000003
【図２】
2018171513.tif 000004
【図３】
2018171513.tif 000005
【図４】
2018171513.tif 000006
【手続補正書】
【提出日】平成30年8月28日(2018.8.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像の変形情報を取得する情報取得手段と、
前記変形情報に基づいて、前記画像に対して座標変換を行うことにより変形画像を生成する画像生成手段と、
前記変形画像における変形の推定誤差又は信頼度を表すマップを取得するマップ取得手段と、
前記変形画像と前記マップとを重畳して表示部に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記マップ取得手段は、前記推定誤差の分布を表す推定誤差画像を生成し、
前記表示制御手段は、前記変形画像の断面画像に対応する、前記推定誤差画像の断面を前記マップとして前記表示部に表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示制御手段は、ユーザからの指示に応じて、前記変形画像と前記マップとを重畳して表示させるか否かを切り替えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記マップ取得手段は、前記変形画像上の各点における変形の推定誤差又は信頼度を表す前記マップを取得することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記マップ取得手段は、前記変形画像上の注目領域内における変形の推定誤差又は信頼度を表す前記マップを取得することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記マップは、前記推定誤差又は前記信頼度に基づいて変換されたカラーマップであることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記表示制御手段は、前記変形画像と、前記推定誤差又は前記信頼度が所定の閾値以上である、前記マップ上の点とを重畳して表示させることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記信頼度は、前記推定誤差に正規化処理を施した値であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
画像の変形情報を取得する情報取得工程と、
前記変形情報に基づいて、前記画像に対して座標変換を行うことにより変形画像を生成する画像生成工程と、
前記変形画像における変形の推定誤差又は信頼度を表すマップを取得するマップ取得工程と、
前記変形画像と前記マップとを重畳して表示部に表示させる表示制御工程と、
を有することを特徴とする画像処理方法。
【請求項１０】
請求項１乃至８のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記の目的を達成する本発明の一態様による画像処理装置は、以下の構成を備える。すなわち、
画像の変形情報を取得する情報取得手段と、
前記変形情報に基づいて、前記画像に対して座標変換を行うことにより変形画像を生成する画像生成手段と、
前記変形画像における変形の推定誤差又は信頼度を表すマップを取得するマップ取得手段と、
前記変形画像と前記マップとを重畳して表示部に表示させる表示制御手段と、
を有することを特徴とする。