(57)【要約】【課題】乳房が含まれる複数の被検体画像を精度よく比較する。【解決手段】左右の乳房を含んだ被検体画像である第一の画像と、左右いずれかの乳房のみを含んだ被検体画像である第二の画像と、の位置合わせを行う画像処理装置であって、前記第一および第二の画像を取得する画像取得手段と、前記第一の画像に含まれる左右の乳房のうち、いずれの側が位置合わせの対象であるかを特定するための情報である識別情報を取得する識別情報取得手段と、前記識別情報に基づいて、前記第一の画像に対して関心領域を設定する領域設定手段と、前記第一の画像の前記関心領域と、前記第二の画像との位置合わせを行う位置合わせ手段と、を有することを特徴とする。【選択図】図１
2018050761.tif 000002
【特許請求の範囲】
【請求項１】
左右の乳房を含んだ被検体画像である第一の画像と、左右いずれかの乳房のみを含んだ被検体画像である第二の画像と、の位置合わせを行う画像処理装置であって、
前記第一および第二の画像を取得する画像取得手段と、
前記第一の画像に含まれる左右の乳房のうち、いずれの側が位置合わせの対象であるかを特定するための情報である識別情報を取得する識別情報取得手段と、
前記識別情報に基づいて、前記第一の画像に対して関心領域を設定する領域設定手段と、
前記第一の画像の前記関心領域と、前記第二の画像との位置合わせを行う位置合わせ手段と、
を有することを特徴とする画像処理装置。 
【請求項２】
前記領域設定手段は、前記第一の画像に基づいて、左右の乳房を分離する境界位置を取得し、前記境界位置にさらに基づいて前記関心領域を設定する
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記識別情報取得手段は、前記識別情報として、前記第二の画像に付帯する情報を取得する
ことを特徴とする、請求項１または２に記載の画像処理装置。
【請求項４】
前記第二の画像は、ＤＩＣＯＭ規格に準拠した画像であり、前記第二の画像に付帯する情報はＤＩＣＯＭヘッダに含まれる情報である
ことを特徴とする、請求項３に記載の画像処理装置。
【請求項５】
前記識別情報取得手段は、前記第二の画像を解析した結果に基づいて前記識別情報を取得する
ことを特徴とする、請求項１または２に記載の画像処理装置。
【請求項６】
前記識別情報取得手段は、前記第二の画像に含まれる乳頭の位置または体表の形状に基づいて前記識別情報を取得する
ことを特徴とする、請求項５に記載の画像処理装置。
【請求項７】
前記識別情報取得手段は、前記識別情報として、ユーザによって入力された情報を取得する
ことを特徴とする、請求項１または２に記載の画像処理装置。
【請求項８】
左右の乳房を含んだ被検体画像である第一の画像と、左右いずれかの乳房のみを含んだ被検体画像である第二の画像と、の位置合わせを行う画像処理装置が行う画像処理方法であって、
前記第一および第二の画像を取得する画像取得ステップと、
前記第一の画像に含まれる左右の乳房のうち、いずれの側が位置合わせの対象であるかを特定するための情報である識別情報を取得する識別情報取得ステップと、
前記識別情報に基づいて、前記第一の画像に対して関心領域を設定する領域設定ステップと、
前記第一の画像の前記関心領域と、前記第二の画像との位置合わせを行う位置合わせステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
前記領域設定ステップでは、前記第一の画像に基づいて、左右の乳房を分離する境界位
置を取得し、前記境界位置にさらに基づいて前記関心領域を設定する
ことを特徴とする、請求項８に記載の画像処理方法。
【請求項１０】
前記識別情報取得ステップでは、前記識別情報として、前記第二の画像に付帯する情報を取得する
ことを特徴とする、請求項８または９に記載の画像処理方法。
【請求項１１】
前記第二の画像は、ＤＩＣＯＭ規格に準拠した画像であり、前記第二の画像に付帯する情報はＤＩＣＯＭヘッダに含まれる情報である
ことを特徴とする、請求項１０に記載の画像処理方法。
【請求項１２】
前記識別情報取得ステップでは、前記第二の画像を解析した結果に基づいて前記識別情報を取得する
ことを特徴とする、請求項８または９に記載の画像処理方法。
【請求項１３】
前記識別情報取得ステップでは、前記第二の画像に含まれる乳頭の位置または体表の形状に基づいて前記識別情報を取得する
ことを特徴とする、請求項１２に記載の画像処理方法。
【請求項１４】
前記識別情報取得ステップでは、前記識別情報として、ユーザによって入力された情報を取得する
ことを特徴とする、請求項８または９に記載の画像処理方法。
【請求項１５】
左右の乳房を含んだ被検体画像を取得する画像取得手段と、
前記被検体画像に含まれる左右の乳房のうち、いずれの側を処理対象とするかを特定するための情報である識別情報を取得する識別情報取得手段と、
前記被検体画像から左右の乳房を分離する境界位置を取得する画像特徴抽出手段と、
前記識別情報と前記境界位置に基づいて、前記処理対象とする側の乳房を含む関心領域を前記被検体画像に対して設定する領域設定手段と、
を有することを特徴とする画像処理装置。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体内の情報が反映された画像を処理する装置に関する。
【背景技術】
【０００２】
医用画像診断の分野において、撮像装置、撮像時期、撮像パラメータ、被検体の体位などが異なる複数の画像同士を比較することがある。また、このような画像の比較を支援するため、異なる画像に共通して写っている構造物の位置を対応付けて画像の位置合わせを行う技術や、当該位置合わせを行った画像間の差異を定量化する技術が検討されている。
【０００３】
例えば、特許文献１には、胸部を撮像した異なる二つの画像のそれぞれから、胸壁と乳頭の位置を検出して対応付け、それらの位置が一致するように二つの画像の位置を合わせる技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１６４５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、光音響断層撮影装置によって撮影された画像のように、片方の乳房のみが含まれる画像と、ＭＲＩによって撮影された画像のように、両方の乳房を含む画像とを比較したいというニーズがある。しかし、特許文献１の方法では、左右どちらかの乳房のみが含まれる画像と、左右両方の乳房が含まれる画像との位置合わせを行おうとした場合、左右を誤って位置合わせしてしまう場合がある。これは、左右の乳房にそれぞれ存在する特徴点と同質の特徴点が、反対側の乳房にも存在するためである。すなわち、従来技術においては、乳房が含まれる被検体画像同士を正しく比較できないケースが発生しうるという課題があった。
【０００６】
本発明はこのような従来技術の課題に鑑みてなされたものであり、乳房が含まれる複数の被検体画像を精度よく比較できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するための、本発明に係る画像処理装置は、
左右の乳房を含んだ被検体画像である第一の画像と、左右いずれかの乳房のみを含んだ被検体画像である第二の画像と、の位置合わせを行う画像処理装置であって、前記第一および第二の画像を取得する画像取得手段と、前記第一の画像に含まれる左右の乳房のうち、いずれの側が位置合わせの対象であるかを特定するための情報である識別情報を取得する識別情報取得手段と、前記識別情報に基づいて、前記第一の画像に対して関心領域を設定する領域設定手段と、前記第一の画像の前記関心領域と、前記第二の画像との位置合わせを行う位置合わせ手段と、を有することを特徴とする。
【０００８】
また、本発明に係る画像処理方法は、
左右の乳房を含んだ被検体画像である第一の画像と、左右いずれかの乳房のみを含んだ被検体画像である第二の画像と、の位置合わせを行う画像処理装置が行う画像処理方法であって、前記第一および第二の画像を取得する画像取得ステップと、前記第一の画像に含まれる左右の乳房のうち、いずれの側が位置合わせの対象であるかを特定するための情報である識別情報を取得する識別情報取得ステップと、前記識別情報に基づいて、前記第一
の画像に対して関心領域を設定する領域設定ステップと、前記第一の画像の前記関心領域と、前記第二の画像との位置合わせを行う位置合わせステップと、を含むことを特徴とする。
【０００９】
また、本発明の第二の形態に係る画像処理装置は、
左右の乳房を含んだ被検体画像を取得する画像取得手段と、前記被検体画像に含まれる左右の乳房のうち、いずれの側を処理対象とするかを特定するための情報である識別情報を取得する識別情報取得手段と、前記被検体画像から左右の乳房を分離する境界位置を取得する画像特徴抽出手段と、前記識別情報と前記境界位置に基づいて、前記処理対象とする側の乳房を含む関心領域を前記被検体画像に対して設定する領域設定手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、乳房が含まれる複数の被検体画像を精度よく比較することができる。
【図面の簡単な説明】
【００１１】
【図１】第一の実施形態に係る画像処理装置の機能構成図。
【図２】第一の実施形態における処理手順を示すフロー図。
【図３】第一の実施形態における特徴点抽出方法を説明する図。
【図４】第一の実施形態における関心領域の設定方法を説明する図。
【図５】第二の実施形態に係る画像処理装置の機能構成図。
【図６】第二の実施形態における処理手順を示すフロー図。
【図７】位置合わせの対象を選択するインタフェースを示す図。
【図８】第三の実施形態に係る画像処理装置の機能構成図。
【図９】第三の実施形態における処理手順を示すフロー図。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。なお、同一の構成要素には原則として同一の参照番号を付して、説明を省略する。また、実施形態の説明で用いる部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明の範囲を限定する趣旨のものではない。
【００１３】
本発明形態に係る画像処理装置は、乳房を核磁気共鳴断層撮影（ＭＲＩ）装置によって撮像した画像と、同乳房を光音響断層撮影（ＰＡＴ）装置によって撮像した画像を取得し、両画像の位置合わせを行う装置である。
光音響断層撮影装置は、主として片方の乳房を装置に挿入して撮影を行うため、撮影された画像（ＰＡＴ画像）は、左右どちらかの乳房のみが含まれる画像となる。すなわち、得られた画像をＭＲＩ画像と比較する場合、左右どちらの乳房を比較対象とするかといった情報を与える必要がある。
本発明に係る画像処理装置は、比較対象の乳房が左右どちらであるかを示す情報（本発明における識別情報）を取得し、比較対象の乳房を判定したうえで位置合わせを行う機能を有する。
【００１４】
なお、本実施形態に係る画像処理装置が行う位置合わせ処理は、並進処理のみに限られない。例えば、回転処理であってもよいし、回転処理と並進処理の組み合わせであってもよい。また、画像間の変形量を推定した上で、他方の画像と形状や位置が一致するように、推定した変形量に基づいて一方の画像を変形させる処理を含んでもよい。また、変形させた画像を表示する処理を含んでもよい。ただし、画像の変形処理や表示処理は、本発明にとって必須ではない。
【００１５】
（第一の実施形態）
第一の実施形態に係る画像処理装置は、左右両方の乳房を撮像した第一の画像（例えばＭＲＩ画像）と、片方の乳房だけを撮像した第二の画像（例えばＰＡＴ画像）との位置合わせを行う装置である。本実施形態では、第二の画像に付帯している情報に基づいて、第二の画像が左右どちらの乳房の画像であるかを判定し、当該判定結果を用いて、第一の画像との位置合わせを行う。
【００１６】
第一の実施形態では、第一の画像および第二の画像は、ＤＩＣＯＭ規格（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）に
準拠した画像である。ＤＩＣＯＭ規格の画像フォーマットは、画像に関する付帯的な情報をヘッダ（ＤＩＣＯＭヘッダ）に保持することができる。画像に関する付帯的な情報とは、例えば、患者名、撮像日時、乳房の左右などを表す情報であるが、これらに限られない。第一の実施形態に係る画像処理装置は、第二の画像の当該ヘッダに記録されている情報に基づいて、第一の画像に含まれる左右どちらの乳房が位置合わせの対象であるかを決定したうえで、画像同士の位置合わせを行う。
【００１７】
<システム構成>
第一の実施形態に係る画像処理システムの構成を、図１を参照しながら説明する。本実施形態に係る画像処理システムは、画像処理装置１００、データサーバ２００、入出力装置３００からなる。
【００１８】
まず、画像処理装置１００について説明する。画像処理装置１００は、画像取得部１１０、画像特徴抽出部１２０、付帯情報取得部１３０、処理対象特定部１４０、関心領域導出部１５０、位置合わせ部１６０、表示制御部１７０を有する。
【００１９】
画像取得部１１０は、処理対象である被検体画像（第一の画像および第二の画像）をデータサーバ２００から取得する手段である。
また、画像特徴抽出部１２０は、第一の画像（すなわち、左右両方の乳房が含まれている被検体画像）から、左右の乳房を分離する手がかりである特徴を抽出する手段である。画像特徴抽出部１２０は、第一の画像から特徴点を抽出する。特徴点は、例えば、体表を表す点、乳房の頂点、左右の乳房間の胸骨位置に対応する点などである。なお、抽出する特徴は必ずしも点でなくてもよい。例えば、体表の輪郭などであってもよい。
【００２０】
付帯情報取得部１３０は、第二の画像（すなわち、片方の乳房だけが含まれている被検体画像）に付帯する情報（以下、付帯情報）を取得する手段（本発明における識別情報取得手段）である。本実施形態では、付帯情報取得部１３０は、ＤＩＣＯＭ規格で提供される第二の画像から、ヘッダ（ＤＩＣＯＭヘッダ）情報を抽出する。
また、処理対象特定部１４０は、付帯情報取得部１３０が取得したヘッダ情報に基づいて、第一の画像中における左右どちらの乳房を処理対象にするかを特定する手段である。例えば、第二の画像のヘッダ情報が、当該画像が右側乳房の画像である旨を示している場合、右側の乳房が位置合わせ処理の対象であると判定する。
【００２１】
関心領域導出部１５０は、第一の画像に対して関心領域（ＶＯＩ（Ｖｏｌｕｍｅ  ｏｆ
Ｉｎｔｅｒｅｓｔ））を設定する手段（本発明における領域設定手段）である。関心領域は、第二の画像との位置合わせが行われる対象領域である。例えば、右側の乳房が位置合わせ処理の対象であると判定された場合、第一の画像に対して、右側の乳房を含む領域を関心領域として設定する。
【００２２】
位置合わせ部１６０は、第一の画像に設定された関心領域と、第二の画像との位置合わ
せを行う手段である。位置合わせは、並進によるものであってもよいし、回転を付加したものであってもよい。また、変形処理を加えたものであってもよい。
表示制御部１７０は、位置合わせを行った結果を入出力装置３００に出力するためのインタフェースである。
【００２３】
データサーバ２００は、被検体画像（第一の画像および第二の画像）を保持するサーバ装置である。本実施形態では、第一の画像が核磁気共鳴断層撮影（ＭＲＩ）装置によって取得された画像であり、第二の画像が光音響断層撮影（ＰＡＴ）装置によって取得された画像である。なお、被検体画像を撮像するモダリティはこれらに限られず、例えば、Ｘ線ＣＴ装置、Ｘ線マンモグラフィ撮影装置、３次元超音波撮影装置、ＰＥＴ／ＳＰＥＣＴ装置などであってもよい。
【００２４】
入出力装置３００は、画像処理装置１００が生成する画像等の各種情報を表示する手段である。また、入出力装置３００は、ユーザからの指示を取得するための入力インタフェースを備えている。入出力装置３００は、例えば、液晶モニタやキーボード、マウスなどを含んでいてもよいし、タッチパネルディスプレイなどであってもよい。
【００２５】
<処理フローチャート>
次に、本実施形態に係る画像処理装置１００が行う処理について、図２を参照して説明する。
【００２６】
まず、ステップＳ２００で、画像取得部１１０が、位置合わせの処理対象である第一の画像と第二の画像をデータサーバ２００から取得する。本実施形態では、第一の画像がＭＲＩによって撮影された画像であり、第二の画像がＰＡＴによって撮影された画像である。第一の画像と第二の画像は、共に胸部を撮像した画像であるが、第一の画像には左右両方の乳房が含まれており、第二の画像には左右どちらか片方の乳房のみが含まれている。
【００２７】
次に、ステップＳ２１０で、付帯情報取得部１３０が、ステップＳ２００で取得した第二の画像から付帯情報を取得する。本実施形態では、ＤＩＣＯＭヘッダに含まれるタグ（例えば、乳房の左右を表す"Right"または"Left"）を付帯情報として読み取る。
【００２８】
次に、ステップＳ２２０で、処理対象特定部１４０が、取得した第二の画像の付帯情報に基づいて、左右どちらの乳房を位置合わせ処理の対象とするかを特定する。具体的には、第二の画像の付帯情報に"Right"（右乳房）と記録されている場合には、第一の画像に
含まれる右乳房を位置合わせ処理の対象とする。一方、第二の画像の付帯情報に"Left"（左乳房）と記録されている場合には、第一の画像に含まれる左乳房を位置合わせ処理の対象とする。
【００２９】
第一の画像には、左右両方の乳房が含まれているため、位置合わせを行うためには、まず双方の乳房を分離する必要がある。
ステップＳ２３０では、画像特徴抽出部１２０が、ステップＳ２００で取得した第一の画像から、左右の乳房を分離する手がかりとなる特徴を抽出する。本実施形態では、特徴として、（１）被検体の体表境界、（２）左右乳房の頂点に対応する点、および、（３）左右乳房間の胸骨に対応する点（境界位置）を検出する。
【００３０】
ここで、被検体の体表境界を検出する方法について説明する。
まず、第一の画像に対してメディアンフィルタによる平滑化処理を行う。次に、閾値処理により、乳房を含む体領域を抽出する。そして、ラベリング処理を用いて、背景に存在する孤立領域を削除して、前景領域とする。
そして、これらの処理によって得られた二値画像（前景領域とそれ以外の背景領域にそ
れぞれ異なる値が設定された画像）に対して、画像上端（すなわち胸側）から下方向（背中側）に向かって体表境界を探索し、前景領域と交差した点を体表境界とする。図３に、第一の画像から体表境界を検出した例を示す。図の中の点線Ｓ１が、検出した体表境界である。
なお、本実施形態における第一の画像は３次元ボリューム画像であるが、図３では、表現の都合上、その一断面（アキシャル断面（横断面））のみを図示している。
【００３１】
次に、検出した体表境界を用いて、左右の乳房の頂点と、左右乳房を分離する胸骨に対応する点をそれぞれ特定する方法について説明する。
まず、第一の画像の左右方向軸の中点を通るサジタル断面（矢状断面）で、第一の画像を左右二つに分割し、左側の領域で最も上側（胸側）に存在する体表境界を右乳房の頂点Ｐ１とし、右側の領域で最も上側に存在する体表境界を左乳房の頂点Ｐ２とする。
【００３２】
次に、画像特徴抽出部１２０が、検出した二つの乳房の頂点Ｐ１とＰ２を直線で結び、その中点から体表境界側へ鉛直線（腹背方向軸と平行な線）を下ろす。
最後に、当該鉛直線と体表境界との交点を胸骨位置Ｃ１として特定する。図３に、第一の画像から検出される二つの乳房の頂点Ｐ１およびＰ２と、胸骨位置Ｃ１の一例を示す。なお、胸骨位置Ｃ１の特定方法はこれに限らない。例えば、Ｐ１とＰ２を結ぶ直線と、左右方向軸の中点を通るサジタル断面との交点を求め、当該交点から体表境界側へ鉛直線を下ろし、当該鉛直線と体表境界との交点をＣ１として特定してもよい。あるいは、頭尾方向軸の中点を通るアキシャル断面と、左右方向軸の中点を通るサジタル断面との交点を求め、当該交点から体表境界側へ鉛直線を下ろし、当該鉛直線と体表境界との交点をＣ１として特定してもよい。
なお、図３では、図示を簡略化するため、第一の画像の１つのアキシャル断面上に頂点Ｐ１およびＰ２と、胸骨位置Ｃ１が含まれている場合を図示しているが、実際には、Ｐ１，Ｐ２，Ｃ１は必ずしも同じアキシャル断面上に存在するとは限らない。
【００３３】
ステップＳ２４０では、関心領域導出部１５０が、第一の画像に対して、位置合わせの対象となる乳房を含む領域（関心領域）を設定する。本実施形態では、ステップＳ２２０で特定した側の乳房に対して、ステップＳ２３０で抽出した画像特徴を用いて関心領域を設定する。
図４に、処理対象が右乳房である場合における、関心領域の設定例を示す。ここでは、右乳房の頂点Ｐ１から上方向に一定のマージンをとった位置に関心領域Ｖ１の上端を設定する。また、胸骨位置Ｃ１から下方向に一定のマージンをとった位置に関心領域Ｖ１の下端を設定する。また、胸骨位置Ｃ１を関心領域Ｖ１の右端とする。また、関心領域Ｖ１の下端と体表Ｓ１が画像の左側で交差する点Ｂ１から、体の外側に一定のマージンをとった位置を関心領域Ｖ１の左端とする。
さらに、胸骨位置Ｃ１から図面奥行き方向（頭尾方向）の前後に一定のマージンをとった位置を、関心領域Ｖ１の奥行方向における端とする。
【００３４】
なお、ここでは右乳房を例に挙げたが、処理対象が左乳房である場合、左乳房の頂点Ｐ２を用いて、左右を反転させた処理を行えばよい。
また、特定された処理対象（右乳房または左乳房）を含んでいれば、関心領域の導出方法は例示した方法に限られない。例えば、処理対象が右乳房である場合、第一の画像における胸骨位置Ｃ１から左側の領域に対して胸筋面をさらに抽出し、体表Ｓ１と胸筋面を含む領域を関心領域としてもよい。
【００３５】
次に、ステップＳ２５０で、位置合わせ部１６０が、ステップＳ２４０で設定した、第一の画像における関心領域と、第二の画像との位置合わせを行う。ここでは、第一の画像に設定された関心領域と、第二の画像との間の変形量を推定したうえで位置合わせ（すな
わち、変形位置合わせ）を行う。この処理は、第一の画像から関心領域を切り出した部分画像を抽出し、当該部分画像と第二の画像との間の変形推定を行うことで実現できる。
このように、関心領域を設定することで、第一の画像に左右の乳房が含まれている場合であっても、比較対象の側の乳房との位置合わせを行うことができる。
【００３６】
なお、画像間の変形の推定方法として、例えば、変形モデルとしてＦＦＤ（Ｆｒｅｅ  Ｆｏｒｍ  Ｄｅｆｏｒｍａｔｉｏｎ）を用い、画像類似度を評価尺度として用いる方法がある。なお、変形の推定に用いる変形モデルや評価尺度はこれに限られるものではない。例えば、操作者による入力や画像処理を用いて、それぞれの画像から対応する特徴点を抽出し、それらを対応付けるように変形させてもよい。その際に用いる変形モデルとして、例えば、ＴＰＳ（Ｔｈｉｎ  Ｐｌａｔｅ  Ｓｐｌｉｎｅ）などがある。
【００３７】
さらに、位置合わせ部１６０は、推定した変形量に基づいて、いずれか片方の画像を、もう一方の画像と形状が一致するように変形させた画像（以下、変形画像）を生成する。本実施形態では、第一の画像から関心領域を切り出した部分画像と被検体の形状が一致するように第二の画像を変形させることで変形画像を生成する。なお、生成する変形画像の範囲は、第一の画像の関心領域と対応していることが望ましい。
【００３８】
なお、第一の画像から関心領域を切り出す処理は、必ずしも行わなくてもよい。例えば、関心領域の内部のみを変形位置合わせの対象として扱ってもよい。ただしこの場合も、生成する変形画像の範囲は、当該関心領域と対応していることが望ましい。
また、必ずしも第二の画像を変形させなくてもよい。例えば、被検体の形状が第二の画像と一致するように、第一の画像を変形させてもよい。このとき、第一の画像の全領域を変形の対象とせずに、関心領域内のみを変形の対象とすると、変形画像を生成する際の計算量を削減することができる。
【００３９】
最後に、ステップＳ２６０で、表示制御部１７０が、ステップＳ２５０で行った変形位置合わせの結果を、入出力装置３００を介して出力する。本実施形態では、第一の画像に設定された関心領域に対応する断層像と、変形位置合わせされた第二の画像（変形画像）に対応する断層像を並べて表示する。なお、表示方法はこれに限られない。例えば、第一の画像における関心領域の断層像と、変形位置合わせされた第二の画像（変形画像）の断層像とを重ねて表示（重畳表示）してもよい。
【００４０】
以上説明したように、第一の実施形態では、両乳房が含まれている第一の画像と、片方の乳房のみが含まれている第二の画像とを位置合わせする画像処理装置において、第二の画像に付帯する情報に基づいて、位置合わせ処理の対象とする乳房を特定する。これにより、対応付けの誤りを防止することができる。
【００４１】
なお、第一の実施形態では、第一の画像には常に両乳房が含まれており、第二の画像には常に片方の乳房のみが含まれているものとした。しかし、画像処理装置１００に入力される画像は、常に上記の組み合わせでなくてもよい。
例えば、第一および第二の画像は、それぞれ片方の乳房を含む画像であってもよい。この場合、双方の画像に付帯する情報に基づいて、画像ペアが所定の条件を満たしているか否か（すなわち、双方が同じ側の乳房であるか否か）を判別し、条件を満たしている場合にのみ上記の処理を行うようにしてもよい。
【００４２】
また、第一の画像と第二の画像それぞれのモダリティ種別を付帯情報から取得し、その組み合わせに基づいて処理の内容を変えてもよい。例えば、第一の画像が、両乳房を撮像するモダリティ（ＭＲＩやＣＴ）であって、第二の画像が片乳房を撮像するモダリティ（ＰＡＴ、マンモＣＴ、ブレストトモシンセシスなど）である場合にのみ、前述した処理を
行うようにしてもよい。一方、モダリティの組み合わせが上記以外（例えば、ＰＡＴ同士、ＭＲＩ同士など）である場合には、ステップＳ２１０からステップＳ２４０の処理を省略するようにしてもよい。
【００４３】
（第二の実施形態）
第二の実施形態は、処理対象とする側の乳房をユーザが直接指定する実施形態である。以下、第二の実施形態に係る画像処理装置５００を、構成図である図５を参照しながら説明する。なお、第一の実施形態と共通する要素については同一の符号を付し、説明は省略する。
【００４４】
第二の実施形態に係る画像処理装置５００は、付帯情報取得部１３０を有しておらず、また、処理対象特定部５４０が、操作部４００から入力された情報に基づいて処理対象の乳房が左右どちらであるかを特定するという点において第一の実施形態と相違する。
【００４５】
操作部４００は、第一の画像に含まれる左右の乳房のどちらを位置合わせ処理の対象とするかを特定するための情報を、ユーザインタフェースを介して取得する手段（本発明における識別情報取得手段）である。また、処理対象特定部５４０は、操作部４００から得た情報に基づいて、位置合わせ処理の対象である乳房を特定する。
【００４６】
図６は、画像処理装置５００が行う全体の処理手順を示すフローチャートである。なお、ステップＳ６００以外の処理は、第一の実施形態と同様であるため、説明を省略する。
【００４７】
ステップＳ６００では、処理対象特定部５４０が、操作部４００を介して、処理対象となる乳房を特定する情報を取得する。具体的には、図７で示したようなインタフェース画面を介して、処理対象となる乳房の左右を操作者に選択させる。
なお、処理対象となる乳房の選択方法はこれに限られるものではない。例えば、入出力装置３００に表示された第一の画像上において、操作者がマウス等のポインティングデバイスを用いて、処理対象である乳房を指定してもよい。このように、操作部４００は、入出力装置３００とハードウェアを兼用していてもよい。
【００４８】
なお、乳房の左右を指定する際に、処理対象となる乳房の乳頭位置（乳頭基底部の位置）の指定を受け付けるようにしてもよい。例えば、乳頭位置の３次元座標を指定させ、ステップＳ２５０で行う位置合わせ処理の入力情報として利用してもよい。このように、処理対象とする乳房の左右を指定させるのと同時に、位置合わせ処理に用いる乳頭位置を指定させるようにしてもよい。また、同時に、第二の画像における乳頭位置を指定させるようにしてもよい。
【００４９】
第二の本実施形態によれば、左右どちらの乳房を撮像したかを示す情報が画像に付帯していなくても、位置合わせの対象となる乳房を特定することができる。
【００５０】
（第三の実施形態）
第三の実施形態は、第二の画像に対して画像処理を行うことで、位置合わせの対象となる乳房の左右を特定する実施形態である。以下、第三の実施形態に係る画像処理装置８００を、構成図である図８を参照しながら説明する。なお、第一の実施形態と共通する要素については同一の符号を付し、説明は省略する。
【００５１】
図８は、本実施形態に係る画像処理装置８００の構成図である。第三の実施形態に係る画像処理装置８００は、付帯情報取得部１３０の代わりに画像識別部８３０を有しており、処理対象特定部８４０が、画像を識別した結果に基づいて処理対象の乳房を特定するという点において、第一の実施形態と相違する。
【００５２】
画像識別部８３０は、第二の画像に対して画像識別処理を行うことで、第二の画像に含まれる乳房が左右どちら側の乳房であるかを識別する手段である。また、処理対象特定部８４０は、左右どちらの乳房を位置合わせ処理の対象とするのかを、画像識別部８３０が取得した識別結果に基づいて特定する。
【００５３】
図９は、画像処理装置８００が行う処理の手順を示すフローチャートである。なお、ステップＳ９００およびＳ９１０以外の処理は、第一の実施形態と同様であるため、説明を省略する。
【００５４】
ステップＳ９００では、画像識別部８３０が、ステップＳ２００で得た第二の画像に対して画像識別処理を行い、第二の画像に左右どちらの乳房が含まれているかを識別する。当該識別を行った結果を表す識別情報（"Right"または"Left"）は、処理対象特定部８４
０に出力される。
【００５５】
なお、画像識別処理には、公知の画像識別手法を用いることができる。例えば、右乳房であるか左乳房であるかが既知である多数の画像を学習データとして用いて識別器を学習させ、当該識別器を用いて識別を行ってもよい。
なお、機械学習には、ニューラルネットワークやサポートベクタマシンなど、公知のいずれの技術を用いてもよい。また、本ステップにおける画像識別処理は、機械学習に基づく方法以外で行ってもよい。例えば、乳頭位置や体表形状を分析するような、解析的アプローチに基づくものであってもよい。例えば、第二の画像に対して典型的な乳房の形状モデルを当てはめ、得られた残差に基づいて識別を行うようにしてもよい。例えば、第二の画像に右乳房の形状モデルを当てはめた際の残差と、左乳房の形状モデルを当てはめた際の残差とを比較し、残差の小さい側の乳房であると識別することができる。
【００５６】
ステップＳ９１０では、処理対象特定部８４０が、ステップＳ９００で取得した識別情報に基づいて、左右どちらの乳房を位置合わせ処理の対象とするかを特定する。具体的には、取得した識別情報が"Right"である場合には、第一の画像に含まれる右乳房を位置合
わせ処理の対象とする。一方、取得した識別情報が"Left"である場合には、第一の画像に含まれる左乳房を位置合わせ処理の対象とする。
【００５７】
第三の本実施形態によれば、左右どちらの乳房を撮像したかを示す情報が画像に付帯していなくても、位置合わせの対象となる乳房を特定することができる。
【００５８】
（変形例）
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。
例えば、本発明は、上記処理の少なくとも一部を含む画像処理装置として実施することもできる。また、本発明は、上記処理の少なくとも一部を含む画像処理方法として実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【００５９】
また、各実施形態の説明では、それぞれ異なる方法によって、第二の画像に左右いずれの乳房が撮像されているかを判定したが、複数の異なる方法を併用してもよい。例えば、第二の画像に付帯する情報に、左右の乳房を判定するための識別情報が含まれている場合には、当該識別情報を利用し、識別情報が含まれていない場合には、第二および第三の実施形態で述べた方法を用いて識別を行うようにしてもよい。
また、識別した結果をユーザに提示し、修正できるようにしてもよい。これにより、あらゆる入力データに対して確実に位置合わせを行うことができるようになる。
【００６０】
また、各実施形態の説明では、第一の画像から切り出した関心領域と第二の画像との位置合わせを行ったが、位置合わせ処理は必ずしも必要ではない。例えば、第一の画像から切り出した関心領域を、第二の画像と同じ側の乳房を含む画像として保存するだけでもよい。これによると、切り出した関心領域の画像と第二の画像とを並べて表示することで、乳房の左右を取り違えることなく、第一の画像と第二の画像との比較を容易に行うことができる。なお、この場合には、表示した二つの画像間の位置合わせを表示画面上でユーザがインタラクティブに行えるようにすることが望ましい。
【００６１】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＦＰＧＡやＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６２】
１００・・・画像処理装置、１１０・・・画像取得部、１２０・・・画像特徴抽出部、１３０・・・付帯情報取得部、１４０・・・処理対象特定部、１５０・・・関心領域導出部、１６０・・・位置合わせ部
【図１】
2018050761.tif 000003
【図２】
2018050761.tif 000004
【図３】
2018050761.tif 000005
【図４】
2018050761.tif 000006
【図５】
2018050761.tif 000007
【図６】
2018050761.tif 000008
【図７】
2018050761.tif 000009
【図８】
2018050761.tif 000010
【図９】
2018050761.tif 000011