(57)【要約】  読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像の階調を変換する画像階調変換装置のコンピュータが、対象胸部Ｘ線画像を取得し（Ｓ５０）、対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し（Ｓ１００）、構造物の近傍領域に対応する画素集合を抽出し、画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成し（Ｓ５００）、コントラスト変換式を用いて、対象胸部Ｘ線画像全体の各画素値の輝度変換（Ｓ７００）を行う胸部Ｘ線画像の階調変換方法。
2019220825.tif 000002
【特許請求の範囲】
【請求項１】
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像の階調を変換する画像階調変換装置のコンピュータが、
前記対象胸部Ｘ線画像を取得し、
前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し、
前記構造物の近傍領域に対応する画素集合を抽出する抽出し、
前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成し、
前記コントラスト変換式を用いて、前記対象胸部Ｘ線画像全体の各画素値の輝度変換を行う、
胸部Ｘ線画像の階調変換方法。
【請求項２】
前記予め機械学習されたモデルは、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部Ｘ線画像である学習用胸部Ｘ線画像において前記構造物が検出されるように学習されたモデルである、
請求項１記載の胸部Ｘ線画像の階調変換方法。
【請求項３】
前記検出では、
前記対象胸部Ｘ線画像を前記対象胸部Ｘ線画像の解像度より低い第１解像度に変換して第１Ｘ線画像を作成し、
前記対象胸部Ｘ線画像を前記第１解像度より高く、かつ前記対象胸部Ｘ線画像の解像度以下の第２解像度に変換して第２Ｘ線画像を作成し、
前記第１Ｘ線画像から第１サイズの前記構造物を検出し、
前記第１サイズの前記構造物の検出結果に基づき、前記第２Ｘ線画像において前記第２Ｘ線画像より小さい探索領域を設定し、
前記探索領域から、前記第１サイズより小さい第２サイズの前記構造物を検出する、
請求項２記載の胸部Ｘ線画像の階調変換方法。
【請求項４】
前記第１サイズの前記構造物の検出では、前記第１Ｘ線画像から前記第１サイズの前記構造物として解剖学的構造を検出し、
前記第２サイズの前記構造物の検出では、前記第２Ｘ線画像の前記探索領域から前記第２サイズの前記構造物として前記線構造を検出する、
請求項３記載の胸部Ｘ線画像の階調変換方法。
【請求項５】
前記探索領域の設定では、前記第１サイズの前記構造物と前記第２サイズの前記構造物との相対位置関係が予め保存された位置メモリから読み出した前記相対位置関係を用いて、前記探索領域を設定する、
請求項３又は４に記載の胸部Ｘ線画像の階調変換方法。
【請求項６】
前記抽出では、前記構造物の輪郭線を所定画素数だけ外側及び内側に膨張させた領域を、前記構造物の近傍領域とする、
請求項１〜５のいずれか１項に記載の胸部Ｘ線画像の階調変換方法。
【請求項７】
前記抽出では、前記構造物を所定画素数だけ外側に膨張させた領域を、前記構造物の近傍領域とする、
請求項１〜５のいずれか１項に記載の胸部Ｘ線画像の階調変換方法。
【請求項８】
前記抽出では、前記検出された前記構造物の全てを使用する、
請求項１〜７のいずれか１項に記載の胸部Ｘ線画像の階調変換方法。
【請求項９】
更に、前記検出された前記構造物のうち一部の構造物をユーザが選択し、
前記抽出では、前記ユーザにより選択された前記一部の構造物のみを使用する、
請求項１〜７のいずれか１項に記載の胸部Ｘ線画像の階調変換方法。
【請求項１０】
更に、前記輝度変換が行われた後の前記対象胸部Ｘ線画像をディスプレイに表示し、
前記輝度変換では、前記コントラスト変換式と、前記対象胸部Ｘ線画像の階調より低い階調に変換する階調削減式とを用いて、前記対象胸部Ｘ線画像全体の各画素値の輝度変換を行う、
請求項１〜９のいずれか１項に記載の胸部Ｘ線画像の階調変換方法。
【請求項１１】
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像の階調を変換する画像階調変換装置のコンピュータを、
前記対象胸部Ｘ線画像を取得する取得部、
前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部、
前記構造物の近傍領域に対応する画素集合を抽出する抽出部、
前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部、
前記コントラスト変換式を用いて、前記対象胸部Ｘ線画像全体の各画素値の輝度変換を行う輝度変換部、
として機能させる画像階調変換プログラム。
【請求項１２】
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像を取得する取得部と、
前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
前記構造物の近傍領域に対応する画素集合を抽出する抽出部と、
前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部と、
前記コントラスト変換式を用いて、前記対象胸部Ｘ線画像全体の各画素値の輝度変換を行う輝度変換部と、
を備える画像階調変換装置。
【請求項１３】
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像を取得する取得部と、
前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
前記構造物の近傍領域に対応する画素集合を抽出する抽出部と、
前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部と、
前記コントラスト変換式を用いて、前記対象胸部Ｘ線画像全体の各画素値の輝度変換を行う輝度変換部と、
前記輝度変換が行われた後の前記対象胸部Ｘ線画像を、外部の端末装置に送信する通信制御部と、
を備えるサーバ装置。
【請求項１４】
Ｘ線画像を取得し、
前記Ｘ線画像において線状領域を検出し、
前記線状領域の近傍領域を決定し、
第１の複数の画素の第１の複数の画素値を用いて変換式を生成し、第１の複数の画素は
前記線状領域に含まれる画素及び前記線状領域の近傍領域に含まれる画素であｒ、
前記変換式を用いて、第１の複数の画素値と第２の複数の画素の第２の複数の画素値を複数の変換値に変換し、第２の複数の画素は、(i)前記Ｘ線画像に含まれかつ前記線状領域に含まれない画素と(ii)前記Ｘ線画像に含まれかつ前記近傍領域に含まれない画素を含み、
前記変換式は、
【数４】
2019220825.tif 000006
であり、
前記ｚは前記Ｘ線画像に含まれる画素値、
前記ｑ（ｚ）は前記複数の変換値に含まれる前記画素値ｚの変換値、
前記Ｈ（ｉ）は、前記第１の複数の画素のち、画素値がｉである画素の数、
前記Ｚmaxは前記Ｘ線画像の複数の画素の各々が示し得る最大の画素値、
前記Ａは前記第１の複数の画素の数である
変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医用画像の処理技術に関し、さらに詳しくは胸部Ｘ線画像の階調変換技術に関する。
【背景技術】
【０００２】
医用画像のなかでも、胸部Ｘ線画像は、撮影機器及び撮影コストが安価で、普及率も高く、胸部疾患を診断する際の第一選択方法となっている。しかしながら、胸部Ｘ線画像では、奥行き方向に複数の解剖学的構造が重なって描出される。このため、読影が難しいことから、病変を見逃してしまう、安易にコンピュータ断層撮影を実施してしまう、等の問題点が指摘されている。【０００３】
また、胸部Ｘ線画像は、一般に、Ｘ線撮像装置において高階調（例えば、１０〜１４ビット）のデジタル画像として取得される。一方、撮影された胸部Ｘ線画像をモニタに表示する際には、胸部Ｘ線画像は、より低階調（例えば、８〜１２ビット）に階調圧縮されて表示される。階調圧縮は、γ補正などのコントラスト変換処理も併せて行われ、画像における重要な階調ができるだけ保存されるように行われている。読影を少しでも容易にするために、胸部Ｘ線画像の診断に重要な領域の情報を低下させないように階調圧縮を行うことが重要となっている。【０００４】
従来、胸部Ｘ線画像の情報量を保ちながら所望の領域を所望のコントラストおよび濃度で表示することが可能な階調変換技術として、特許文献１が提案されている。特許文献１に記載の技術では、胸部Ｘ線画像の画素値ヒストグラムから、例えば肺野及び縦隔のような大まかな領域の画素値範囲が推定され、推定結果に基づいて、γカーブの制御点が決定されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１５／１７４２０６号
【非特許文献】
【０００６】
【非特許文献１】Ｏ．Ｒｏｎｎｅｂｅｒｇｅｒ，  Ｐ．Ｆｉｓｃｈｅｒ，  ａｎｄ  Ｔ．Ｂｒｏｘ，  Ｕ−Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｂｉｏｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ，  Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ  Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ），  Ｓｐｒｉｎｇｅｒ，  ＬＮＣＳ，  Ｖｏｌ．９３５１：  ２３４−−２４１，  ２０１５
【非特許文献２】Ｌ．Ｌｏｎｇ，  Ｅ．Ｓｈｅｌｈａｍｅｒ，  Ｔ．Ｄａｒｒｅｌｌ，  Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ，  Ｉｎ  ＣＶＰＲ．  ２０１５．
【発明の概要】
【０００７】
上記特許文献１に記載の技術では、例えば、肺野と縦隔それぞれに適したγカーブを適用することができる。しかしながら、上記従来技術では、胸部Ｘ線画像の診断に重要な領域のコントラストを向上させる保証はないため、更なる改善が求められている。
【０００８】
本開示の一態様は、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像の階調を変換する画像階調変換装置のコンピュータが、
前記対象胸部Ｘ線画像を取得し、
前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し、
前記構造物の近傍領域に対応する画素集合を抽出する抽出し、
前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成し、
前記コントラスト変換式を用いて、前記対象胸部Ｘ線画像全体の各画素値の輝度変換を行う、
胸部Ｘ線画像の階調変換方法である。
【０００９】
なお、この包括的又は具体的な態様は、装置、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。
【００１０】
本開示によれば、更なる改善が実現できる。本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態における画像階調変換装置のブロック図
【図２】第１実施形態における医療機関内のネットワーク構成のブロック図
【図３】第１実施形態におけるフローチャート
【図４Ａ】下行大動脈の陰影を含む胸部Ｘ線画像を示す図
【図４Ｂ】下行大動脈の陰影のマスク画像を示す図
【図４Ｃ】胸部Ｘ線画像にマスク画像を重畳した画像を示す図
【図５Ａ】右背側横隔膜の陰影を含む胸部Ｘ線画像を示す図
【図５Ｂ】右背側横隔膜の陰影のマスク画像を示す図
【図５Ｃ】胸部Ｘ線画像にマスク画像を重畳した画像を示す図
【図６Ａ】第１胸椎を含む胸部Ｘ線画像を示す図
【図６Ｂ】第１胸椎のマスク画像を示す図
【図６Ｃ】胸部Ｘ線画像にマスク画像を重畳した画像を示す図
【図７】Ｕ−Ｎｅｔのアーキテクチャを概略的に示す図
【図８Ａ】線構造の一例を概略的に示す図
【図８Ｂ】図８Ａの線構造の近傍領域の一例を概略的に示す図
【図９Ａ】領域構造の一例を概略的に示す図
【図９Ｂ】図９Ａの領域構造の近傍領域の一例を概略的に示す図
【図１０】階調変換ＬＵＴの一例を概略的に示す図
【図１１Ａ】図８Ａの線構造の近傍領域の異なる例を概略的に示す図
【図１１Ｂ】図９Ａの領域構造の近傍領域の異なる例を概略的に示す図
【図１２】第２実施形態における画像階調変換装置の構成を示すブロック図
【図１３】第２実施形態における構造物検出処理を示すフローチャート
【図１４】解像度情報を概略的に示す図
【図１５】図１３のステップＳ１０３〜ステップＳ１０６の処理を概略的に示す図
【図１６】第３実施形態における画像階調変換装置の構成を示すブロック図
【図１７】第３実施形態におけるフローチャート
【図１８】第４実施形態における医療機関内のネットワーク構成のブロック図
【図１９】輪郭線ＭＬｐｒを所定画素数だけ膨張させる理由を説明する図
【発明を実施するための形態】
【００１２】
（本開示の基礎となった知見）
上記特許文献１に記載の技術によれば、例えば、肺野及び縦隔それぞれに適したγカーブを適用することができる。これに対して、本発明者は、胸部Ｘ線画像において、肺野又は縦隔に比べて画像中に占める面積が小さく、かつ、濃淡差の小さい領域が、診断に重要となる場合があることを見出した。しかしながら、上記特許文献１に記載の技術では、このような領域のコントラストが向上する保証はない。
【００１３】
そこで、本発明者は、胸部Ｘ線画像の診断に重要な、胸部Ｘ線画像に占める面積が小さく、かつ、濃淡差の小さい領域（例えば後述の線構造）のコントラストを向上させることが可能な、以下の各態様を想到するに至った。
【００１４】
本開示の第１態様は、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像の階調を変換する画像階調変換装置のコンピュータが、
前記対象胸部Ｘ線画像を取得し、
前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し、
前記構造物の近傍領域に対応する画素集合を抽出する抽出し、
前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成し、
前記コントラスト変換式を用いて、前記対象胸部Ｘ線画像全体の各画素値の輝度変換を行う、
胸部Ｘ線画像の階調変換方法である。
【００１５】
本開示の第２態様は、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像の階調を変換する画像階調変換装置のコンピュータを、
前記対象胸部Ｘ線画像を取得する取得部、
前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部、
前記構造物の近傍領域に対応する画素集合を抽出する抽出部、
前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部、
前記コントラスト変換式を用いて、前記対象胸部Ｘ線画像全体の各画素値の輝度変換を行う輝度変換部、
として機能させる画像階調変換プログラムである。
【００１６】
本開示の第３態様は、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像を取得する取得部と、
前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
前記構造物の近傍領域に対応する画素集合を抽出する抽出部と、
前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部と、
前記コントラスト変換式を用いて、前記対象胸部Ｘ線画像全体の各画素値の輝度変換を行う輝度変換部と、
を備える画像階調変換装置である。
【００１７】
この第１態様又は第２態様又は第３態様では、読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物が、予め機械学習されたモデルを用いて検出される。検出された構造物の近傍領域に対応する画素集合が抽出される。抽出された画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式が生成される。生成されたコントラスト変換式を用いて、対象胸部Ｘ線画像全体の各画素値の輝度変換が行われる。したがって、第１態様又は第２態様又は第３態様によれば、頻度が多い画素値の画素による影響を受けずに、構造物の近傍領域におけるコントラストを向上させることができる。
【００１８】
上記第１態様において、例えば、
前記予め機械学習されたモデルは、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部Ｘ線画像である学習用胸部Ｘ線画像において前記構造物が検出されるように学習されたモデルであってもよい。
【００１９】
この態様では、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部Ｘ線画像である学習用胸部Ｘ線画像において構造物が検出されるように学習されたモデルを用いて、構造物が検出される。したがって、画素単位で予測が行われるため、第１線状領域または第２線状領域からなる線構造を含む構造物を高精度で検出することができる。
【００２０】
上記第１態様において、例えば、
前記検出では、
前記対象胸部Ｘ線画像を前記対象胸部Ｘ線画像の解像度より低い第１解像度に変換して第１Ｘ線画像を作成し、
前記対象胸部Ｘ線画像を前記第１解像度より高く、かつ前記対象胸部Ｘ線画像の解像度以下の第２解像度に変換して第２Ｘ線画像を作成し、
前記第１Ｘ線画像から第１サイズの前記構造物を検出し、
前記第１サイズの前記構造物の検出結果に基づき、前記第２Ｘ線画像において前記第２Ｘ線画像より小さい探索領域を設定し、
前記探索領域から、前記第１サイズより小さい第２サイズの前記構造物を検出してもよい。
【００２１】
この態様では、第１解像度の第１Ｘ線画像から第１サイズの構造物が検出される。第１解像度より高い第２解像度の第２Ｘ線画像には探索領域が設定され、この探索領域から第１サイズより小さい第２サイズの構造物が検出される。したがって、この態様によれば、高解像の画像を用いるときは、対象胸部Ｘ線画像のサイズより小さいサイズの探索領域を設定している。このため、メモリの使用量が低減される。その結果、メモリ量が少ない場合でも、構造物検出性能の低下を抑制することができる。
【００２２】
上記第１態様において、例えば、
前記第１サイズの前記構造物の検出では、前記第１Ｘ線画像から前記第１サイズの前記構造物として解剖学的構造を検出し、
前記第２サイズの前記構造物の検出では、前記第２Ｘ線画像の前記探索領域から前記第２サイズの前記構造物として前記線構造を検出してもよい。
【００２３】
この態様によれば、解剖学的構造は、比較的大きい第１サイズであるので、比較的低い第１解像度の第１Ｘ線画像から、好適に検出することができる。また、線構造は、比較的小さい第２サイズであるので、比較的高い第２解像度の第２Ｘ線画像のうち設定された探索領域から、好適に検出することができる。
【００２４】
上記第１態様において、例えば、
前記探索領域の設定では、前記第１サイズの前記構造物と前記第２サイズの前記構造物との相対位置関係が予め保存された位置メモリから読み出した前記相対位置関係を用いて、前記探索領域を設定してもよい。
【００２５】
この態様によれば、第１検出サブステップの検出結果として得られた第１サイズの構造物の位置と、第１サイズの構造物と第２サイズの構造物との相対位置関係とから、第２サイズの構造物の位置を把握することができる。したがって、把握した第２サイズの構造物の位置が含まれるように探索領域を設定することにより、第２サイズの構造物を確実に検出することができる。
【００２６】
上記第１態様において、例えば、
前記抽出では、前記構造物の輪郭線を所定画素数だけ外側及び内側に膨張させた領域を、前記構造物の近傍領域としてもよい。
【００２７】
この態様では、構造物の輪郭線から所定画素数だけ外側の領域の画素集合と、構造物の輪郭線から所定画素数だけ内側の領域の画素集合と、が抽出される。したがって、この態様によれば、構造物の輪郭線におけるコントラストを向上させることができる。その結果、構造物を視認し易くすることが可能になる。
【００２８】
上記第１態様において、例えば、
前記抽出では、前記構造物を所定画素数だけ外側に膨張させた領域を、前記構造物の近傍領域としてもよい。
【００２９】
この態様では、構造物を所定画素数だけ外側に膨張させた領域に対応する領域の画素集合が抽出される。したがって、この態様によれば、構造物より所定画素数だけ大きい領域におけるコントラストを向上させることができる。その結果、構造物を視認し易くすることが可能になる。
【００３０】
上記第１態様において、例えば、
前記抽出では、前記検出された前記構造物の全てを使用してもよい。
【００３１】
この態様によれば、検出された構造物の全ての近傍領域におけるコントラストを向上させることができる。
【００３２】
上記第１態様において、例えば、
更に、前記検出された前記構造物のうち一部の構造物をユーザが選択し、
前記抽出では、前記ユーザにより選択された前記一部の構造物を使用してもよい。
【００３３】
この態様によれば、所望の構造物を選択することにより、所望の構造物の近傍領域におけるコントラストを向上させることができる。
【００３４】
上記第１態様において、例えば、
更に、前記輝度変換が行われた後の前記対象胸部Ｘ線画像をディスプレイに表示し、
前記輝度変換では、前記コントラスト変換式と、前記対象胸部Ｘ線画像の階調より低い階調に変換する階調削減式とを用いて、前記対象胸部Ｘ線画像全体の各画素値の輝度変換を行ってもよい。
【００３５】
この態様によれば、ディスプレイに表示可能な階調が対象胸部Ｘ線画像の階調より低い場合であっても、ディスプレイに適合する階調で、構造物の近傍領域におけるコントラストを向上させた対象胸部Ｘ線画像をディスプレイに表示することができる。
【００３６】
本開示の第４態様は、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像を取得する取得部と、
前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
前記構造物の近傍領域に対応する画素集合を抽出する抽出部と、
前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部と、
前記コントラスト変換式を用いて、前記対象胸部Ｘ線画像全体の各画素値の輝度変換を行う輝度変換部と、
前記輝度変換が行われた後の前記対象胸部Ｘ線画像を、外部の端末装置に送信する通信制御部と、
を備えるサーバ装置である。
【００３７】
この第４態様では、読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物が、予め機械学習されたモデルを用いて検出される。検出された構造物の近傍領域に対応する画素集合が抽出される。抽出された画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式が生成される。生成されたコントラスト変換式を用いて、対象胸部Ｘ線画像全体の各画素値の輝度変換が行われる。輝度変換が行われた後の対象胸部Ｘ線画像は、外部の端末装置に送信される。したがって、第４態様によれば、端末装置のユーザは、頻度が多い画素値の画素による影響を受けずに、構造物の近傍領域におけるコントラストが向上した対象胸部Ｘ線画像を得ることが可能になる。
【００３８】
（実施の形態）
以下、本開示の実施の形態が、図面を参照しながら説明される。なお、各図面において、同じ構成要素には同じ符号が用いられ、適宜、説明は省略される。
【００３９】
（第１実施形態）
図１は、第１実施形態における、胸部Ｘ線画像の階調変換方法を実行する画像階調変換装置１００の構成を概略的に示すブロック図である。図２は、医療機関内のネットワーク構成４１０を概略的に示すブロック図である。
【００４０】
図２に示されるように、医療機関内のネットワーク構成４１０は、イントラネットワーク４００を含む。このイントラネットワーク４００には、画像階調変換装置１００と、医用画像管理システム２００と、胸部Ｘ線画像撮影装置３００と、が接続されている。医用画像管理システム２００は、胸部Ｘ線画像、コンピュータ断層撮影（ＣＴ）画像、核磁気共鳴画像法（ＭＲＩ）による画像等を保存し、管理する。胸部Ｘ線画像撮影装置３００は、患者又は健康診断受診者の胸部Ｘ線画像を撮影する。胸部Ｘ線画像撮影装置３００により撮影された胸部Ｘ線画像は、医用画像管理システム２００に送信されて保存される。
【００４１】
なお、画像階調変換装置１００と、医用画像管理システム２００と、胸部Ｘ線画像撮影装置３００とは、必ずしも、同一の医療機関内のイントラネットワーク４００上に接続されている必要はない。画像階調変換装置１００、及び、医用画像管理システム２００は、医療機関の外部に設けられたデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバなどの上で動作するソフトウェアであってもよい。胸部Ｘ線画像撮影装置３００は、病院内に設置されていても良いし、健康診断等で使用される巡回車の中に設置されていても良い。医用画像管理システム２００として、例えば画像保存通信システム（ＰＡＣＳ）が採用される。
【００４２】
図１に示されるように、画像階調変換装置１００は、ルックアップテーブル（ＬＵＴ）格納部１０５、画像メモリ１０６、通信部１０７、ディスプレイ１０８、中央演算処理装置（ＣＰＵ）１２０、メモリ１２１を備えている。画像階調変換装置１００は、例えばパーソナルコンピュータで構成される。
【００４３】
通信部１０７は、イントラネットワーク４００を介して、医用画像管理システム２００等と通信を行う。ＬＵＴ格納部１０５は、例えばハードディスク又は半導体メモリ等により構成される。ＬＵＴ格納部１０５は、階調変換ＬＵＴを格納する。画像メモリ１０６は、例えばハードディスク又は半導体メモリ等により構成される。画像メモリ１０６は、取得された対象胸部Ｘ線画像及び輝度変換された胸部Ｘ線画像を格納する。ディスプレイ１０８は、本実施形態では例えば、８ビット（２５６階調）の画像を表示する機能を有する。ディスプレイ１０８は、例えば、液晶モニタにより構成され、ユーザである医師又は放射線技師が、画像診断又は画像撮影後の画像確認を行う対象胸部Ｘ線画像を表示する。また、ディスプレイ１０８は、対象胸部Ｘ線画像が撮影された患者のカルテ情報、画像診断の結果を記入するレポート入力画面などを表示する。
【００４４】
メモリ１２１は、例えば半導体メモリ等により構成される。メモリ１２１は、例えばリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電気的に消去書き換え可能なＲＯＭ（ＥＥＰＲＯＭ）などを含む。メモリ１２１のＲＯＭは、ＣＰＵ１２０を動作させる第１実施形態の制御プログラムを記憶する。
【００４５】
ＣＰＵ１２０は、メモリ１２１に記憶されている第１実施形態の制御プログラムを実行することによって、構造物検出部１１１、画素抽出部１１２、ヒストグラム計算部１１３、ヒストグラム平滑化部１１４、輝度変換部１１５、表示制御部１１６及び通信制御部１１７として機能する。
【００４６】
構造物検出部１１１（検出部の一例に相当）は、画像メモリ１０６に保存された対象胸部Ｘ線画像から、予め定義された複数の構造物を検出する。画素抽出部１１２（抽出部の一例に相当）は、構造物検出部１１１により検出された構造物の近傍領域に対応する画素集合を抽出する。ヒストグラム計算部１１３は、画素抽出部１１２により抽出された画素集合から輝度ヒストグラムを算出する。ヒストグラム平滑化部１１４は、ヒストグラム計算部１１３により算出された輝度ヒストグラムを用いてヒストグラム平滑化を行う。ヒストグラム平滑化部１１４は、更に、低階調化を行って、階調変換ＬＵＴを得る。ヒストグラム平滑化部１１４は、階調変換ＬＵＴをＬＵＴ格納部１０５に格納する。輝度変換部１１５は、ＬＵＴ格納部１０５に格納された階調変換ＬＵＴを用いて、対象胸部Ｘ線画像の全画素の輝度を変換する。表示制御部１１６は、輝度変換部１１５によって輝度変換された対象胸部Ｘ線画像をディスプレイ１０８に表示する。通信制御部１１７（取得部の一例に相当）は、通信部１０７を制御する。構造物検出部１１１、画素抽出部１１２、ヒストグラム計算部１１３、ヒストグラム平滑化部１１４、輝度変換部１１５、表示制御部１１６の機能は、それぞれ、後に詳述される。
【００４７】
図３は、第１実施形態に係る画像階調変換装置１００により実行される処理手順を概略的に示すフローチャートである。まず、ステップＳ５０において、通信制御部１１７（取得部の一例に相当）は、通信部１０７を介して、対象胸部Ｘ線画像を医用画像管理システム２００から取得し、取得した対象胸部Ｘ線画像を画像メモリ１０６に保存する。ステップＳ１００において、構造物検出部１１１は、対象胸部Ｘ線画像を画像メモリ１０６から読み出して、その対象胸部Ｘ線画像から、予め定義された１個以上の構造物を検出する。
【００４８】
「１個以上の構造物」のそれぞれは（i）人体の解剖学的構造が胸部Ｘ線画像に描出された線または領域、または、（ii）解剖学的構造の一部が胸部Ｘ線画像に描出された線または領域、または、（iii）Ｘ線透過率が異なる複数の解剖学的構造の境界が胸部Ｘ線画像に描出された境界線である。
【００４９】
「１個以上の構造物」のそれぞれは「線構造」または「領域構造」に分類される。「線構造」は、胸部Ｘ線画像に描出された境界線、解剖学的構造が胸部Ｘ線画像に描出された線、および解剖学的構造の一部が胸部Ｘ線画像に描出された線を含む。線構造ではない構造物、すなわち、線状とは見做せない構造物が「領域構造」と定義される。線構造であっても、画像上では幅として１画素よりも大きいものがあるため「線構造」と「領域構造」の差は不明確になる恐れがある。そこで、例えば、構造物の（長軸方向長さ）／（短軸方向長さ）が閾値以上である構造物が「線構造」と定義されることも可能である。この閾値は、構造物が線状であると見做せるような適切な値に設定されればよく、例えば１０又は１００又は１０００でもよい。線構造の例が図４Ａ〜４Ｃと図５Ａ〜５Ｃとに示され、領域構造の例が図６Ａ〜６Ｃに示される。
【００５０】
図４Ａは、下行大動脈の陰影（即ち、下行大動脈と肺実質との間のＸ線透過率の違いにより描出される境界線、第１線状領域の一例に相当）を含む胸部Ｘ線画像Ｉｘを示す図である。図４Ｂは、下行大動脈の陰影のマスク画像Ｐｘを示す図である。図４Ｃは、図４Ａの胸部Ｘ線画像Ｉｘに図４Ｂのマスク画像Ｐｘを重畳して表示した画像を示す図である。図５Ａは、右背側横隔膜（右背側肺底部）の陰影（即ち、肺実質の背側底部と腹側臓器との間のＸ線透過率の違いにより描出される境界線、第１線状領域の一例に相当）を含む胸部Ｘ線画像Ｉｘを示す図である。図５Ｂは、右背側横隔膜の陰影のマスク画像Ｐｙを示す図である。図５Ｃは、図５Ａの胸部Ｘ線画像Ｉｘに図５Ｂのマスク画像Ｐｙを重畳して表示した画像を示す図である。図６Ａは、第一胸椎が投影された領域を含む胸部Ｘ線画像Ｉｘを示す図である。図６Ｂは、第１胸椎のマスク画像Ｐｚを示す図である。図６Ｃは、図６Ａの胸部Ｘ線画像Ｉｘに図６Ｂのマスク画像Ｐｚを重畳して表示した画像を示す図である。
【００５１】
マスク画像は、対応する胸部Ｘ線画像における構造物の占める領域を二値あるいはグレイスケールで表現した画像である。本実施形態では二値マスク画像として説明が行われる。このマスク画像は、構造物検出部１１１を機械学習する際の学習データとして、医学知識を持った人により作成され、用意される。また、学習後の構造物検出部１１１は、対象胸部Ｘ線画像を処理した結果として、マスク画像を出力する。
【００５２】
本実施の形態では、構造物検出部１１１を機械学習する手段として、人工ニューラルネットワークが用いられる。具体的には、対象画像から画素単位で対象領域を抽出するセマンティックセグメンテーションを行う人工ニューラルネットワークとして、非特許文献１に開示されているＵ−Ｎｅｔが用いられる。セマンティックセグメンテーションは、画像を画素単位で把握することを意味する。
【００５３】
図７は、Ｕ−Ｎｅｔのアーキテクチャを概略的に示す図である。Ｕ−Ｎｅｔは、図７に示されるようなエンコーダＥＣＤ及びデコーダＤＣＤを備える畳み込みニューラルネットワークであり、Ｕ−ｎｅｔに入力画像が入力層ＩＬに入力されると、Ｕ−ｎｅｔから出力画像が出力層ＯＬに出力される。図４Ａ、図５Ａ、図６Ａのような入力画像と図４Ｂ、図５Ｂ、図６Ｂのようなマスク画像との組を大量に与えて機械学習が行われる。
【００５４】
具体的には、図４Ａのような胸部Ｘ線画像Ｉｘを大量にＵ−Ｎｅｔに入力し、Ｕ−Ｎｅｔから図４Ｂのようなマスク画像Ｐｘが出力されるように機械学習させて、下行大動脈の陰影用の構造物検出部１１１が生成される。また、図５Ａのような胸部Ｘ線画像Ｉｘを大量にＵ−Ｎｅｔに入力し、Ｕ−Ｎｅｔから図５Ｂのようなマスク画像Ｐｙが出力されるように機械学習させて、右背側横隔膜の陰影用の構造物検出部１１１が生成される。また、図６Ａのような胸部Ｘ線画像Ｉｘを大量にＵ−Ｎｅｔに入力し、Ｕ−Ｎｅｔから図６Ｂのようなマスク画像Ｐｚが出力されるように機械学習させて、第１胸椎用の構造物検出部１１１が生成される。そして、機械学習後の、例えば、下行大動脈の陰影用の構造物検出部１１１に対象胸部Ｘ線画像が入力されると、機械学習させた構造物の領域として下行大動脈の陰影が検出されることとなる。
【００５５】
本実施の形態では、予め定義された総計Ｎ（Ｎは１以上の整数）個の構造物について、それぞれ構造物検出を行うＵ−Ｎｅｔを予め機械学習させてＮ個の学習済みのＵ−Ｎｅｔを準備しておき、それらＮ個の学習済みのＵ−Ｎｅｔが、構造物検出部１１１として用いられる。なお、セマンティックセグメンテーションを行う人工ニューラルネットワークとして、Ｕ−Ｎｅｔに代えて、非特許文献２に開示されるような他のニューラルネットワークが用いられてもよい。
【００５６】
図３に戻って、ステップＳ２００において、画素抽出部１１２は、当該胸部Ｘ線画像において構造物０、〜、構造物ｋ、〜、構造物Ｎ−1を検出する。そして、画素抽出部１１２は、構造物０の近傍領域Ｒ０に含まれる画素の画素値の集合Ｐ０、〜、構造物ｋの近傍領域Ｒｋに含まれる画素の画素値の集合Ｐｋ、〜、構造物Ｎ−１の近傍領域ＲＮ−１に含まれる画素の画素値の集合ＰＮ−１を抽出する。画素値の集合Ｐｋは、式（１）で表される。式（１）は、画素値の集合Ｐｋが、近傍領域Ｒｋに含まれる座標（ｘ，ｙ）の画素値ｐｘ，ｙの集合であることを表す。
【００５７】
【数１】
2019220825.tif 000003
【００５８】
図８Ａは、線構造の一例を概略的に示す図である。図８Ｂは、図８Ａの線構造の近傍領域の一例を概略的に示す図である。図９Ａは、領域構造の一例を概略的に示す図である。図９Ｂは、図９Ａの領域構造の近傍領域の一例を概略的に示す図である。
【００５９】
図８Ａ，８Ｂにおいて、画素抽出部１１２は、構造物検出部１１１により検出された構造物である線構造ＭＬの輪郭線ＭＬｐｒを抽出する。画素抽出部１１２は、その輪郭線ＭＬｐｒをモルフォロジー処理により外側及び内側に所定画素数だけ膨張させることによって、近傍領域Ｍｎｈ１を算出する。画素抽出部１１２は、近傍領域Ｍｎｈ１に含まれる各画素の画素値の集合を抽出する。
【００６０】
ここで、輪郭線ＭＬｐｒを所定画素数だけ膨張させる理由を図１９を用いて説明する。図１９の（ａ）は線構造ＭＬの拡大図であり、図１９の（ｂ）は線構造ＭＬを横切る線（図１９の（ａ）におけるＰＦ）上の輝度プロファイルとする。図１９の（ｂ）の横軸は、図１９の（ａ）の画像空間（ｘ座標値）であり、縦軸は図１９の（ａ）の画像における線ＰＦ上の輝度値である。多くの画像においては隣り合う画素値は、エッジであっても拡大して観測すると図１９の（ｂ）のように滑らかに変化している。そのため、図１９の（ａ）における線構造ＭＬの境界線は、図１９の（ｂ）においてＭＬｐｒ１およびＭＬｐｒ２として認識される。本開示の目的は、線構造ＭＬのコントラストを向上させることであるため、この後のヒストグラム平滑化処理にて、図１９の（ｂ）における輝度Ｖ１とＶ３の画素値を用いる必要がある。しかしながら、図１９の（ｂ）における境界線ＭＬｐｒ１およびＭＬｐｒ２から僅かしか離れていない領域（図１９の（ｂ）におけるＣａ、Ｃｂの範囲）の画素を用いてしまうと、線構造ＭＬのコントラストを向上させるという目的が十分達成されない。そのため、輪郭線ＭＬｐｒ１およびＭＬｐｒ２を所定画素数だけ膨張させることにより、画素値Ｖ１、Ｖ３の画素を用いるようにする。「所定画素」の決め方であるが、例えば、輪郭線ＭＬｐｒの近傍において隣り合う画素値の差（すなわち輝度変化）を輪郭線ＭＬｐｒから離れるように順次計算し、その輝度変化が、線構造の輝度変化（図１９の（ｂ）では｜Ｖ１−Ｖ３｜の一定の割合（例えば、５％〜１０％）となる位置までの範囲として決めることができる。
【００６１】
図９Ａ，９Ｂにおいて、画素抽出部１１２は、構造物検出部１１１により検出された構造物である領域構造ＲＧの輪郭線ＲＧｐｒを抽出する。画素抽出部１１２は、その輪郭線ＲＧｐｒをモルフォロジー処理により外側及び内側に所定画素数だけ膨張させることによって、近傍領域Ｒｎｈ１を算出する。画素抽出部１１２は、近傍領域Ｒｎｈ１に含まれる各画素の画素値の集合を抽出する。図８Ａ，８Ｂ，９Ａ，９Ｂを用いて説明されたように、本実施形態では、近傍領域Ｒｋは、構造物の輪郭線を所定画素数だけ内側及び外側に膨張させた領域とされている。
【００６２】
図３に戻って、ステップＳ３００において、画素抽出部１１２は、式（２）に示す画素値の集合Ｐ０、〜、画素値の集合Ｐｋ、〜、画素値の集合ＰＮ−１の和集合Ｓを作成する。
【００６３】
【数２】
2019220825.tif 000004
【００６４】
次に、ステップＳ４００において、ヒストグラム計算部１１３は、ステップＳ３００で作成された和集合Ｓに含まれる複数の画素値に関するヒストグラムを作成する。この作成されたヒストグラムを輝度ヒストグラムと呼ぶ。なお、画素値は輝度値を示す。
【００６５】
ステップＳ５００において、ヒストグラム平滑化部１１４は、作成された輝度ヒストグラムを用いて、ヒストグラム平滑化を行うコントラスト変換式を生成する。コントラスト変換前の対象胸部Ｘ線画像に含まれる輝度値ｚと、和集合Ｓに含まれる輝度値ｚの度数Ｈ（ｚ）と、和集合Ｓの要素数（つまり式（２）で定義される和集合Ｓに含まれる画素数）Ａと、輝度最大値Ｚｍａｘとを用いると、ヒストグラム平滑化後、つまり、コントラスト変換後の輝度値ｑ（ｚ）は、式（３）のコントラスト変換式で表される。度数Ｈ（ｚ）が和集合Ｓに含まれる画素値、つまり、輝度値ｚの度数であることは、度数Ｈ（ｚ）は対象胸部Ｘ線画像における近傍領域Ｒ０〜ＲＮ−１以外の領域の輝度値ｚの度数を含んでいないことを意味する。
【００６６】
この実施形態では、低階調化前の対象胸部Ｘ線画像の階調は、例えば１２ビット（４０９６階調）であり、低階調化後の画像の階調は、例えば８ビット（２５６階調）である。ここでは、低階調化の前に上述したコントラスト変換を行っており、輝度最大値Ｚｍａｘは、Ｚｍａｘ＝４０９５である。
【００６７】
【数３】
2019220825.tif 000005
【００６８】
式（３）におけるヒストグラム平滑化後の輝度値ｑ（ｚ）は、０≦ｚ≦Ｚｍａｘの輝度値ｚに対して算出される。例えばｚ＝０に対し、
ｑ（０）＝Ｈ（０）Ｚｍａｘ／Ａ
が求められる。例えばｚ＝１に対し、
ｑ（１）＝｛Ｈ（０）＋Ｈ（１）｝Ｚｍａｘ／Ａ
が求められる。例えばｚ＝２に対し、
ｑ（２）＝｛Ｈ（０）＋Ｈ（１）＋Ｈ（２）｝Ｚｍａｘ／Ａ
が求められる。例えばｚ＝Ｚｍａｘ＝４０９５に対し、
ｑ（４０９５）＝｛Ｈ（０）＋・・・＋Ｈ（４０９５）｝Ｚｍａｘ／Ａ
が求められる。
【００６９】
ステップＳ６００において、ヒストグラム平滑化部１１４は、１２ビットの輝度値ｑ（ｚ）から、階調削減式である式（４）によって、８ビットの輝度値ｔ（ｚ）を算出して、１２ビットの画像を８ビットの画像に低階調化する。
ｔ（ｚ）＝ｑ（ｚ）／１６  （４）
なお、式（３）、式（４）では、小数点以下は、四捨五入されて、又は切り捨てられて、整数の輝度値ｑ（ｚ）、ｔ（ｚ）が算出される。したがって、式（４）において、輝度値ｑ（ｚ）は０〜４０９５の整数であり、輝度値ｔ（ｚ）は０〜２５５の整数である。
【００７０】
ヒストグラム平滑化部１１４は、更に階調変換ＬＵＴ１０００（図１０）を作成する。ヒストグラム平滑化部１１４は、作成した階調変換ＬＵＴ１０００をＬＵＴ格納部１０５に格納する。
【００７１】
図１０は、階調変換ＬＵＴ１０００の一例を概略的に示す図である。階調変換ＬＵＴ１０００は、図１０に示されるように、元の輝度値ｚと、ヒストグラム平滑化及び低階調化後の輝度値ｔ（ｚ）とが対応付けられて、構成されている。ここで、上述のように、輝度値ｚは０〜４０９５の整数であり、輝度値ｔ（ｚ）は０〜２５５の整数である。
【００７２】
図８Ｂ、図９Ｂに示されるような構造物の近傍領域Ｍｎｈ１，Ｒｎｈ１は、構造物を構成する画素と、構造物を構成しない画素とを両方含む。すなわち、和集合Ｓは、Ｎ個の構造物のそれぞれに関して、構造物を構成する画素と、構造物を構成しない画素とを含む。このため、和集合Ｓの輝度ヒストグラムに対してヒストグラム平滑化を行うことで、対象胸部Ｘ線画像において、Ｎ個の構造物それぞれの構造物とその境界とのコントラストを向上させる階調変換ＬＵＴ１０００が得られることになる。
【００７３】
図３に戻って、ステップＳ７００において、輝度変換部１１５は、ステップＳ６００で作成された階調変換ＬＵＴ１０００を用いて、胸部Ｘ線画像の全画素を輝度変換する。ステップＳ８００において、表示制御部１１６は、８ビットに階調変換された対象胸部Ｘ線画像をディスプレイ１０８に表示する。これにより、Ｎ個の構造物全てに対するコントラストを向上させる輝度変換、及び低階調化する階調変換が実行される。８ビットに階調変換された対象胸部Ｘ線画像が、ディスプレイ１０８に表示されることとなる。
【００７４】
ここで、用語の定義が説明される。「階調変換」とは、（Ａ）画像の濃淡コントラストを改善するコントラスト変換と、（Ｂ）画像の濃淡の階調数を変換（削減）する階調削減と、の両方を含む輝度変換のことを言う。ヒストグラム平滑化及びγ補正は、（Ａ）コントラスト変換の具体的な手法の一例である。一方、「輝度変換」とは、特定の変換処理を指さず、単に輝度（画素値）の変換のことを言う。また、「階調」は、本来の意味としては、広義には「画像の濃淡の調子」のことを言い、狭義には「デジタル画像における濃淡の段階数」（例えば２５６階調）のことを言う。画素値は輝度値を示してもよい。
【００７５】
なお、本実施形態では、ステップＳ２００において、近傍領域Ｒｋは、構造物の輪郭線を所定画素数だけ内側及び外側に膨張させた領域とされたが、これに限られない。
【００７６】
図１１Ａは、図８Ａの線構造の近傍領域の異なる例を概略的に示す図である。図１１Ｂは、図９Ａの領域構造の近傍領域の異なる例を概略的に示す図である。
【００７７】
図１１Ａ、図１１Ｂの例では、画素抽出部１１２は、線構造ＭＬ、領域構造ＲＧの領域自体を所定画素数だけ外側に膨張させた領域を、それぞれ、近傍領域Ｍｎｈ２，Ｒｎｈ２としている。図１１Ａ、図１１Ｂに示されるような構造物の近傍領域は、構造物を構成する画素と、構造物の外側領域の画素とを両方含む。但し、図８Ｂ、図９Ｂに示される近傍領域と異なるのは、構造物自体を構成する画素をより多く含むことである。このため、図１１Ａ、図１１Ｂの近傍領域に含まれる画素の和集合Ｓの輝度ヒストグラムに対してヒストグラム平滑化を行うことで、構造物内部のコントラスト、及び、構造物とその境界とのコントラストを、Ｎ個の構造物全てに対して向上させる階調変換ＬＵＴが得られることになる。例えば、構造物が、骨、例えば肋骨または鎖骨、であった場合は、骨梁のコントラストが向上することになる。
【００７８】
以上のように、本開示の第１実施形態によれば、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を検出する。検出した構造物の近傍領域に対応する画素の画素値の集合のヒストグラムを用いて、ヒストグラム平滑化を行うコントラスト変換式を生成し、更に低階調化を行う階調削減式を生成して、階調変換ＬＵＴを得る。階調変換ＬＵＴを用いて、対象胸部Ｘ線画像全体の輝度変換を行う。これによって、頻度が多い輝度値の画素による影響を受けず、診断に重要な構造物のコントラストを向上させるような階調変換処理を行うことが可能となる。
【００７９】
（第２実施形態）
図１２は、第２実施形態における、胸部Ｘ線画像の階調変換方法を実行する画像階調変換装置１００Ａの構成を概略的に示すブロック図である。図１２の画像階調変換装置１００Ａは、図１の画像階調変換装置１００と比較して、正常モデル格納部１０３を更に備えるとともに、ＣＰＵ１２０に代えてＣＰＵ１２０Ａを備え、メモリ１２１に代えてメモリ１２１Ａを備える。
【００８０】
正常モデル格納部１０３（位置メモリの一例に相当）は、構造物間の相対位置関係に関する情報を予め格納する。メモリ１２１Ａは、メモリ１２１と同様に構成され、例えばＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭなどを含む。メモリ１２１ＡのＲＯＭは、ＣＰＵ１２０Ａを動作させる第２実施形態の制御プログラムを記憶する。
【００８１】
ＣＰＵ１２０Ａは、メモリ１２１Ａに記憶されている第２実施形態の制御プログラムを実行することによって、構造物検出部１１１、画素抽出部１１２、ヒストグラム計算部１１３、ヒストグラム平滑化部１１４、輝度変換部１１５、表示制御部１１６、解像度変換部１０９、及び探索領域設定部１１０として機能する。
【００８２】
解像度変換部１０９は、対象胸部Ｘ線画像に対し、複数段階の縮小変換を行い、互いに異なる解像度を有する画像群を作成する。解像度変換部１０９は、作成した画像群を、画像メモリ１０６に格納する。探索領域設定部１１０は、構造物検出部１１１による低解像度の画像に対する構造物の検出結果、及び、正常モデル格納部１０３に格納された構造物間の相対位置関係に関する情報を利用して、より高解像度の画像に対して、構造物の探索領域を設定する。
【００８３】
次に、第２実施形態に係る画像階調変換装置１００Ａにより実行される処理手順が説明される。なお、全体の処理手順は、図３のフローチャートを用いて説明された第１実施形態と同様である。
【００８４】
図１３は、ステップＳ１００（図３）において、第２実施形態に係る画像階調変換装置１００Ａにより実行される処理手順を概略的に示すフローチャートである。図１４は、解像度情報２６００を概略的に示す図である。
【００８５】
図１３のステップＳ１０１において、解像度変換部１０９は、ステップＳ５０（図３）で取得された対象胸部Ｘ線画像に対し、Ｒ（本実施形態では、例えばＲ＝３）段階の縮小画像を作成する。胸部Ｘ線画像の解像度は、一般に、一辺が２０００〜３０００画素で構成される。第２実施形態では、対象胸部Ｘ線画像の解像度は、例えば、２０４８×２０４８である。また、解像度変換部１０９により作成される３段階の縮小画像の解像度は、例えば、１０２４×１０２４、５１２×５１２、２５６×２５６である。
【００８６】
この第２実施形態では、最も低解像の画像から順に、解像度ｉが「０，１，２，３」と定められる。すなわち、２５６×２５６の画像の解像度ｉは「０」であり、５１２×５１２の画像の解像度ｉは「１」であり、１０２４×１０２４の画像の解像度ｉは「２」であり、２０４８×２０４８の画像（つまり元画像）の解像度ｉは「３」である。解像度変換部１０９は、作成した低解像度の縮小画像を、画像メモリ１０６に格納する。
【００８７】
次に、ステップＳ１０２において、構造物検出部１１１は、解像度ｉ＝０（即ち最も低解像の２５６×２５６）の画像を、構造物検出対象画像として画像メモリ１０６から読み出す。次に、ステップＳ１０３において、構造物検出部１１１は、解像度情報２６００（図１４）に基づき、解像度ｉの画像（最初のステップＳ１０３ではｉ＝０の画像）に対応づけられた構造物を検出する。
【００８８】
図１４に示されるように、解像度情報２６００は、構造物ＩＤ欄２６０１と、解像度ｉ欄２６０２とを備える。構造物ＩＤ欄２６０１には、第１実施形態で定義されている構造物ＩＤが「０」〜「Ｎ−１」のＮ個の構造物が設定されている。解像度ｉ欄２６０２には、構造物ＩＤ欄２６０１の構造物に対応して、構造物を検出する際に用いる画像の解像度が定義されている。例えば、構造物ＩＤが「０」の構造物は、解像度ｉが「０」、つまり解像度が２５６×２５６の画像から検出される。なお、図１４では、構造物に対して解像度は１つ設定されているが、これに限られない。例えば、構造物によっては、２種類以上の解像度を設定しておき、対応する構造物が、それぞれの解像度の画像で検出されるようにしてもよい。
【００８９】
構造物検出部１１１は、第１実施形態と同様に、非特許文献１に開示されているＵ−Ｎｅｔを用いて、構造物を検出する。Ｕ−Ｎｅｔは、上述のように畳み込みニューラルネットワークの一種である。畳み込みニューラルネットワークは、ディープニューラルネットワークの一種である。２層以上の中間層を備えるニューラルネットワークが、ディープニューラルネットワークと称される。ディープニューラルネットワークの機械学習時及び構造物検出時には、画像処理ユニット（ＧＰＵ）を用いて処理を高速化することが多い。この時、ＧＰＵの搭載メモリ量の制限により、高解像の画像は扱えない場合がある。そのような場合、原画像を縮小して解像度を低下させた画像がＵ−Ｎｅｔに入力されることになる。しかし、その場合には、特に線構造のようなサイズが小さい構造物に対する検出性能が低下する恐れがある。このため、本第２実施形態では、構造物検出部１１１は、低解像の画像から比較的大きいサイズ（第１サイズの一例に相当）の構造物を検出し、高解像の画像に対しトリミングすることで探索範囲を限定して比較的小さいサイズ（第２サイズの一例に相当）の構造物を検出する。
【００９０】
図１３に戻って、ステップＳ１０４において、構造物検出部１１１は、解像度ｉをインクリメントする。最初のステップＳ１０４ではｉ＝１になる。ステップＳ１０５において、構造物検出部１１１は、解像度ｉが解像度の上限を超えた（つまりｉ＝Ｒ＋１）か否かを判定する。解像度ｉが解像度の上限を超えていれば（ステップＳ１０５でＹＥＳ）、図２５の処理が終了し、ステップＳ１００（図３）の処理が終了する。一方、解像度ｉが解像度の上限を超えていなければ（ステップＳ１０５でＮＯ）、処理はステップＳ１０６に進む。
【００９１】
ステップＳ１０６において、探索領域設定部１１０は、図１４の解像度情報２６００に基づいて、解像度ｉ（最初のステップＳ１０６ではｉ＝１）に対応付けられた構造物を全て選定し、解像度ｉの画像に対し、対応する構造物毎に探索領域を設定する。事前の準備として、図４Ｂ、図５Ｂ、図６Ｂに示されるような大量の構造物の二値マスク画像から予め構造物同士の位置関係を求めて正常モデル格納部１０３に保存しておく。探索領域設定部１１０は、正常モデル格納部１０３に保存されている位置関係を読み出して、探索領域の設定に利用する。ステップＳ１０６が終了すると、処理はステップＳ１０３に戻る。２回目のステップＳ１０３において、構造物検出部１１１は、解像度情報２６００（図１４）に基づき、解像度ｉの画像（２回目のステップＳ１０３ではｉ＝１の画像）に対応づけられた構造物を検出する。以降は、解像度ｉが解像度の上限を超えない間（ステップＳ１０５でＮＯ）、ステップＳ１０３〜Ｓ１０６が繰り返される。
【００９２】
図１５は、図１３のステップＳ１０３〜Ｓ１０６の処理を概略的に示す図である。図１５において、まず、低解像（ｉ＝０）の胸部Ｘ線画像Ｉａから、構造物検出部１１１によって、構造物Ｐａ，Ｐｂが検出される（ステップＳ１０３）。図１５の例では、構造物Ｐａは、右肺野であり、構造物Ｐｂは、左肺野である。本実施形態において、胸部Ｘ線画像Ｉａは、第１Ｘ線画像の一例に相当し、解像度ｉ＝０（２５６×２５６）は、第１解像度の一例に相当し、構造物Ｐａ，Ｐｂのサイズは、第１サイズの一例に相当する。
【００９３】
次に、解像度ｉがインクリメントされて（ステップＳ１０４）、中解像（ｉ＝１）の胸部Ｘ線画像Ｉｂにおいて、探索領域設定部１１０によって、探索領域が設定される（ステップＳ１０６）。図１５の例では、探索領域ＳＡ１が示されているが、ステップＳ１０６では、解像度ｉに対応する構造物ＩＤ毎に、それぞれ、探索領域が設定される。また、正常モデル格納部１０３に保存されている、検出対象の構造物ＩＤと、既に検出された構造物（図１５の例では構造物Ｐａ又は構造物Ｐｂ）との位置関係を用いて、それぞれ、探索領域が設定される。
【００９４】
次に、中解像（ｉ＝１）の胸部Ｘ線画像Ｉｂにおいて、探索領域から、構造物検出部１１１によって、構造物が検出される（ステップＳ１０３）。図１５の例では、探索領域ＳＡ１から検出された構造物Ｐｃが示されているが、ステップＳ１０３では、探索領域ごとに、検出対象の構造物が検出される。本実施形態において、胸部Ｘ線画像Ｉｂは、第２Ｘ線画像の一例に相当し、解像度ｉ＝１（５１２×５１２）は、第２解像度の一例に相当し、構造物Ｐｃのサイズは、第２サイズの一例に相当する。
【００９５】
次に、解像度ｉがインクリメントされて（ステップＳ１０４）、高解像（ｉ＝２）の胸部Ｘ線画像Ｉｃにおいて、探索領域設定部１１０によって、探索領域が設定される（ステップＳ１０６）。図１５の例では、探索領域ＳＡ２が示されているが、ステップＳ１０６では、解像度ｉに対応する構造物ＩＤ毎に、それぞれ、探索領域が設定される。また、正常モデル格納部１０３に保存されている、検出対象の構造物ＩＤと、既に検出された構造物（図１５の例では構造物Ｐａ又は構造物Ｐｂ）との位置関係を用いて、それぞれ、探索領域が設定される。
【００９６】
次に、高解像（ｉ＝２）の胸部Ｘ線画像Ｉｃにおいて、探索領域から、構造物検出部１１１によって、構造物が検出される（ステップＳ１０３）。図１５の例では、探索領域ＳＡ２から検出された構造物Ｐｄが示されているが、ステップＳ１０３では、探索領域ごとに、検出対象の構造物が検出される。
【００９７】
以上のように、本開示の第２実施形態によれば、構造物検出部１１１として、Ｕ−Ｎｅｔ等のディープニューラルネットワークを用いる場合、ＧＰＵのメモリ量が少ない場合でも、高解像の画像を用いるときは、対象胸部Ｘ線画像のサイズより小さいサイズの探索領域を設定しているため、構造物検出性能の低下を抑制することができる。
【００９８】
さらに、第１実施形態の効果である、頻度が多い輝度値の画素による影響を受けず、診断に重要な構造物のコントラストを向上させるような階調変換処理を行うことが可能となる。
【００９９】
（第３実施形態）
図１６は、第３実施形態における、胸部Ｘ線画像の階調変換方法を実行する画像階調変換装置１００Ｂの構成を概略的に示すブロック図である。図１６の画像階調変換装置１００Ｂは、図１の画像階調変換装置１００と比較して、入力部１１８を更に備えるとともに、ＣＰＵ１２０に代えてＣＰＵ１２０Ｂを備え、メモリ１２１に代えてメモリ１２１Ｂを備える。
【０１００】
入力部１１８は、例えば医師又は放射線技師等のユーザによって操作される。メモリ１２１Ｂは、メモリ１２１と同様に構成され、例えばＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭなどを含む。メモリ１２１ＢのＲＯＭは、ＣＰＵ１２０Ｂを動作させる第３実施形態の制御プログラムを記憶する。
【０１０１】
ＣＰＵ１２０Ｂは、メモリ１２１Ｂに記憶されている第３実施形態の制御プログラムを実行することによって、構造物検出部１１１、画素抽出部１１２Ｂ、ヒストグラム計算部１１３、ヒストグラム平滑化部１１４、輝度変換部１１５、表示制御部１１６、及び通信制御部１１７として機能する。
【０１０２】
第１実施形態の画素抽出部１１２は、構造物検出部１１１により検出されたＮ個の構造物全ての近傍領域に対応する画素の画素値を抽出する。これに対して、第２実施形態の画素抽出部１１２Ｂは、構造物検出部１１１により検出されたＮ個の構造物のうち、入力部１１８を用いてユーザにより選択された構造物の近傍領域に対応する画素の画素値を抽出する。
【０１０３】
図１７は、第３実施形態に係る画像階調変換装置１００Ｂにより実行される処理手順を概略的に示すフローチャートである。図１７のステップＳ５０，Ｓ１００は、それぞれ、図３のステップＳ５０，Ｓ１００と同じである。ステップＳ１００に続くステップＳ１５０において、画素抽出部１１２Ｂは、構造物検出部１１１により検出されたＮ個の構造物のうち、入力部１１８を用いて指定された構造物を選択する。ステップＳ２５０において、画素抽出部１１２は、選択された構造物毎に、構造物の近傍領域に対応する画素値の集合を抽出する。図１７のステップＳ３００〜Ｓ８００は、それぞれ、図３のステップＳ３００〜Ｓ８００と同じである。
【０１０４】
この第３実施形態によれば、ユーザが所望の構造物のコントラストを向上させるような階調変換処理を行うことが可能となる。
【０１０５】
（第４実施形態）
図１８は、第４実施形態における、医療機関内のネットワーク構成４１０Ａを概略的に示すブロック図である。第４実施形態では、図１８に示されるように、医療機関のイントラネットワーク４００には、サーバ装置５００と、表示制御装置６００と、医用画像管理システム２００と、胸部Ｘ線画像撮影装置３００と、が接続されている。
【０１０６】
なお、サーバ装置５００と、表示制御装置６００と、医用画像管理システム２００と、胸部Ｘ線画像撮影装置３００とは、必ずしも、同一の医療機関内のイントラネットワーク４００上に接続されている必要はない。表示制御装置６００、及び、医用画像管理システム２００は、医療機関の外部に設けられたデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバなどの上で動作するソフトウェアであってもよい。
【０１０７】
図１８に示されるように、サーバ装置５００は、ＬＵＴ格納部１０５、画像メモリ１０６、通信部１０７、ＣＰＵ１３０、メモリ１３１を備えている。メモリ１３１は、例えば半導体メモリ等により構成される。メモリ１３１は、例えばＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭなどを含む。メモリ１３１のＲＯＭは、ＣＰＵ１３０を動作させる制御プログラムを記憶する。
【０１０８】
ＣＰＵ１３０は、メモリ１３１に記憶されている制御プログラムを実行することによって、構造物検出部１１１、画素抽出部１１２、ヒストグラム計算部１１３、ヒストグラム平滑化部１１４、輝度変換部１１５、及び通信制御部１１７Ａとして機能する。通信制御部１１７Ａは、通信部１０７を介して、輝度変換部１１５による輝度変換後の対象胸部Ｘ線画像を表示制御装置６００へ送信する。
【０１０９】
表示制御装置６００（端末装置の一例に相当）は、例えば、タブレット型コンピュータで構成され、医師又は放射線技師などの医療従事者が保持する。図１８に示されるように、表示制御装置６００は、ＣＰＵ１４０と、メモリ１４１と、画像メモリ１４２と、通信部１４３と、ディスプレイ１０８と、を備える。
【０１１０】
メモリ１４１は、例えば半導体メモリ等により構成される。メモリ１４１は、例えばＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭなどを含む。メモリ１４１のＲＯＭは、ＣＰＵ１４０を動作させる制御プログラムを記憶する。ＣＰＵ１４０は、メモリ１４１に記憶されている制御プログラムを実行することによって、表示制御部１１６、通信制御部１１７Ｂとして機能する。
【０１１１】
通信制御部１１７Ｂは、通信部１４３を介して、サーバ装置５００から送信された輝度変換後の対象胸部Ｘ線画像のデータを受信し、受信したデータを画像メモリ１４２に格納する。表示制御部１１６は、画像メモリ１４２に格納された、輝度変換後の対象胸部Ｘ線画像をディスプレイ１０８に表示する。
【０１１２】
この第４実施形態によれば、上記第１実施形態と同様の効果を得ることができる。代替的に、サーバ装置５００のＣＰＵ１３０は、構造物検出部１１１、画素抽出部１１２、ヒストグラム計算部１１３、ヒストグラム平滑化部１１４、輝度変換部１１５、通信制御部１１７、解像度変換部１０９（図１２）、探索領域設定部１１０（図１２）として機能するようにしてもよい。この場合には、上記第２実施形態と同様の効果を得ることができる。
【産業上の利用可能性】
【０１１３】
本開示によれば、読影対象である胸部Ｘ線画像の診断支援システム、および医学生又は研修医のための読影教育システムに利用可能である。
【符号の説明】
【０１１４】
１００  画像階調変換装置
１０５  ＬＵＴ格納部
１０６  画像メモリ
１０８  ディスプレイ
１１１  構造物検出部
１１２  画素抽出部
１１３  ヒストグラム計算部
１１４  ヒストグラム平滑化部
１１５  輝度変換部
１１６  表示制御部
１１７，１１７Ａ  通信制御部
２００  医用情報管理システム
３００  胸部Ｘ線画像撮影装置
４００  イントラネットワーク
５００  サーバ装置
６００  表示制御装置
【図１】
2019220825.tif 000007
【図２】
2019220825.tif 000008
【図３】
2019220825.tif 000009
【図４Ａ】
2019220825.tif 000010
【図４Ｂ】
2019220825.tif 000011
【図４Ｃ】
2019220825.tif 000012
【図５Ａ】
2019220825.tif 000013
【図５Ｂ】
2019220825.tif 000014
【図５Ｃ】
2019220825.tif 000015
【図６Ａ】
2019220825.tif 000016
【図６Ｂ】
2019220825.tif 000017
【図６Ｃ】
2019220825.tif 000018
【図７】
2019220825.tif 000019
【図８Ａ】
2019220825.tif 000020
【図８Ｂ】
2019220825.tif 000021
【図９Ａ】
2019220825.tif 000022
【図９Ｂ】
2019220825.tif 000023
【図１０】
2019220825.tif 000024
【図１１Ａ】
2019220825.tif 000025
【図１１Ｂ】
2019220825.tif 000026
【図１２】
2019220825.tif 000027
【図１３】
2019220825.tif 000028
【図１４】
2019220825.tif 000029
【図１５】
2019220825.tif 000030
【図１６】
2019220825.tif 000031
【図１７】
2019220825.tif 000032
【図１８】
2019220825.tif 000033
【図１９】
2019220825.tif 000034
【国際調査報告】
2019220825.tif 000035
2019220825.tif 000036
2019220825.tif 000037
2019220825.tif 000038