(57)【要約】  この学習済みモデル（１０）の製造方法は、損失関数（Ａ）の値が小さくなるように学習モデル（１１）を最適化するステップを備える。損失関数（Ａ）は、教師データ（２０）に対して、輝度調整した輝度調整後画像（３）の所定領域（ＰＡ）のコントラストが小さくなる場合よりも、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力するように構成されている。
2020070834.tif 000002
【特許請求の範囲】
【請求項１】
被写体の写り込んだ放射線画像を入力とし、前記放射線画像の輝度調整パラメータを出力する機械学習による学習済みモデルの製造方法であって、
教師データに含まれる入力画像を入力として、学習モデルにより前記入力画像の前記輝度調整パラメータを出力するステップと、
前記学習モデルによる前記輝度調整パラメータを用いて、前記輝度調整パラメータに関する損失関数の値を取得するステップと、
前記損失関数の値が小さくなるように前記学習モデルを最適化するステップと、を備え、
前記損失関数は、前記教師データに対して、前記輝度調整パラメータに基づいて輝度調整した輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、前記教師データに対して前記輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている、学習済みモデルの製造方法。
【請求項２】
前記損失関数は、前記輝度調整後画像の前記所定領域において画素値の飽和により白飛びまたは黒つぶれが発生する場合に、前記所定領域において画素値の飽和が発生しない場合よりも相対的に大きい値が出力されるように構成されている、請求項１に記載の学習済みモデルの製造方法。
【請求項３】
前記損失関数は、前記教師データに対して前記輝度調整後画像のコントラストが小さくなる場合よりも、前記教師データに対して前記輝度調整後画像のコントラストが大きくなる場合に、大きい重み付けがされた重み関数を含む、請求項１に記載の学習済みモデルの製造方法。
【請求項４】
前記損失関数は、前記教師データに含まれる教師パラメータと、前記教師データに含まれる前記入力画像に対する前記輝度調整パラメータとの誤差に基づく関数である、請求項１に記載の学習済みモデルの製造方法。
【請求項５】
前記損失関数は、前記教師データに含まれる教師画像の画素値と、前記教師データに含まれる前記入力画像を前記輝度調整パラメータに基づいて輝度調整した前記輝度調整後画像の画素値との比較に基づく関数である、請求項１に記載の学習済みモデルの製造方法。
【請求項６】
前記損失関数は、画像中の前記所定領域において画素値の飽和が発生する場合に、前記所定領域以外の領域において画素値の飽和が発生する場合よりも大きい値が出力されるように構成されている、請求項５に記載の学習済みモデルの製造方法。
【請求項７】
前記損失関数は、前記教師データに含まれる前記所定領域の位置情報と前記損失関数の偏り情報とに基づいて、前記入力画像における位置毎に偏りの大きさが設定されている、請求項６に記載の学習済みモデルの製造方法。
【請求項８】
前記所定領域は、前記被写体が写り込む領域の少なくとも一部を含む、請求項１に記載の学習済みモデルの製造方法。
【請求項９】
前記輝度調整パラメータは、前記放射線画像において前記輝度調整後画像に変換する画素値範囲の中央値を規定するウィンドウレベルと、前記画素値範囲の大きさを規定するウィンドウ幅と、を含む、請求項１に記載の学習済みモデルの製造方法。
【請求項１０】
被写体の写り込んだ放射線画像を入力とし、前記放射線画像の輝度調整パラメータを出力する機械学習を用いた輝度調整方法であって、
前記放射線画像を取得するステップと、
機械学習による学習済みモデルを用いて、前記放射線画像に対する前記輝度調整パラメータを取得するステップと、
前記輝度調整パラメータに基づいて、前記放射線画像を輝度調整して輝度調整後画像を取得するステップと、を備え、
前記学習済みモデルは、前記輝度調整パラメータに関する損失関数の最適化を行う学習により作成され、
前記損失関数は、機械学習の教師データに対して前記輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、前記教師データに対して前記輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている、輝度調整方法。
【請求項１１】
前記被写体の撮影部位または撮影目的に関する情報を取得するステップをさらに備え、
前記輝度調整パラメータを取得するステップにおいて、前記撮影部位または撮影目的に関する情報に基づいて、複数の前記学習済みモデルのうちから前記輝度調整に用いる前記学習済みモデルを選択する、請求項１０に記載の輝度調整方法。
【請求項１２】
放射線画像を取得する画像取得部と、
被写体の写り込んだ放射線画像を入力とし、前記放射線画像の輝度調整パラメータを出力する機械学習による学習済みモデルを記憶する記憶部と、
前記学習済みモデルを用いて、前記放射線画像に対する前記輝度調整パラメータを取得するパラメータ取得部と、
前記輝度調整パラメータに基づいて、前記放射線画像を輝度調整して輝度調整後画像を取得する調整処理部と、を備え、
前記学習済みモデルは、前記輝度調整パラメータに関する損失関数の最適化を行う学習により作成され、
前記損失関数は、機械学習の教師データに対して前記輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、前記教師データに対して前記輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放射線画像の輝度調整方法に関する。
【背景技術】
【０００２】
従来、被写体を撮影した医用放射線画像に対して、診断に適した輝度およびコントラストとなるように輝度調整を行うことが知られている。このような放射線画像の輝度調整は、たとえば、特開２０１５−１８１５４３号公報に開示されている。【０００３】
上記特開２０１５−１８１５４３号公報には、被写体を撮影した入力画像から主要被写体領域を抽出し、その領域の輝度値を代表する代表値を取得し、代表値の近傍のコントラストを強調または抑制する階調変換係数を算出し、算出した階調変換係数を用いて、所定のアルゴリズムに従って入力画像の各画素の輝度値（画素値）を変換することにより、入力画像の輝度調整を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１８１５４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
放射線画像の輝度調整では、画像中の被写体などの診断に関わる領域においてコントラストを高くして視認性を向上させる一方で、その領域において画素値の飽和が生じないようにすることが望まれる。画素値の飽和とは、画素値の上限または下限を超えるレベルの信号によって画素の情報が失われることであり、上限値を超えた画素はいわゆる「白飛び」、下限値を下回る画素はいわゆる「黒つぶれ」と呼ばれる。輝度調整によってコントラストを大きくするほど画素値の飽和が発生しやすくなることから、輝度調整は、被写体などの診断に関わる領域において画素値の飽和が発生しない条件下で、診断に関わる領域のコントラストを極力大きくすることが好ましい。【０００６】
上記特開２０１５−１８１５４３号公報に開示された技術では、一定のアルゴリズムに従って輝度調整を行うため、領域の抽出ミスの発生や、画素値の分布が通常とは大きく異なる人工関節などの例外ケースに対処することが困難であり、被写体などの診断に関わる領域に白飛びや黒つぶれが発生することがある。そこで、近年、機械学習による学習済みモデルを用いて、輝度調整パラメータを入力画像から直接出力することが試みられている。機械学習が有効に機能すれば、被写体などの診断に関わる領域に白飛びや黒つぶれの発生を抑制しつつ極力コントラストを大きくでき、かつ、人工関節などの例外ケースにも対処可能となることが期待される。【０００７】
しかし、機械学習では、多数の学習用データを用いて統計的な学習が行われるため、出力される輝度調整パラメータは最適値（被写体などの診断に関わる領域において画素値の飽和が発生しない条件下で、極力コントラストを大きくする値）に対して、コントラストを大きくする方向と、コントラストを小さくする方向とにそれぞればらつく。このため、最適値を出力するように機械学習させた学習済みモデルでは、出力される輝度調整パラメータが最適値に対してコントラストを大きくする方向にばらつくと、白飛びまたは黒つぶれ（画素値の飽和）が発生する可能性があるという問題点がある。【０００８】
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域で白飛びまたは黒つぶれが発生することを抑制することが可能な学習済みモデルの製造方法、輝度調整方法および画像処理装置を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、この発明の第１の局面における学習済みモデルの製造方法は、被写体の写り込んだ放射線画像を入力とし、放射線画像の輝度調整パラメータを出力する機械学習による学習済みモデルの製造方法であって、教師データに含まれる入力画像を入力として、学習モデルにより入力画像の輝度調整パラメータを出力するステップと、学習モデルによる輝度調整パラメータを用いて、輝度調整パラメータに関する損失関数の値を取得するステップと、損失関数の値が小さくなるように学習モデルを最適化するステップと、を備え、損失関数は、教師データに対して、輝度調整パラメータに基づいて輝度調整した輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。【００１０】
この発明の第１の局面における学習済みモデルの製造方法では、上記の構成によって、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、損失関数が相対的に大きい値を出力するので、最適値を超えて大きなコントラストとなるように輝度調整パラメータを出力することが抑制された学習済みモデルを得ることができる。つまり、製造された学習済みモデルでは、放射線画像に対して出力する輝度調整パラメータの予測分布を、最適値（被写体などの診断に関わる所定領域において画素値の飽和が発生しない条件下で、極力コントラストを大きくする値）に対してコントラストを小さくする方向に偏らせることができる。これにより、所定領域のコントラストを大きくしすぎることによって輝度調整後画像の所定領域に白飛びまたは黒つぶれ（画素値の飽和）が発生することを抑制できる。以上により、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域（所定領域）で白飛びまたは黒つぶれが発生することを抑制することができる。【００１１】
上記第１の局面における学習済みモデルの製造方法において、損失関数は、輝度調整後画像の所定領域において画素値の飽和により白飛びまたは黒つぶれが発生する場合に、所定領域において画素値の飽和が発生しない場合よりも相対的に大きい値が出力されるように構成されていてもよい。このように構成すれば、所定領域において白飛びまたは黒つぶれが発生する場合に、損失関数の値が大きくなるように偏るので、所定領域における白飛びまたは黒つぶれの発生を抑制するように偏って学習された学習済みモデルを得ることができる。【００１２】
上記第１の局面における学習済みモデルの製造方法において、損失関数は、教師データに対して輝度調整後画像のコントラストが小さくなる場合よりも、教師データに対して輝度調整後画像のコントラストが大きくなる場合に、大きい重み付けがされた重み関数を含んでもよい。このように構成すれば、コントラストに応じて出力値を偏らせるために複数の損失関数を準備する必要がなく、重み関数によって、損失関数の値を容易に偏らせることができる。【００１３】
上記第１の局面における学習済みモデルの製造方法において、損失関数は、教師データに含まれる教師パラメータと、教師データに含まれる入力画像に対する輝度調整パラメータとの誤差に基づく関数であってもよい。輝度調整パラメータの誤差に基づく損失関数を用いた機械学習では、誤差は最適値に対してコントラストが小さくなる方向とコントラストが大きくなる方向とに、対称的にばらつくと考えられる。そのため、偏りのない損失関数によって学習した場合、学習済みモデルから出力される輝度調整パラメータの予測分布のうち半分は、最適値に対してコントラストを大きくする方向にばらついて白飛びまたは黒つぶれ（画素値の飽和）が発生する可能性がある。上記構成によれば、教師パラメータと輝度調整パラメータとの誤差に基づく損失関数であっても、誤差が最適値に対して対称的に評価されることを抑制し、最適値に対してコントラストが大きくなる場合に損失関数の値を相対的に大きくすることができるので、効果的に、所定領域での画素値の飽和の発生を抑制することができる。【００１４】
上記第１の局面における学習済みモデルの製造方法において、損失関数は、教師データに含まれる教師画像の画素値と、教師データに含まれる入力画像を輝度調整パラメータに基づいて輝度調整した輝度調整後画像の画素値との比較に基づく関数であってもよい。ここで、教師画像は、最適値と考えられる輝度調整パラメータに基づいて輝度調整された輝度調整後画像である。画素値の比較に基づく損失関数を用いた機械学習では、輝度調整後画像において白飛びまたは黒つぶれ（画素値の飽和）が発生していると、その領域の画素値が飽和している分だけ過小評価されることになるため、コントラストを大きくする方向に偏って学習されやすい。その結果、偏りのない損失関数によって学習した学習済みモデルでは、出力される輝度調整パラメータが最適値に対してコントラストを大きくする方向にばらついて白飛びまたは黒つぶれ（画素値の飽和）が発生する可能性がある。そこで、上記構成によれば、画素値の比較に基づく損失関数であっても、最適値に対してコントラストが大きくなる場合に損失関数の値を相対的に大きくし、画素の飽和に起因して誤差が過小評価されることを抑制できるので、効果的に、所定領域での画素値の飽和の発生を抑制することができる。【００１５】
上記損失関数が教師画像の画素値と輝度調整後画像の画素値との比較に基づく関数である場合に、損失関数は、画像中の所定領域において画素値の飽和が発生する場合に、所定領域以外の領域において画素値の飽和が発生する場合よりも大きい値が出力されるように構成されていてもよい。ここで、たとえば画像中の被写体が写り込む所定領域と、所定領域以外の背景の領域とでは、診断上の重要度が異なる。そのため、所定領域において画素値の飽和が発生する場合に損失関数の値を相対的に大きくし、所定領域以外では損失関数の値を相対的に小さくすることによって、所定領域での画素値の飽和の発生を抑制しつつ、重要度の低い所定領域以外の領域における誤差によって学習が影響を受けることを抑制することができる。【００１６】
この場合、損失関数は、教師データに含まれる所定領域の位置情報と損失関数の偏り情報とに基づいて、入力画像における位置毎に偏りの大きさが設定されていてもよい。このように構成すれば、所定領域の位置情報に基づいて、所定領域と所定領域以外の領域とを区別し、損失関数の偏り情報に基づいて、所定領域と所定領域以外の領域とでの損失関数の偏りの大小関係を特定することができるので、容易に、画像中の領域に応じて損失関数の偏りの大きさを異ならせる事ができる。【００１７】
上記第１の局面における学習済みモデルの製造方法において、所定領域は、被写体が写り込む領域の少なくとも一部を含んでもよい。このように構成すれば、画像中において、診断に関わる被写体が写り込む領域におけるコントラストを小さくする方向へ学習を偏らせた学習済みモデルが得られるので、学習済みモデルにより出力される輝度調整パラメータを用いて、より確実に、被写体が写り込む領域で白飛びまたは黒つぶれが発生することを抑制することができる。【００１８】
上記第１の局面における学習済みモデルの製造方法において、輝度調整パラメータは、放射線画像において輝度調整後画像に変換する画素値範囲の中央値を規定するウィンドウレベルと、画素値範囲の大きさを規定するウィンドウ幅と、を含んでもよい。このようなウィンドウレベルとウィンドウ幅による輝度調整では、ウィンドウ幅の値によって、所定領域の画素値のコントラストの大小を調整することができる。そのため、多数のパラメータがコントラストに影響する場合と比べて、損失関数によるコントラストの評価を容易に行うことができる。【００１９】
この発明の第２の局面における輝度調整方法は、被写体の写り込んだ放射線画像を入力とし、放射線画像の輝度調整パラメータを出力する機械学習を用いた輝度調整方法であって、放射線画像を取得するステップと、機械学習による学習済みモデルを用いて、放射線画像に対する輝度調整パラメータを取得するステップと、輝度調整パラメータに基づいて、放射線画像を輝度調整して輝度調整後画像を取得するステップと、を備え、学習済みモデルは、輝度調整パラメータに関する損失関数の最適化を行う学習により作成され、損失関数は、機械学習の教師データに対して輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。【００２０】
この発明の第２の局面における輝度調整方法では、上記の構成によって、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、損失関数が相対的に大きい値を出力する。その結果、その損失関数によって機械学習した学習済みモデルでは、放射線画像に対して出力する輝度調整パラメータの予測分布を、最適値に対してコントラストを小さくする方向に偏らせることができる。このため、最適値を出力するように学習させた学習済みモデルであっても、最適値を超えて大きなコントラストとなるように輝度調整パラメータを出力することが抑制されるので、出力された輝度調整パラメータを用いて輝度調整を行っても、所定領域のコントラストを大きくしすぎることによって輝度調整後画像の所定領域に白飛びまたは黒つぶれ（画素値の飽和）が発生することを抑制できる。以上により、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域（所定領域）で白飛びまたは黒つぶれが発生することを抑制することができる。【００２１】
上記第２の局面における輝度調整方法において、被写体の撮影部位または撮影目的に関する情報を取得するステップをさらに備え、輝度調整パラメータを取得するステップにおいて、撮影部位または撮影目的に関する情報に基づいて、複数の学習済みモデルのうちから輝度調整に用いる学習済みモデルを選択してもよい。なお、撮影部位とは、被写体の頭部、腹部、腰部、四肢などの撮影の対象となる個々の部位を意味する。撮影目的とは、撮影された画像により把握したい診断内容または画像の用途であり、たとえば胸部画像であっても、心臓、肺、骨部のいずれの病変を把握するかといったものである。ここで、医用放射線画像では、撮影部位や撮影目的に応じて、描出すべき対象が異なるため、輝度調整パラメータの最適値も大きく異なる可能性がある。そこで、撮影部位または撮影目的に応じて別個に学習させた複数の学習済みモデルを用意し、撮影部位または撮影目的に関する情報に基づいて学習済みモデルの選択を行うことによって、撮影部位または撮影目的に応じた最適な輝度調整を行うことができる。【００２２】
この発明の第３の局面における画像処理装置は、放射線画像を取得する画像取得部と、被写体の写り込んだ放射線画像を入力とし、放射線画像の輝度調整パラメータを出力する機械学習による学習済みモデルを記憶する記憶部と、学習済みモデルを用いて、放射線画像に対する輝度調整パラメータを取得するパラメータ取得部と、輝度調整パラメータに基づいて、放射線画像を輝度調整して輝度調整後画像を取得する調整処理部と、を備え、学習済みモデルは、輝度調整パラメータに関する損失関数の最適化を行う学習により作成され、損失関数は、機械学習の教師データに対して輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。【００２３】
第３の局面における画像処理装置では、上記の構成によって、第２の局面による輝度調整方法と同様に、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域（所定領域）で白飛びまたは黒つぶれが発生することを抑制することができる。
【発明の効果】
【００２４】
本発明によれば、上記のように、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域で白飛びまたは黒つぶれが発生することを抑制することができる。
【図面の簡単な説明】
【００２５】
【図１】第１実施形態による輝度調整方法および学習済みモデルの製造方法を説明するための図である。
【図２】放射線画像の一例を示した図である。
【図３】学習済みモデルを説明するための図である。
【図４】輝度調整の内容を説明するための図である。
【図５】階調変換の第１の例（Ａ）および第２の例（Ｂ）を示す図である。
【図６】複数のウィンドウ幅を示した図（Ａ）および各ウィンドウ幅での階調変換を説明するための図（Ｂ）〜（Ｄ）である。
【図７】第１実施形態における損失係数の変化（Ａ）および輝度調整パラメータの予測分布（Ｂ）を示した図である。
【図８】第１実施形態による画像処理装置を備えた撮像システムを説明するための図である。
【図９】画像処理装置の構成を説明するためのブロック図である。
【図１０】画像処理装置による輝度調整方法を説明するためのフロー図である。
【図１１】輝度調整パラメータの取得処理（サブルーチン）のフロー図である。
【図１２】撮影部位または撮影目的に関する情報を説明するための図である。
【図１３】機械学習を行う学習データ処理部を示した図である。
【図１４】第１実施形態による学習済みモデルの製造方法を説明するためのフロー図である。
【図１５】教師データの入力画像に対する画像改変処理を説明するための図である。
【図１６】第２実施形態の損失関数および教師データを示した図である。
【図１７】入力画像（Ａ）と、入力画像に対する重みマップの例（Ｂ）および（Ｃ）を示した図である。
【図１８】第２実施形態における損失係数の変化（Ａ）および輝度調整パラメータの予測分布（Ｂ）を示した図である。
【発明を実施するための形態】
【００２６】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【００２７】
図１〜図１５を参照して、第１実施形態による学習済みモデルの製造方法、輝度調整方法および画像処理装置について説明する。
【００２８】
（輝度調整方法および学習済みモデルの製造方法の概要）
図１に示す第１実施形態による輝度調整方法は、被写体の写り込んだ放射線画像１を入力とし、放射線画像１の輝度調整パラメータ２を出力する機械学習を用いた輝度調整方法である。
【００２９】
放射線画像１は、医師等による患者の診断等に用いられる医用画像であり、たとえば図２に示すようなＸ線画像である。具体的には、放射線画像１は、いわゆる単純Ｘ線撮影により被写体の診断部位（患部）を撮影した静止画像である。放射線画像１は、たとえば所定の階調数で区分された画素値により画素毎の濃淡（明暗）が表現された単色のデジタル画像である。図２では、被検体の腰部の大腿骨周辺を撮像した放射線画像１の例を示している。放射線画像１による診断では、診断の目的となる患部の状態をより正確に把握できるようにするために、放射線画像１の輝度調整が行われる。輝度調整は、階調変換ともいう。
【００３０】
具体的には、図１に示すように、第１実施形態の輝度調整方法は、放射線画像１を取得するステップＳ１と、機械学習による学習済みモデル１０を用いて、放射線画像１に対する輝度調整パラメータ２を取得するステップＳ２と、輝度調整パラメータ２に基づいて、放射線画像１を輝度調整して輝度調整後画像３を取得するステップＳ３と、を備える。
【００３１】
ステップＳ１において、たとえばＸ線撮影装置などにより構成される撮像部２１０により、被写体の写り込む放射線画像１が取得される。ステップＳ１では、画像を記憶する画像サーバ２５０に予め記憶された放射線画像１が、画像サーバ２５０から取得されてもよい。
【００３２】
ステップＳ２において、学習済みモデル１０は、輝度調整の対象となる放射線画像１が入力されると、入力された画像に対する輝度調整パラメータ２を出力する。学習済みモデル１０は、入力された画像（放射線画像１）に対して、診断に最適な輝度調整パラメータ２を出力するように機械学習されている。機械学習法としては、入力された画像に対する輝度調整パラメータ２を出力する処理に適した手法であれば、特に限定されない。
【００３３】
一例として、第１実施形態では、学習済みモデル１０は、図３に示すように、畳み込みニューラルネットワークＣＮＮからなる前段と、全結合層ＦＣからなる後段とを有する。このような学習済みモデル１０は、前段の畳み込みニューラルネットワークＣＮＮにより放射線画像１中から診断のために重要な所定領域を認識する画像認識の機能を有し、後段の全結合層ＦＣにより前段の出力を輝度調整パラメータ２に変換する機能を有すると考えられる。畳み込みニューラルネットワークＣＮＮの高精度な画像認識機能を学習済みモデル１０が備えることにより、診断のために重要な領域での白飛びや黒つぶれなどの画素値の飽和を効果的に抑制することが期待される。また、畳み込みニューラルネットワークＣＮＮの多層化（深層化）により、個々の放射線画像１の個体差や人工関節などの例外的なケースにも対応可能となることが期待される。
【００３４】
図１に示すように、輝度調整パラメータ２を出力する処理を行う学習済みモデル１０を作成するためには、多数の教師データ２０を用いた機械学習が行われる。本明細書では、学習済みモデル１０の製造段階の、機械学習による学習中の状態を、学習モデル１１とする。学習モデル１１に対する機械学習が行われたものが、学習済みモデル１０である。
【００３５】
第１実施形態において、機械学習に用いる教師データ２０は、入力画像２１と教師パラメータ２２とを含む。入力画像２１は、学習用に予め準備された放射線画像（図２参照）であって、輝度調整が行われる前の元画像である。教師パラメータ２２は、入力画像２１に対して出力される輝度調整パラメータの最適値として作成される正解データである。
【００３６】
医用放射線画像では、関心領域の視認性を向上させるため、画像中の被写体などの診断に関わる所定領域ＰＡ（図２参照）において、極力大きなコントラストが得られることが望まれる。一方、医用放射線画像では、画像中の被写体などの診断に関わる所定領域ＰＡにおいて、いわゆる白飛びや黒つぶれなどの画素値の飽和が発生しないことが望まれる。一方、医用放射線画像では、画像中の被写体など所定領域ＰＡ以外の、背景や診断に関係のない領域ＰＢ（図２参照）については、コントラストの低下や画素値の飽和の発生は許容される。そのため、医用放射線画像における輝度調整パラメータの最適値とは、診断に関わる所定領域ＰＡにおいて画素値の飽和が発生しない条件下で、所定領域ＰＡのコントラストを極力大きくする値であると定義できる。教師パラメータ２２は、個々の入力画像２１に対して、たとえば教師データ作成者がパラメータ調整を行う作業によって導き出された最適値である。
【００３７】
学習済みモデルを製造する際、入力画像２１を入力とし、輝度調整パラメータ２を出力として、入力画像２１から教師パラメータ２２への変換処理を学習モデル１１に学習させる。機械学習では、学習中の学習モデル１１の出力結果（輝度調整パラメータ２）と、教師データ２０（教師パラメータ２２）との差異を評価する損失関数が定義される。機械学習は、損失関数を小さくする最適化演算により、教師データ２０との差異を最小化する出力結果を出力するように学習モデル１１の内部パラメータを最適化（学習）させるものである。学習を収束させるのに十分な数の教師データ２０を用いて、学習を収束させるのに十分な回数に亘って学習モデル１１の最適化（学習）を行うことにより、学習済みモデル１０が製造される。このように、学習済みモデル１０は、輝度調整パラメータ２に関する損失関数の最適化を行う学習により作成されたものである。
【００３８】
ここで、第１実施形態の損失関数Ａは、機械学習の教師データ２０に対して輝度調整後画像３の所定領域ＰＡ（図２参照）のコントラストが小さくなる場合よりも、教師データ２０に対して輝度調整後画像３の所定領域ＰＡのコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。
【００３９】
所定領域ＰＡ（図２参照）は、上記の通り、医用放射線画像において画像中の被写体などの診断に関わる領域である。所定領域ＰＡは、被写体が写り込む領域の少なくとも一部を含む。所定領域ＰＡは、被写体が写り込む領域の全部である必要はなく、被写体が写り込む領域の一部のみに設定されうる。診断に関わる関心領域は、被写体のうち疾患が存在すると考えられる一部の領域である。そのため、所定領域ＰＡは、被写体が写り込む領域のうち関心領域を含む一部の領域であり得る。
【００４０】
ステップＳ３において、輝度調整パラメータ２に基づく輝度調整の処理が行われる。この結果、入力された放射線画像１の輝度が調整された輝度調整後画像３が取得される。輝度調整後画像３は、たとえば表示装置に出力され、医師等による診断に用いられる。
【００４１】
〈輝度調整パラメータ〉
次に、学習済みモデル１０が出力する輝度調整パラメータ２について説明する。第１実施形態において、輝度調整（階調変換）処理の内容は特に限定されず、輝度調整パラメータ２は、画像の輝度調整処理に応じたものであれば特に限定されない。第１実施形態では、一例として、入力画像の階調範囲のうち一部の範囲を表示用の階調範囲に変換するウィンドウ処理による輝度調整を説明する。
【００４２】
図４は、放射線画像１の画素値（階調）のヒストグラムＨＧと、輝度調整後の出力階調との概念図である。ヒストグラムＨＧの横軸は、入力画像における画素値であり、ヒストグラムＨＧの縦軸は、その画素値を有する画素数（頻度）である。
【００４３】
ウィンドウ処理では、入力された画像のうち、輝度調整パラメータ２によって特定された一部の階調範囲を抽出して、輝度調整後の出力階調範囲に合わせるように変換する。これにより、ウィンドウ処理では、診断に関わる所定領域ＰＡ（図２参照）を構成する画像部分が有する画素値範囲を輝度調整パラメータ２によって特定することによって、所定領域ＰＡのコントラストを調節することができる。また、ウィンドウ処理では、元の放射線画像１における階調範囲の一部を抽出して、表示装置の出力可能な階調範囲に変換することが可能である。図４に示すように、医用放射線画像の階調数は、一般に、表示装置が表示可能な階調数よりも大きい。たとえば医用放射線画像は０〜４０９５の４０９６階調（１２ｂｉｔ）の画素値を有する画像データである。一方、一般的な表示装置は０〜２５５の２５６階調（８ｂｉｔ）で表示を行う。以下では、４０９６階調の入力画像に対して、２５６階調の階調範囲に変換するウィンドウ処理の例を説明する。
【００４４】
輝度調整パラメータ２は、放射線画像１において輝度調整後画像３に変換する画素値範囲の中央値を規定するウィンドウレベルＷＬと、画素値範囲の大きさを規定するウィンドウ幅ＷＷと、を含む。輝度調整処理では、ウィンドウレベルＷＬを中心としたウィンドウ幅ＷＷの階調範囲を、出力階調（０〜２５５）に割り当てることにより、輝度調整が行われる。このとき、放射線画像１において、ウィンドウ幅ＷＷの下限値ＶＬ以下の画素値（０〜ＶＬ）を有する画素は、輝度調整後画像３において最低階調（０階調）に変換される。放射線画像１において、ウィンドウ幅ＷＷの上限値ＶＨ以上の画素値（ＶＨ〜４０９５）を有する画素は、輝度調整後画像３において最大階調（２５５階調）に変換される。これにより、輝度調整後画像３は、出力階調に応じた階調数で表現される画像となる。ウィンドウ幅ＷＷの階調範囲は、出力階調の範囲（２５６階調）よりも大きくてもよいし、小さくてもよい。
【００４５】
図５は、ウィンドウ幅ＷＷの階調範囲を、出力階調（０〜２５５）に変換する場合の変換特性（濃度変換曲線）の例を示している。輝度調整では、図５（Ａ）のように、ウィンドウ幅ＷＷの階調範囲を一次式（線形の変換特性）で出力階調に変換してもよいし、図５（Ｂ）のように、ウィンドウ幅ＷＷの階調範囲を二次式、対数関数などの非線形の変換特性で出力階調に変換してもよい。図５（Ｂ）のようなケースでは、輝度調整パラメータ２が変換特性（濃度変換曲線の形状）を決定する追加のパラメータを含んでもよい。
【００４６】
図６（Ａ）に示すように、たとえばヒストグラムＨＧのうちハッチングを付した範囲に含まれる画素によって、所定領域ＰＡの画像部分が構成されていると仮定する。このとき、ウィンドウ幅ＷＷが、所定領域ＰＡ（ハッチング部）の階調範囲よりも大きいＷＷａ、所定領域ＰＡの階調範囲と一致するＷＷｂ、所定領域ＰＡの階調範囲よりも小さいＷＷｃの３パターンで設定される場合を考える。
【００４７】
ウィンドウ幅ＷＷがＷＷａで設定される場合、図６（Ｂ）に示すように、所定領域ＰＡの階調範囲ＷＷｂは、輝度調整後画像３において出力階調範囲（０〜２５５）のうち一部の範囲で表現される。所定領域ＰＡは、２５６階調よりも狭い範囲で表現される。
【００４８】
ウィンドウ幅ＷＷがＷＷｂで設定される場合、図６（Ｃ）に示すように、所定領域ＰＡの階調範囲ＷＷｂは、輝度調整後画像３において出力階調範囲（０〜２５５）の全範囲で表現される。そのため、ウィンドウ幅ＷＷがＷＷａで設定される場合と比べてコントラストが増大する。
【００４９】
ウィンドウ幅ＷＷがＷＷｃで設定される場合、図６（Ｄ）に示すように、所定領域ＰＡの階調範囲ＷＷｂは、ウィンドウ幅ＷＷｃよりも広くなるので、所定領域ＰＡを構成する画素のうち、ウィンドウ幅ＷＷｃの外側の画素値（ウィンドウ幅ＷＷｃの上限値ＶＨ以上の画素値、および、ウィンドウ幅ＷＷｃの下限値ＶＬ以下の画素値）を有する画素については、輝度調整後画像３では画素値が飽和して０階調または２５５階調として表現される。所定領域ＰＡの内でウィンドウ幅ＷＷｃの内側に属する画素については、輝度調整後画像３において出力階調範囲（０〜２５５）の全範囲で表現されるため、コントラストが増大する。
【００５０】
このように、輝度調整パラメータ２では、ウィンドウ幅ＷＷを小さくするほど、輝度調整後画像３での所定領域ＰＡのコントラストが大きくなる。言い換えると、ウィンドウ幅ＷＷを小さくするほど、輝度調整後画像３では所定領域ＰＡに含まれる画素の濃淡（明暗）を、より多くの階調数で表現できるため、コントラスト分解能が高くなる。一方、ウィンドウ幅ＷＷを小さくし過ぎると、輝度調整後画像３の所定領域ＰＡに白飛びや黒つぶれなどの画素値の飽和が発生する。ウィンドウ幅ＷＷを大きくするほど、輝度調整後画像３での所定領域ＰＡのコントラストが小さくなる。ウィンドウ幅ＷＷを大きくするほど、輝度調整後画像３では所定領域ＰＡに含まれる画素の濃淡（明暗）が、より少ない階調数で表現されるため、コントラスト分解能が低くなる。
【００５１】
〈損失関数〉
次に、損失関数について説明する。図１に示したように、機械学習に用いる教師データ２０（教師パラメータ２２）は、輝度調整パラメータ２の最適値（正解）を提供するものであるため、極力、階調範囲ＷＷｂ（図６参照）をウィンドウ幅ＷＷとするように設計される。学習済みモデル１０は、損失関数を用いた最適化によって、入力された放射線画像１に対して、階調範囲ＷＷｂに相当するウィンドウ幅ＷＷの値を、輝度調整パラメータ２として出力するように構成される。そのため、輝度調整パラメータ２としてのウィンドウ幅ＷＷが最適値（ＷＷｂ）よりも大きい方向にばらつく場合、最適値と比較してコントラストが小さくなり、所定領域ＰＡにおいて画素値の飽和は発生にくい方向に輝度調整が行われることになる。一方、輝度調整パラメータ２としてのウィンドウ幅ＷＷが最適値（ＷＷｂ）よりも小さい方向にばらつく場合、最適値と比較してコントラストが大きくなり、所定領域ＰＡにおいて白飛びや黒つぶれなどの画素値の飽和が発生しやすい方向に輝度調整が行われることになる。
【００５２】
そこで、図１に示したように、第１実施形態では、損失関数Ａは、機械学習の教師データ２０に対して輝度調整後画像３の所定領域ＰＡのコントラストが小さくなる場合よりも、教師データ２０に対して輝度調整後画像３の所定領域ＰＡのコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。
【００５３】
すなわち、損失関数Ａは、学習中の学習モデル１１から出力された輝度調整パラメータ２が、最適値である教師データ２０に対してコントラストを小さくする方向に誤差を有している場合、誤差を相対的に小さく評価し、学習中の学習モデル１１から出力された輝度調整パラメータ２が、最適値である教師データ２０に対してコントラストを大きくする方向に誤差を有している場合、誤差を相対的に大きく評価するように設計された関数である。機械学習では、損失関数Ａを小さくするように学習モデル１１を最適化するため、コントラストを大きくする方向の誤差に対して損失関数Ａの出力値が大きくなる結果、学習モデル１１は、よりコントラストを抑制する方向に学習が偏る。
【００５４】
したがって、仮に学習中の学習モデル１１から出力された輝度調整パラメータ２が、最適値（ＷＷｂ）である教師パラメータ２２よりも小さいウィンドウ幅ＷＷを出力し、所定領域ＰＡに画素値の飽和（白飛びまたは黒つぶれ）が生じた場合、損失関数Ａは相対的に大きく見積もられることになる。このように、第１実施形態では、損失関数Ａは、輝度調整後画像３の所定領域ＰＡにおいて画素値の飽和により白飛びまたは黒つぶれが発生する場合に、所定領域ＰＡにおいて画素値の飽和が発生しない場合よりも相対的に大きい値が出力されるように構成されている。
【００５５】
損失関数Ａの具体例を示す。第１実施形態では、損失関数Ａは、教師データ２０に含まれる教師パラメータ２２と、教師データ２０に含まれる入力画像２１に対する輝度調整パラメータ２との誤差に基づく関数である。
【００５６】
また、損失関数Ａは、教師データ２０に対して輝度調整後画像３のコントラストが小さくなる場合よりも、教師データ２０に対して輝度調整後画像３のコントラストが大きくなる場合に、大きい重み付けがされた重み関数を含む。
【００５７】
たとえば、損失関数Ａは、下式（１）に示す重み付き平均二乗誤差である。
【数１】
2020070834.tif 000003
上式（１）において、ＷＬ、ＷＷは、それぞれ、入力画像２１に対して学習中の学習モデル１１が出力するウィンドウレベルおよびウィンドウ幅（輝度調整パラメータ２）である。ＷＬ０、ＷＷ０は、教師データ２０に含まれるウィンドウレベルおよびウィンドウ幅（教師パラメータ２２）である。ＷＷ０は、図６で例示した最適値（ＷＷｂ）に相当する値である。ｆ（ｒ）が、重み関数である。ｗは、重みの値（ｗ＞１）である。
【００５８】
重み関数ｆ（ｒ）は、学習モデル１１の出力結果と教師データ２０との誤差（ＷＷ−ＷＷ０）が負となる場合（ウィンドウ幅ＷＷが最適値よりも小さく、コントラストが大きい場合）に、重みｗの値が加味されて誤差を相対的に大きく見積もる。重み関数ｆ（ｒ）は、学習モデル１１の出力結果と教師データ２０との誤差（ＷＷ−ＷＷ０）が正となる場合（ウィンドウ幅ＷＷが最適値よりも大きく、コントラストが小さい場合）には、重みｗを加味することなく、誤差の値をそのまま出力する。重みｗは、特に限定されないが、たとえば１０である。この場合、損失関数Ａは、誤差（ＷＷ−ＷＷ０）が正となる場合と比べて、誤差（ＷＷ−ＷＷ０）が負となる場合に誤差を１０倍大きく評価する。
【００５９】
これにより、損失関数Ａは、教師データ２０に対して輝度調整後画像３の所定領域ＰＡのコントラストが大きくなる場合（誤差（ＷＷ−ＷＷ０）が負となる場合）に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせる。
【００６０】
次に、図７を参照して、第１実施形態の損失関数Ａによる学習の偏りが、学習済みモデル１０の出力する輝度調整パラメータ２に与える影響を説明する。図７（Ａ）は、ウィンドウ幅ＷＷ（横軸）に対する、損失関数Ａの出力値（縦軸）の変化を示したグラフであり、図７（Ｂ）は、損失関数Ａを用いて最適化された学習済みモデル１０が出力するウィンドウ幅ＷＷの予測分布ＰＤを示したグラフである。予測分布ＰＤは、横軸の各ウィンドウ幅ＷＷの値を学習済みモデル１０が出力する頻度（確率）を示す。
【００６１】
比較例として、重み付けを含まない単純な平均二乗誤差による損失関数ＲＭＳＥを用いたケースを破線で示す。比較例の損失関数ＲＭＳＥは、下式（２）で表される。
【数２】
2020070834.tif 000004
【００６２】
上式（２）および図７（Ａ）から分かるように、比較例による損失関数ＲＭＳＥは、誤差の方向（ウィンドウ幅ＷＷの大小）に対して対称的である。そのため、損失関数ＲＭＳＥを用いて最適化された学習済みモデルの出力結果の予測分布ＣＤは、最適値ＷＷ０に対して対称的な分布となると考えられる。上記の通り、出力されるウィンドウ幅ＷＷが最適値ＷＷ０に対し小さい側にずれた場合、所定領域ＰＡに画素値の飽和が発生すると考えられる。比較例による損失関数ＲＭＳＥを用いて最適化された学習済みモデルでは、出力結果の予測分布ＣＤの対称性から、出力されるウィンドウ幅ＷＷのうち、およそ半数のケースで、所定領域ＰＡに画素値の飽和が発生する可能性がある。
【００６３】
これに対して、図７において実線で示した損失関数Ａは、最適値（ＷＷ０）で極小値を取りながら、ウィンドウ幅ＷＷが最適値（教師データ２０）よりも小さい方向において重み係数ｗの分だけ大きく見積もられるため、非対称的に偏っている。
【００６４】
そのため、第１実施形態の損失関数Ａを用いて最適化された学習済みモデル１０の出力結果の予測分布ＰＤは、最適値ＷＷ０に対して、コントラストを大きくする方向（ウィンドウ幅ＷＷを小さくする方向）よりも、コントラストを小さくする方向（ウィンドウ幅ＷＷを大きくする方向）に偏った分布となる。
【００６５】
この結果、予測分布ＰＤから分かるように、第１実施形態の損失関数Ａを用いて最適化された学習済みモデル１０では、出力されるウィンドウ幅ＷＷが、最適値ＷＷ０を超えてコントラストを大きくする方向（ウィンドウ幅ＷＷを小さくする方向）へばらつくことが抑制され、所定領域ＰＡに画素値の飽和が発生する可能性が抑制される。
【００６６】
（画像処理装置）
次に、図８および図９を参照して、第１実施形態の画像処理装置１００について説明する。画像処理装置１００は、被写体の写り込んだ放射線画像１に対して、放射線画像１の輝度調整パラメータ２を出力する機械学習による学習済みモデル１０を用いて、輝度調整処理を行うように構成されている。すなわち、画像処理装置１００は、上記した第１実施形態の輝度調整方法を実行する装置として構成されている。
【００６７】
図８の例では、画像処理装置１００は、被写体の放射線画像１を撮像する撮像システム２００の一部として構成されている。撮像システム２００は、撮像部２１０と、制御部２２０と、画像処理装置１００、操作部２３０と、表示部２４０とを備える。操作部２３０は、キーボード、マウスその他の入力装置である。表示部２４０は、液晶表示装置などの画像表示装置により構成されている。
【００６８】
撮像部２１０は、天板２１１と、Ｘ線照射部２１２と、Ｘ線検出部２１３とを含んでいる。天板２１１は、被写体ＳＢ（人）を支持するように構成されている。Ｘ線照射部２１２は、被写体ＳＢに向けてＸ線を照射するように構成されている。Ｘ線検出部２１３は、たとえばＦＰＤ（Ｆｌａｔ  Ｐａｎｅｌ  Ｄｅｔｅｃｔｏｒ）により構成され、Ｘ線照射部２１２から照射され、被写体ＳＢを透過したＸ線を検出するように構成されている。撮像部２１０により、被写体の関心領域が写り込んだＸ線画像（図２参照）が、放射線画像１として取得される。
【００６９】
制御部２２０は、撮像部２１０の撮像動作を制御するように構成されたコンピュータである。制御部２２０は、天板２１１、Ｘ線照射部２１２およびＸ線検出部２１３を移動させる図示しない移動機構の制御、Ｘ線照射部２１２によるＸ線照射の制御、撮影条件の設定などの各種制御を行う。
【００７０】
また、画像処理装置１００は、撮像部２１０、操作部２３０および表示部２４０とそれぞれ接続されている。画像処理装置１００は、撮像部２１０のＸ線検出部２１３から、Ｘ線の検出信号を取得し、取得した検出信号に基づいて放射線画像１を取得する。画像処理装置１００は、放射線画像１（図１参照）の輝度調整を行い、輝度調整後画像３（図１参照）を取得する。
【００７１】
図９に示すように、画像処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、専用設計されたＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）などのプロセッサ１１０と、ＲＯＭ、ＲＡＭ、揮発性または不揮発性記憶装置（ＨＤＤ、ＳＤＤ（ｓｏｌｉｄ  ｓｔａｔｅ  ｄｒｉｖｅ））などの記憶部１２０と、を備えたコンピュータにより構成されている。画像処理装置１００は、所定のソフトウェア（プログラム）が記憶部にインストールされたコンピュータ（パーソナルコンピュータやワークステーション、スーパーコンピュータなど）または複数台のコンピュータからなるコンピュータシステムによって構成されうる。
【００７２】
第１実施形態では、画像処理装置１００は、画像取得部１１１と、パラメータ取得部１１２と、調整処理部１１３と、を備える。画像取得部１１１と、パラメータ取得部１１２と、調整処理部１１３とは、たとえば、プロセッサ１１０の機能ブロックとして構築されている。すなわち、コンピュータが備えるプロセッサ１１０が、記憶部１２０に記憶されたプログラム１２１を実行することにより、画像取得部１１１、パラメータ取得部１１２、調整処理部１１３として機能する。
【００７３】
画像取得部１１１は、放射線画像１を取得するように構成されている。画像取得部１１１は、たとえば、Ｘ線検出部２１３から取得した検出信号に基づいて、放射線画像１を生成する。画像取得部１１１は、記憶部１２０に記憶された放射線画像１を記憶部１２０から読み出すことにより、または、外部の画像サーバ２５０からネットワークを介して放射線画像１を受信することにより、放射線画像１を取得しうる。画像取得部１１１は、取得した放射線画像１を、パラメータ取得部１１２および調整処理部１１３へそれぞれ出力する。
【００７４】
パラメータ取得部１１２は、記憶部１２０に記憶された学習済みモデル１０を用いて、放射線画像１に対する輝度調整パラメータ２を取得するように構成されている。すなわち、パラメータ取得部１１２は、画像取得部１１１から取得した放射線画像１を学習済みモデル１０に入力することにより、ウィンドウレベルＷＬおよびウィンドウ幅ＷＷを含む輝度調整パラメータ２を取得する。パラメータ取得部１１２は、取得した輝度調整パラメータ２を、調整処理部１１３へ出力する。
【００７５】
調整処理部１１３は、輝度調整パラメータ２に基づいて、放射線画像１を輝度調整して輝度調整後画像３を取得するように構成されている。調整処理部１１３は、パラメータ取得部１１２から取得した輝度調整パラメータ２（ウィンドウレベルＷＬ、ウィンドウ幅ＷＷ）に基づいてウィンドウ処理を行い、輝度調整後画像３を取得する。調整処理部１１３は、取得した輝度調整後画像３を表示部２４０に出力し、記憶部１２０に記憶させる。また、調整処理部１１３は、操作部２３０を介して操作者からの入力操作を受け付ける。調整処理部１１３は、操作部２３０を介して、操作者による輝度調整パラメータ２の直接入力を受け付けることができる。輝度調整パラメータ２の入力を受け付けた場合、調整処理部１１３は、入力された輝度調整パラメータ２に基づいて、輝度調整を行う。
【００７６】
記憶部１２０は、被写体の写り込んだ放射線画像１を入力とし、放射線画像１の輝度調整パラメータ２を出力する機械学習による学習済みモデル１０を記憶する。すなわち、記憶部１２０は、図１に示したように、輝度調整パラメータ２に関する損失関数Ａの最適化を行う学習により予め作成された学習済みモデル１０を記憶する。
【００７７】
記憶部１２０は、この他、プロセッサ１１０が実行するプログラム１２１、放射線画像１を記憶している。また、記憶部１２０は、取得された輝度調整後画像３を記憶する。
【００７８】
画像処理装置１００の画像取得部１１１と、パラメータ取得部１１２と、調整処理部１１３とを、プロセッサがソフトウェアを実行することにより実現される機能ブロックとして構築する代わりに、それぞれの処理を行う専用のハードウェアにより構築してもよい。
【００７９】
（輝度調整処理）
図１０〜図１２を参照して、画像処理装置１００による輝度調整処理を説明する。図１０〜図１２に示した輝度調整処理は、画像処理装置１００により、第１実施形態の輝度調整方法を実施するものである。
【００８０】
図１０のステップＳ１１において、たとえば撮像部２１０により撮像が行われることにより、画像取得部１１１が、放射線画像１を取得する。ステップＳ１２において、パラメータ取得部１１２が、記憶部１２０に記憶された学習済みモデル１０により、放射線画像１の輝度調整パラメータ２を取得する処理を行う。第１実施形態では、輝度調整パラメータ２を取得する処理は、図１１のステップＳ２１〜Ｓ２３を含む。
【００８１】
すなわち、第１実施形態の輝度調整方法では、図１１に示すように、被写体の撮影部位または撮影目的に関する情報５を取得するステップＳ２１を備える。
【００８２】
具体的には、図１２に示すように、パラメータ取得部１１２が、操作部２３０を介した情報入力を受け付けることにより、被写体の撮影部位または撮影目的に関する情報５を取得する。
【００８３】
撮影部位の情報は、たとえば胸部正面、側面、腹部（腰部）正面、四肢骨部（たとえば膝関節正面、側面、手部）など、どの部位が撮影されたかを示す情報である。撮影目的の情報は、骨折の診断や、特定の疾病の診断などの情報である。たとえば胸部正面の放射線画像において肺組織や心臓組織の状態（腫瘍の有無、気管支や血管走行など）を診察する場合と、図２に示したような腰部の放射線画像１における大腿骨など骨部の状態（骨折、脱臼、骨変形など）を診察する場合とでは、輝度調整パラメータ２の最適値は異なる。
【００８４】
そこで、第１実施形態では、記憶部１２０は、これらの撮影部位または撮影目的に関する情報５に応じた複数の学習済みモデル１０を予め記憶している。それぞれの学習済みモデル１０は、撮影部位や撮影目的に応じた放射線画像１に対して最適な輝度調整パラメータ２を出力するように、学習されている。たとえば胸部正面用の学習済みモデル１０では、肺組織や心臓組織の状態を確認するのに最適な輝度調整を行うための教師データ２０を用いて、胸部正面の画像用の輝度調整パラメータ２を学習している。記憶部１２０は、それぞれの学習済みモデル１０を、撮影部位または撮影目的に関する情報５と対応付けて記憶している。
【００８５】
そして、図１１のステップＳ２２において、パラメータ取得部１１２が、撮影部位または撮影目的に関する情報５に基づいて、複数の学習済みモデル１０のうちから輝度調整に用いる学習済みモデル１０が選択する。これにより、パラメータ取得部１１２は、撮影部位または撮影目的に応じた学習済みモデル１０を取得する。
【００８６】
ステップＳ２３において、パラメータ取得部１１２が、選択した学習済みモデル１０により、放射線画像１の輝度調整パラメータ２を取得する。このように、第１実施形態の輝度調整方法では、輝度調整パラメータ２を取得するステップにおいて、撮影部位または撮影目的に関する情報５に基づいて、複数の学習済みモデル１０のうちから輝度調整に用いる学習済みモデル１０が選択される。選択された学習済みモデル１０によって、放射線画像１の輝度調整パラメータ２が取得される。
【００８７】
図１０に戻り、ステップＳ１３において、調整処理部１１３が、取得された輝度調整パラメータ２に基づいて放射線画像１の輝度調整を行う。これにより、調整処理部１１３は輝度調整後画像３を取得する。ステップＳ１４において、調整処理部１１３が、取得した輝度調整後画像３を記憶部１２０に記憶させ、表示部２４０に出力する。
【００８８】
以上により、画像処理装置１００による第１実施形態の輝度調整方法が実施される。
【００８９】
（学習済みモデルの製造方法）
次に、図１３〜図１５を参照して、第１実施形態による学習済みモデルの製造方法を説明する。
【００９０】
図１３に示すように、学習済みモデル１０の製造（機械学習）は、画像処理装置１００とは別個に設けられた学習データ処理部５０により実施されうる。学習データ処理部５０は、所定のソフトウェア（プログラム）が記憶部にインストールされたコンピュータ（パーソナルコンピュータやワークステーション、スーパーコンピュータなど）または複数のコンピュータからなるコンピュータシステムによって構成される。
【００９１】
学習済みモデル１０の製造方法は、被写体の写り込んだ放射線画像１を入力とし、放射線画像１の輝度調整パラメータ２を出力する機械学習により学習済みモデルを製造する方法である。学習データ処理部５０は、入力画像２１および教師パラメータ２２を含む教師データ２０、損失関数Ａ、学習用の学習モデル１１を記憶部に記憶し、機械学習によって学習済みモデル１０を製造する。学習データ処理部５０は、機械学習を収束させるために必要な複数の教師データ２０の学習用データセットを記憶している。
【００９２】
図１４に示すように、ステップＳ３１において、学習データ処理部５０は、学習用データセットのうちから、学習を行う教師データ２０を取得する。ステップＳ３２において、学習データ処理部５０は、教師データ２０に含まれる入力画像２１を入力として、学習モデル１１により入力画像２１の輝度調整パラメータ２を取得する。
【００９３】
ステップＳ３３において、学習データ処理部５０は、学習モデル１１による輝度調整パラメータ２を用いて、輝度調整パラメータ２に関する損失関数Ａの値を取得する。第１実施形態では、学習データ処理部５０は、教師データ２０に含まれる教師パラメータ２２（ウィンドウレベルＷＬ０、ウィンドウ幅ＷＷ０）と、学習モデル１１の出力結果としての輝度調整パラメータ２（ウィンドウレベルＷＬ、ウィンドウ幅ＷＷ）とに基づき、上式（１）により、損失関数Ａの出力値を取得する。
【００９４】
ステップＳ３４において、学習データ処理部５０は、損失関数Ａの値が小さくなるように学習モデル１１を最適化する。学習データ処理部５０は、損失関数Ａの出力値を最小にする輝度調整パラメータ２（ウィンドウレベルＷＬ、ウィンドウ幅ＷＷ）を出力するための学習モデル１１の内部パラメータを学習する。ステップＳ３１〜Ｓ３４により、１つの教師データ２０に対する機械学習が行われる。
【００９５】
ステップＳ３５において、学習データ処理部５０は、学習用データセットに、次の（未学習の）教師データ２０があるか否かを判断し、次の教師データ２０がある場合、ステップＳ３１において次の教師データ２０を取得して、機械学習を行う。ステップＳ３５において、学習用データセットに含まれる教師データ２０の学習が全て完了した場合（次の教師データ２０がない場合）、処理がステップＳ３６に進む。
【００９６】
ステップＳ３６において、学習データ処理部５０は、学習用データセットに含まれる教師データ２０の学習が、予め設定された所定回数だけ実施されたか否かを判断する。学習回数が所定回数に達していない場合、学習データ処理部５０は、所定回数に達するまでステップＳ３１〜Ｓ３５の処理を繰り返す。そして、学習回数が所定回数に達すると、機械学習が完了し、学習済みモデル１０が作成される。学習データ処理部５０は、ステップＳ３７において、作成された学習済みモデル１０を記憶部に記憶して、処理を終了する。
【００９７】
このようにして、学習済みモデル１０の製造方法が実施される。製造された学習済みモデル１０は、たとえばネットワークを介して、画像処理装置１００に送信され、記憶部１２０に記憶される。図１２に示したように撮影部位や撮影目的に応じた複数の学習済みモデル１０を製造する場合、撮影部位や撮影目的毎に学習用データセットを用意し、撮影部位や撮影目的毎の学習用データセットを用いて、それぞれ図１４のステップＳ３１〜Ｓ３７を実行する。これにより、撮影部位や撮影目的に応じた放射線画像１に対して最適な輝度調整パラメータ２を出力するように学習された複数の学習済みモデル１０が製造される。
【００９８】
なお、学習用データセットには、１つの入力画像２１に対して各種の画像改変処理が行われることにより作成された複数の入力画像２１が含まれ得る。たとえば図１５に示すように、入力画像２１の回転（Ａ）、反転（Ｂ）、アフィン変換などの変形（Ｃ）、輝度および／コントラストの変化（Ｄ）、拡大または縮小（図示省略）、などの画像改変処理が、パラメータをランダムに変化させて行われる。それぞれの入力画像２１に教師パラメータ２２が設定され、それぞれ別個の教師データ２０として学習用データセットに含められる。その結果、１つの入力画像２１から多数の異なる入力画像２１を取得することができ、学習を収束させるためのデータ数の拡充が容易に行える。
【００９９】
また、第１実施形態において、学習済みモデル１０の製造方法は、図１３において画像処理装置１００によって実施されてもよい。この場合、図９に示したように、画像処理装置１００の記憶部１２０は、教師データ２０の学習用データセットを記憶し、画像処理装置１００のプロセッサ１１０は、学習部１１４を機能ブロックとして含む。学習部１１４により、図１４に示したステップＳ３１〜Ｓ３７の各処理が実施される。
【０１００】
この際、学習部１１４は、撮像部２１０から取得した放射線画像１を入力画像２１として、新たな教師データ２０を作成して、学習済みモデル１０の追加学習を行ってもよい。たとえば、パラメータ取得部１１２により出力された輝度調整パラメータ２を用いて輝度調整した放射線画像１に対して、操作者により、操作部２３０を介して輝度調整パラメータの入力（手動での再設定）が行われた場合に、その放射線画像１を入力画像２１とし、入力された輝度調整パラメータを教師パラメータ２２とした教師データ２０が作成されてもよい。このようなケースでは、画像処理装置１００により自動輝度調整した結果が最適値から外れていたために、操作者によって手動で最適な輝度調整パラメータが設定されたものと考えられる。そのため、手動入力されたパラメータを教師パラメータ２２とした教師データ２０を用いて学習済みモデル１０の追加学習を行うことにより、輝度調整処理の更なる最適化を図ることができる。
【０１０１】
なお、学習済みモデル１０の追加学習は、画像処理装置１００とネットワーク接続された学習データ処理部５０において行ってもよい。この場合、画像処理装置１００は、放射線画像１から作成した教師データ２０を、学習データ処理部５０に送信し、学習データ処理部５０において学習済みモデル１０の追加学習を行いうる。
【０１０２】
（第１実施形態の効果）
第１実施形態では、以下のような効果を得ることができる。
【０１０３】
第１実施形態による学習済みモデル１０の製造方法、輝度調整方法および画像処理装置１００では、上記のように、教師データ２０に対して輝度調整後画像３の所定領域ＰＡのコントラストが大きくなる場合に、損失関数Ａが相対的に大きい値を出力する。その結果、その損失関数Ａによって機械学習した学習済みモデル１０では、放射線画像１に対して出力する輝度調整パラメータ２の予測分布ＰＤを、最適値ＷＷ０に対してコントラストを小さくする方向に偏らせることができる。このため、最適値ＷＷ０を出力するように学習させた学習済みモデル１０であっても、最適値ＷＷ０を超えて大きなコントラストとなるように輝度調整パラメータ２を出力することが抑制されるので、輝度調整後画像３の所定領域ＰＡに白飛びまたは黒つぶれ（画素値の飽和）が発生することを抑制できる。以上により、機械学習による学習済みモデル１０を用いた輝度調整において、画像中の被写体などの診断に関わる領域（所定領域ＰＡ）で白飛びまたは黒つぶれが発生することを抑制することができる。
【０１０４】
なお、輝度調整パラメータ２の予測分布ＰＤを、最適値ＷＷ０に対してコントラストを小さくする方向に偏らせるには、たとえば教師データ２０における教師パラメータ２２を、最適値ＷＷ０に対してコントラストを小さくする方向に偏らせることも考えられる。しかし、この場合、予測分布ＰＤのピークが最適値ＷＷ０から外れて、単純に最適値ＷＷ０よりもコントラストを小さくした輝度調整パラメータ２が出力されるように学習される。これに対して、第１実施形態では、教師パラメータ２２を最適値ＷＷ０として誤差を偏らせるので、損失関数Ａの最小値は最適値ＷＷ０のままであり、予測分布ＰＤのピークを最適値ＷＷ０に極力一致させるように学習させることができる。
【０１０５】
また、第１実施形態では、上記のように、損失関数Ａは、輝度調整後画像３の所定領域ＰＡにおいて画素値の飽和により白飛びまたは黒つぶれが発生する場合に、所定領域ＰＡにおいて画素値の飽和が発生しない場合よりも相対的に大きい値が出力されるように構成されている。これにより、所定領域ＰＡにおいて白飛びまたは黒つぶれが発生する場合に、損失関数Ａの値が大きくなるので、所定領域ＰＡのける白飛びまたは黒つぶれの発生を抑制するように偏って学習された学習済みモデル１０を得ることができる。
【０１０６】
また、第１実施形態では、上記のように、損失関数Ａは、教師データ２０に対して輝度調整後画像３のコントラストが小さくなる場合よりも、教師データ２０に対して輝度調整後画像３のコントラストが大きくなる場合に、大きい重み付けがされた重み関数ｆ（ｒ）を含む。これにより、重み関数によって、損失関数Ａの値を容易に偏らせることができる。
【０１０７】
また、第１実施形態では、上記のように、損失関数Ａは、教師データ２０に含まれる教師パラメータ２２と、教師データ２０に含まれる入力画像２１に対する輝度調整パラメータ２との誤差に基づく関数である。これにより、教師パラメータ２２と輝度調整パラメータ２との誤差に基づく損失関数Ａであっても、誤差が最適値ＷＷ０に対して対称的に評価されることを抑制し、最適値ＷＷ０に対してコントラストが大きくなる場合に損失関数Ａの値を相対的に大きくすることができるので、効果的に、所定領域ＰＡでの画素値の飽和の発生を抑制することができる。
【０１０８】
また、第１実施形態では、上記のように、所定領域ＰＡは、被写体が写り込む領域の少なくとも一部を含む。これにより、学習済みモデル１０により出力される輝度調整パラメータ２を用いて、確実に、被写体が写り込む領域で白飛びまたは黒つぶれが発生することを抑制することができる。
【０１０９】
また、第１実施形態では、上記のように、輝度調整パラメータ２は、放射線画像１において輝度調整後画像３に変換する画素値範囲の中央値を規定するウィンドウレベルＷＬと、画素値範囲の大きさを規定するウィンドウ幅ＷＷと、を含む。これにより、ウィンドウ幅ＷＷの値によって、所定領域ＰＡの画素値のコントラストの大小を調整することができる。そのため、多数のパラメータがコントラストに影響する場合と比べて、損失関数Ａによるコントラストの評価を容易に行うことができる。
【０１１０】
また、第１実施形態では、上記のように、被写体の撮影部位または撮影目的に関する情報５を取得するステップをさらに備え、輝度調整パラメータ２を取得するステップにおいて、撮影部位または撮影目的に関する情報５に基づいて、複数の学習済みモデル１０のうちから輝度調整に用いる学習済みモデル１０を選択する。このように撮影部位または撮影目的に応じて別個に学習させた複数の学習済みモデル１０を用意し、撮影部位または撮影目的に関する情報５に基づいて学習済みモデル１０の選択を行うことによって、撮影部位または撮影目的に応じた最適な輝度調整を行うことができる。
【０１１１】
（第２実施形態）
次に、図１６〜図１８を参照して、第２実施形態による学習済みモデルの製造方法および輝度調整方法について説明する。第２実施形態では、損失関数Ａを、教師パラメータ２２と輝度調整パラメータ２との誤差に基づく関数として上記第１実施形態とは異なり、教師データ２０と輝度調整後画像３との比較に基づく関数とする例について説明する。第２実施形態において、上記第１実施形態と同様の構成については、同一の符号を用いるとともに説明を省略する。
【０１１２】
図１６に示すように、第２実施形態では、学習済みモデル１０は、輝度調整パラメータ２に関する損失関数Ｂの最適化を行う学習により作成されている。損失関数Ｂは、教師データ２０に含まれる教師画像２３の画素値と、教師データ２０に含まれる入力画像２１を輝度調整パラメータ２に基づいて輝度調整した輝度調整後画像３の画素値との比較に基づく関数である。
【０１１３】
具体的には、第２実施形態では、機械学習において、教師データ２０に含まれる入力画像２１を入力として、学習中の学習モデル１１により出力された輝度調整パラメータ２に基づいて、輝度調整後画像３が取得される。また、教師データ２０に含まれる入力画像２１と、教師パラメータ２２とに基づいて、輝度調整された教師画像２３が取得される。輝度調整後画像３と教師画像２３とは、教師データ２０に含まれる同一の入力画像２１に対してそれぞれ輝度調整を行った画像である。教師画像２３は、輝度調整パラメータの最適値に基づいて輝度調整された機械学習の正解画像となる。
【０１１４】
そして、損失関数Ｂは、両画像の同一画素における、教師画像２３の画素値と、輝度調整後画像３の画素値との比較に基づく関数として構成される。これにより、第２実施形態では、輝度調整パラメータ２によって実際に輝度調整が行われた結果の画像に基づいて、学習モデル１１の出力結果と教師データ２０との差異が評価される。
【０１１５】
たとえば、損失関数Ｂは、輝度調整後画像３と教師画像２３との対応画素の画素値の差分に基づく関数である。具体的には、下式（３）に示すように、輝度調整後画像３と教師画像２３との対応画素の画素値の差分に、重みを積算した平均二乗誤差である。
【０１１６】
【数３】
2020070834.tif 000005
ここで、ｘ、ｙは、それぞれ画像（輝度調整後画像３、教師画像２３）の座標である。ｋ（ｘ，ｙ）は、各座標（ｘ，ｙ）における重みである。Ｉ（ｘ，ｙ）は、輝度調整後画像３の座標（ｘ，ｙ）における画素値であり、Ｉ０（ｘ，ｙ）は、教師画像２３の座標（ｘ，ｙ）における画素値である。ｆ（ｒ）が、重み関数である。ｗは、重みの値（ｗ＞１）である。Ｉｍａｘは、画素値の最大値（＝２５５）である。
【０１１７】
損失関数Ｂは、第１実施形態と同様、教師データ２０に対して輝度調整後画像３のコントラストが小さくなる場合（Ｉ（ｘ，ｙ）＝０、Ｉｍａｘ以外の時）よりも、教師データ２０に対して輝度調整後画像３のコントラストが大きくなる場合（Ｉ（ｘ，ｙ）＝０またはＩｍａｘのとき）に、大きい重み付けがされた重み関数を含む。
【０１１８】
すなわち、ウィンドウ幅ＷＷが最適値ＷＷ０よりも小さくなる場合（コントラストが大きくなる場合）、所定領域ＰＡにおいて画素値Ｉが飽和する画素が生じる。つまり、最適画素値Ｉ０が０＜Ｉ０＜Ｉｍａｘとなる画素において、画素値Ｉ（ｘ，ｙ）が最低値０（黒つぶれ）または最大値Ｉｍａｘ（白飛び）となる。その場合、損失関数Ｂは、誤差（Ｉ―Ｉ０）に重みｗが積算されることにより、誤差を相対的に大きく見積もる。これにより、第２実施形態の損失関数Ｂは、教師データ２０に対して輝度調整後画像３の所定領域ＰＡのコントラストが大きくなる場合（Ｉ（ｘ，ｙ）＝０またはＩｍａｘのとき）に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせる。ウィンドウ幅ＷＷが最適値ＷＷ０よりも大きくなる場合（コントラストが小さくなる場合）、所定領域ＰＡにおいて画素値Ｉが飽和する画素が生じないと考えられるため、重みｗが積算されることなく、損失関数Ｂは誤差を相対的に小さく見積もる。
【０１１９】
さらに、第２実施形態では、損失関数Ｂは、画像中の画素（位置座標）毎に設定された重みｋ（ｘ，ｙ）を含みうる。そのため、第２実施形態では、画像中の領域毎に、異なる重みｋが設定されうる。たとえば、第２実施形態では、図１７に示すように、損失関数Ｂは、重みｋにより、画像中の所定領域ＰＡにおいて画素値の飽和が発生する場合に、所定領域ＰＡ以外の領域ＰＢにおいて画素値の飽和が発生する場合よりも大きい値が出力されるように構成されている。これにより、所定領域ＰＡにおいて、教師データ２０（教師画像２３）に対して輝度調整後画像３のコントラストが大きくなる場合（画素値の飽和が発生する場合）に、損失関数Ｂの値が相対的に大きく見積もられ、コントラストを抑制して画素値の飽和の発生を抑制する方向に強く学習が行われる。一方、所定領域ＰＡ以外の領域ＰＢにおいて、教師データ２０（教師画像２３）に対して輝度調整後画像３のコントラストが大きくなる場合（画素値の飽和が発生する場合）は、損失関数Ｂの値が相対的に小さく見積もられ、必要以上にコントラストを抑制しないように学習が行われる。
【０１２０】
このように画像中の画素（位置座標）毎に重みｋを設定するために、第２実施形態の教師データ２０には、図１６に示すように、所定領域ＰＡの位置情報２４ａと損失関数Ｂの偏り情報２４ｂとが含まれている。位置情報２４ａは、画像中の位置座標の情報である。偏り情報２４ｂは、重みｋの設定値である。
【０１２１】
具体的には、教師データ２０は、入力画像２１における位置情報２４ａと偏り情報２４ｂとを含む重みマップ２４を含んでいる。重みマップ２４は、入力画像２１において共通の重みｋを適用する領域を位置情報２４ａとして含む。重みマップ２４は、入力画像２１において位置情報２４ａとして区画された領域に適用する重みｋの値を偏り情報２４ｂとして含む。
【０１２２】
位置情報２４ａは、たとえば図１７（Ｂ）に示すように、入力画像２１を、被写体ＳＢが写り込む領域６１と背景領域６２とに区画するように設定されうる。この場合、偏り情報２４ｂは、位置情報２４ａに応じて、被写体ＳＢが写り込む領域６１と背景領域６２とに対してそれぞれ異なる重みｋの値を含む。図１７（Ｂ）の例では、被写体ＳＢが写り込む領域が所定領域ＰＡである。被写体ＳＢが写り込む領域６１の重みｋは、背景領域６２の重みよりも高くなるように設定される。領域６１は重みｋ＝１０とし、背景領域６２は重みなし（ｋ＝１）として設定されうる。
【０１２３】
位置情報２４ａは、たとえば図１７（Ｃ）に示すように、被写体ＳＢが写り込む領域６１の内部をさらに区分するように設定されうる。すなわち、被写体ＳＢが写り込む領域６１のうちでも、診断に関わる重要度の高い領域と、相対的に重要度の低い領域とを区分し得る。また、被写体の解剖学的構造などの形態的な条件に応じて、被写体の部位毎に画素値の飽和のし易さが異なる場合がある。その場合、位置情報２４ａが、被写体ＳＢが写り込む領域６１の内部を複数の部分領域に区分して設定され、偏り情報２４ｂ（重みｋ）が、それぞれの部分領域毎に設定されうる。図１７（Ｃ）の例では、被写体の腰部の解剖学的構造に応じて、大腿骨頸部６１ａ、大転子６１ｂ、骨幹部６１ｃ、ｗａｒｄ三角６１ｄの各部分領域に、それぞれ同一または異なる重みｋを設定する例を示す。
【０１２４】
重みマップ２４により、入力画像２１の任意の位置座標の画素ｐ（ｘ，ｙ）について、その画素ｐが属する領域に設定された重みｋ（ｘ，ｙ）が取得される。これにより、損失関数Ｂは、教師データ２０に含まれる所定領域ＰＡの位置情報２４ａと損失関数Ｂの偏り情報２４ｂとに基づいて、入力画像２１における位置毎に偏りの大きさが設定されている。
【０１２５】
この結果、損失関数Ｂは、画像中の所定領域ＰＡにおいて画素値の飽和が発生する場合に、所定領域ＰＡ以外の領域において画素値の飽和が発生する場合よりも大きい値が出力されるように構成されている。
【０１２６】
第２実施形態の損失関数Ｂによる学習の偏りが、学習済みモデル１０の出力する輝度調整パラメータ２に与える影響を説明する。
【０１２７】
図１８は、ウィンドウ幅ＷＷに対する、損失関数Ｂの出力値の変化と、損失関数Ｂを用いて最適化された学習済みモデル１０が出力するウィンドウ幅ＷＷの予測分布ＰＤを示したグラフである。
【０１２８】
比較例として、重み付けを行わずに、輝度調整後画像３と教師画像２３との対応画素の画素値の平均二乗誤差による損失関数ＲＭＳＥを用いたケースを破線で示す。比較例の損失関数ＲＭＳＥは、下式（４）で表される。
【数４】
2020070834.tif 000006
【０１２９】
上式（４）において、比較例による損失関数ＲＭＳＥでは、輝度調整後画像において白飛びまたは黒つぶれ（画素値の飽和）が発生していると、その領域の画素値が飽和している分だけ過小評価されることになる。つまり、図１８（Ａ）に示すように、ウィンドウ幅ＷＷが最適値ＷＷ０よりも小さく、画素値の飽和が発生している場合の損失関数の出力値は、ウィンドウ幅ＷＷが最適値ＷＷ０よりも大きく、画素値の飽和が発生していない場合の損失関数の出力値よりも相対的に小さくなる。そのため、図１８（Ｂ）に示すように、損失関数ＲＭＳＥを用いて最適化された学習済みモデルの出力結果の予測分布ＣＤは、最適値ＷＷ０に対して白飛びまたは黒つぶれ（画素値の飽和）が発生する方向（ウィンドウ幅ＷＷを小さくする方向）に偏った非対称的な分布となると考えられる。比較例による損失関数ＲＭＳＥを用いて最適化された学習済みモデルでは、出力されるウィンドウ幅ＷＷのうち、半数以上のケースで、所定領域ＰＡに画素値の飽和が発生する可能性がある。
【０１３０】
これに対して、図１８において実線で示した損失関数Ｂは、輝度調整後画像において白飛びまたは黒つぶれ（画素値の飽和）が発生している（Ｉ＝０またはＩｍａｘ）と、その領域の画素値の誤差に重みｗが積算されて誤差が相対的に大きく見積もられる。白飛びまたは黒つぶれ（画素値の飽和）が発生していない（０＜Ｉ＜Ｉｍａｘ）場合、重みｗが積算されずに、その領域の画素値の誤差が相対的に小さく見積もられる。なお、最適画素値Ｉ０および画素値Ｉが共に０またはＩｍａｘである画素については、計算上重みｗが積算されるが、誤差が０になるので、損失関数Ｂには影響しない。そのため、第１実施形態の損失関数Ｂを用いて最適化された学習済みモデル１０の出力結果の予測分布ＰＤは、最適値ＷＷ０に対して、画素値が飽和しやすくコントラストを大きくする方向（ウィンドウ幅ＷＷを小さくする方向）には小さく、コントラストを小さくする方向（ウィンドウ幅ＷＷを大きくする方向）に大きくなるように偏った分布となる。
【０１３１】
この結果、予測分布ＰＤから分かるように、第１実施形態の損失関数Ｂを用いて最適化された学習済みモデル１０では、出力されるウィンドウ幅ＷＷが、最適値ＷＷ０を超えてコントラストを大きくする方向（ウィンドウ幅ＷＷを小さくする方向）へばらつくことが抑制され、所定領域ＰＡに画素値の飽和が発生する可能性が抑制される。
【０１３２】
なお、第２実施形態のその他の構成については、上記第１実施形態と同様である。第２実施形態では、学習済みモデル１０の製造方法、輝度調整方法および画像処理装置１００について、損失関数Ｂが上記第１実施形態と異なる点を除いて同様であるので、説明を省略する。
【０１３３】
（第２実施形態の効果）
第２実施形態では、以下のような効果を得ることができる。
【０１３４】
第２実施形態では、上記第１実施形態と同様に、機械学習による学習済みモデル１０を用いた輝度調整において、画像中の被写体などの診断に関わる領域（所定領域ＰＡ）で白飛びまたは黒つぶれが発生することを抑制することができる。
【０１３５】
また、第２実施形態では、上記のように、損失関数Ｂは、教師データ２０に含まれる教師画像２３の画素値と、教師データ２０に含まれる入力画像２１を輝度調整パラメータ２に基づいて輝度調整した輝度調整後画像３の画素値との比較に基づく関数である。これにより、教師画像２３と輝度調整後画像３と画素値の比較に基づく損失関数Ｂであっても、最適値に対してコントラストが大きくなる場合に損失関数Ｂの値を相対的に大きくし、画素の飽和に起因して誤差が過小評価されることを抑制できるので、効果的に、所定領域ＰＡでの画素値の飽和の発生を抑制することができる。
【０１３６】
また、第２実施形態では、上記のように、損失関数Ｂは、画像中の所定領域ＰＡにおいて画素値の飽和が発生する場合に、所定領域ＰＡ以外の領域において画素値の飽和が発生する場合よりも大きい値が出力されるように構成されている。これにより、所定領域ＰＡでの画素値の飽和の発生を抑制しつつ、重要度の低い所定領域ＰＡ以外の領域ＰＢにおける誤差によって学習が影響を受けることを抑制することができる。
【０１３７】
また、第２実施形態では、上記のように、損失関数Ｂは、教師データ２０に含まれる所定領域ＰＡの位置情報２４ａと損失関数Ｂの偏り情報２４ｂとに基づいて、入力画像２１における位置毎に偏りの大きさが設定されている。これにより、所定領域ＰＡの位置情報２４ａに基づいて、所定領域ＰＡと所定領域ＰＡ以外の領域ＰＢとを区別し、損失関数Ｂの偏り情報２４ｂに基づいて、所定領域ＰＡと所定領域ＰＡ以外の領域ＰＢとでの損失関数Ｂの偏りの大小関係を特定することができるので、容易に、画像中の領域に応じて損失関数Ｂの偏りの大きさ（重みｋ）を異ならせる事ができる。
【０１３８】
第２実施形態のその他の効果は、上記第１実施形態と同様である。
【０１３９】
（変形例）
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく、特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。
【０１４０】
たとえば、上記第１および第２実施形態では、損失関数の例として、平均二乗誤差による損失関数Ａおよび損失関数Ｂを示したが、本発明はこれに限られない。本発明では、平均二乗誤差以外の関数によって、損失関数が構成されていてもよい。たとえば上記第２実施形態の損失関数Ｂとして、ＰＳＮＲ（Ｐｅａｋ  ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ  ｒａｔｉｏ）やＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ  ＳＩＭｉｌａｒｉｔｙ）などの関数を用いてもよい。ただし、たとえばＳＳＩＭは、画像間の類似度を評価できるが、画像の位置ずれなどの輝度調整とは無関係な構造的な要素も評価する指標であるため、単純に画像間の画素値（輝度）のみを評価する平均二乗誤差の方が、輝度調整のための学習モデルに用いる損失関数としては適している。
【０１４１】
また、上記第１および第２実施形態では、教師データ２０に対して所定領域ＰＡのコントラストが大きくなる場合に大きい重みｗ（＞１）をかける例を示したが、本発明はこれに限られない。教師データ２０に対して所定領域ＰＡのコントラストが小さくなる場合に小さい重みｗ（＜１）をかけることにより、所定領域ＰＡのコントラストが大きくなる場合の出力値が相対的に大きくなるようにしてもよい。
【０１４２】
また、上記第１および第２実施形態では、所定領域ＰＡが、被写体が写り込む領域の少なくとも一部を含む例を示したが、本発明はこれに限られない。所定領域ＰＡは、放射線画像１の用途に応じて設定されればよく、被写体が写り込む領域以外の領域であってもよい。
【０１４３】
また、上記第１および第２実施形態では、損失関数に重み関数ｆ（ｒ）を含めることにより、損失関数の出力値を偏らせる例を示したが、本発明はこれに限られない。たとえば、教師データ２０に対して所定領域ＰＡのコントラストが大きくなる場合と、教師データ２０に対して所定領域ＰＡのコントラストが小さくなる場合とで、それぞれ異なる損失関数を適用することにより、損失関数の出力値を偏らせてもよい。
【０１４４】
また、上記第２実施形態では、重みマップ２４を用いて、所定領域ＰＡと所定領域ＰＡ以外の領域ＰＡ以外とで重みｋを異ならせた例を示したが、本発明はこれに限られない。本発明では、領域毎に異なる重みｋを設定しなくてもよい。損失関数Ｂにおいて、重みｋを含めなくてもよい。この場合、教師データ２０が重みマップ２４を含む必要はない。
【０１４５】
また、上記第２実施形態では、教師データ２０に含まれる教師パラメータ２２に基づいて教師画像２３が取得される例を示したが、本発明はこれに限られない。本発明では、教師データ２０に教師画像２３を含めてもよい。この場合、必ずしも教師データ２０が教師パラメータ２２を含まなくてもよい。
【０１４６】
また、上記第１および第２実施形態では、撮影部位または撮影目的に関する情報５を取得して、複数の学習済みモデル１０の内から輝度調整に用いる学習済みモデル１０を選択する例を示したが本発明はこれに限られない。本発明では、撮影部位または撮影目的に関する情報５を取得しなくてもよい。つまり、学習済みモデル１０を選択しなくてもよい。
【０１４７】
なお、撮影部位または撮影目的に関する情報５の取得は、操作部２３０を用いる方法に限らず、たとえば入力された放射線画像１に対する画像認識により、撮影部位または撮影目的に関する情報５を取得してもよい。
【０１４８】
また、上記第１および第２実施形態では、輝度調整パラメータ２がウィンドウレベルＷＬとウィンドウ幅ＷＷとを含む例を示したが、本発明はこれに限られない。たとえば、ウィンドウ幅ＷＷに代えて、輝度調整パラメータ２がウィンドウ幅の上限値ＶＨと下限値ＶＬとを含んでいてもよい。
【符号の説明】
【０１４９】
１  放射線画像
２  輝度調整パラメータ
３  輝度調整後画像
５  撮影部位または撮影目的に関する情報
１０  学習済みモデル
１１  学習モデル
２０  教師データ
２１  入力画像
２２  教師パラメータ
２３  教師画像
２４ａ  位置情報
２４ｂ  偏り情報
１００  画像処理装置
１１１  画像取得部
１１２  パラメータ取得部
１１３  調整処理部
１２０  記憶部
Ａ、Ｂ  損失関数
ＰＡ  所定領域
ＰＢ  所定領域以外の領域
ＷＬ  ウィンドウレベル
ＷＷ  ウィンドウ幅
ｆ（ｒ）  重み関数
【図１】
2020070834.tif 000007
【図２】
2020070834.tif 000008
【図３】
2020070834.tif 000009
【図４】
2020070834.tif 000010
【図５】
2020070834.tif 000011
【図６】
2020070834.tif 000012
【図７】
2020070834.tif 000013
【図８】
2020070834.tif 000014
【図９】
2020070834.tif 000015
【図１０】
2020070834.tif 000016
【図１１】
2020070834.tif 000017
【図１２】
2020070834.tif 000018
【図１３】
2020070834.tif 000019
【図１４】
2020070834.tif 000020
【図１５】
2020070834.tif 000021
【図１６】
2020070834.tif 000022
【図１７】
2020070834.tif 000023
【図１８】
2020070834.tif 000024
【国際調査報告】
2020070834.tif 000025
2020070834.tif 000026
2020070834.tif 000027
2020070834.tif 000028