(57)【要約】【課題】画像表示装置、方法およびプログラムにおいて、肋骨領域等の認識結果における誤りの有無を容易に判断できる画像を生成し表示する。【解決手段】人体の胸部を撮影した３次元ボリューム画像から、肋骨領域と椎骨領域とを認識しラベル付けした情報を用いて、一方側の肋骨領域を表す複数の第１部分領域と、他方側の肋骨領域または椎骨領域を表す複数の第２部分領域とを含む２次元の画像であって、一方側の異なる肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された画像である表示用画像を生成し、表示部に表示させる。【選択図】図１３
2015159945.tif 000002
【特許請求の範囲】
【請求項１】
人体の胸部を撮影して得られた３次元ボリューム画像を取得する画像取得部と、
前記３次元ボリューム画像中の、前記人体の左右いずれか一方側の複数の肋骨領域と、他方側の複数の肋骨領域又は複数の椎骨領域とを認識しラベル付けした情報を取得する情報取得部と、
前記取得した情報を用いて、前記３次元ボリューム画像から、前記一方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の第１部分領域と、前記他方側の複数の肋骨領域のうち２以上の肋骨領域または前記複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の第２部分領域とを含む２次元の画像であって、前記一方側の異なる肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、前記各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された画像である表示用画像を生成する画像生成部と、
画像を表示する表示部と、
前記生成された表示用画像を前記表示部に表示させる表示制御部と
を備えた画像表示装置。
【請求項２】
前記画像生成部が、前記他方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の部分領域と、前記複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の部分領域の両方を含む画像であって、前記各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域を表す部分領域と、当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す部分領域の両方が、当該第１部分領域と同じ種類の色またはパターンが適用された画像を前記表示用画像として生成するものである請求項１記載の画像表示装置。
【請求項３】
前記画像生成部が、特定の領域に前記色またはパターンが適用されるようにする処理として、前記特定の領域全体に色またはパターンで塗りつぶす処理、前記特定の領域を細線化した中心部にのみ色またはパターンで塗りつぶす処理、前記特定の領域の周縁部にのみ色またはパターンを塗りつぶす処理のいずれかを行うものである請求項１または２記載の画像表示装置。
【請求項４】
前記画像生成部が、前記３次元ボリューム画像中の任意に定められた投影方向に厚みを有する領域を前記投影方向に投影して生成した投影画像であって、前記第１部分領域および前記第２部分領域にそれぞれ前記色またはパターンが適用された画像を前記表示用画像として生成するものである請求項１から３のいずれか１項記載の画像表示装置。
【請求項５】
前記画像生成部が、前記３次元ボリューム画像中の前記人体の後側半分の領域を前記人体の前後方向に投影することにより前記投影画像を生成するものである請求項４項記載の画像表示装置。
【請求項６】
前記画像生成部が、前記３次元ボリューム画像から、前記表示用画像に加えて、２次元の画像である第２の表示用画像を１つ以上生成するものであって、該生成された１つ以上の第２の表示用画像と前記表示用画像に共通して、前記３次元ボリューム画像において同じラベルが付された肋骨領域又は椎骨領域を表す部分領域に同じ色またはパターン適用されるようにするものであり、
前記表示制御部が、前記生成された１つ以上の第２の表示用画像と前記表示用画像を前記表示部に表示させるものである請求項１から５のいずれか１項記載の画像表示装置。
【請求項７】
前記画像生成部が、前記取得した情報を用いて、前記色またはパターンが適用された各々の前記第１部分領域および第２部分領域の近傍に該各部分領域に付されたラベルを表す文字列が表示された画像を前記表示用画像として生成するものである請求項１から６のいずれか１項記載の画像表示装置。
【請求項８】
前記画像生成部が、前記３次元ボリューム画像中の前記投影の対象となる領域内に、前記投影方向においてラベルが付された領域同士が重なる部分が存在する場合、該重なる部分が投影された前記表示用画像上の領域に、該領域上に投影される前記複数のラベルが付された領域のうち視点に最も近い距離にある領域に適用される色又はパターンが適用されるようにするものである請求項４記載の画像表示装置。
【請求項９】
前記画像生成部が、前記３次元ボリューム画像中の前記投影の対象となる領域内に、前記投影方向においてラベルが付された領域同士が重なる部分が存在する場合、該重なる部分が投影された前記表示用画像上の領域に、該領域上に投影される前記複数のラベルが付された領域のそれぞれに適用される色又はパターンを重みを付けて混合してなる色またはパターンが適用されるようにするものである請求項４記載の画像表示装置。
【請求項１０】
前記画像生成部が、前記表示部に表示された表示用画像に対して、前記色またはパターンが適用された部分領域のいずれかを選択する操作者による入力に応じて、該選択された部分領域に適用される色またはパターンの表示が他の部分領域に適用される色またはパターンの表示よりも強調された強調画像をさらに生成するものであり、
前記表示制御部が、前記生成された強調画像を前記表示部に表示させるものである請求項１から９のいずれか１項記載の画像表示装置。
【請求項１１】
人体の胸部を撮影して得られた３次元ボリューム画像を取得する画像取得部と、
前記３次元ボリューム画像中の、前記人体の左右いずれか一方側の複数の肋骨領域と、他方側の複数の肋骨領域または複数の椎骨領域とを認識しラベル付けした情報を取得する情報取得部と、
前記３次元ボリューム画像から、同じラベルが付された肋骨領域又は椎骨領域を表す部分領域に同じ色またはパターンが共通して適用された、任意に設定された方向に連続する複数の断層画像であって、
該複数の断層画像全体として、前記一方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の第１部分領域と、前記他方側の複数の肋骨領域のうち２以上の肋骨領域または前記複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の第２部分領域とを含み、前記一方側の異なる肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、前記各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された前記複数の断層画像を生成する画像生成部と、
画像を表示する表示部と、
前記生成された複数の断層画像の切替え表示を指示する操作者による入力に応じて、前記生成された複数の断層画像を前記表示部に切替えて表示させる表示制御部と
を備えた画像処理装置。
【請求項１２】
画像取得部と、情報取得部と、画像生成部と、表示部と、表示制御部とを備えた画像表示装置によって実行される画像表示方法であって、
前記画像取得部が、人体の胸部を撮影して得られた３次元ボリューム画像を取得し、
前記情報取得部が、前記３次元ボリューム画像中の、前記人体の左右いずれか一方側の複数の肋骨領域と、他方側の複数の肋骨領域又は複数の椎骨領域とを認識しラベル付けした情報を取得し、
前記画像生成部が、前記取得した情報を用いて、前記３次元ボリューム画像から、前記一方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の第１部分領域と、前記他方側の複数の肋骨領域のうち２以上の肋骨領域または前記複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の第２部分領域とを含む２次元の画像であって、前記一方側の異なる肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、前記各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された画像である表示用画像を生成し、
前記表示制御部が、前記生成された表示用画像を前記表示部に表示させる画像表示方法。
【請求項１３】
画像取得部と、情報取得部と、画像生成部と、表示部と、表示制御部とを備えた画像表示装置によって実行される画像表示方法であって、
前記画像取得部が、人体の胸部を撮影して得られた３次元ボリューム画像を取得し、
前記情報取得部が、前記３次元ボリューム画像中の、前記人体の左右いずれか一方側の複数の肋骨領域と、他方側の複数の肋骨領域または複数の椎骨領域とを認識しラベル付けした情報を取得し、
前記画像生成部が、前記３次元ボリューム画像から、同じラベルが付された肋骨領域又は椎骨領域を表す部分領域に同じ色またはパターンが共通して適用された、任意に設定された方向に連続する複数の断層画像であって、該複数の断層画像全体として、前記一方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の第１部分領域と、前記他方側の複数の肋骨領域のうち２以上の肋骨領域または前記複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の第２部分領域とを含み、前記一方側の異なる肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、前記各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された前記複数の断層画像を生成し、
前記表示制御部が、前記生成された複数の断層画像の切替え表示を指示する操作者による入力に応じて、前記生成された複数の断層画像を前記表示部に切替えて表示させる画像表示方法。
【請求項１４】
コンピュータを、
人体の胸部を撮影して得られた３次元ボリューム画像を取得する画像取得部と、
前記３次元ボリューム画像中の、前記人体の左右いずれか一方側の複数の肋骨領域と、他方側の複数の肋骨領域又は複数の椎骨領域とを認識しラベル付けした情報を取得する情報取得部と、
前記取得した情報を用いて、前記３次元ボリューム画像から、前記一方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の第１部分領域と、前記他方側の複数の肋骨領域のうち２以上の肋骨領域または前記複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の第２部分領域とを含む２次元の画像であって、前記一方側の異なる肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、前記各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された画像である表示用画像を生成する画像生成部と、
画像を表示する表示部と、
前記生成された表示用画像を前記表示部に表示させる表示制御部として機能させるための画像表示プログラム。
【請求項１５】
コンピュータを、
人体の胸部を撮影して得られた３次元ボリューム画像を取得する画像取得部と、
前記３次元ボリューム画像中の、前記人体の左右いずれか一方側の複数の肋骨領域と、他方側の複数の肋骨領域または複数の椎骨領域とを認識しラベル付けした情報を取得する情報取得部と、
前記３次元ボリューム画像から、同じラベルが付された肋骨領域又は椎骨領域を表す部分領域に同じ色またはパターンが共通して適用された、任意に設定された方向に連続する複数の断層画像であって、該複数の断層画像全体として、前記一方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の第１部分領域と、前記他方側の複数の肋骨領域のうち２以上の肋骨領域または前記複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の第２部分領域とを含み、前記一方側の異なる肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、前記各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された前記複数の断層画像を生成する画像生成部と、
画像を表示する表示部と、
前記生成された複数の断層画像の切替え表示を指示する操作者による入力に応じて、前記生成された複数の断層画像を前記表示部に切替えて表示させる表示制御部として機能させるための画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、胸部を撮影して得られた３次元ボリューム画像から、左右いずれか一方側の複数の肋骨領域と、他方側の複数の肋骨領域又は複数の椎骨領域の認識結果を表す画像を生成し表示させる画像表示装置、方法およびプログラムに関するものである。
【背景技術】
【０００２】
従来、胸部を撮影して得られた３次元ボリューム画像において、肋骨領域や椎骨領域を自動で認識し骨番号等のラベルを割り当てる処理が行われている。また、特許文献１、２には、例えば図１０に示すように、各認識された肋骨領域や椎骨領域の近傍に骨番号等の情報を表示する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９‐２５４６００号公報
【特許文献１】特開２００９‐２４０５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、領域認識の結果は必ずしも正確とは限らず、認識結果における誤りの有無を確認し、必要に応じて修正する必要がある。しかし、上記特許文献１、２の方法による、肋骨領域や椎骨領域の近傍に骨番号等の情報を表示しただけの画像では、認識結果における誤りを見つけにくいという問題がある。例えば肋骨領域や椎骨領域が全て正しく認識された場合を示す図１０の画像に対し、図１１は、画像の左側において、上から１本目の肋骨領域が誤って認識されず、上から２本目から１０本目までの肋骨領域が骨番号１〜９の肋骨領域として誤って認識された場合を示す画像であるが、この図１１の画像から上述した誤りを見つけるには、骨番号と画像を見比べるなど、相当の労力と時間が必要となる。
【０００５】
そこで、本発明では、肋骨領域等の認識結果における誤りの有無を容易に判断できる画像を生成し表示することができる画像表示装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像表示装置は、人体の胸部を撮影して得られた３次元ボリューム画像を取得する画像取得部と、３次元ボリューム画像中の、人体の左右いずれか一方側の複数の肋骨領域と、他方側の複数の肋骨領域又は複数の椎骨領域とを認識しラベル付けした情報を取得する情報取得部と、取得した情報を用いて、３次元ボリューム画像から、一方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の第１部分領域と、他方側の複数の肋骨領域のうち２以上の肋骨領域または複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の第２部分領域とを含む２次元の画像であって、一方側の異なる肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された画像である表示用画像を生成する画像生成部と、画像を表示する表示部と、生成された表示用画像を表示部に表示させる表示制御部とを備えたことを特徴とする（第１の画像表示装置）。
【０００７】
また、本発明の画像表示装置は、人体の胸部を撮影して得られた３次元ボリューム画像を取得する画像取得部と、３次元ボリューム画像中の、人体の左右いずれか一方側の複数の肋骨領域と、他方側の複数の肋骨領域または複数の椎骨領域とを認識しラベル付けした情報を取得する情報取得部と、３次元ボリューム画像から、同じラベルが付された肋骨領域又は椎骨領域を表す部分領域に同じ色またはパターンが共通して適用された、任意に設定された方向に連続する複数の断層画像であって、該複数の断層画像全体として、一方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の第１部分領域と、他方側の複数の肋骨領域のうち２以上の肋骨領域または複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の第２部分領域とを含み、一方側の異なる肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された複数の断層画像を生成する画像生成部と、画像を表示する表示部と、生成された複数の断層画像の切替え表示を指示する操作者による入力に応じて、生成された複数の断層画像を表示部に切替えて表示させる表示制御部とを備えたことを特徴とする（第２の画像表示装置）。
【０００８】
ここで、反対側（他方側）の肋骨領域または椎骨領域を表す部分領域に色またはパターンが適用された画像を生成するというのは、反対側の肋骨領域を表す部分領域および椎骨領域を表す部分領域のいずれか一方のみを含む画像を生成する場合はその一方に、両方を含む画像を生成する場合はその少なくとも一方に色またはパターンが適用されるようにすることを意味する。
【０００９】
また、特定の領域に色またはパターンが適用されているとは、その領域の少なくとも一部に色またはパターンが塗られていることを意味する。このとき、色またはパターンを塗る範囲は、少なくとも、その表示を見たユーザが、色またはパターンの塗りにより、その領域全体の広がり範囲を大まかに把握可能な程度とすることが好ましい。従って、本発明の第１および第２の画像表示装置において、画像生成部は、特定の領域に色またはパターンが適用されるようにする処理として、特定の領域全体に色またはパターンで塗りつぶす処理、特定の領域を細線化した中心部にのみ色またはパターンで塗りつぶす処理、特定の領域の周縁部にのみ色またはパターンを塗りつぶす処理のいずれかを行うものであってもよい。
【００１０】
本発明の第１の画像表示装置において、画像生成部は、他方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の部分領域と、複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の部分領域の両方を含む画像であって、各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域を表す部分領域と、当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す部分領域の両方が、当該第１部分領域と同じ種類の色またはパターンが適用された画像を表示用画像として生成するものであってもよい。
【００１１】
また、本発明の第１の画像表示装置において、画像生成部は、３次元ボリューム画像中の任意に定められた投影方向に厚みを有する領域を投影方向に投影して生成した投影画像であって、第１部分領域および第２部分領域にそれぞれ色またはパターンが適用された画像を表示用画像として生成するものであってもよい。このとき、画像生成部は、３次元ボリューム画像中の人体の後側半分の領域を人体の前後方向に投影することにより投影画像を生成するものであってもよい。
【００１２】
また、本発明の第１の画像表示装置において、画像生成部は、３次元ボリューム画像から、表示用画像に加えて、２次元の画像である第２の表示用画像を１つ以上生成するものであって、該生成された１つ以上の第２の表示用画像と表示用画像に共通して、３次元ボリューム画像において同じラベルが付された肋骨領域又は椎骨領域を表す部分領域に同じ色またはパターン適用されるようにするものであり、表示制御部は、生成された１つ以上の第２の表示用画像と表示用画像を表示部に表示させるものであってもよい。
【００１３】
また、本発明の第１の画像表示装置において、画像生成部は、３次元ボリューム画像中の投影の対象となる領域内に、投影方向においてラベルが付された領域同士が重なる部分が存在する場合、該重なる部分が投影された表示用画像上の領域に、該領域上に投影される複数のラベルが付された領域のうち視点に最も近い距離にある領域に適用される色又はパターンが適用されるようにするものであってもよい。
【００１４】
また、本発明の第１の画像表示装置において、画像生成部は、３次元ボリューム画像中の投影の対象となる領域内に、投影方向においてラベルが付された領域同士が重なる部分が存在する場合、該重なる部分が投影された表示用画像上の領域に、該領域上に投影される複数のラベルが付された領域のそれぞれに適用される色又はパターンを重みを付けて混合してなる色またはパターンが適用されるようにするものであってもよい。
【００１５】
本発明の第１および第２の画像表示装置において、画像生成部は、取得した情報を用いて、色またはパターンが適用された各々の第１部分領域および第２部分領域の近傍に該各部分領域に付されたラベルを表す文字列が表示された画像を表示用画像として生成するものであってもよい。
【００１６】
また、本発明の第１および第２の画像表示装置において、画像生成部は、表示部に表示された表示用画像に対して、色またはパターンが適用された部分領域のいずれかを選択する操作者による入力に応じて、該選択された部分領域に適用される色またはパターンの表示が他の部分領域に適用される色またはパターンの表示よりも強調された強調画像をさらに生成するものであり、表示制御部は、生成された強調画像を表示部に表示させるものであってもよい。
【００１７】
本発明の画像表示方法は、画像取得部と、情報取得部と、画像生成部と、表示部と、表示制御部とを備えた画像表示装置によって実行される画像表示方法であって、
画像取得部が、人体の胸部を撮影して得られた３次元ボリューム画像を取得し、
情報取得部が、３次元ボリューム画像中の、人体の左右いずれか一方側の複数の肋骨領域と、他方側の複数の肋骨領域又は複数の椎骨領域とを認識しラベル付けした情報を取得し、画像生成部が、取得した情報を用いて、３次元ボリューム画像から、一方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の第１部分領域と、他方側の複数の肋骨領域のうち２以上の肋骨領域または複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の第２部分領域とを含む２次元の画像であって、一方側の異なる肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された画像である表示用画像を生成し、表示制御部が、生成された表示用画像を表示部に表示させることを特徴とする（第１の画像表示方法）。
【００１８】
また、本発明の画像表示方法は、画像取得部と、情報取得部と、画像生成部と、表示部と、表示制御部とを備えた画像表示装置によって実行される画像表示方法であって、画像取得部が、人体の胸部を撮影して得られた３次元ボリューム画像を取得し、情報取得部が、３次元ボリューム画像中の、人体の左右いずれか一方側の複数の肋骨領域と、他方側の複数の肋骨領域または複数の椎骨領域とを認識しラベル付けした情報を取得し、画像生成部が、３次元ボリューム画像から、同じラベルが付された肋骨領域又は椎骨領域を表す部分領域に同じ色またはパターンが共通して適用された、任意に設定された方向に連続する複数の断層画像であって、該複数の断層画像全体として、一方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の第１部分領域と、他方側の複数の肋骨領域のうち２以上の肋骨領域または複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の第２部分領域とを含み、一方側の異なる肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された複数の断層画像を生成し、表示制御部が、生成された複数の断層画像の切替え表示を指示する操作者による入力に応じて、生成された複数の断層画像を表示部に切替えて表示させることを特徴とする（第２の画像表示方法）。
【００１９】
本発明の第１および第２の画像表示プログラムは、それぞれコンピュータを上記第１および第２の画像表示装置の各部として機能させるためのものである。また、本発明の第１および第２の画像表示プログラムは、通常、複数のプログラムモジュールからなり、上記各部の機能は、それぞれ、一または複数のプログラムモジュールにより実現される。これらのプログラムモジュール群は、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
【発明の効果】
【００２０】
本発明の第１の画像表示装置、方法およびプログラムによれば、人体の胸部を撮影して得られた３次元ボリューム画像を取得し、３次元ボリューム画像中の、人体の左右いずれか一方側の複数の肋骨領域と、他方側の複数の肋骨領域又は複数の椎骨領域とを認識しラベル付けした情報を取得し、取得した情報を用いて、３次元ボリューム画像から、一方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の第１部分領域と、他方側の複数の肋骨領域のうち２以上の肋骨領域または複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の第２部分領域とを含む２次元の画像であって、一方側の異なる肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された画像である表示用画像を生成し、生成された表示用画像を表示部に表示させるようにしているので、肋骨領域等の認識結果における誤りの有無を容易に判断できる画像を提供することができる。
【００２１】
具体的には、一方側の肋骨領域と対となる反対側の肋骨領域を含む画像においてそれらの対となる肋骨領域に同じ色またはパターンを適用した画像では、同じ色またはパターンが適用されている領域の対称性を確認することによって認識結果における誤りの有無を容易に判断することができる。例えば、肋骨領域や椎骨領域が全て正しく認識された場合を示す図１２の画像では、同じ色またはパターンが適用されている領域が対称性良く配置されるに対し、画像の左側において、上から１本目の肋骨領域が誤って認識されず、上から２本目から１０本目までの肋骨領域が骨番号１〜９の肋骨領域として誤って認識された場合を示す図１３では、同じ色またはパターンが適用されている領域の対称性が崩れ、認識結果に誤りがあることを容易に気づくことができる。また、一方側の肋骨領域と接続関係にある椎骨領域を含む画像においてそれらの肋骨領域と椎骨領域に同じ色またはパターンを適用した画像では、同じ色またはパターンが適用されている領域の連続性を確認することによって認識結果における誤りの有無を容易に判断することができる。
【００２２】
本発明の第２の画像表示装置、方法およびプログラムによれば、人体の胸部を撮影して得られた３次元ボリューム画像を取得し、３次元ボリューム画像中の、人体の左右いずれか一方側の複数の肋骨領域と、他方側の複数の肋骨領域または複数の椎骨領域とを認識しラベル付けした情報を取得し、３次元ボリューム画像から、同じラベルが付された肋骨領域又は椎骨領域を表す部分領域に同じ色またはパターンが共通して適用された、任意に設定された方向に連続する複数の断層画像であって、該複数の断層画像全体として、一方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の第１部分領域と、他方側の複数の肋骨領域のうち２以上の肋骨領域または複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の第２部分領域とを含み、一方側の異なる肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された複数の断層画像を生成し、生成された複数の断層画像の切替え表示を指示する操作者による入力に応じて、生成された複数の断層画像を表示部に切替えて表示させるようにしているので、その表示を受ける医者等の読影者は切替え前後の画像における同じ色またはパターンが適用されている領域の連続性を確認することによって肋骨領域等の認識結果における誤りの有無を容易に判断することができる。
【図面の簡単な説明】
【００２３】
【図１】画像処理システムの概略構成を示す図
【図２】画像表示装置の機能構成を示すブロック図
【図３】複数枚の表示用画像による表示の例を示す図
【図４】図３の表示において肋骨領域等の認識結果を表示させた例を示す図
【図５】表示用画像の例を示す図
【図６】骨領域が重なって投影される領域への色またはパターンの適用方法を説明する図
【図７】骨領域が重なって表示される領域への色またはパターンの適用方法を説明する図
【図８】図５の画像において肋骨領域等の認識結果を表示させた画像の例を示す図
【図９】図８の画像において選択された骨領域を強調表示させた画像の例を示す図
【図１０】認識結果に誤りが無い場合に従来技術により提供される画像の例を示す図
【図１１】認識結果に誤りが有る場合に従来技術により提供される画像の例を示す図
【図１２】認識結果に誤りが無い場合に本発明により提供される画像の例を示す図
【図１３】認識結果に誤りが有る場合に本発明により提供される画像の例を示す図
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明の一実施の形態について説明する。図１は、画像処理システム１０の概要を示すハードウェア構成図である。図に示すように、このシステムでは、モダリティ１と、サーバ２と、画像表示装置３とがネットワーク９を経由して通信可能な状態で接続されている。
【００２５】
モダリティ１は、被検体を撮影することにより、その被検体を表す画像を生成するものであり、具体的には、ＣＴ（Computed Tomography）、ＭＲＩ（Magnetic Resonance Imaging）、ＰＥＴ（Positron Emission Tomography）、超音波撮影装置等である。
【００２６】
サーバ２は、モダリティ１で生成された画像やその画像を解析して得られた情報等のデータをデータベースに保存・管理するコンピュータであり、画像表示装置３からの要求に応じて、データベースの中から要求に合致するデータを抽出し提供する。なお、本実施形態では、少なくとも人体の胸部を撮影して得られた３次元ボリューム画像Ｖと、その画像において肋骨領域、椎骨領域等を認識しラベル付けした情報Ｌがデータベースに保存・管理されているものとする。
【００２７】
ここで、肋骨領域、椎骨領域等を認識しラベル付けした情報Ｌは、３次元ボリューム画像Ｖにおいて肋骨領域、椎骨領域等を検出し、検出された各肋骨領域、椎骨領域の大きさや形状、相対的な位置関係等に基づいてそれぞれの骨領域に割り当てた識別情報である。この識別情報は、それぞれの骨領域が表す骨の解剖学上の名称（たとえば、左第ｎ肋骨、左第ｎ肋骨、第ｎ胸椎等）であってもよいし、３次元ボリューム画像Ｖ上における骨領域同士の相対的な位置関係を表すように任意に番号付けした情報であってもよい。ただし、この番号付けした情報は、少なくとも左右肋骨領域の対応関係、または一方側の肋骨領域と椎骨領域の接続関係を導きだすことができるものであることが必要とされる。たとえば、３次元ボリューム画像Ｖに、左右に１２対ある肋骨のうち第４から第６肋骨までの肋骨対とそれらの肋骨に接続する椎骨しか写っていない場合に、画像中の左側肋骨を上から順に左１番目肋骨、左２番目肋骨、左３番目肋骨とラベル付けし、各左ｎ番目肋骨の反対側の肋骨を右ｎ番目肋骨とラベル付けし、かつ、左右のｎ番目肋骨を繋ぐ椎骨をｎ番目椎骨とラベル付けすることができる。
【００２８】
画像表示装置３は、画像の表示を指示する操作者による入力に応じて、サーバ２から表示対象の３次元ボリューム画像Ｖを取得し、その３次元ボリューム画像Ｖから１枚または複数枚の表示用画像を生成し表示するコンピュータであり、メモリ３１、ＣＰＵ３２およびストレージ３３を備えている。また、画像表示装置３には、ディスプレイ等の表示部３５と、マウス等の入力部３６が接続されている。
【００２９】
画像表示装置３では、画像表示プログラムとそのプログラムが参照するデータがストレージ３３に記憶され起動時にメモリ３２にロードされる。画像表示プログラムは、ＣＰＵ３２に実行させる処理として、画像取得処理、情報取得処理、画像生成処理および表示制御処理を規定している。そして、ＣＰＵ３２がメモリ３２にロードされたプログラムの上記各処理を実行することにより、コンピュータは、図２に示すような、画像取得部５１、情報取得部５２、画像生成部５３および表示制御部５４として機能する。ここで、図２は、画像表示装置３に実装された機能をブロック化して模式的に表したものである。
【００３０】
次に、画像表示装置３によって、３次元ボリューム画像Ｖから１枚または複数枚の表示用画像を生成し表示する処理について説明する。まず、表示対象の３次元ボリューム画像Ｖを指定して表示を指示する操作者による入力に応じて、画像取得部５１が、サーバ２から表示対象の３次元ボリューム画像Ｖを取得してストレージ３３に格納し、情報取得部５２が、サーバ２から表示対象の３次元ボリューム画像Ｖにおいて肋骨領域、椎骨領域等を認識しラベル付けした情報Ｌを取得してストレージ３３に格納する。
【００３１】
そして、画像生成部５３が、ストレージ４に記憶された表示対象の３次元ボリューム画像Ｖをメモリ３１にロードし、３次元ボリューム画像Ｖから、表示を指示された１枚または複数枚の表示用画像を生成する。画像生成部５３は、たとえば図３に示すような、投影面をコロナル面として生成したＭＩＰ画像（maximum intensity projection）であるコロナルＭＩＰ画像６１や、互いに直交するコロナル画像６２、サジタル画像６３およびアキシャル画像６４等を生成することができる。ここで、コロナルＭＩＰ画像６１は、３次元ボリューム画像Ｖ中の人体の後側半分の領域を人体の前後方向にＭＩＰ投影した投影画像である。また、画像生成部５３は、３次元ボリューム画像Ｖから、ＭｉｎＩＰ画像（minimum intensity projection），ＭＰＲ画像（multi-planar reconstruction）、ＳＲ画像（surface-rendering image），ＶＲ画像（volume-rendering image）、他の種々の画像を生成することもできる。
【００３２】
そして、表示制御部５４が、画像生成部５３により生成された１枚または複数枚の表示用画像を一表示画面に構成し表示部３５に表示させる。図３は、コロナルＭＩＰ画像６１、コロナル画像６２、サジタル画像６３およびアキシャル画像６４の４枚の画像を一表示画面に構成した例を示す図である。
【００３３】
そして、操作者が、表示画面上などでマウスを右クリックしてサブメニューを表示させ、「骨認識表示」を選択すると、画像生成部５３は、ストレージ４に記憶された表示対象の３次元ボリューム画像Ｖのラベル付け情報Ｌをさらにメモリ３１にロードし、そのラベル付けの情報Ｌを用いて、肋骨領域等の認識結果を表す１枚または複数枚の表示用画像を生成し、表示制御部５４が、その生成された表示用画像を一表示画面に構成し表示部３５に表示させる。図４は、図３の各画像において肋骨領域等の認識結果を表示させた画像例を示す図である。
【００３４】
図４のコロナルＭＩＰ画像７１、コロナル画像７２およびアキシャル画像７４に示すように、画像生成部５３は、左右いずれか一方側の肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域に当該第１部分領域と同じ種類の色またはパターンが適用された表示用画像を生成する。画像生成部５３は、図４のコロナルＭＩＰ画像７１およびアキシャル画像７４に示すように、さらに、第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域に、第１部分領域と同じ種類の色またはパターンが適用された表示用画像を生成することができる。
【００３５】
ここで、画像生成部５３により肋骨領域等の認識結果を表す表示用画像を生成する方法の具体例を２つほど説明する。まず、１つ目の方法として、表示用画像の各画素に描写される３次元ボリューム画像Ｖ中の領域を特定し、ラベルと色（またはパターン）の対応関係を規定したテーブルを参照することにより特定された領域に付されているラベルに対応する色（またはパターン）を特定し、その特定された色（またはパターン）の情報を用いて当該画素の画素値を決定し、これにより決定された全ての画素の画素値を表示用画像に構成することによって肋骨領域等の認識結果を表す表示用画像を生成する方法がある。
【００３６】
また、２つ目の方法として、３次元ボリューム画像Ｖの各画素にその画素が属する領域のラベルが割り当てられてなる３次元ラベリング画像を予め用意しておき、３次元ボリューム画像Ｖから、まず、断層画像や投影画像といったベースとなる画像を生成し、３次元ラベリング画像から前記ベース画像に対応する画像範囲を表すマスク画像を生成し、ベース画像上にマスク画像を重畳して表示用画像に構成することによって肋骨領域等の認識結果を表す表示用画像を生成する方法がある。
【００３７】
また、図４に示すように、３次元ボリューム画像Ｖから複数枚の表示用画像を一表示画面に構成して表示させる場合、画像生成部５３は、複数の表示用画像に共通して、３次元ボリューム画像Ｖにおいて同じラベルが付された肋骨領域又は椎骨領域を表す部分領域に同じ色またはパターンが適用されるようにすることができる。これにより、画像同士の位置関係を把握しやすくすることができる。
【００３８】
また、画像生成部５３は、表示用画像として投影方向に厚みを有する領域を投影した投影画像を生成する場合には、図４のコロナルＭＩＰ画像７１に示すように３次元ボリューム画像Ｖ中の人体の後側半分の領域のみを人体の前後方向にＭＩＰ投影する等、投影の対象となる領域を適宜限定することにより骨領域同士が重なって表示されないようにすることができる。これにより、骨領域の全体的な位置を把握しやすくすることができる。
【００３９】
一方、たとえば図５に示すような、骨領域同士が重なって表示される部分を有する投影画像を表示用画像として生成することももちろん可能であり、この骨領域同士が重なって表示される表示用画像上の領域に対し、画像生成部５３は、図６に示すように、その領域上に投影される複数の骨領域Ａ、Ｂのうち視点に最も近い距離にある骨領域Ａに適用される色又はパターンのみが適用されるようにすることができる。また、画像生成部５３は、これに代えて、図７に示すように、複数の骨領域Ａ、Ｂのそれぞれに適用される色又はパターンを重みを付けて混合してなる色またはパターンが適用されるようにすることもできる。図８は、図５の画像において肋骨領域等の認識結果を表示させた画像であって、骨領域同士が重なって表示される表示用画像上の領域にそれらの骨領域のそれぞれに適用されるパターンを重み付け混合して適用した画像例を示す図である。
【００４０】
また、肋骨領域等の認識結果を表す表示用画像が表示された表示画面上で、操作者が、色またはパターンが適用された骨領域のいずれかをクリックし、または単にポインタをその骨領域上に維持することでその骨領域を選択すると、画像生成部５３は、その選択された骨領域に適用される色またはパターンの表示が他の骨領域に適用される色またはパターンの表示よりも強調された強調画像を生成し、表示制御部５４が、その生成された強調画像を表示部３５に表示させることができる。図９は、図８の画像において選択された骨領域を強調表示させた強調画像の例を示す図である。図９に示すように、対となる肋骨領域や接続関係にある椎骨領域は連動して強調表示されるようにしてもよい。
【００４１】
また、コロナル画像、サジタル画像、アキシャル画像等の任意に設定された方向に連続する複数の断層画像を切り替えて表示することを指示する操作者による入力に応じて、画像生成部５３は、３次元ボリューム画像Ｖから、表示の対象となる複数の断層画像を生成し、表示制御部５４は、生成された複数の断層画像を表示部３５に切替えて表示させることができる。
【００４２】
さらに、この断層画像の切替え表示において、肋骨領域等の認識結果を表すことを指示する操作者による入力に応じて、画像生成部５３は、３次元ボリューム画像Ｖから、同じラベルが付された肋骨領域や椎骨領域を表す部分領域に同じ色またはパターンが共通して適用された複数の断層画像であって、それらの複数の断層画像全体として、左右いずれか一方側の肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された複数の断層画像を肋骨領域等の認識結果を表す表示用画像として生成し、表示制御部５４が、その生成された複数の断層画像を表示部３５に切替えて表示させることができる。
【００４３】
以上の構成により、本実施形態の画像処理システム１０によれば、画像取得部５１が、人体の胸部を撮影して得られた３次元ボリューム画像Ｖを取得し、情報取得部５２が、３次元ボリューム画像Ｖ中の、人体の左右いずれか一方側の複数の肋骨領域と、他方側の複数の肋骨領域又は複数の椎骨領域とを認識しラベル付けした情報Ｌを取得し、画像生成部５３が、取得した情報Ｌを用いて、３次元ボリューム画像Ｖから、一方側の複数の肋骨領域のうち２以上の肋骨領域の少なくとも一部を表す複数の第１部分領域と、他方側の複数の肋骨領域のうち２以上の肋骨領域または複数の椎骨領域のうち２以上の椎骨領域の少なくとも一部を表す複数の第２部分領域とを含む２次元の画像であって、一方側の異なる肋骨領域を表す各第１部分領域に異なる種類の色またはパターンが適用され、かつ、各第１部分領域が表す肋骨と対となる反対側の肋骨を指すラベルが付された肋骨領域または当該第１部分領域が表す肋骨と接続関係にある椎骨を指すラベルが付された椎骨領域を表す第２部分領域に、当該第１部分領域と同じ種類の色またはパターンが適用された画像である表示用画像を生成し、表示制御部５４が、生成された表示用画像を表示部に表示させるので、肋骨領域等の認識結果における誤りの有無を容易に判断できる画像を提供することができる。
【００４４】
さらに、上記実施形態において、画像生成部５３が、図４のコロナルＭＩＰ画像７１に示すような、３次元ボリューム画像Ｖ中の人体の後側半分の領域を人体の前後方向にＭＩＰ投影した投影画像を肋骨領域等の認識結果を表す表示用画像として生成し、表示制御部５４が表示部３５に表示させるようにした場合には、その表示を受ける医者等の読影者は、その提供された表示用画像により、同じ色またはパターンが適用されている領域の対称性、接続関係を一瞥で確認することができ、認識結果における誤りの有無を迅速かつ容易に判断することができる。
【００４５】
なお、上記実施形態では、該当する領域の全体を色またはパターンで塗りつぶすことによって肋骨領域等の認識結果を表示する表示用画像を例示しているが、該当する領域を細線化した中心部のみを色またはパターンで塗りつぶしたり、該当する領域の周縁部のみを色またはパターンで塗りつぶす等、その表示を見たユーザが、色またはパターンの塗りにより、その領域全体の広がり範囲を大まかに把握可能な程度に、該当する領域の少なくとも一部に色またはパターンが塗られた状態とすれば足りる。
【００４６】
また、上記実施形態では、複数枚の表示用領域を生成し表示させる場合を例示しているが、表示用領域は１枚でもよい。たとえば、図４に示すコロナルＭＩＰ画像７１、コロナル画像７２およびアキシャル画像７４のいずれか１枚を表示用領域として生成し表示させるようにしてもよい。
【００４７】
また、上記実施形態では、左右の肋骨領域と椎骨領域の全てを対象に色またはパターンを適用した表示用画像を生成し表示させる場合を例示しているが、左右の肋骨領域のみ、または左右いずれか一方側の肋骨領域と椎骨領域のみを対象に色またはパターンを適用した表示用画像を生成し表示させるようにしてもよい。
【００４８】
また、上記実施形態では、肋骨領域等の認識結果を色またはパターンの適用のみで表示する表示用画像を例示しているが、色またはパターンの適用による表示に加えて、色またはパターンが適用された各骨領域の近傍にその領域に付されたラベルを表す文字列が表示された画像を表示用画像として生成し表示させるようにしてもよい。
【符号の説明】
【００４９】
１        モダリティ
２        サーバ
３        画像表示装置
１０      画像処理システム
３１      メモリ
３２      ＣＰＵ
３３      ストレージ
３５      表示部
３６      入力部
５１      画像取得部
５２      情報取得部
５３      画像生成部
５４      表示制御部
６１      コロナルＭＩＰ画像
６２      コロナル画像
６３      サジタル画像
６４      アキシャル画像
【図１】
2015159945.tif 000003
【図２】
2015159945.tif 000004
【図６】
2015159945.tif 000005
【図７】
2015159945.tif 000006
【図３】
2015159945.tif 000007
【図４】
2015159945.tif 000008
【図５】
2015159945.tif 000009
【図８】
2015159945.tif 000010
【図９】
2015159945.tif 000011
【図１０】
2015159945.tif 000012
【図１１】
2015159945.tif 000013
【図１２】
2015159945.tif 000014
【図１３】
2015159945.tif 000015