(57)【要約】【課題】被検物質を含む画像をより自然な画像として表示することが可能な画像表示装置、画像表示方法および画像処理方法を提供する。【解決手段】試料１１１に含まれる被検物質を撮像して表示する画像表示装置１２０は、被検物質を撮像する撮像部２００と、撮像部２００により得られた撮像画像１１の少なくとも一部に、画素値が不均一に分布するように各画素の画素値が設定された追加画像１１ｃを付加して、被検物質の領域２１を含む表示用の画像６１を生成する画像処理部１２１と、画像処理部１２１により生成された表示用の画像６１を表示する表示部１２３と、を備える。【選択図】図１
2018190083.tif 000002
【特許請求の範囲】
【請求項１】
試料に含まれる被検物質を撮像して表示する画像表示装置であって、
前記被検物質を撮像する撮像部と、
前記撮像部により得られた撮像画像の少なくとも一部に、画素値が不均一に分布するように各画素の画素値が設定された追加画像を付加して、前記被検物質の領域を含む前記表示用の画像を生成する画像処理部と、
前記画像処理部により生成された前記表示用の画像を表示する表示部と、を備える、画像表示装置。
【請求項２】
前記画像処理部は、前記撮像画像における前記被検物質の領域の位置と、前記表示用の画像における前記被検物質の領域の位置とが異なるよう、前記表示用の画像を生成する、請求項１に記載の画像表示装置。
【請求項３】
前記表示部は、同一の前記試料から生成された複数の前記表示用の画像を一覧表示する、請求項１または２に記載の画像表示装置。
【請求項４】
前記撮像部は、同じ種類の複数の前記被検物質を撮像し、
前記画像処理部は、同じ種類の複数の前記被検物質に基づいて前記撮像部により得られた複数の前記撮像画像について、それぞれ、前記表示用の画像における前記被検物質の領域の位置が互いに同一となるように前記表示用の画像を生成する、請求項３に記載の画像表示装置。
【請求項５】
前記画像処理部は、前記複数の前記撮像画像について、それぞれ、前記被検物質の領域以外の背景領域に応じた互いに異なる前記追加画像を前記撮像画像の少なくとも一部に付加して前記表示用の画像を生成する、請求項４に記載の画像表示装置。
【請求項６】
前記画像処理部は、前記表示用の画像を、一定形状かつ一定サイズに設定する、請求項３ないし５の何れか一項に記載の画像表示装置。
【請求項７】
前記画像処理部は、前記被検物質の領域が前記表示用の画像の略中央に位置付けられるように、前記撮像画像の少なくとも一部に前記追加画像を付加して前記表示用の画像を生成する、請求項１ないし６の何れか一項に記載の画像表示装置。
【請求項８】
前記画像処理部は、前記撮像画像から、前記被検物質の領域以外の背景領域の平均画素値を取得し、取得した前記平均画素値に基づいて、前記追加画像の前記各画素の画素値を設定する、請求項１ないし７の何れか一項に記載の画像表示装置。
【請求項９】
前記画像処理部は、前記撮像画像における前記被検物質の領域以外の背景領域の平均画素値と同様の平均画素値を取得し、取得した前記平均画素値に基づいて、前記追加画像の前記各画素の画素値を設定する、請求項１ないし７の何れか一項に記載の画像表示装置。
【請求項１０】
前記画像処理部は、前記平均画素値に対して画素ごとに画素値を変化させることにより、前記追加画像の前記各画素の画素値を設定する、請求項８または９に記載の画像表示装置。
【請求項１１】
前記画像処理部は、前記平均画素値に対して画素ごとに正または負の極性の乱数を加算することにより、前記追加画像の前記各画素の画素値を設定する、請求項１０に記載の画像表示装置。
【請求項１２】
前記画像処理部は、前記背景領域の最大画素値および最小画素値を取得し、前記追加画像の前記各画素の画素値が少なくとも前記最大画素値と前記最小画素値との間に含まれるように、前記平均画素値に対して画素ごとに正または負の極性の乱数を加算して、前記追加画像の前記各画素の画素値を設定する、請求項８に記載の画像表示装置。
【請求項１３】
前記画像処理部は、前記背景領域の最大画素値および最小画素値とそれぞれ同様の最大画素値および最小画素値を取得し、前記追加画像の前記各画素の画素値が少なくとも取得した前記最大画素値と前記最小画素値との間に含まれるように、前記平均画素値に対して画素ごとに正または負の極性の乱数を加算して、前記追加画像の前記各画素の画素値を設定する、請求項９に記載の画像表示装置。
【請求項１４】
前記画像処理部は、前記撮像画像における前記被検物質の領域以外の背景領域の画素値の度数分布と同様の傾向で前記追加画像の画素値が分布するように、前記追加画像の前記各画素の画素値を設定する、請求項１ないし１３の何れか一項に記載の画像表示装置。
【請求項１５】
前記画像処理部は、前記背景領域の画素値の度数分布に基づいて、乱数と画素値との関係を規定する関数を設定し、設定した前記関数に乱数を適用することにより、前記追加画像の前記各画素の画素値を設定する、請求項１４に記載の画像表示装置。
【請求項１６】
前記画像処理部は、前記背景領域の画素値の度数分布の分散を取得し、ガウス分布を表す関数の逆関数に取得した前記分散を乗じ、さらに前記背景領域の平均画素値を加算することにより、乱数と画素値との関係を規定する前記関数を設定する、請求項１５に記載の画像表示装置。
【請求項１７】
前記画像処理部は、前記背景領域の画素値の度数分布と同様の度数分布に基づいて、乱数と画素値との関係を規定する関数を設定し、設定した前記関数に乱数を適用することにより、前記追加画像の前記各画素の画素値を設定する、請求項１４に記載の画像表示装置。
【請求項１８】
前記画像処理部は、前記背景領域の画素値の度数分布の分散と同様の分散を取得し、ガウス分布を表す関数の逆関数に取得した前記分散を乗じ、さらに前記背景領域の平均画素値を加算することにより、乱数と画素値との関係を規定する前記関数を設定する、請求項１７に記載の画像表示装置。
【請求項１９】
前記画像処理部は、前記撮像画像における前記被検物質の領域以外の背景領域の最大画素値および最小画素値を取得し、取得した前記最大画素値と前記最小画素値との間の範囲で変化する乱数により、前記追加画像の前記各画素の画素値を設定する、請求項１ないし１８の何れか一項に記載の画像表示装置。
【請求項２０】
前記画像処理部は、前記撮像画像における前記被検物質の領域以外の背景領域の最大画素値および最小画素値とそれぞれ同様の最大画素値および最小画素値を取得し、取得した前記最大画素値と前記最小画素値との間の範囲で変化する乱数により、前記追加画像の前記各画素の画素値を設定する、請求項１ないし１８の何れか一項に記載の画像表示装置。
【請求項２１】
前記画像処理部は、少なくとも前記追加画像と前記撮像画像の背景領域との境界付近の画素に対し、画素値変化を抑制するためのスムージング処理を実行する、請求項１ないし２０の何れか一項に記載の画像表示装置。
【請求項２２】
前記被検物質は、生体由来の物質である、請求項１ないし２１の何れか一項に記載の画像表示装置。
【請求項２３】
前記被検物質は、細胞における特定の遺伝子、細胞の核に含まれる特定の物質、細胞膜内の特定の物質、細胞における核、細胞膜、細胞、およびタンパク質からなる群より選択される、請求項２２に記載の画像表示装置。
【請求項２４】
前記被検物質は、前記細胞におけるＢＣＲ遺伝子およびＡＢＬ遺伝子を含む、請求項２３に記載の画像表示装置。
【請求項２５】
前記画像処理部は、前記ＢＣＲ遺伝子に基づく画像と前記ＡＢＬ遺伝子に基づく画像とを重ね合わせて、前記表示用の画像を生成する、請求項２４に記載の画像表示装置。
【請求項２６】
前記被検物質は、前記細胞における特定の遺伝子および前記細胞における核を含み、
前記画像処理部は、前記核に基づく画像と前記遺伝子に基づく画像とを重ね合わせて、前記表示用の画像を生成する、請求項２３ないし２５の何れか一項に記載の画像表示装置。
【請求項２７】
前記被検物質は、励起光により蛍光を生じる蛍光色素により標識され、
前記撮像部は、前記被検物質を含む試料に前記励起光を照射して、前記蛍光色素から生じた蛍光を撮像する、請求項１ないし２６の何れか一項に記載の画像表示装置。
【請求項２８】
前記撮像部は、
前記試料を流すためのフローセルと、
前記フローセルを流れる前記試料に前記励起光を照射するための光源と、
前記励起光が照射された前記試料を撮像するカメラと、を備える、請求項２７に記載の画像表示装置。
【請求項２９】
試料に含まれる被検物質を撮像して表示する画像表示装置であって、
前記被検物質を撮像する撮像部と、
前記撮像部により得られた撮像画像の少なくとも一部に、画素値が不均一に分布するように各画素の画素値が設定された追加画像を付加して、前記被検物質の領域を含む表示用の画像を生成する画像処理部と、
同一の前記試料から前記画像処理部により生成された複数の前記表示用の画像を一覧表示する表示部と、を備える、画像表示装置。
【請求項３０】
試料に含まれる被検物質を撮像して表示する画像表示装置であって、
前記被検物質を撮像する撮像部と、
前記撮像部により得られた撮像画像から前記被検物質の領域を含む表示用の画像を生成する画像処理部と、
前記画像処理部により生成された前記表示用の画像を表示する表示部と、を備え、
前記画像処理部は、前記撮像画像から、前記被検物質の領域以外の背景領域の画素値に関する複数の統計値を取得し、取得した前記複数の統計値に基づいて、画素値が不均一に分布するように各画素の画素値が設定された追加画像を前記撮像画像の少なくとも一部に付加して前記表示用の画像を生成する、画像表示装置。
【請求項３１】
試料に含まれる被検物質を撮像して表示する画像表示方法であって、
前記被検物質を撮像する工程と、
撮像により得られた撮像画像の少なくとも一部に、画素値が不均一に分布するように各画素の画素値が設定された追加画像を付加して、前記撮像画像における前記被検物質の領域の位置と、前記被検物質の領域を含む表示用の画像における前記被検物質の領域の位置とが異なるよう、前記表示用の画像を生成する工程と、
生成された前記表示用の画像を表示する工程と、を含む、画像表示方法。
【請求項３２】
被検物質を撮像した撮像画像から前記被検物質の領域を含む表示用の画像を生成する画像処理方法であって、
画素値が不均一に分布するように各画素の画素値が設定された追加画像を前記撮像画像の少なくとも一部に付加して、前記撮像画像における前記被検物質の領域の位置と、前記表示用の画像における前記被検物質の領域の位置とが異なるよう、前記表示用の画像を生成する工程を含む、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検物質を撮像して表示する画像表示装置、画像表示方法および画像処理方法に関する。
【背景技術】
【０００２】
細胞を撮像し、撮像した画像を処理することにより、細胞中に含まれた被検物質を分析する装置が、病院等の施設で用いられている。この種の装置は、一般に、被検物質を含む画像を撮像画像から抽出して表示する構成を備えている。操作者は、装置による分析結果を検討する際に、適宜、被検物質を含む画像をモニタ等に表示させて、被検物質の出現状況を目視により確認できる。
【０００３】
以下の特許文献１には、撮像画像から細胞等の粒子の画像を切り出して、表示用の画像を生成する構成が記載されている。この構成では、図２４に示すように、表示領域３０１〜３０４に粒子の画像３１１〜３１４が表示される。表示領域３０１〜３０４中の粒子の画像３１１〜３１４以外の領域は、白や黒で塗りつぶされ、あるいは、粒子の画像３１１〜３１４の背景部分の平均濃度データで塗りつぶされる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２８６９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像画像から切り出された粒子の画像には、粒子の領域と背景領域とが含まれている。このうち背景領域は、撮像の特性上、均一な画素値とはならず、うねりや、ノイズ成分が含まれたランダムな画素値となる。上記特許文献１の手法では、粒子の画像以外の領域が単一色で塗りつぶされるため、この領域と、粒子の画像の背景領域との間で、視認性が大きく異なる。このため、粒子の画像以外の領域が目立った不自然な画像が表示されることとなり、操作者が目視により画像を確認する際に、作業効率が低下するおそれがある。
【０００６】
かかる課題に鑑み、本発明は、被検物質を含む画像をより自然な画像として表示することが可能な画像表示装置、画像表示方法および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、試料（１１１）に含まれる被検物質を撮像して表示する画像表示装置（１２０）に関する。本態様に係る画像表示装置（１２０）は、被検物質を撮像する撮像部（２００）と、撮像部（２００）により得られた撮像画像（１１〜１４）の少なくとも一部に、画素値が不均一に分布するように各画素の画素値が設定された追加画像（１１ｃ）を付加して、被検物質の領域（２１〜２４）を含む表示用の画像（６１〜６４、７０）を生成する画像処理部（１２１）と、画像処理部（１２１）により生成された表示用の画像（６１〜６４、７０）を表示する表示部（１２３）と、を備える。
【０００８】
試料は、生体から採取した血液、血漿、脳脊髄液、組織液、尿などに基づいて調製された液体である。被検物質は、生体由来の物質であり、細胞における特定の遺伝子、細胞の核に含まれる特定の物質、細胞膜内の特定の物質、細胞における核、細胞膜、細胞、タンパク質などである。画素値とは、画像の各画素に割り当てられたデジタル値のことである。
【０００９】
撮像画像における被検物質の領域以外の領域、すなわち背景領域においては、各画素の画素値は一般的に不均一となる。本態様に係る画像表示装置によれば、撮像画像の背景領域と同様に画素値が不均一に分布するように追加画像の各画素の画素値が設定される。これにより、撮像画像の背景領域に追加画像が馴染んだ自然な画像を表示させることができる。よって、オペレータは、不自然な画像に気をそらされることなく被検物質の領域に集中でき、表示用の画像の目視確認を効率的に進めることができる。
【００１０】
本態様に係る画像表示装置（１２０）において、画像処理部（１２１）は、撮像画像（１１〜１４）における被検物質の領域（２１〜２４）の位置と、表示用の画像（６１〜６４、７０）における被検物質の領域（２１〜２４）の位置とが異なるよう、表示用の画像（６１〜６４、７０）を生成するよう構成され得る。
【００１１】
本態様に係る画像表示装置（１２０）において、表示部（１２３）は、同一の試料（１１１）から生成された複数の表示用の画像（６１〜６４、７０）を一覧表示するよう構成され得る。こうすると、オペレータは、同一の試料に基づく表示用の画像を容易に比較対照できる。
【００１２】
この場合に、撮像部（２００）は、同じ種類の複数の被検物質を撮像し、画像処理部（１２１）は、同じ種類の複数の被検物質に基づいて撮像部（２００）により得られた複数の撮像画像（１１）について、それぞれ、表示用の画像（６１、７０）における被検物質の領域（２１）の位置が互いに同一となるように表示用の画像（６１〜６４、７０）を生成するよう構成され得る。こうすると、一覧表示される複数の表示用の画像において、被検物質の領域が同じ位置に位置付けられるため、オペレータは、被検物質の目視確認を効率的に進めることができる。
【００１３】
この場合に、画像処理部（１２１）は、複数の撮像画像（１１〜１４）について、それぞれ、被検物質の領域（２１〜２４）以外の背景領域に応じた互いに異なる追加画像（１１ｃ）を撮像画像（１１〜１４）の少なくとも一部に付加して表示用の画像（６１〜６４、７０）を生成するよう構成され得る。こうすると、撮像画像の背景領域に追加画像が馴染んだ自然な画像が表示されるため、オペレータは、目視確認において不自然な画像に気をそらされることなく被検物質の領域に集中できる。
【００１４】
本態様に係る画像表示装置（１２０）において、画像処理部（１２１）は、表示用の画像（６１〜６４、７０）を、一定形状かつ一定サイズに設定するよう構成され得る。表示用の画像の形状およびサイズを揃えることにより、表示用の画像を見やすくできる。よって、被検物質の状態を目視により観察する際の作業効率を高めることができる。
【００１５】
本態様に係る画像表示装置（１２０）において、画像処理部（１２１）は、被検物質の領域（２１）が表示用の画像（６１、７０）の略中央に位置付けられるように、撮像画像（１１〜１４）の少なくとも一部に追加画像（１１ｃ）を付加して表示用の画像（６１〜６４、７０）を生成するよう構成され得る。こうすると、被検物質の領域が表示用の画像の略中央に位置付けられるため、オペレータは、表示用の画像の略中央において常に被検物質を確認できるため、表示用の画像の目視確認を効率的に進めることができる。
【００１６】
本態様に係る画像表示装置（１２０）において、画像処理部（１２１）は、撮像画像（１１〜１４）から、被検物質の領域（２１〜２４）以外の背景領域（９１、９２）の平均画素値を取得し、取得した平均画素値に基づいて、追加画像（１１ｃ）の各画素の画素値を設定するよう構成され得る。こうすると、背景領域の平均画素値に近い画素値の範囲で、追加画像の画素値を設定できる。よって、撮像画像の背景領域と追加画像との間の画素値の格差を抑制でき、撮像画像の背景領域に追加画像が馴染んだ自然な画像を表示させることができる。
【００１７】
なお、背景領域は、必ずしも、撮像画像から被検物質の領域を除いた背景部分の全領域でなくてもよく、当該背景部分の一部の領域であってもよい。たとえば、撮像画像の一部を切り出して表示用の画像を生成する場合、背景領域は、切り出した画像から被検物質の領域を除いた背景部分の全領域であってもよく、あるいは、追加画像との境界付近の、当該背景部分の一部の領域であってもよい。
【００１８】
本態様に係る画像表示装置（１２０）において、画像処理部（１２１）は、撮像画像（１１〜１４）における被検物質の領域（２１〜２４）以外の背景領域（９１、９２）の平均画素値と同様の平均画素値を取得し、取得した平均画素値に基づいて、追加画像（１１ｃ）の各画素の画素値を設定するよう構成され得る。「背景領域の平均画素値と同様の平均画素値」とは、たとえば、背景領域において統計的に予想される平均画素値である。こうすると、背景領域と同様の平均画素値に近い画素値の範囲で、追加画像の画素値を設定できる。よって、撮像画像の背景領域と追加画像との間の画素値の格差を抑制でき、撮像画像の背景領域に追加画像が馴染んだ自然な画像を表示させることができる。
【００１９】
本態様に係る画像表示装置（１２０）において、画像処理部（１２１）は、平均画素値に対して画素ごとに画素値を変化させることにより、追加画像（１１ｃ）の各画素の画素値を設定するよう構成され得る。こうすると、背景領域に生じている画素値のノイズ成分を、追加画像において表現できる。よって、より自然な表示用の画像を生成できる。
【００２０】
この場合に、画像処理部（１２１）は、平均画素値に対して画素ごとに正または負の極性の乱数を加算することにより、追加画像（１１ｃ）の各画素の画素値を設定するよう構成され得る。こうすると、簡易な処理により、背景領域に生じている画素値のノイズ成分を、追加画像において表現できる。
【００２１】
また、画像処理部（１２１）は、背景領域（９１、９２）の最大画素値および最小画素値を取得し、追加画像（１１ｃ）の各画素の画素値が少なくとも最大画素値と最小画素値との間に含まれるように、平均画素値に対して画素ごとに正または負の極性の乱数を加算して、追加画像（１１ｃ）の各画素の画素値を設定するよう構成され得る。こうすると、追加画像の画素値が撮像画像の背景領域の画素値変化の範囲に収まるため、追加画像に表現されたノイズ成分が撮像画像の背景領域に対して目立ちにくくできる。
【００２２】
また、画像処理部（１２１）は、背景領域（９１、９２）の最大画素値および最小画素値とそれぞれ同様の最大画素値および最小画素値を取得し、追加画像（１１ｃ）の各画素の画素値が少なくとも取得した最大画素値と最小画素値との間に含まれるように、平均画素値に対して画素ごとに正または負の極性の乱数を加算して、追加画像（１１ｃ）の各画素の画素値を設定するよう構成され得る。「背景領域の最大画素値と同様の最大画素値」とは、たとえば、背景領域において統計的に予想される最大の画素値であり、「背景領域の最小画素値と同様の最小画素値」とは、たとえば、背景領域において統計的に予想される最小の画素値である。こうすると、追加画像の画素値が撮像画像の背景領域と同様の画素値変化の範囲に収まるため、追加画像に表現されたノイズ成分が撮像画像の背景領域に対して目立ちにくくできる。
【００２３】
本態様に係る画像表示装置（１２０）において、画像処理部（１２１）は、撮像画像（１１〜１４）における被検物質の領域（２１〜２４）以外の背景領域（９１、９２）の画素値の度数分布と同様の傾向で追加画像（１１ｃ）の画素値が分布するように、追加画像（１１ｃ）の各画素の画素値を設定するよう構成され得る。こうすると、背景領域に生じているノイズ成分と同様の画素値分布で、追加画像にノイズ成分を表現できる。よって、より一層自然な表示用の画像を生成できる。
【００２４】
この場合に、画像処理部（１２１）は、背景領域（９１、９２）の画素値の度数分布に基づいて、乱数と画素値との関係を規定する関数を設定し、設定した関数に乱数を適用することにより、追加画像（１１ｃ）の各画素の画素値を設定するよう構成され得る。こうすると、追加画像の各画素の画素値を円滑に算出できる。
【００２５】
この場合に、画像処理部（１２１）は、背景領域（９１、９２）の画素値の度数分布の分散を取得し、ガウス分布を表す関数の逆関数に取得した分散を乗じ、さらに背景領域（９１、９２）の平均画素値を加算することにより、乱数と画素値との関係を規定する関数を設定するよう構成され得る。
【００２６】
本態様に係る画像表示装置（１２０）において、画像処理部（１２１）は、背景領域（９１、９２）の画素値の度数分布と同様の度数分布に基づいて、乱数と画素値との関係を規定する関数を設定し、設定した関数に乱数を適用することにより、追加画像（１１ｃ）の各画素の画素値を設定するよう構成され得る。「背景領域の画素値の度数分布と同様の度数分布」とは、たとえば、背景領域の画素値において統計的に予想される度数分布である。こうすると、追加画像の各画素の画素値を円滑に算出できる。
【００２７】
この場合に、画像処理部（１２１）は、背景領域（９１、９２）の画素値の度数分布の分散と同様の分散を取得し、ガウス分布を表す関数の逆関数に取得した分散を乗じ、さらに背景領域（９１、９２）の平均画素値を加算することにより、乱数と画素値との関係を規定する関数を設定するよう構成され得る。「背景領域の画素値の度数分布の分散と同様の分散」とは、たとえば、背景領域の画素値の度数分布において統計的に予想される分散である。
【００２８】
本態様に係る画像表示装置（１２０）において、画像処理部（１２１）は、撮像画像（１１〜１４）における被検物質の領域（２１〜２４）以外の背景領域（９１、９２）の最大画素値および最小画素値を取得し、取得した最大画素値と最小画素値との間の範囲で変化する乱数により、追加画像（１１ｃ）の各画素の画素値を設定するよう構成され得る。
【００２９】
本態様に係る画像表示装置（１２０）において、画像処理部（１２１）は、撮像画像（１１〜１４）における被検物質の領域（２１〜２４）以外の背景領域（９１、９２）の最大画素値および最小画素値とそれぞれ同様の最大画素値および最小画素値を取得し、取得した最大画素値と最小画素値との間の範囲で変化する乱数により、追加画像（１１ｃ）の各画素の画素値を設定するよう構成され得る。
【００３０】
本態様に係る画像表示装置（１２０）において、画像処理部（１２１）は、少なくとも追加画像（１１ｃ）と撮像画像（１１〜１４）の背景領域（９１、９２）との境界付近の画素に対し、画素値変化を抑制するためのスムージング処理を実行するよう構成され得る。こうすると、撮像画像の背景領域と追加画像との連続性が良くなるので、より自然な表示用の画像を生成できる。
【００３１】
本態様に係る画像表示装置（１２０）において、被検物質は、生体由来の物質である。こうすると、生体由来の物質に基づく画像を表示させることができる。オペレータは、表示された画像を参照することにより、当該生体由来の物質に基づく診断を円滑かつ効率的に進めることができる。
【００３２】
この場合に、被検物質は、細胞における特定の遺伝子、細胞の核に含まれる特定の物質、細胞膜内の特定の物質、細胞における核、細胞膜、細胞、およびタンパク質からなる群より選択される。
【００３３】
この場合に、被検物質は、細胞におけるＢＣＲ遺伝子およびＡＢＬ遺伝子を含む。こうすると、ＢＣＲ遺伝子およびＡＢＬ遺伝子に基づく画像を表示させることができる。よって、オペレータは、表示された画像を参照することにより、たとえば、これら遺伝子の転座を確認でき、これら遺伝子に基づく診断を円滑かつ効率的に進めることができる。
【００３４】
この場合、画像処理部（１２１）は、ＢＣＲ遺伝子に基づく画像（６２）とＡＢＬ遺伝子に基づく画像（６３）とを重ね合わせて、表示用の画像（７０）を生成するよう構成され得る。オペレータは、ＢＣＲ遺伝子に基づく画像とＡＢＬ遺伝子に基づく画像とが重ね合わされた画像を参照することにより、ＢＣＲ遺伝子およびＡＢＬ遺伝子の分布状態を容易に確認できる。これにより、たとえば、これら遺伝子に転座が生じているか否かを容易に確認でき、診断を円滑に進めることができる。
【００３５】
本態様に係る画像表示装置（１２０）において、被検物質は、細胞における特定の遺伝子および細胞における核を含み、画像処理部（１２１）は、核に基づく画像（６１）と遺伝子に基づく画像（６２、６３）とを重ね合わせて、表示用の画像（７０）を生成するよう構成され得る。こうすると、オペレータは、遺伝子が核内においてどのように分布しているかを確認できる。また、蛍光色素によって遺伝子を標識する場合に、たとえば、遺伝子を標識する蛍光色素から生じた光が核の外側に分布していると、遺伝子の蛍光標識が適正に行われなかったと判断することもできる。
【００３６】
本態様に係る画像表示装置（１２０）において、被検物質は、励起光により蛍光を生じる蛍光色素により標識され、撮像部（２００）は、被検物質を含む試料（１１１）に励起光を照射して、蛍光色素から生じた蛍光を撮像するよう構成され得る。こうすると、蛍光により被検物質の領域および位置等を画像において視覚化できる。よって、オペレータは、表示用の画像を参照することにより、被検物質の状態を円滑かつ明瞭に確認できる。
【００３７】
この場合に、撮像部（２００）は、試料（１１１）を流すためのフローセル（２１０）と、フローセル（２１０）を流れる試料（１１１）に励起光を照射するための光源（２２１〜２２３）と、励起光が照射された試料（１１１）を撮像するカメラ（２５４）と、を備えるよう構成され得る。こうすると、１つの試料から、被検物質に基づく複数の撮像画像を連続的に取得できる。
【００３８】
本発明の第２の態様は、試料（１１１）に含まれる被検物質を撮像して表示する画像表示装置（１２０）に関する。本態様に係る画像表示装置（１２０）は、被検物質を撮像する撮像部（２００）と、撮像部（２００）により得られた撮像画像（１１〜１４）の少なくとも一部に、画素値が不均一に分布するように各画素の画素値が設定された追加画像（１１ｃ）を付加して、被検物質の領域（２１〜２４）を含む表示用の画像（６１〜６４、７０）を生成する画像処理部（１２１）と、同一の試料（１１１）から画像処理部（１２１）により生成された複数の表示用の画像（６１〜６４、７０）を一覧表示する表示部（１２３）と、を備える。
【００３９】
本態様に係る画像表示装置によれば、撮像画像の背景領域と同様に画素値が不均一に分布するように追加画像の各画素の画素値が設定されるため、撮像画像の背景領域に追加画像が馴染んだ自然な画像を生成できる。そして、生成された複数の表示用の画像が一覧表示される。これにより、オペレータは、同一の試料に基づく表示用の画像を容易に比較対照しながら、不自然な画像に気をそらされることなく被検物質の領域に集中して表示用の画像の目視確認を効率的に進めることができる。
【００４０】
本発明の第３の態様は、試料（１１１）に含まれる被検物質を撮像して表示する画像表示装置（１２０）に関する。本態様に係る画像表示装置（１２０）は、被検物質を撮像する撮像部（２００）と、撮像部（２００）により得られた撮像画像（１１〜１４）から被検物質の領域（２１〜２４）を含む表示用の画像（６１〜６４、７０）を生成する画像処理部（１２１）と、画像処理部（１２１）により生成された表示用の画像（６１〜６４、７０）を表示する表示部（１２３）と、を備える。画像処理部（１２１）は、撮像画像（１１〜１４）から、被検物質の領域（２１〜２４）以外の背景領域（９１、９２）の画素値に関する複数の統計値を取得し、取得した複数の統計値に基づいて、画素値が不均一に分布するように各画素の画素値が設定された追加画像（１１ｃ）を撮像画像（１１〜１４）の少なくとも一部に付加して表示用の画像（６１〜６４、７０）を生成する。
【００４１】
統計値とは、たとえば、平均画素値、最大画素値、最小画素値、画素値の分散、などである。本態様に係る画像表示装置によれば、第１の態様と同様の効果が奏される。
【００４２】
本発明の第４の態様は、試料（１１１）に含まれる被検物質を撮像して表示する画像表示方法に関する。本態様に係る画像表示方法は、被検物質を撮像する工程（Ｓ２）と、撮像により得られた撮像画像（１１〜１４）の少なくとも一部に、画素値が不均一に分布するように各画素の画素値が設定された追加画像（１１ｃ）を付加して、撮像画像（１１〜１４）における被検物質の領域（２１〜２４）の位置と、被検物質の領域（２１〜２４）を含む表示用の画像（６１〜６４、７０）における被検物質の領域（２１〜２４）の位置とが異なるよう、表示用の画像（６１〜６４、７０）を生成する工程（Ｓ５）と、生成された表示用の画像（６１〜６４、７０）を表示する工程（Ｓ８）と、を含む。
【００４３】
本態様に係る画像表示方法によれば、第１の態様と同様の効果が奏される。
【００４４】
本発明の第５の態様は、被検物質を撮像した撮像画像（１１〜１４）から被検物質の領域（２１〜２４）を含む表示用の画像（６１〜６４、７０）を生成する画像処理方法に関する。本態様に係る画像処理方法は、画素値が不均一に分布するように各画素の画素値が設定された追加画像（１１ｃ）を撮像画像（１１〜１４）の少なくとも一部に付加して、撮像画像（１１〜１４）における被検物質の領域（２１〜２４）の位置と、表示用の画像（６１〜６４、７０）における被検物質の領域（２１〜２４）の位置とが異なるよう、表示用の画像（６１〜６４、７０）を生成する工程（Ｓ５）を含む。
【００４５】
本態様に係る画像処理方法によれば、第１の態様と同様の効果が奏される。
【発明の効果】
【００４６】
本発明によれば、撮像画像の背景領域に追加画像が馴染んだ自然な画像を表示させることができる。
【図面の簡単な説明】
【００４７】
【図１】図１（ａ）は、実施形態１に係る画像表示装置および前処理ユニットの構成を示すブロック図である。図１（ｂ）〜（ｇ）は、実施形態１に係る核について撮像画像から表示用の画像が生成される手順を示す模式図である。
【図２】図２は、実施形態１に係る撮像部の構成を示す模式図である。
【図３】図３は、実施形態１に係る前処理ユニットおよび画像表示装置を用いた処理を示すフローチャートである。
【図４】図４（ａ）は、実施形態１に係る撮像画像を示す模式図である。図４（ｂ）は、実施形態１に係る被検物質の領域を示す模式図である。図４（ｃ）は、実施形態１に係る被検物質の領域を取得する手順を示す模式図である。
【図５】図５（ａ）は、実施形態１に係る表示用の画像の領域を示す模式図である。図５（ｂ）は、実施形態１に係る削除領域および追加領域を示す模式図である。図５（ｃ）は、実施形態１に係る表示用の画像を示す模式図である。
【図６】図６（ａ）は、実施形態１に係る撮像画像の一部に対して追加画像が付加されることを示す模式図である。図６（ｂ）は、実施形態１に係る撮像画像全体に対して追加画像が付加されることを示す模式図である。
【図７】図７（ａ）は、実施形態１に係る被検物質ごとに生成された表示用の画像を重ね合わせることにより合成された表示用の画像が生成されることを示す模式図である。図７（ｂ）〜（ｄ）は、実施形態１に係る異常細胞の検出において陽性と判定される細胞を示す模式図である。
【図８】図８は、実施形態１に係る表示部に表示される画面を示す模式図である。
【図９】図９は、実施形態１に係るパディング処理を示すフローチャートである。
【図１０】図１０（ａ）は、実施形態１のパディング処理に係るクリッピング処理により撮像画像から削除画像が除かれた画像を示す模式図である。図１０（ｂ）は、実施形態１に係るマスク画像および背景領域を示す模式図である。図１０（ｃ）は、実施形態１の変更例に係るマスク画像および背景領域を示す模式図である。
【図１１】図１１（ａ）は、実施形態１に係る追加画像に設定される画素の画素値を説明するための概念図である。図１１（ｂ）、（ｃ）は、実施形態１に係る実際に生成されたクリッピング処理後の画像、マスク画像、およびヒストグラムを示す図である。
【図１２】図１２（ａ）は、実施形態１のパディング処理により実際に生成された表示用の画像を示す図である。図１２（ｂ）は、比較例のパディング処理により実際に生成された画像を示す図である。
【図１３】図１３（ａ）は、実施形態１のパディング処理の変更例を示すフローチャートである。図１３（ｂ）は、実施形態１のパディング処理の変更例に係る追加画像に設定される画素の画素値を説明するための概念図である。
【図１４】図１４（ａ）は、実施形態２に係るパディング処理を示すフローチャートである。図１４（ｂ）は、実施形態２のパディング処理に係る追加画像に設定される画素の画素値を説明するための概念図である。
【図１５】図１５（ａ）は、実施形態２のパディング処理の変更例を示すフローチャートである。図１５（ｂ）は、実施形態２のパディング処理の変更例に係る追加画像に設定される画素の画素値を説明するための概念図である。
【図１６】図１６（ａ）は、実施形態３に係るパディング処理を示すフローチャートである。図１６（ｂ）は、実施形態３に係るスムージング処理の適用領域を示す模式図である。図１６（ｃ）〜（ｆ）は、実施形態３に係るスムージング処理における演算を説明するための模式図である。
【図１７】図１７（ａ）は、実施形態３のパディング処理により実際に生成された表示用の画像を示す図である。図１７（ｂ）、（ｃ）は、実施形態３の変更例に係るスムージング処理における演算を説明するための模式図である。
【図１８】図１８（ａ）は、実施形態４に係るパディング処理を示すフローチャートである。図１８（ｂ）は、実施形態４のパディング処理により実際に生成された表示用の画像を示す図である。
【図１９】図１９（ａ）、（ｂ）は、実施形態４に係る確率密度関数を模式的に示すグラフである。
【図２０】図２０（ａ）は、実施形態４に係る累積分布関数を模式的に示すグラフである。図２０（ｂ）は、実施形態４に係る累積分布関数の逆関数を模式的に示すグラフである。
【図２１】図２１（ａ）は、実施形態４に係る確率密度関数を模式的に示すグラフである。図２１（ｂ）は、実施形態４に係る追加領域を区分して各画素の画素値を設定することを説明するための模式図である。
【図２２】図２２（ａ）は、実施形態５に係るパディング処理を示すフローチャートである。図２２（ｂ）は、実施形態５のパディング処理により実際に生成された表示用の画像を示す図である。
【図２３】図２３（ａ）は、実施形態６に係るパディング処理を示すフローチャートである。図２３（ｂ）は、実施形態６のパディング処理により実際に生成された表示用の画像を示す図である。
【図２４】図２４は、関連技術の構成を説明するための模式図である。
【発明を実施するための形態】
【００４８】
以下の実施形態は、試料に含まれる被検物質を撮像部により撮像し、撮像部により得られた撮像画像から画像処理部により表示用の画像を生成し、生成された表示用の画像を表示部に表示する画像表示装置に本発明を適用したものである。試料は、生体から採取した血液に基づいて調製された液体である。被検物質は、細胞における核酸中の標的部位、細胞における核、および細胞である。核酸中の標的部位は、２２番染色体にあるＢＣＲ遺伝子と９番染色体にあるＡＢＬ遺伝子である。
【００４９】
また、以下の実施形態に示す画像表示装置は、撮像画像に基づいて細胞の分析を行う。具体的には、慢性骨髄性白血病に見られる９番染色体と２２番染色体との間における転座が生じている細胞が異常細胞として検出される。すなわち、以下の実施形態では、ＢＣＲ遺伝子またはＡＢＬ遺伝子が転座してＢＣＲ−ＡＢＬ融合遺伝子を生成している細胞が異常細胞として検出される。以下の実施形態では、検出対象となる細胞は、血液検体中の白血球である。
【００５０】
なお、試料は、血液に基づいて調製された液体に限らず、生体から採取した血漿、脳脊髄液、組織液、尿などに基づいて調製された液体であってもよい。また、被検物質は、生体由来の物質であればよく、たとえば、ＢＣＲ遺伝子とＡＢＬ遺伝子とは異なる他の遺伝子、細胞の核に含まれる特定の物質、細胞膜内の特定の物質、細胞膜、タンパク質などでもよい。
【００５１】
＜実施形態１の概要＞
図１（ａ）に示すように、画像表示装置１２０は、前処理ユニット１１０による前処理により調製された試料１１１を測定して分析および表示を行う。
【００５２】
オペレータは、被検者から採取した検体に対して遠心分離等の処理を行って、検出対象の細胞である白血球を抽出する。検体は、たとえば末梢血の全血である。白血球の抽出にあたっては、遠心分離に代えて溶血剤を用いてその他の血球を溶血させることにより白血球を抽出してもよい。抽出された白血球を含む検体は、前処理ユニット１１０にセットされる。
【００５３】
前処理ユニット１１０は、試薬と検体を混合させるための混合容器、検体と試薬を混合容器に分注するための分注ユニット、混合容器を加温するための加温部等を含む。前処理ユニット１１０は、細胞の標的部位を蛍光色素により標識する工程と、細胞の核を核染色用の蛍光色素により特異的に染色する工程とを含む前処理を行って、セットされた検体から試料１１１を調製する。標的部位を蛍光色素により標識する工程では、蛍光色素により標識された核酸プローブと核酸中の標的部位とがハイブリダイズされる。これにより、ＢＣＲ遺伝子、ＡＢＬ遺伝子および核は、それぞれ異なる蛍光色素により標識される。
【００５４】
画像表示装置１２０は、画像処理部１２１と、記憶部１２２と、表示部１２３と、入力部１２４と、撮像部２００と、を備える。撮像部２００の詳細な構成については、追って図２を参照して説明する。なお、画像表示装置１２０は、前処理ユニット１１０を含むよう構成されてもよい。
【００５５】
画像処理部１２１は、ＣＰＵにより構成される。画像処理部１２１は、ＣＰＵとマイクロコンピュータにより構成されてもよい。画像処理部１２１は、記憶部１２２に記憶されたプログラムやデータに基づいて各種の処理を行う。画像処理部１２１は、記憶部１２２と、表示部１２３と、入力部１２４と、撮像部２００とに接続されており、各部からの信号を受信し、各部を制御する。記憶部１２２は、ＲＡＭ、ＲＯＭ、ハードディスク等により構成される。表示部１２３は、ディスプレイにより構成される。入力部１２４は、マウスおよびキーボードにより構成される。
【００５６】
撮像部２００は、フローサイトメトリー法に基づいて試料１１１に含まれる被検物質を撮像し、撮像画像を生成する。具体的には、撮像部２００は、フローセルを流れる試料１１１を撮像して、細胞ごとに被検物質の撮像画像を生成する。被検物質は、上述したように、核、ＢＣＲ遺伝子、ＡＢＬ遺伝子、および細胞全体である。撮像部２００は、細胞ごとに、核を染色する蛍光色素から生じた蛍光と、ＢＣＲ遺伝子を染色する蛍光色素から生じた蛍光と、ＡＢＬ遺伝子を染色する蛍光色素から生じた蛍光と、細胞全体を透過した光とを撮像して、撮像画像を生成する。細胞全体を透過した光を撮像して生成される撮像画像は、明視野画像である。
【００５７】
画像処理部１２１は、撮像部２００により撮像された撮像画像を処理する。具体的には、画像処理部１２１は、撮像画像の少なくとも一部に、画素値が不均一に分布するように各画素の画素値が設定された追加画像を付加して、撮像画像における被検物質の領域の位置と、被検物質の領域を含む表示用の画像における被検物質の領域の位置とが異なるよう、被検物質の領域を含む表示用の画像を生成する。
【００５８】
なお、画素値とは、画像の各画素に割り当てられたデジタル値を示す。実施形態１の画素値は、被検物質を染色する蛍光色素から生じた蛍光の強度または細胞を透過した明視野の光の強度に対応する。核、ＢＣＲ遺伝子、およびＡＢＬ遺伝子に基づく撮像画像においては、画素値は、それぞれ、核、ＢＣＲ遺伝子、およびＡＢＬ遺伝子を染色する蛍光色素から生じた蛍光の明るさがデジタル信号に変換された値を示す。細胞に基づく明視野の撮像画像においては、光が照射されたときの細胞を透過した光の明るさがデジタル信号に変換された値を示す。
【００５９】
図１（ｂ）〜（ｇ）は、被検物質である核について撮像画像から表示用の画像が生成される手順を示す模式図である。
【００６０】
図１（ｂ）に示す撮像画像１１が撮像部２００により取得されると、画像処理部１２１は、撮像画像１１において、図１（ｃ）に示すように、被検物質である核の領域２１を特定する。続いて、画像処理部１２１は、領域２１が、この後で生成する表示用の画像６１の所定位置に位置付けられるように、表示用の画像６１の領域３１を設定する。所定位置は、たとえば、表示用の画像６１の略中央とされる。
【００６１】
続いて、画像処理部１２１は、撮像画像１１のうち領域３１の外側にある削除画像１１ａを、図１（ｅ）に示すように撮像画像１１から削除する。図１（ｅ）において、削除領域４１は、削除された削除画像１１ａに相当する領域である。撮像画像１１から削除画像１１ａが削除されることにより、画像１１ｂが生成される。続いて、画像処理部１２１は、図１（ｆ）に示すように、追加領域５１に相当する追加画像１１ｃを生成する。追加領域５１は、領域３１のうち撮像画像１１の外側に位置する領域である。このとき、画像処理部１２１は、追加画像１１ｃの各画素の画素値を、各画素において不均一に分布するように設定する。続いて、画像処理部１２１は、図１（ｅ）に示す画像１１ｂと、図１（ｆ）に示す追加画像１１ｃとを合わせて、図１（ｇ）に示す表示用の画像６１を生成する。
【００６２】
このように表示用の画像６１が生成されると、撮像画像１１における核の領域２１の位置と、表示用の画像６１における核の領域２１とが異なる。すなわち、画像内における核の領域２１が、中央以外の位置から略中央に移動する。図１（ｂ）〜（ｇ）に示す例では、撮像画像１１において左下に位置する領域２１が、表示用の画像６１において略中央に移動する。
【００６３】
画像処理部１２１は、核だけではなく他の被検物質、すなわちＢＣＲ遺伝子、ＡＢＬ遺伝子、および細胞についても、図１（ｂ）〜（ｇ）に示すような手順を行って、各被検物質について表示用の画像を作成する。そして、画像処理部１２１は、核、ＢＣＲ遺伝子、ＡＢＬ遺伝子、および細胞に基づく表示用の画像を表示部１２３に表示する。
【００６４】
撮像画像における被検物質の領域以外の領域、すなわち背景領域においては、各画素の画素値は一般的に不均一となる。上記のように表示用の画像が生成されると、撮像画像の背景領域と同様に画素値が不均一に分布するように追加画像の各画素の画素値が設定される。これにより、撮像画像の背景領域に追加画像が馴染んだ自然な表示用の画像を表示させることができる。よって、オペレータは、不自然な画像に気をそらされることなく被検物質の領域に集中でき、表示用の画像の目視確認を効率的に進めることができる。
【００６５】
また、図１（ｄ）に示したように、表示用の画像６１の領域３１において、核の領域２１が略中央に位置付けられる。これにより、オペレータは、表示用の画像６１の略中央において核を確認できるため、表示用の画像６１の目視確認を効率的に進めることができる。なお、被検物質の領域は、必ずしも表示用の画像の中央になくてもよく、各細胞に基づく表示用の画像において互いに同一の位置にあればよい。この場合も、オペレータは、表示用の画像６１の同一の位置において被検物質を確認できるため、表示用の画像の目視確認を効率的に進めることができる。
【００６６】
＜実施形態１の具体的構成＞
図２に示すように、撮像部２００は、フローセル２１０と、光源２２１〜２２４と、集光レンズ２３１〜２３４と、ダイクロイックミラー２４１、２４２と、集光レンズ２５１と、光学ユニット２５２と、集光レンズ２５３と、カメラ２５４と、を備える。フローセル２１０の流路２１１には、試料１１１が流される。
【００６７】
光源２２１〜２２４は、フローセル２１０を流れる試料１１１に光を照射する。光源２２１〜２２４は、半導体レーザ光源により構成される。光源２２１〜２２４から出射される光は、それぞれ、波長λ１１〜λ１４のレーザ光である。集光レンズ２３１〜２３４は、それぞれ、光源２２１〜２２４から出射された光を集光する。ダイクロイックミラー２４１は、波長λ１３の光を透過させ、波長λ１２の光を反射する。ダイクロイックミラー２４２は、波長λ１２、λ１３の光を透過させ、波長λ１１の光を反射する。こうして、波長λ１１〜λ１４の光が、フローセル２１０の流路２１１を流れる試料１１１に照射される。
【００６８】
フローセル２１０を流れる試料１１１に波長λ１１〜λ１３の光が照射されると、細胞を染色している蛍光色素から蛍光が生じる。すなわち、光源２２１〜２２３からそれぞれ出射される波長λ１１〜λ１３の光は、蛍光色素から蛍光を励起させる励起光である。
【００６９】
具体的には、波長λ１１の光が核を染色する蛍光色素に照射されると、この蛍光色素から波長λ２１の蛍光が生じる。波長λ１２の光がＢＣＲ遺伝子を標識する蛍光色素に照射されると、この蛍光色素から波長λ２２の蛍光が生じる。波長λ１３の光がＡＢＬ遺伝子を標識する蛍光色素に照射されると、この蛍光色素から波長λ２３の蛍光が生じる。フローセル２１０を流れる試料１１１に波長λ１４の光が照射されると、この光は細胞を透過する。細胞を透過した波長λ１４の光は、明視野の撮像画像の生成に用いられる。実施形態１では、波長λ２１は青色の光の波長帯域であり、波長λ２２は緑色の光の波長帯域であり、波長λ２３は赤色の光の波長帯域である。
【００７０】
集光レンズ２５１は、フローセル２１０を流れる試料１１１から生じた波長λ２１〜λ２３の蛍光と、フローセル２１０を流れる試料１１１を透過した波長λ１４の光とを集光する。光学ユニット２５２は、４枚のダイクロイックミラーが組み合わせられた構成を有する。光学ユニット２５２の４枚のダイクロイックミラーは、波長λ２１〜λ２３の蛍光と波長λ１４の光とを、互いに僅かに異なる角度で反射し、カメラ２５４の受光面上において分離させる。集光レンズ２５３は、波長λ２１〜λ２３の蛍光と波長λ１４の光とを集光する。
【００７１】
カメラ２５４は、ＴＤＩ（Time Delay Integration）カメラにより構成される。カメラ２５４は、波長λ２１〜λ２３の蛍光を撮像して、それぞれ、核、ＢＣＲ遺伝子、およびＡＢＬ遺伝子にそれぞれ対応した３つの撮像画像を取得する。また、カメラ２５４は、波長λ１４の光を撮像して、明視野に対応した撮像画像を取得する。カメラ２５４は、フローセル２１０を流れる試料１１１を連続的に撮像し、連続的に撮像した画像を細胞と細胞の間で切り離すことにより、細胞ごとに４つの撮像画像を取得する。１つの細胞について取得された４つの撮像画像は、同じタイミングで撮像されたものであり、同じ形状かつ同じサイズである。カメラ２５４は、取得した撮像画像を、撮像信号として画像処理部１２１に送信する。なお、カメラ２５４により取得される撮像画像は、グレースケールの画像である。
【００７２】
このように、フローセル２１０を流れる試料１１１がカメラ２５４によって撮像されると、１つの試料１１１から被検物質に基づく複数の撮像画像を連続的に取得できる。また、被検物質が蛍光色素により標識され、カメラ２５４によって蛍光色素から生じた蛍光が撮像されると、蛍光により被検物質の領域および位置等を画像において視覚化できる。これにより、オペレータは、表示用の画像を参照することにより、被検物質の状態を円滑かつ明瞭に確認できる。なお、撮像部２００は、フローサイトメトリー法に基づいて被検物質を撮像することに代えて、顕微鏡により被検物質を撮像する構成を備えてもよい。
【００７３】
図３に示すフローチャートを参照して、前処理ユニット１１０および画像表示装置１２０を用いた処理について説明する。図３の各ステップについては、適宜、図４（ａ）〜図８を参照して説明する。
【００７４】
ステップＳ１において、前処理ユニット１１０は、検体に対して前処理を行う。これにより、検出対象の細胞である白血球中の核、ＢＣＲ遺伝子、およびＡＢＬ遺伝子が蛍光標識され、試料１１１が調製される。ステップＳ２において、画像処理部１２１は、撮像部２００を制御することにより、試料１１１に基づいて細胞ごとに、図４（ａ）に示すように、核に基づく撮像画像１１と、ＢＣＲ遺伝子に基づく撮像画像１２と、ＡＢＬ遺伝子に基づく撮像画像１３と、細胞の明視野に基づく撮像画像１４とを取得する。
【００７５】
ステップＳ３において、画像処理部１２１は、撮像画像１１〜１４から、図４（ｂ）に示すように、それぞれ、被検物質の領域２１〜２４を取得する。領域２１は、撮像画像１１において核が分布する領域である。領域２２は、撮像画像１２においてＢＣＲ遺伝子が分布する領域である。領域２３は、撮像画像１３においてＡＢＬ遺伝子が分布する領域である。領域２４は、撮像画像１４において細胞が分布する領域である。
【００７６】
ステップＳ３における被検物質の領域の抽出は、たとえば図４（ｃ）に示すように行われる。図４（ｃ）の左端に示すように撮像画像１１が取得された場合、画像処理部１２１は、撮像画像１１の各画素における画素値に基づいて、図４（ｃ）の中央に示すように画素値と度数のグラフを作成する。縦軸の度数は、画素の個数を示している。画像処理部１２１は、このグラフにおいて、たとえば大津法に基づいて、被検物質の領域と被検物質以外のバックグランド領域との境界として、画素値の閾値を設定する。そして、画像処理部１２１は、閾値よりも大きい画素値を有する画素が分布する領域を、図４（ｃ）の右端において破線で示すように、被検物質の領域２１として抽出する。このような被検物質の領域の抽出が、撮像画像１２〜１４においても同様に行われる。
【００７７】
なお、上記説明では、便宜上、画像処理部１２１は、図４（ｃ）に示すようなヒストグラムを生成したが、必ずしもヒストグラムを生成しなくてもよい。画像処理部１２１は、ヒストグラムを生成する場合と同様の処理を演算により行って、被検物質の領域を取得してもよい。
【００７８】
ステップＳ４、Ｓ５において、画像処理部１２１は、クリッピング処理およびパディング処理を行う。ステップＳ４、Ｓ５の処理では、画像処理部１２１は、図５（ａ）に示すように、撮像画像１１〜１４に対して、それぞれ、表示用の画像の領域３１〜３４を設定する。
【００７９】
具体的には、画像処理部１２１は、撮像画像１１における核の領域２１の重心が中央に位置付けられるように領域３１を設定する。領域３１は、表示用の画像６１の形状およびサイズに対応する領域であり、あらかじめ決められた形状およびサイズを有する。実施形態１における領域３１の形状は、正方形である。
【００８０】
画像処理部１２１は、核の撮像画像１１に対して設定した領域３１と全く同様の領域３２〜３４を、それぞれ撮像画像１２〜１４に対して設定する。すなわち、領域３２〜３４は、領域３１と同形状かつ同サイズである。撮像画像１２に対する領域３２の位置、撮像画像１３に対する領域３３の位置、および撮像画像１４に対する領域３４の位置も、撮像画像１１に対する領域３１の位置と同じである。このように領域３１〜３４が設定されることにより、後述する表示用の画像６１〜６４、７０は、細胞間で一定形状かつ一定サイズとなる。
【００８１】
続いて、画像処理部１２１は、図５（ｂ）に示すように、撮像画像１１に関して、撮像画像１１のうち領域３１の外側にある領域を削除領域４１とし、領域３１のうち撮像画像１１の外側にある領域を追加領域５１とする。同様に、画像処理部１２１は、撮像画像１２〜１４に関しても、それぞれ、削除領域４２〜４４を設定し、追加領域５２〜５４を設定する。
【００８２】
ステップＳ４のクリッピング処理において、画像処理部１２１は、図１（ｄ）、（ｅ）を参照して説明した手順と同様に、撮像画像１１から削除領域４１内に位置する削除画像１１ａを削除する。そして、ステップＳ５のパディング処理において、画像処理部１２１は、図１（ｅ）〜（ｇ）を参照して説明した手順と同様に、削除画像１１ａが削除された撮像画像１１に対して、追加領域５１に追加画像１１ｃを付加する。さらに、画像処理部１２１は、クリッピング処理およびパディング処理が終了した核に基づく画像に対して、核の領域２１が青色になるよう色調を補正する。こうして、図５（ｃ）に示すように、核に関する表示用の画像６１が生成される。
【００８３】
同様に、画像処理部１２１は、ステップＳ４のクリッピング処理において、撮像画像１２〜１４から、それぞれ削除領域４２〜４４内の画像部分を削除する。そして、画像処理部１２１は、ステップＳ５のパディング処理において、パディング処理が行われた撮像画像１２〜１４に対して、それぞれ追加領域５２〜５４に追加画像を付加する。さらに、画像処理部１２１は、クリッピング処理およびパディング処理が終了したＢＣＲ遺伝子に基づく画像に対して、ＢＣＲ遺伝子の領域２２が緑色になるよう色調を補正する。画像処理部１２１は、クリッピング処理およびパディング処理が終了したＡＢＬ遺伝子に基づく画像に対して、ＡＢＬ遺伝子の領域２３が赤色になるよう色調を補正する。なお、クリッピング処理およびパディング処理が終了した明視野に基づく画像に対しては、色調の補正は行われない。こうして、図５（ｃ）に示すように、表示用の画像６１〜６４が生成される。
【００８４】
ステップＳ５のパディング処理においては、図１（ｆ）を参照して説明した場合と同様に、画像処理部１２１は、追加画像の各画素の画素値を、各画素において不均一に分布するように設定する。これにより、撮像画像１１〜１４のいずれにおいても、パディング処理において追加される追加画像は、撮像画像１１〜１４の背景領域に馴染む画像となる。したがって、生成された表示用の画像６１〜６４は、追加された追加画像が撮像画像１１〜１４の背景領域に馴染んだ画像となる。パディング処理の詳細については、追って図９を参照して説明する。
【００８５】
なお、図４（ａ）〜図５（ｃ）に示す例では、パディング処理において、クリッピング処理が行われた撮像画像、すなわち撮像画像の一部に対して追加画像が付加された。たとえば、撮像画像１１に関するパディング処理では、図６（ａ）に示すように、クリッピング処理により生成された画像１１ｂに対して、追加画像１１ｃが付加され、表示用の画像６１が生成された。しかしながら、撮像画像に対してクリッピング処理が行われることなく、撮像画像全体に対して追加画像が付加されてもよい。この場合の撮像画像に関するパディング処理では、図６（ｂ）に示すように、撮像部２００により取得された撮像画像１１に対して、追加画像１１ｃが付加され、表示用の画像６１が生成される。
【００８６】
このように、撮像画像の形状やサイズおよび被検物質の位置によっては、クリッピング処理が施されていない撮像画像に対して、追加画像が付加され、表示用の画像が生成される場合がある。すなわち、パディング処理においては、撮像画像の少なくとも一部に追加画像が付加されればよい。
【００８７】
続いて、ステップＳ６において、画像処理部１２１は、図７（ａ）に示すように、表示用の画像６１〜６３を重ね合わせることにより表示用の画像７０を生成する。表示用の画像６１〜６３は、上述したように、背景領域に追加画像が馴染んだ自然な画像である。したがって、表示用の画像７０においても、追加画像が付加される前の背景領域と、追加画像の領域とが不自然に見えることがない。
【００８８】
なお、図７（ａ）に示す重ね合わせの手法では、表示用の画像６１〜６３が、形状とサイズが変更されることなく重ね合わされた。しかしながら、生成される表示用の画像７０の形状とサイズが図７（ａ）に示す場合と同様であり、生成される表示用の画像７０に被検物質の領域が含まれれば、重ね合わせの手法は図７（ａ）に示す手法に限らない。たとえば、表示用の画像６１に対して、表示用の画像６２のＢＣＲ遺伝子の領域２２と、表示用の画像６３のＡＢＬ遺伝子の領域２３とが重ね合わされることにより、表示用の画像７０が生成されてもよい。
【００８９】
続いて、ステップＳ７において、画像処理部１２１は、細胞の分析を行う。具体的には、画像処理部１２１は、細胞ごとにＢＣＲ遺伝子またはＡＢＬ遺伝子が転座している異常細胞であるか否かを判定し、異常細胞を検出する。
【００９０】
たとえば、図７（ａ）の表示用の画像７０において、緑の輝点が２点存在し赤の輝点が２点存在する場合、画像処理部１２１は、この細胞について、ＢＣＲ遺伝子とＡＢＬ遺伝子について転座が生じていない、すなわち陰性であると判定する。他方、図７（ｂ）の模式図に示すように、表示用の画像７０において、赤の輝点が２点存在し、緑の輝点が１点存在し、黄色の輝点が１点存在する場合、画像処理部１２１は、この細胞について、ＢＣＲ遺伝子とＡＢＬ遺伝子について転座が生じている、すなわち陽性であると判定する。このように黄色の輝点が生じるのは、緑の輝点と赤の輝点とが同じ位置で合成されたためである。
【００９１】
また、図７（ｃ）の模式図に示すように、表示用の画像７０において、赤の輝点が１点存在し、緑の輝点が１点存在し、黄色の輝点が２点存在する場合、画像処理部１２１は、この細胞について、ＢＣＲ遺伝子とＡＢＬ遺伝子について転座が生じている、すなわち陽性であると判定する。図７（ｄ）の模式図に示すように、表示用の画像７０において、赤の輝点が１点存在し、緑の輝点が１点存在し、黄色の輝点が１点存在する場合、画像処理部１２１は、この細胞について、ＢＣＲ遺伝子とＡＢＬ遺伝子について転座が生じている、すなわち陽性であると判定する。
【００９２】
ステップＳ７では、画像処理部１２１は、上記のような異常細胞の判定を細胞ごとに行う。なお、異常細胞の判定において、必ずしも表示用の画像７０を用いる必要はなく、表示用の画像６２におけるＢＣＲ遺伝子の領域２２の分布と、表示用の画像６３におけるＡＢＬ遺伝子の領域２３の分布とに基づいて異常細胞の判定が行われてもよい。
【００９３】
続いて、ステップＳ８において、画像処理部１２１は、オペレータの表示指示に応じて、図８に示すように、表示用の画像６１〜６４、７０を表示するための画面３００を表示部１２３に表示する。
【００９４】
図８に示すように、画面３００は、領域３１０、３２０、３３０、３４０、３５０を備える。
【００９５】
領域３１０には、測定が行われた日時と、画面３００内の情報の元となる検体ＩＤとが表示される。領域３２０には、ステップＳ７の分析結果が表示される。領域３２０には、陽性細胞の数および比率と、陰性細胞の数および比率と、陽性または陰性と判定された全細胞の数および比率とが表示される。領域３３０には、検体に関するコメントや、測定および分析に関するコメントなどが表示される。
【００９６】
領域３４０には、画像処理工程において取得された複数の表示用の画像６１〜６４、７０が表示される。図８に示す例では、領域３４０内に表示用の画像７０が一覧表示されている。なお、図示しない切り替えボタン等により、表示用の画像６１〜６４も、表示用の画像７０と同様に、領域３４０内に一覧表示される。
【００９７】
また、領域３４０は、操作部３４１と、ボタン３４２〜３４４とを備える。オペレータは、入力部１２４を介して操作部３４１を操作することにより、領域３４０内の表示用の画像をスクロールさせて、領域３４０内に表示させる表示用の画像を変更できる。
【００９８】
オペレータは、入力部１２４を介して領域３４０内の表示用の画像を選択してボタン３４２を押すことにより、選択した細胞についての判定結果を変更できる。変更できる判定結果は、陽性および陰性のほか、細胞の染色状態が悪いために適正な判定ができないことを示す「その他」などを含む。また、オペレータは、入力部１２４を介して領域３４０内の表示用の画像を選択してボタン３４３を押すことにより、選択した細胞についての判定結果を、ステップＳ７の分析結果による判定結果に戻すことができる。判定結果が変更されると、領域３２０内の結果が自動的に修正される。領域３５０には、領域３４０内で選択された表示用の画像の拡大画像が表示される。
【００９９】
オペレータは、一覧表示された表示用の画像を目視により確認し、分析結果に問題がないと判断した場合には、入力部１２４を介してボタン３４４を押すことにより、分析結果を確定させる。
【０１００】
上述したように、画面３００に表示される表示用の画像は、背景領域に追加画像が馴染んだ自然な画像となっている。これにより、オペレータは、表示用の画像を目視により確認する際に、不自然な画像に気をそらされることなく被検物質の領域に集中でき、表示用の画像の目視確認を効率的に進めることができる。また、同一の試料１１１から生成された複数の表示用の画像が、画面３００において一覧表示される。これにより、オペレータは、同一の試料１１１に基づく表示用の画像を容易に比較対照できる。また、画面３００に表示される表示用の画像は、細胞間で一定形状かつ一定サイズに設定されている。これにより、被検物質の状態を目視により観察する際の作業効率を高めることができる。
【０１０１】
また、全ての細胞について核の領域２１が表示用の画像の略中央に位置付けられている。これにより、オペレータは、表示用の画像の略中央において常に被検物質を確認できるため、表示用の画像の目視確認を効率的に進めることができる。なお、核の領域２１は必ずしも表示用の画像の中央になくてもよく、各細胞の表示用の画像において互いに同一の位置にあればよい。この場合も、オペレータは、被検物質を同一の位置で確認できるため目視確認を効率的に進めることができる。
【０１０２】
また、画面３００には、ＢＣＲ遺伝子に基づく表示用の画像６２とＡＢＬ遺伝子に基づく表示用の画像６３とが表示される。これにより、オペレータは、表示用の画像６２、６３を参照して、たとえば、これら遺伝子の転座を確認でき、これら遺伝子に基づく診断を円滑かつ効率的に進めることができる。さらに、画面３００には、ＢＣＲ遺伝子に基づく表示用の画像６２とＡＢＬ遺伝子に基づく表示用の画像６３とが重ね合わされた表示用の画像７０が表示される。これにより、オペレータは、表示用の画像７０を参照して、ＢＣＲ遺伝子およびＡＢＬ遺伝子の分布状態を容易に確認できる。よって、たとえば、これら遺伝子に転座が生じているか否かを容易に確認でき、診断を円滑に進めることができる。
【０１０３】
また、画面３００に表示される表示用の画像７０は、核に基づく表示用の画像６１と、遺伝子に基づく表示用の画像６２、６３とが重ねられることにより生成される。これにより、オペレータは、遺伝子が核内においてどのように分布しているかを確認できる。また、たとえば、遺伝子を標識する蛍光色素から生じた光が核の外側に分布していると、遺伝子の蛍光標識が適正に行われなかったと判断することもできる。
【０１０４】
＜実施形態１のパディング処理＞
図９を参照して、実施形態１のパディング処理について説明する。なお、クリッピング処理が行われた撮像画像１１〜１４に対するパディング処理は同様であるため、以下の説明では、便宜上、核に基づく撮像画像１１の場合についてのみ説明する。以下、図９の各ステップについて、適宜、図１０（ａ）〜図１１（ａ）を参照して説明する。
【０１０５】
図１０（ａ）に示すように、パディング処理の前に行われるクリッピング処理では、上述したように、撮像画像１１から削除画像１１ａが除かれることにより、画像１１ｂが生成されている。パディング処理が開始されると、ステップＳ１１において、画像処理部１２１は、画像１１ｂのうち、核の領域２１以外の背景領域９１における各画素の画素値を読み出す。背景領域９１は、図１０（ｂ）において斜線により示す領域である。
【０１０６】
ここで、画像処理部１２１は、画像１１ｂの背景領域９１を認識するために、図１０（ｂ）に示すように、画像１１ｂと核の領域２１とに基づくマスク画像９１ａを用いる。マスク画像９１ａは、画像１１ｂと同形状かつ同サイズの画像であり、核の領域２１以外の領域における画素が黒色に設定されている。ステップＳ１１において、画像処理部１２１は、マスク画像９１ａを画像１１ｂに適用することにより、マスク画像９１ａの黒色の画素の位置にある画像１１ｂの部分を、画像１１ｂの背景領域９１として識別する。そして、画像処理部１２１は、画像１１ｂの背景領域９１における各画素の画素値を読み出す。
【０１０７】
なお、ステップＳ１１で対象とされる背景領域は、画像１１ｂの領域２１以外の背景領域９１とされたが、これに限らず、図１０（ｃ）に示すように、撮像画像１１の領域２１以外の背景領域９２とされてもよい。この場合、画像処理部１２１は、マスク画像９２ａを撮像画像１１に適用することにより、撮像画像１１の背景領域９２を識別する。また、ステップＳ１１で対象とされる背景領域は、背景領域９１のうち追加画像１１ｃを追加する付近の一部の領域であってもよい。
【０１０８】
続いて、ステップＳ１２において、画像処理部１２１は、ステップＳ１１で読み出した背景領域９１の画素値に基づいて、背景情報を取得する。実施形態１のパディング処理では、背景情報は、画像１１ｂの背景領域９１における各画素の画素値の平均値、すなわち平均画素値である。
【０１０９】
続いて、ステップＳ１３において、画像処理部１２１は、平均画素値に対して画素ごとに正または負の極性の乱数を加算することにより、追加画像１１ｃの各画素の画素値を設定する。このとき、画像処理部１２１は、平均画素値に対して画素ごとに画素値を変化させることにより、追加画像１１ｃの各画素の画素値を設定する。
【０１１０】
図１１（ａ）に示すように、ステップＳ１３では、平均画素値に対して−Δｗから＋Δｗまでの範囲で発生する乱数が加算される。この場合、平均画素値に乱数を加算した値が、予想される最小画素値および予想される最大画素値の間に入るように、あらかじめ小さく設定された乱数の範囲が記憶部１２２に記憶されている。予想される最小画素値は、背景領域９１において統計的に予想される最小の画素値であり、予想される最大画素値は、背景領域９１において統計的に予想される最大の画素値である。
【０１１１】
続いて、ステップＳ１４において、画像処理部１２１は、ステップＳ１３において画素値を設定した追加画像１１ｃを画像１１ｂに付加し、表示用の画像６１を生成する。
【０１１２】
図１１（ｂ）に示すヒストグラムは、図１１（ｂ）の画像１１ｂに対して図１１（ｂ）の対応するマスク画像９１ａを適用して画像１１ｂにおける背景領域９１を識別し、識別した背景領域９１の各画素の画素値に基づいて作成されたヒストグラムである。同様に、図１１（ｃ）に示すヒストグラムは、図１１（ｃ）の画像１１ｂに対して図１１（ｃ）の対応するマスク画像９１ａを適用して画像１１ｂにおける背景領域９１を識別し、識別した背景領域９１の各画素の画素値に基づいて作成されたヒストグラムである。図１１（ｂ）、（ｃ）の画像１１ｂの各画素における画素値は、０から２５５までの２５６階調で表されている。図１１（ｂ）、（ｃ）のヒストグラムの横軸および縦軸は、それぞれ、画素値および度数を示している。図１１（ｂ）、（ｃ）のいずれのヒストグラムにおいても、背景領域９１の画素値は、低い値において山形状に分布している。
【０１１３】
実施形態１のパディング処理によれば、図１１（ａ）に示すように、背景領域９１から取得した平均画素値に対して−Δｗから＋Δｗまでの範囲で発生する乱数が加算される。このため、背景領域９１の平均画素値に近い画素値の範囲で、追加画像１１ｃの画素値を設定できる。よって、画像１１ｂの背景領域９１と追加画像１１ｃとの間の画素値の格差を抑制でき、画像１１ｂの背景領域９１に追加画像１１ｃが馴染んだ自然な画像を生成できる。
【０１１４】
また、上述したように、平均画素値に対して画素ごとに正または負の極性の乱数が加算されることにより追加画像１１ｃの各画素の画素値が設定される。このように簡易な処理により、背景領域９１に生じている画素値のノイズ成分を、追加画像１１ｃにおいて表現できる。また、平均画素値に対して画素ごとに乱数に基づいて画素値が変化するよう追加画像１１ｃの各画素の画素値が設定される。これにより、背景領域９１に生じている画素値のノイズ成分を追加画像１１ｃにおいて表現でき、より自然な表示用の画像６１を生成できる。
【０１１５】
このようなパディング処理は、細胞ごとに得られる撮像画像１１に対してそれぞれ行われる。これにより、撮像画像１１に応じて設定される追加画像１１ｃは、それぞれの撮像画像１１の背景領域９１に応じた互いに異なる画像となる。よって、細胞ごとの表示用の画像６１は、追加画像１１ｃが馴染んだ自然な画像となるため、オペレータは、目視確認において不自然な画像に気をそらされることなく被検物質の領域に集中できる。
【０１１６】
図１２（ａ）は、実施形態１のパディング処理により、図１１（ｂ）、（ｃ）に示す画像１１ｂから、実際に生成された表示用の画像６１を示す図である。この場合、追加画像において、背景領域に生じている画素値のノイズ成分が表現されていることが分かる。一方、図１２（ｂ）は、比較例のパディング処理により、図１１（ｂ）、（ｃ）に示す画像１１ｂから、実際に生成された表示用の画像を示す図である。比較例のパディング処理では、追加画像に相当する領域が、背景領域９１の平均画素値で埋められている。図１２（ａ）と図１２（ｂ）とを比較すると、実施形態１のパディング処理により生成される表示用の画像６１は、背景領域９１の画像１１ｂに追加画像１１ｃが馴染んだ自然な画像となることが分かる。
【０１１７】
＜実施形態１のパディング処理の変更例＞
図１３（ａ）に示すように、実施形態１のパディング処理の変更例では、図９に示した実施形態１のパディング処理と比較して、ステップＳ１２に代えてステップＳ１５、Ｓ１６が追加されている。以下、実施形態１のパディング処理と異なるステップについて説明する。
【０１１８】
ステップＳ１５において、画像処理部１２１は、背景情報として、実施形態のパディング処理と同様の平均画素値に加えて、画像１１ｂの背景領域９１における画素の最大画素値および最小画素値を取得する。続いて、ステップＳ１６において、画像処理部１２１は、図１３（ｂ）に示すように、平均画素値に乱数の値を加算した値が、最大画素値と最小画素値との間に含まれるよう乱数の範囲を設定する。そして、ステップＳ１３において、画像処理部１２１は、実施形態１のパディング処理と同様、平均画素値に対して画素ごとに正または負の極性の乱数を加算することにより、追加画像１１ｃの各画素の画素値を設定する。
【０１１９】
このように追加画像１１ｃの各画素の画素値が設定されると、追加画像１１ｃの画素値が画像１１ｂの背景領域９１の画素値変化の範囲に必ず収まるため、追加画像１１ｃに表現されたノイズ成分が背景領域９１に対して目立ちにくくなる。
【０１２０】
＜実施形態２＞
実施形態２は、実施形態１と比較して、パディング処理のみが異なっている。図１４（ａ）に示すように、実施形態２のパディング処理は、図９に示した実施形態１のパディング処理と比較して、ステップＳ１２に代えてステップＳ２１が追加され、ステップＳ１３に代えてステップＳ２２が追加されている。以下、実施形態１のパディング処理と異なるステップについて説明する。
【０１２１】
ステップＳ２１において、画像処理部１２１は、背景情報として、画像１１ｂの背景領域９１における画素の最大画素値および最小画素値を取得する。続いて、ステップＳ２２において、画像処理部１２１は、図１４（ｂ）に示すように、最大画素値と最小画素値との間で変化する乱数により、追加画像１１ｃの各画素の画素値を設定する。
【０１２２】
このように追加画像１１ｃの各画素の画素値が設定されると、追加画像１１ｃの画素値が撮像画像１１の背景領域９１の画素値変化の範囲に必ず収まるため、追加画像１１ｃに表現されたノイズ成分が撮像画像１１の背景領域９１に対して目立ちにくくなる。ただしこの場合、追加画像１１ｃの画素値が最大画素値と最小画素値との間で満遍なく分布するため、図１１（ｂ）、（ｃ）のヒストグラムに示すように、背景領域９１の画素値の分布とはやや異なってしまう。したがって、実施形態１のパディング処理のように、平均画素値を中心として乱数が加算されるのが好ましい。
【０１２３】
なお、ステップＳ１１、Ｓ２１が省略され、ステップＳ２２において、画像１１ｂの背景領域９１から取得される最大画素値と最小画素値に代えて、あらかじめ記憶部１２２に記憶された予想される最大画素値および予想される最小画素値が用いられてもよい。この場合、乱数により設定される画素値が、実際の最小画素値よりも小さくなる可能性や実際の最大画素値よりも大きくなる可能性があるものの、追加画像１１ｃに表現されたノイズ成分は、撮像画像１１の背景領域９１に対して目立ちにくくなる。
【０１２４】
＜実施形態２のパディング処理の変更例＞
図１５（ａ）に示すように、実施形態２のパディング処理の変更例では、図１４（ａ）に示した実施形態２のパディング処理と比較して、ステップＳ１１、Ｓ２１が削除され、ステップＳ２２に代えてステップＳ２３が追加されている。以下、実施形態２のパディング処理と異なるステップについて説明する。
【０１２５】
ステップＳ２３において、画像処理部１２１は、図１５（ｂ）に示すように、予想される平均画素値に対して画素ごとに正または負の極性の乱数を加算することにより、追加画像１１ｃの各画素の画素値を設定する。予想される平均画素値とは、画像１１ｂの背景領域９１における各画素の画素値の平均値として、統計的に予想される画素値のことである。予想される平均画素値は、あらかじめ記憶部１２２に記憶されている。また、この場合も、予想される平均画素値に乱数を加算した値が、予想される最小画素値および予想される最大画素値の間に入るように、あらかじめ小さく設定された乱数の範囲が記憶部１２２に記憶されている。
【０１２６】
このように追加画像１１ｃの各画素の画素値が設定されると、背景領域９１と同様の平均画素値に近い画素値の範囲で、追加画像１１ｃの画素値を設定できる。よって、画像１１ｂの背景領域９１と追加画像１１ｃとの間の画素値の格差を抑制でき、画像１１ｂの背景領域９１に追加画像１１ｃが馴染んだ自然な画像を表示させることができる。また、この場合、背景情報を取得する必要がなくなるため、処理ステップを簡素化できる。ただしこの場合、予想される平均画素値は、実際の背景領域９１の平均画素値と大きく異なる可能性があるため、追加画像１１ｃの画素値の設定においては、画像１１ｂの背景領域９１から取得される平均画素値が用いられるのが好ましい。
【０１２７】
＜実施形態３＞
実施形態３は、実施形態１と比較して、パディング処理のみが異なっている。図１６（ａ）に示すように、実施形態３のパディング処理は、図９に示した実施形態１のパディング処理と比較して、ステップＳ１４の後段にステップＳ３１が追加されている。以下、実施形態１のパディング処理と異なるステップについて説明する。
【０１２８】
ステップＳ１４では、追加画像１１ｃが画像１１ｂに付加され、表示用の画像６１が生成されている。ステップＳ３１において、画像処理部１２１は、表示用の画像６１に対して、画素値変化を抑制するためのスムージング処理を行う。スムージング処理の適用領域は、図１６（ｂ）に示すように、表示用の画像６１の全領域から、被検物質である核の領域２１を除いた領域である。なお、スムージング処理の適用領域は、少なくとも追加画像１１ｃと撮像画像１１の背景領域９１との境界付近を含むように設定されればよい。
【０１２９】
図１６（ｃ）に示すように、対象画素の画素値をＶｘとし、対象画素の周囲８個の画素の画素値をＶ１〜Ｖ８とすると、スムージング処理において、画像処理部１２１は、Ｖｘ＝（Ｖ１＋Ｖ２＋…＋Ｖ８）／８の演算を行う。ステップＳ３１において、画像処理部１２１は、スムージング処理の適用領域において順に対象画素をずらして上記の演算を行い、対象画素の画素値をＶｘに設定する。スムージング処理の適用領域の全ての画素に対して画素値の演算が１回行われると、スムージング処理が終了となる。
【０１３０】
なお、図１６（ｄ）、（ｅ）に示すように、対象画素がスムージング処理の適用領域の端部に位置する場合は、スムージング処理の適用領域の外側にある画素の画素値が、スムージング処理の適用領域の内側にある対称位置の画素の画素値とされる。したがって、対象画素の画素値Ｖｘは、図１６（ｄ）の場合、Ｖｘ＝（２Ｖ２＋４Ｖ３＋２Ｖ５）／８の演算により取得され、図１６（ｅ）の場合、Ｖｘ＝（２Ｖ１＋２Ｖ２＋２Ｖ３＋Ｖ４＋Ｖ５）／８により取得される。また、図１６（ｆ）に示すように、対象画素の画素値Ｖｘの演算は、スムージング処理の適用領域内であれば、追加画像１１ｃと画像１１ｂに関係なく、図１６（ｃ）と同様の演算により取得される。
【０１３１】
図１７（ａ）は、実施形態３のパディング処理により、実際にスムージング処理が行われた表示用の画像６１を示す図である。図１７（ａ）の表示用の画像６１は、図１２（ａ）に示す表示用の画像６１に対して、図１６（ａ）のステップＳ３１で説明したスムージング処理が行われることにより生成された画像である。表示用の画像６１の核の領域２１以外の領域を参照すると、図１２（ａ）の場合は、隣り合う画素の画素値に開きがあったが、図１７（ａ）の場合は、隣り合う画素の画素値が近付けられ、核の領域２１以外の領域において全体的に滑らかな画素値の模様となっている。
【０１３２】
実施形態３のパディング処理によれば、少なくとも追加画像１１ｃと画像１１ｂの背景領域９１との境界付近の画素に対して、スムージング処理が実行されるため、画像１１ｂの背景領域９１と追加画像１１ｃとの連続性が良くなり、より自然な表示用の画像６１を生成できる。また、実施形態３のスムージング処理は、核の領域２１以外の領域全体に対して実行されるため、背景部分全体における違和感を抑制できる。
【０１３３】
なお、実施形態３のスムージング処理において、図１７（ｂ）に示すように、対象画素の画素値Ｖｘは、対象画素の周囲４個の画素の画素値に基づいて、Ｖｘ＝（Ｖ１＋Ｖ２＋Ｖ３＋Ｖ４）／４の演算が行われることにより設定されてもよい。また、図１７（ｃ）に示すように、対象画素の画素値Ｖｘは、対象画素の周囲２４個の画素の画素値に基づいて、Ｖｘ＝（Ｖ１＋Ｖ２＋…＋Ｖ２４）／２４の演算が行われることにより設定されてもよい。このように、対象画素の画素値Ｖｘの設定に用いる周囲の画素の個数は、図１６（ｃ）の８個に限らない。また、スムージング処理において、スムージング処理の適用領域の全ての画素に対して画素値の演算を行う回数は、１回に限らず複数回行われてもよい。
【０１３４】
＜実施形態４＞
実施形態４は、実施形態１と比較して、パディング処理のみが異なっている。図１８（ａ）に示すように、実施形態４のパディング処理は、図９に示した実施形態１のパディング処理と比較して、ステップＳ１２に代えてステップＳ４１が追加され、ステップＳ１３に代えてステップＳ４２が追加されている。以下、実施形態１のパディング処理と異なるステップについて説明する。
【０１３５】
ステップＳ４１において、画像処理部１２１は、背景情報として、背景領域９１における画像１１ｂの画素の平均画素値、最大画素値、最小画素値、および標準偏差を取得する。続いて、ステップＳ４２において、画像処理部１２１は、背景情報に基づいて、背景領域９１の画素値の度数分布と同様の傾向で追加画像１１ｃの画素値が分布するように、追加画像１１ｃの各画素の画素値を設定する。
【０１３６】
図１８（ｂ）は、実施形態４のパディング処理により、図１１（ｂ）、（ｃ）に示す画像１１ｂから、実際に生成された表示用の画像６１を示す図である。図１８（ｂ）の場合は、図１２（ａ）に示した実施形態１の場合に比べて、追加画像１１ｃに表現された各画素の画素値が、画像１１ｂの背景領域９１に生じている画素値のノイズ成分にさらに近付けられていることが分かる。このように、実施形態４のパディング処理によれば、背景領域９１に生じているノイズ成分と同様の画素値分布で、追加画像１１ｃにノイズ成分を表現できるため、より一層自然な表示用の画像６１を生成できる。
【０１３７】
ここで、ステップＳ４２において用いられる演算式について詳細に説明する。
【０１３８】
背景領域９１の画素値の度数分布は、ガウス分布と同様の分布となる。ステップＳ４２では、ガウス分布を規定する関数と、背景領域の平均画素値、最大画素値、最小画素値、および画素値の標準偏差と、所定範囲に均等に分布する乱数とに基づいて、追加画像１１ｃの各画素の画素値が設定される。具体的には、以下の式（１）に従って、追加画像１１ｃの各画素の画素値が設定される。
【０１３９】
Ｚ＝Ｆ−１（Ｆ（α）＋Ｕ・（Ｆ（β）−Ｆ（α）））・σ＋μ  …（１）
【０１４０】
ここで、式（１）のα、βは、以下の式（２）、（３）で与えられる。
【０１４１】
α＝（ａ−μ）／σ  …（２）
β＝（ｂ−μ）／σ  …（３）
【０１４２】
式（１）〜（３）の各パラメータは、以下のとおりである。
【０１４３】
Ｚ：各画素の画素値
Ｆ：標準ガウス分布（μ＝０、σ＝１）の累積分布関数
Ｆ−１：累積分布関数Ｆの逆関数
Ｕ：０〜１の範囲で均等に生じる乱数
μ：背景領域の平均画素値
σ：背景領域の画素値の標準偏差
ａ：背景領域の最小画素値
ｂ：背景領域の最大画素値
【０１４４】
また、累積分布関数Ｆ（ｔ）は、以下の式（４）で与えられる。
【０１４５】
【数１】
2018190083.tif 000003
【０１４６】
式（１）の導出過程を、以下に説明する。
【０１４７】
図１９（ａ）は、標準ガウス分布（μ＝０、σ＝１）の確率密度関数ｆ（ｘ）を示している。確率密度関数ｆ（ｘ）は、以下の式（５）で与えられる。
【０１４８】
【数２】
2018190083.tif 000004
【０１４９】
図１９（ｂ）は、標準ガウス分布を横軸の値α〜値βの範囲に制限した制限ガウス分布の確率密度関数ｔ（ｘ）を示している。横軸の値が値α〜値βの範囲よりも外側にある場合、確率密度関数ｔ（ｘ）の値はゼロである。ここで、確率密度関数ｔ（ｘ）は、以下の式（６）で与えられる。
【０１５０】
ｔ（ｘ）＝ｆ（ｘ）／（Ｆ（β）−Ｆ（α））  …（６）
【０１５１】
図２０（ａ）は、図１９（ｂ）に示した制限ガウス分布（μ＝０、σ＝１、α≦ｘ≦β）の累積分布関数Ｔ（ｘ）を示している。累積分布関数Ｔ（ｘ）は、以下の式（７）で与えられる。
【０１５２】
Ｔ（ｘ）＝（Ｆ（ｘ）−Ｆ（α））／（Ｆ（β）−Ｆ（α））  …（７）
【０１５３】
図２０（ｂ）は、式（７）に示した累積分布関数Ｔ（ｘ）の逆関数Ｔ−１（ｘ）を示している。逆関数Ｔ−１（ｘ）は、以下の式（８）で与えられる。
【０１５４】
Ｔ−１（ｘ）＝Ｆ−１（Ｆ（α）＋ｘ・（Ｆ（β）−Ｆ（α））））  …（８）
【０１５５】
ここで、逆変換法によれば、変数ｘが０〜１の範囲で均等に生じる乱数である場合、Ｔ−１（ｘ）の値は、図１９（ｂ）に示した制限ガウス分布の度数分布でランダムに分布する。したがって、Ｔ−１（ｘ）の値に、標準偏差σを乗じ、さらに、平均画素値μを加算して以下の式（９）を導出することにより、図２１（ａ）に示す度数分布で分布する値を発生させることができる。
【０１５６】
Ｚ＝Ｔ−１（Ｕ）・σ＋μ  …（９）
【０１５７】
ここで、Ｕは、変数ｘと同様、０〜１の範囲で均等に生じる乱数である。
【０１５８】
式（９）に式（８）を代入することにより、上記式（１）が得られる。したがって、背景領域９１から取得した平均画素値、最大画素値、最小画素値および画素値の標準偏差を式（１）に適用した上で、追加画像１１ｃの画素ごとに乱数Ｕを式（１）に代入して画素値を設定することにより、背景領域９１の画素値の度数分布と同様の傾向で、追加画像１１ｃの画素値を分布させることができる。
【０１５９】
なお、図２１（ｂ）のように追加領域５１が設定される場合、追加領域５１を領域Ｒ１と領域Ｒ２に区分して、領域Ｒ１と領域Ｒ２に対して個別に各画素に対する画素値の設定を行ってもよく、あるいは、追加領域５１全体に対して各画素に対する画素値の設定を行ってもよい。
【０１６０】
また、ステップＳ４１では、画像１１ｂの背景領域９１から平均画素値、最大画素値、最小画素値、および標準偏差が取得されたが、これに代えて、あらかじめ統計的に予想される画像１１ｂの背景領域９１の各値と同様の、平均画素値、最大画素値、最小画素値、および標準偏差が記憶部１２２から読み出されてもよい。この場合、読み出された各値に基づいて、ステップＳ４２において追加画像１１ｃの各画素の画素値が設定される。
【０１６１】
＜実施形態５＞
実施形態５は、実施形態４と比較して、パディング処理のみが異なっている。図２２（ａ）に示すように、実施形態５のパディング処理は、図１８（ａ）に示した実施形態４のパディング処理と比較して、ステップＳ１４の後段にステップＳ５１が追加されている。以下、実施形態４のパディング処理と異なるステップについて説明する。
【０１６２】
ステップＳ１４では、追加画像１１ｃが画像１１ｂに付加され、表示用の画像６１が生成されている。ステップＳ５１において、画像処理部１２１は、表示用の画像６１に対して、画素値変化を抑制するためのスムージング処理を行う。実施形態５のスムージング処理は、実施形態３のスムージング処理と同様に行われる。
【０１６３】
図２２（ｂ）は、実施形態５のパディング処理により、実際にスムージング処理が行われた表示用の画像６１を示す図である。図２２（ｂ）の表示用の画像６１は、図１８（ｂ）に示す表示用の画像６１に対して、ステップＳ５１のスムージング処理が行われることにより生成された画像である。表示用の画像６１の核の領域２１以外の領域を参照すると、図１８（ｂ）の場合は、隣り合う画素の画素値に開きがあったが、図２２（ｂ）の場合は、隣り合う画素の画素値が近付けられ、核の領域２１以外の領域において全体的に滑らかな画素値の模様となっている。
【０１６４】
実施形態５のパディング処理によれば、実施形態３のパディング処理と同様、撮像画像１１の背景領域９１と追加画像１１ｃとの連続性が良くなり、より自然な表示用の画像６１を生成できる。また、実施形態５のスムージング処理も、核の領域２１以外の領域全体に対して実行されるため、背景部分全体における違和感を抑制できる。ただし、実施形態５のパディング処理では、図２２（ｂ）に示すように、画像１１ｂの背景領域９１が元の状態から変化する。したがって、元の画像の方が好ましいと判断される場合には、実施形態４のパディング処理によって表示用の画像６１を生成するのが好ましい。
【０１６５】
＜実施形態６＞
実施形態６は、実施形態１と比較して、パディング処理のみが異なっている。図２３（ａ）に示すように、実施形態６のパディング処理は、図９に示した実施形態１のパディング処理と比較して、ステップＳ１３に代えてステップＳ６１が追加され、ステップＳ１４の後段にステップＳ６２が追加されている。以下、実施形態１のパディング処理と異なるステップについて説明する。
【０１６６】
ステップＳ６１では、画像処理部１２１は、ステップＳ１２で取得した平均画素値で、追加画像１１ｃの各画素の画素値を設定する。これにより、追加画像１１ｃの全ての画素の画素値が、平均画素値となる。そして、ステップＳ１４において、追加画像１１ｃが画像１１ｂに付加され、表示用の画像６１が生成される。続いて、ステップＳ６２において、画像処理部１２１は、表示用の画像６１に対して、画素値変化を抑制するためのスムージング処理を行う。実施形態６のスムージング処理は、実施形態３のスムージング処理と同様に行われる。
【０１６７】
図２３（ｂ）は、実施形態６のパディング処理により、実際にスムージング処理が行われた表示用の画像６１を示す図である。図２３（ｂ）の表示用の画像６１は、図１２（ｂ）に示す比較例の画像に対して、ステップＳ６２のスムージング処理が行われることにより生成された画像である。図２３（ｂ）を参照すると、追加画像１１ｃの領域と追加画像１１ｃ以外の領域との境界付近において、隣り合う画素の画素値が滑らかに設定されている。すなわち、実施形態６のパディング処理によれば、図１２（ｂ）の比較例の画像に比べて、自然な表示用の画像６１が生成されることが分かる。
【０１６８】
実施形態６のパディング処理によれば、実施形態５のパディング処理と同様、撮像画像１１の背景領域９１と追加画像１１ｃとの連続性が良くなり、より自然な表示用の画像６１を生成できる。また、実施形態６のスムージング処理も、核の領域２１以外の領域全体に対して実行されるため、背景部分全体における違和感を抑制できる。
【符号の説明】
【０１６９】
１１〜１４  撮像画像
１１ｃ  追加画像
２１〜２４  領域
６１〜６４、７０  表示用の画像
９１、９２  背景領域
１１１  試料
１２０  画像表示装置
１２１  画像処理部
１２３  表示部
２００  撮像部
２１０  フローセル
２２１〜２２３  光源
２５４  カメラ
【図１】
2018190083.tif 000005
【図２】
2018190083.tif 000006
【図３】
2018190083.tif 000007
【図４】
2018190083.tif 000008
【図５】
2018190083.tif 000009
【図６】
2018190083.tif 000010
【図７】
2018190083.tif 000011
【図８】
2018190083.tif 000012
【図９】
2018190083.tif 000013
【図１０】
2018190083.tif 000014
【図１１】
2018190083.tif 000015
【図１２】
2018190083.tif 000016
【図１３】
2018190083.tif 000017
【図１４】
2018190083.tif 000018
【図１５】
2018190083.tif 000019
【図１６】
2018190083.tif 000020
【図１７】
2018190083.tif 000021
【図１８】
2018190083.tif 000022
【図１９】
2018190083.tif 000023
【図２０】
2018190083.tif 000024
【図２１】
2018190083.tif 000025
【図２２】
2018190083.tif 000026
【図２３】
2018190083.tif 000027
【図２４】
2018190083.tif 000028