(57)【要約】【課題】  眼部の画像の血管領域（血球移動領域）における視細胞の視認性や検出性能のばらつきを低減すること。【解決手段】  本実施形態に係る画像処理装置は、眼部における異なる時間の複数の画像から血管の領域を特定する特定手段と、特定された領域において異なる時間の複数の輝度値の分布に基づいて、特定された領域における種類の異なる複数の領域を処理する異なる複数の処理方法を決定する決定手段と、を有する。【選択図】  図１
2016086842.tif 000002
【特許請求の範囲】
【請求項１】
眼部における異なる時間の複数の画像から血管の領域を特定する特定手段と、
前記特定された領域において前記異なる時間の複数の輝度値の分布に基づいて、前記特定された領域における種類の異なる複数の領域を処理する異なる複数の処理方法を決定する決定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記分布に基づいて前記特定された領域のうち前記種類の異なる複数の領域を決定し、前記分布に基づいて前記決定された複数の領域を処理する異なる複数の処理方法を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記特定された領域における前記分布に関する統計値が閾値よりも大きい領域と、前記特定された領域における前記分布に関する統計値が閾値よりも小さい領域とを決定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記大きい領域における統計値と前記小さい領域における統計値との差分が低減されるように、前記複数の処理方法を決定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記決定手段は、前記小さい領域における統計値を前記大きい領域における統計値に合わせるように、前記小さい領域を処理する処理方法を決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記決定手段は、前記分布に基づいて、前記小さい領域における視細胞を検出するための閾値が前記大きい領域における視細胞を検出するための閾値よりも小さくなるように、前記複数の処理方法を決定することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記異なる時間の複数の輝度値の分布を取得する取得手段を更に有し、
前記決定手段は、前記取得された分布に基づいて、前記複数の処理方法を決定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記取得手段は、前記異なる時間の複数の輝度値の分布として、前記複数の画像において前記特定された領域の互いの対応する複数の画素の複数の輝度値の分布を取得することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記取得手段は、前記異なる時間の複数の輝度値の分布から前記複数の画素の輝度値の差分に関する値を取得することを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
前記決定された複数の処理方法を用いて前記複数の領域を画像処理する画像処理手段と、
前記画像処理された領域を含む前記複数の画像を表示手段に表示させる表示制御手段と、
を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
眼部における異なる時間の複数の画像から血管の領域を特定する特定手段と、
前記特定された領域において前記異なる時間の複数の輝度値の分布に基づいて、前記特定された領域における種類の異なる複数の領域のいずれかの領域を処理する処理方法を決定する決定手段と、
を有することを特徴とする画像処理装置。
【請求項１２】
眼部における異なる時間の複数の画像から血管の領域を特定する特定手段と、
前記特定された領域において前記異なる時間の複数の輝度値の分布に基づいて、前記特定された領域における種類の異なる複数の領域を決定する決定手段と、
を有することを特徴とする画像処理装置。
【請求項１３】
前記決定手段は、前記特定された領域のうち前記分布に関する統計値が閾値よりも大きい領域と、前記特定された領域における前記分布に関する統計値が閾値よりも小さい領域とを決定することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
眼部における異なる時間の複数の画像から血管の領域を特定する工程と、
前記特定された領域において前記異なる時間の複数の輝度値の分布に基づいて、前記特定された領域における種類の異なる複数の領域を処理する異なる複数の処理方法を決定する工程と、
を有することを特徴とする画像処理方法。
【請求項１５】
前記決定する工程では、前記分布に基づいて前記特定された領域のうち前記種類の異なる複数の領域を決定し、前記分布に基づいて前記決定された複数の領域を処理する異なる複数の処理方法を決定することを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
前記決定する工程では、前記特定された領域における前記分布に関する統計値が閾値よりも大きい領域と、前記特定された領域における前記分布に関する統計値が閾値よりも小さい領域とを決定することを特徴とする請求項１４または１５に記載の画像処理方法。
【請求項１７】
前記決定する工程では、前記大きい領域における統計値と前記小さい領域における統計値との差分が低減されるように、前記複数の処理方法を決定することを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記決定する工程では、前記分布に基づいて、前記小さい領域における視細胞を検出するための閾値が前記大きい領域における視細胞を検出するための閾値よりも小さくなるように、前記複数の処理方法を決定することを特徴とする請求項１６に記載の画像処理方法。
【請求項１９】
眼部における異なる時間の複数の画像から血管の領域を特定する工程と、
前記特定された領域において前記異なる時間の複数の輝度値の分布に基づいて、前記特定された領域における種類の異なる複数の領域のいずれかの領域を処理する処理方法を決定する工程と、
を有することを特徴とする画像処理方法。
【請求項２０】
眼部における異なる時間の複数の画像から血管の領域を特定する工程と、
前記特定された領域において前記異なる時間の複数の輝度値の分布に基づいて、前記特定された領域における種類の異なる複数の領域を決定する工程と、
を有することを特徴とする画像処理方法。
【請求項２１】
前記決定する工程では、前記特定された領域における前記分布に関する統計値が閾値よりも大きい領域と、前記特定された領域における前記分布に関する統計値が閾値よりも小さい領域とを決定することを特徴とする請求項２０に記載の画像処理方法。
【請求項２２】
請求項１４乃至２１のいずれか１項に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、特に眼科診療に用いられる画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ  Ｌａｓｅｒ  Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）は、測定光であるレーザーを眼底に対してラスター走査し、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。以下、このような平面画像を撮像する装置をＳＬＯ装置、該平面画像をＳＬＯ画像と記す。
【０００３】
近年、ＳＬＯ装置において測定光のビーム径を大きくすることにより、横分解能を向上させた網膜のＳＬＯ画像を取得することが可能になってきた。しかし、測定光のビーム径の大径化に伴い、網膜のＳＬＯ画像の取得において、被検眼の収差によるＳＬＯ画像のＳ／Ｎ比及び分解能の低下が問題になってきた。それを解決するために、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯ装置が開発され、高横分解能なＳＬＯ画像（高倍率画像）の取得を可能にしている。
【０００４】
このような高倍率画像は、動画像として取得され、血流動態を非侵襲に観察する目的等に利用される。このとき、各フレームから網膜血管を抽出した上で毛細血管における血球の移動速度等が計測される。また、高倍率画像から視機能との関連を評価するために視細胞Ｃを検出した上で視細胞Ｃの密度分布や配列の計測が行われている。図５（ｂ）に高倍率画像の例を示す。視細胞Ｃや、白血球の位置に対応した高輝度領域（ＳＡ１）が観察できる。
【０００５】
一般的に、高倍率画像を用いて視細胞Ｃが観察される場合や視細胞Ｃの分布が計測される場合には、フォーカス位置は網膜外層（図５（ａ）のＢ５）付近に設定され、図５（ｂ）のようなＳＬＯ画像が撮影される。一方、網膜内層（図５（ａ）のＢ２からＢ４）には網膜血管や分岐した毛細血管が走行している。ここで、血管内に存在する血液の５５％が血漿成分、４５％が血球成分であり、血球成分のうち約９６％を赤血球、約３％を白血球が占める。
【０００６】
このとき、網膜血管内の赤血球が存在する位置では入射光が透過しにくいために、ＳＬＯ画像に濃い影（図５（ｂ）のＱや図５（ｃ）のＳＡ２）が生じる。一方、白血球が存在する位置（図５（ｃ）のＳＡ１）では入射光が透過されやすいために、影が生じにくいことがわかってきた。このため、血管が走行する部位において、ＳＬＯ動画像の大半のフレームでは赤血球による影が生じ低輝度となるが、白血球が通過するフレームにおいては視細胞Ｃの輝度値を直接取得できることになる。例えば、時刻ｔ＝ｎの時（図５（ｃ））には、小領域ＳＡ１上に白血球が存在するために入射光が透過し、視細胞Ｃを視認できる。一方、小領域ＳＡ２上には赤血球が存在するため影が生じている。次に、時刻Ｔ＝ｎ＋１の時には白血球がＳＡ２上に移動し、ＳＡ１上には赤血球が移動するためにＳＡ１では低輝度、ＳＡ２では高輝度（視細胞Ｃの持つ輝度値）となる。血管が走行する各位置において白血球が存在するフレームの輝度値を選択して合成すれば、図５（ｆ）のように血球の影を補正できる。
【０００７】
このため、補償光学系を有する眼科撮影装置により得られた眼底画像における高輝度血球である白血球が移動する領域である血球移動領域（血管）の内と外とで異なる処理を適用することが、特許文献１に開示されている。具体的には、血球移動領域の内では動画像を構成する複数のフレームのうち最大輝度のフレームを選択し、血球移動領域の外では複数のフレームを加算平均することが、特許文献１に開示されている。
【０００８】
ここで、毛細血管によって白血球が流れ易い経路（ＬＰＰ；ｌｅｕｋｏｃｙｔｅ−ｐｒｅｆｅｒｒｅｄ−ｐａｔｈ）と白血球が流れ難い経路（ＰＧＣ；ｐｌａｓｍａ−ｇａｐ  ｃａｐｉｌｌａｒｙ）とが存在することがわかっている（非特許文献１）。ＬＰＰでは、大きくて速度の遅い白血球の背後に小さくて速度の速い赤血球が凝集し易いため、ＬＰＰ内は経時的な輝度のばらつきが大きく、明滅（輝度変化）する。一方、ＰＧＣではＬＰＰほどの大きな明滅はないものの、（赤血球がほとんど含まれない）血漿成分（ｐｌａｓｍａ−ｇａｐ）が走行する際に、毛細血管内が明滅する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１３−１６９２９５号公報
【非特許文献】
【００１０】
【非特許文献１】Ｊ．Ｔａｍ  ｅｔ  ａｌ；“Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ  ｏｆ  ｓｉｎｇｌｅ−ｆｉｌｅ  ｆｌｏｗ  ｔｈｒｏｕｇｈ  ｈｕｍａｎ  ｒｅｔｉｎａｌ  ｐａｒａｆｏｖｅａｌ  ｃａｐｉｌｌａｒｉｅｓ  ｕｓｉｎｇ  ａｎ  ａｄａｐｔｉｖｅ  ｏｐｔｉｃｓ  ｓｃａｎｎｉｎｇ  ｌａｓｅｒ  ｏｐｈｔｈａｌｍｏｓｃｏｐｅ”，  Ｏｐｔｉｃｓ  Ｅｘｐｒｅｓｓ，  ｖｏｌ．２，  Ｎｏ．４，ｐｐ．７８１−７９３，Ａｐｒ．２０１１．
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従来、白血球が流れ易い経路（ＬＰＰ）と白血球が流れ難い経路（ＰＧＣ）とに関係なく、眼底画像における全ての毛細血管領域に対して同じ画像補正法や計測パラメータが適用されてきた。このため、ＬＰＰとＰＧＣとによって、視細胞の視認性や検出精度のばらつきが生じる可能性があった。
【００１２】
本発明の目的の一つは、眼部の画像の血管領域（血球移動領域）における視細胞の視認性や検出性能のばらつきを低減することである。また、本発明の目的の一つは、眼部の画像の血管領域における種類の異なる複数の領域を決定する上で、ユーザの利便性を向上することである。
【課題を解決するための手段】
【００１３】
本発明に係る画像処理装置の一つは、
眼部における異なる時間の複数の画像から血管の領域を特定する特定手段と、
前記特定された領域において前記異なる時間の複数の輝度値の分布に基づいて、前記特定された領域における種類の異なる複数の領域を処理する異なる複数の処理方法を決定する決定手段と、を有する。
【００１４】
また、本発明に係る画像処理装置の一つは、
眼部における異なる時間の複数の画像から血管の領域を特定する特定手段と、
前記特定された領域において前記異なる時間の複数の輝度値の分布に基づいて、前記特定された領域における種類の異なる複数の領域を決定する決定手段と、を有する。
また、本発明に係る画像処理方法の一つは、
眼部における異なる時間の複数の画像から血管の領域を特定する工程と、
前記特定された領域において前記異なる時間の複数の輝度値の分布に基づいて、前記特定された領域における種類の異なる複数の領域を処理する異なる複数の処理方法を決定する工程と、を有する。
【００１５】
また、本発明に係る画像処理方法の一つは、
眼部における異なる時間の複数の画像から血管の領域を特定する工程と、
前記特定された領域において前記異なる時間の複数の輝度値の分布に基づいて、前記特定された領域における種類の異なる複数の領域を決定する工程と、を有する。
【発明の効果】
【００１６】
本発明の一つによれば、眼部の画像の血管領域（血球移動領域）における視細胞の視認性や検出性能のばらつきを低減することができる。また、本発明の一つによれば、眼部の画像の血管領域における種類の異なる複数の領域を決定する上で、ユーザの利便性を向上することができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態に係る画像処理装置１０の機能構成例を示すブロック図である。
【図２】第１の実施形態に係る画像処理装置１０を含むシステムの構成例を示すブロック図である。
【図３】記憶部１２０、画像処理部１３０に相当するハードウェアを有し、且つその他の各部をソフトウェアとして保持し、実行するコンピュータのハードウェア構成例を示すブロック図である。
【図４】第１の実施形態に係る画像処理装置１０が実行する処理のフローチャートである。
【図５】第１の実施形態での画像処理内容を説明する図である。
【図６】第２の実施形態に係る画像処理装置１０の機能構成例を示すブロック図である。
【図７】第２の実施形態に係る画像処理装置１０が実行する処理のフローチャートである。
【図８】第２の実施形態に係るＳ７５０での画像処理内容を説明する図である。
【図９】第３の実施形態に係る画像処理装置１０の機能構成例を示すブロック図である。
【図１０】第３実施形態に係る画像処理装置１０が実行する処理のフローチャートである。
【発明を実施するための形態】
【００１８】
本実施形態に係る画像処理装置は、まず、眼部における異なる時間の複数の画像から血管の領域を特定する特定手段を有する。ここで、複数の画像は、例えば、動画像や、比較的短い時間で連続的に撮影して得た複数の静止画像である。また、血管の領域は、例えば、眼底画像における毛細血管領域で、白血球や血漿成分（ｐｌａｓｍａ−ｇａｐ）が流れる領域である。なお、血管の領域は、明確に血管壁に覆われた領域でなくても良く、血球が移動する領域（血液が流れる領域）のことであり、血球の移動に基づく領域（血球移動領域）とも呼ぶ。
【００１９】
また、本実施形態に係る画像処理装置は、特定された領域において異なる時間の複数の輝度値の分布に基づいて、特定された領域における種類の異なる複数の領域を処理する異なる複数の処理方法を決定する決定手段を有する。ここで、異なる時間の複数の輝度値の分布は、例えば、動画像の各フレームの各画素の輝度値のヒストグラムである。また、種類の異なる複数の領域は、例えば、毛細血管領域において、白血球が流れ易い経路（ＬＰＰ；ｌｅｕｋｏｃｙｔｅ−ｐｒｅｆｅｒｒｅｄ−ｐａｔｈ）と白血球が流れ難い経路（ＰＧＣ；ｐｌａｓｍａ−ｇａｐ  ｃａｐｉｌｌａｒｙ）とである。このとき、決定手段は、例えば、ヒストグラムの統計値（平均値や分散）が閾値よりも大きい場合には、白血球が流れ易い経路と決定することができる。また、決定手段は、例えば、ヒストグラムの統計値が閾値よりも小さい場合には、白血球が流れ難い経路と決定することができる。このとき、決定手段は、例えば、白血球が流れ難い経路の統計値を白血球が流れ易い経路の統計値に合わせるように、処理方法を決定することが好ましい。
【００２０】
これにより、種類の異なる複数の領域に適した処理を行うことができるため、眼部の画像の血管領域（血球移動領域）における視細胞の視認性や検出性能のばらつきを低減することができる。以下、添付図面に従って本発明に係る画像処理装置及び画像処理方法の好ましい実施形態について詳説する。ただし、本発明はこれに限定されるものではない。
なお、本実施形態における処理方法は、取得した画像を処理する画像処理方法でも良いし、画像を取得する前の信号を処理する信号処理方法でも良い。例えば、ＬＰＰ領域の信号とＰＧＣ領域の信号とが合うように、これらの領域に対応する複数の信号を変更することが考えられる。また、決定手段は、複数の処理方法を決定しなくても良く、複数の領域のいずれかの領域の処理方法を決定すれば良い。例えば、ＰＧＣ領域の信号とＬＰＰ領域の信号とが合うように、ＰＧＣ領域の信号を増幅することが考えられる。
【００２１】
［第１の実施形態：ＬＰＰとＰＧＣとで異なる画像処理方法を決定］
本実施形態に係る画像処理装置は、ＳＬＯ動画像から血球移動領域を特定した上で該領域における経時的な輝度の分布を算出し、該輝度分布に基づいて血球移動領域における画像補正法を決定する場合について説明する。具体的には、黄斑部の網膜外層を撮像したＳＬＯ動画像Ｄに対して検出部１３２が差分処理を行うことで高輝度血球領域を特定し、輝度変化情報取得部１３３１が該血球移動領域における時間方向のヒストグラム（ｔｅｍｐｏｒａｌ  ｈｉｓｔｏｇｒａｍ）を生成する。該ヒストグラムの統計量に基づいて画像処理法決定部１３３２が画像補正法を決定し、ＳＬＯ動画像Ｄ上の各ｘ−ｙ位置における前記高輝度血球領域の輝度値選択とコントラスト調整処理を指示する。指示された画像補正法で画像補正部１３４が該血球移動領域の画像補正を行い、表示制御部（不図示）が補正済ＳＬＯ画像を表示部１３５に表示させる。これにより、毛細血管領域間での細胞の視認性が略同一になるような画像を生成できる。
【００２２】
（全体構成）
図２は本実施形態に係る画像処理装置１０を含むシステムの構成図である。図２に示すように画像処理装置１０は、ＳＬＯ像撮像装置２０やデータサーバ４０と、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等で構成されるローカル・エリア・ネットワーク（ＬＡＮ）３０を介して接続されている。なお、これらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよい。
【００２３】
ＳＬＯ像撮像装置２０は、眼底部の平面画像（ＳＬＯ動画像Ｄ）を撮像する装置であり、ＳＬＯ動画像Ｄを撮像し、前記ＳＬＯ動画像Ｄ及びその撮影時に用いた固視標位置Ｆの情報を画像処理装置１０、データサーバ４０へ送信する。データサーバ４０は、被検眼のＳＬＯ動画像Ｄや固視標位置Ｆのような撮像条件データ、眼部の画像特徴などを保持する。眼部の画像特徴として、本発明では視細胞Ｃに関する画像特徴を扱う。ＳＬＯ像撮像装置２０が出力するＳＬＯ動画像Ｄ、固視標位置Ｆ、画像処理装置１０が出力する眼部の画像特徴を該サーバに保存する。また、画像処理装置１０からの要求に応じ、ＳＬＯ動画像Ｄ、眼部の画像特徴データを画像処理装置１０に送信する。
【００２４】
次に、図３を用いて画像処理装置１０のハードウェア構成について説明する。図３において、３０１は中央演算処理装置（ＣＰＵ）、３０２はメモリ（ＲＡＭ）、３０３は制御メモリ（ＲＯＭ）、３０４は外部記憶装置、３０５はモニタ、３０６はキーボード、３０７はマウス、３０８はインターフェースである。本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置３０４に記憶されている。これらの制御プログラムやデータは、ＣＰＵ３０１による制御のもと、バス３０９を通じて適宜ＲＡＭ３０２に取り込まれ、ＣＰＵ３０１によって実行され、以下に説明する各部として機能する。
【００２５】
次に、図１を用いて本実施形態に係る画像処理装置１０の機能構成を説明する。図１は画像処理装置１０の機能構成を示すブロック図であり、画像処理装置１０は画像取得部１１０、記憶部１２０、画像処理部１３０、指示取得部１４０を有する。また、画像処理部１３０は、位置合わせ部１３１、検出部１３２、決定部１３３、画像補正部１３４、表示部１３５を備える。また、位置合わせ部は、例外フレーム判定部１３１１を有する。また、決定部１３３は、経時的輝度情報取得部１３３１と画像処理法決定部１３３２を有する。ここで、画像処理装置１０を構成する各ブロックの機能については、図４のフローチャートに示す画像処理装置１０の具体的な実行手順と関連付けて説明する。
【００２６】
＜ステップ４１０：ＳＬＯ画像取得＞
まず、画像取得部１１０はＳＬＯ像撮像装置２０に対して、ＳＬＯ動画像Ｄ、固視標位置Ｆの取得を要求する。本実施形態では、黄斑部の傍中心窩に固視標位置を設定してＳＬＯ動画像Ｄを取得する。なお、撮影位置の設定方法はこれに限定されず、任意の位置に設定してよい。ＳＬＯ像撮像装置２０は、該取得要求に応じてＳＬＯ動画像Ｄ、固視標位置Ｆを取得し送信するので、画像取得部１１０はＳＬＯ像撮像装置２０からＬＡＮ３０を介して当該ＳＬＯ動画像Ｄ、固視標位置Ｆを受信する。画像取得部１１０は受信したＳＬＯ動画像Ｄ、固視標位置Ｆを記憶部１２０に格納する。
【００２７】
＜ステップ４２０：位置合わせ＞
次に、位置合わせ部１３１は、記憶部１２０からＳＬＯ動画像Ｄを読み込んでＳＬＯ動画像Ｄにおけるフレーム間位置合わせを行う。具体的には、以下の手順でフレーム間位置合わせを行う。
（ｉ）例外フレーム判定部１３１１が単独フレームで例外フレーム判定を行う。
（ｉｉ）位置合わせ部１３１が基準フレームを選択する。
（ｉｉｉ）Ａｆｆｉｎｅ変換を用いて概略位置合わせを行う。
（ｉｖ）公知の非剛体位置合わせ手法を用いて精密位置合わせを行う。
（ｖ）例外フレーム判定部１３１１が位置合わせ済ＳＬＯ動画像に対して例外フレーム判定を行う。
（ｉ）例外フレーム判定部１３１１は、単独フレームでの例外判定を行う。
【００２８】
ＳＬＯ画像Ｄから画像特徴として各フレームＤｉにおける平均輝度値Ａｉ及び血管領域Ｖｉを取得する。血管領域の取得方法は任意の公知の血管抽出法を用いることができ、本実施形態では輝度値が閾値Ｔ１以下の領域とする。また、前記血管領域Ｖｉを細線化して得られる点列Ｂｉｍ（ｍ＝１，２，．．．，ｎ３）の交差部Ｃｉｎ（ｎ＝１，．．．，ｎ４≧３）も取得する。ＳＬＯ動画像Ｄの各フレームＤｉに対し、瞬目により輝度が極端に低いフレームや固視微動により画像歪みが生じているフレーム、収差補正不良によりＳ／Ｎ比が低いフレームを例外フレームとして検出する。
【００２９】
本実施形態では、平均輝度値Ａｉが閾値Ｔ２以下であれば、各ＳＬＯ動画像ＤのフレームＤｉを瞬目による輝度異常とみなし例外フレームと判定する。また、血管交差部Ｃｉｎ間の距離の二乗和の値が隣接フレーム間で閾値Ｔ３以上異なっていれば、固視微動による画像歪みとみなして例外フレームと判定する。さらに、Ｓ／Ｎ比が閾値Ｔ４以下であれば収差補正不良とみなして例外フレームと判定する。
【００３０】
なお、例外フレームの判定法はこれに限るものではなく、任意の例外判定法を用いて良い。例えば、各フレームに対し微分処理を行うことにより得られる微分画像の輝度統計量（平均値、最頻値、もしくは最大値）を算出し、閾値Ｔ５以下であれば被写体の動きによるボケが発生しているとみなして例外フレームと判定しても良い。
【００３１】
ここで、（ｉｉ）において、位置合わせ部１３１は、位置合わせの基準となる基準フレームを設定する。本実施形態では、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定法はこれに限るものではなく、任意の設定法を用いて良い。例えば、ユーザが指定した基準フレーム番号を指示取得部１４０から取得して基準フレームを設定してもよい。また、（ｉｉｉ）において、位置合わせ部１３１は、フレーム間の大まかな位置の対応付け（粗位置合わせ）を行う。任意の位置合わせ手法を利用できるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いて粗位置合わせを行う。また、（ｉｖ）において、位置合わせ部１３１は、フレーム間の大まかな位置の対応関係のデータに基づいて精密位置合わせを行う。
【００３２】
本実施形態では（ｉｉ）で得られた粗位置合わせ済動画像に対し、非剛体位置合わせ手法の一種であるＦＦＤ（Ｆｒｅｅ  Ｆｏｒｍ  Ｄｅｆｏｒｍａｔｉｏｎ）法を用いてフレーム間の精密位置合わせを行う。なお、精密位置合わせの手法はこれに限らず、任意の位置合わせ手法を用いて良い。本実施形態では、画素値ベースの画像間類似度を用いて、ＳＬＯ動画像Ｄのフレーム全体が基準フレームに最も類似する位置合わせパラメータの組み合わせを求めたが、これに限定されるものではない。例えば、ＳＬＯ動画像Ｄの各フレームにおいて観察対象の画像特徴（中心窩や血管分岐等）を検出する。さらに該画像特徴の位置が最も精密に合うようにＳＬＯ動画像Ｄのフレーム間で位置合わせを行っても良い。
【００３３】
また、（ｖ）において、例外フレーム判定部１３１１は、精密位置合わせされたＳＬＯ画像に対して例外フレーム判定を行う。具体的には、基準フレームにおける画像特徴（血管交差部Ｃｉｎ）と非基準フレームにおける画像特徴との変位量を算出し、変位量が許容値より大きいフレームを例外フレームとして判定する。本実施形態では基準フレームに対する変位量として並進（ｘ、ｙ）、回転θ、拡大率（ｓｘ、ｓｙ）を成分として持つ変位量ベクトル（ｘ，ｙ，θ，ｓｘ、ｓｙ）を定義する。ｘ＞Ｔｘ、ｙ＞Ｔｙ、θ＞Ｔθ、ｓｘ＞Ｔｓｘ、ｓｙ＞Ｔｓｙの少なくとも一つが成り立つ場合に例外フレームと判定する。なお、変位量の定義はこれに限らず、変位の程度を示唆する量（スカラ量またはベクトル量）であれば任意の値を用いてよい。例えば、観察・計測対象となる基準領域が各フレームにおいて含まれる割合（例えば、（基準領域全体の面積）／（各フレームＤｉに含まれる基準領域の面積））を変位量として定義しても良い。
【００３４】
＜ステップ４３０：血球領域検出＞
また、特定手段の一例である検出部１３２は、ＳＬＯ動画像Ｄから血球領域及び血球の移動範囲を特定する処理を行う。なお、血球領域及び血球の移動範囲は、血球の移動に基づく領域の一例である。具体的には、以下の手順で特定処理が実行される。
ｉ）ＳＬＯ動画像Ｄの隣接フレーム間で差分動画像を生成する。
（図５（ｃ）から（ｄ）を差し引くことで、（ｅ）を取得する）
ｉｉ）差分動画像の各ｘ−ｙ位置においてフレーム方向に関する輝度統計量（分散）を算出する。
ｉｉｉ）前記差分動画像の各ｘ−ｙ位置において輝度分散が閾値Ｔｖ以上の領域を血球移動領域として特定する。
ｉｖ）ＳＬＯ動画像Ｄの血球移動領域内の各ｘ−ｙ位置に対して、輝度値が最大値のフレームを血球影が最も減弱したフレームとして特定する。
【００３５】
なお、血球及び血球移動領域の検出処理はこの方法に限定されるものではなく、任意の公知の方法を用いて良い。例えば前記差分動画像上の高輝度領域のうち、血球移動領域内に含まれるものを血球領域として検出してもよい。
【００３６】
＜ステップ４４０：画像処理法決定＞
また、画像処理法決定部１３３１が、ＳＬＯ画像Ｄ上の各ｘ−ｙ位置における画像補正法を決定する。（ｉ）まず、画像処理法決定部１３３１が、Ｓ４３０で特定されたＳＬＯ動画像Ｄの血球移動領域内の各ｘ−ｙ位置において、フレーム方向における最大輝度のフレームの輝度を選択するように指示する。ここで、例えばＳＬＯ動画像Ｄの各ｘ−ｙ位置において、閾値Ｔｐ以上の輝度値を持つフレーム集合Ｓｔの平均輝度値を選択するように画像処理法を決定しても良い。閾値Ｔｐは視細胞Ｃを撮影した場合の標準的な輝度値を設定するものとする。フレーム方向に関する最大輝度値を選択する場合に比べ、フレーム間の位置ずれの影響を受けにくくなる。（ｉｉ）次に、輝度が補正された血球移動領域内の各ｘ−ｙ位置において、上記輝度補正前後の輝度差を算出する。ここでは説明を簡単にするため、該輝度差が閾値Ｔｄ以上の（輝度補正された）血管をＬＰＰ領域、Ｔｄ未満の（輝度補正された）血管をＰＧＣ領域と呼ぶこととする。（ｉｉｉ）また、画像処理法決定部１３３１は、ＬＰＰ領域及びＰＧＣ領域におけるヒストグラムを用いて以下の手順ａ）で画像補正法を決定する。
【００３７】
ａ）ＰＧＣ領域内の輝度平均と分散をＬＰＰ領域における輝度平均及び分散と各々同一に揃える。すなわち、画像補正前の信号をｘ、画像補正後の信号をｙ、ＰＧＣ領域における輝度値の標準偏差、平均値を各々Ｓｆ、Ａｆ、ＬＰＰ領域における輝度値の標準偏差、平均値を各々Ｓｔ、Ａｔとすると、ｙ＝（Ｓｔ／Ｓｆ）＊（ｘ−Ａｆ）＋Ａｔのように補正する。なお、画像補正の方法はこれに限らない。例えば、以下に示すような手順ｂ）で画像補正を行ってもよい。
【００３８】
ｂ）ＰＧＣ領域の最大輝度をＬＰＰ領域の最大輝度に合わせるよう、輝度値を線形変換する。この場合、画像補正後のＰＧＣ領域の輝度値をｙ、画像補正前のＰＧＣ領域の輝度値をｘ、ＰＧＣ領域内の最大輝度をＩｍａｘＦ、ＬＰＰ領域内の最大輝度をＩｍａｘＴとすると、ｙ＝ＩｍａｘＴ＊（ｘ−ＩｍｉｎＦ）／（ＩｍａｘＦ−ＩｍｉｎＦ）のように補正できる。なお、画像補正法は、これらに限定されるものではなく、少なくとも血球影が発生している領域間での血球影の減弱効果が略同一になる効果を持つ方法であれば任意の補正法を用いて良い。
【００３９】
＜ステップ４５０：画像補正＞
また、画像補正部１３４が、画像補正法決定部１３３１が決定した画像補正法を用いて補正済ＳＬＯ画像を生成する。
【００４０】
＜ステップ４６０：表示＞
また、表示部１３５は、ＳＬＯ動画像ＤとＳ４５０で生成した補正済ＳＬＯ画像とを並べてモニタ３０５に表示する。なお、異なる補正法で補正したＳＬＯ画像を数種類用意しておき、リスト等のＧＵＩで補正法を選択して切り替え表示するように構成しても良い。
【００４１】
＜ステップ４７０：結果の保存？＞
また、指示取得部１４０は、ＳＬＯ動画像Ｄ、Ｓ４５０において補正されたＳＬＯ画像、固視標位置Ｆをデータサーバ４０へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード３０６やマウス３０７を介して操作者により入力される。保存が指示された場合はＳ４８０へ、保存が指示されなかった場合はＳ４９０へと処理を進める。
【００４２】
＜ステップ４８０：結果の保存＞
また、画像処理部１３０は、検査日時、披検眼を同定する情報、ＳＬＯ動画像Ｄと補正済ＳＬＯ画像、固視標位置Ｆを関連付けてデータサーバ４０へ送信する。
【００４３】
＜ステップ４９０：終了？＞
また、指示取得部１４０は、画像処理装置１０によるＳＬＯ動画像Ｄに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード３０６やマウス３０７を介して操作者により入力される。処理終了の指示を取得した場合は解析処理を終了する。一方、処理継続の指示を取得した場合にはＳ４１０に処理を戻し、次の披検眼に対する処理（または同一披検眼に対する再処理を）行う。なお、本実施形態では画像処理部１３０内に位置合わせ部１３１と例外フレーム判定部１３１１を有する場合について説明したが、本発明はこれに限定されない。例えば、画像取得部１１０がフレーム間位置合わせ済みのＳＬＯ画像を取得し、画像処理部１３０に位置合わせ部１３１や例外フレーム判定部１３１１を持たないよう構成してもよい。また、本実施形態では黄斑部網膜における視細胞Ｃを撮影したＳＬＯ画像に生じた血球による影領域の画像補正を行ったが、本発明はこれに限定されるものではない。例えば、視神経乳頭部における篩状板に生じた血球による影領域の画像補正を行う場合も本発明に含まれる。
【００４４】
以上述べた構成によれば、画像処理装置１０は、ＳＬＯ動画像から血球移動領域を特定した上で該領域ごとに経時的な輝度の分布を算出し、該輝度分布に基づいて該領域における画像補正法を決定する。これにより、毛細血管領域間の細胞の視認性が略同一になるように画像補正できる。
【００４５】
［第２の実施形態：画像処理方法として視細胞検出の閾値を決定］
本実施形態では、ＳＬＯ画像の血球移動領域において算出した経時的な輝度分布に基づいて、画像処理法決定部１３３２が（第１の実施形態のように画像補正法ではなく）計測パラメータを決定して計測を行う場合について説明する。具体的には、血球移動領域における時間方向のヒストグラムの分散値に基づいて画像処理法決定部１３３２が視細胞の検出閾値を重みづけする。計測部１３６が該閾値を用いて視細胞の検出を行い、ボロノイ分割を用いて視細胞密度の計測を行う場合について説明する。これにより、毛細血管領域間の細胞の検出性能が略同一になるように計測できる。
【００４６】
次に、本実施形態に係る画像処理装置１０の機能ブロック図を図６に示す。画像処理部１３０に計測部１３６を備える点が、第１の実施形態とは異なっている。また、本実施形態の画像処理フローは、図７に示す通りであり、Ｓ７４０、Ｓ７５０、Ｓ７６０以外は、第１の実施形態と同様である。すなわち、Ｓ７１０−７３０及びＳ７７０−Ｓ７９０はそれぞれ、図４のＳ４１０−Ｓ４３０及びＳ４７０−Ｓ４９０と同じである。そこで、本実施形態では、Ｓ７４０、Ｓ７５０、Ｓ７６０における処理について説明する。
【００４７】
＜ステップ７４０：計測パラメータ決定＞
まず、画像処理法決定部１３３２は、検出された血球の移動領域における画像処理パラメータを変更する。まず、第１の実施形態のＳ４４０の（ｉ）及び（ｉｉ）と同様の手順でＰＧＣ領域とＬＰＰ領域を特定する。次に、視細胞を検出するための閾値Ｔｂを、ＬＰＰ領域における視細胞検出に対して適切な値に設定する。このとき、ＬＰＰ領域とＰＧＣ領域とは明るさが異なるため、閾値Ｔｂは、ＰＧＣ領域にとって適した値ではない。そこで、ＰＧＣ領域でもＬＰＰ領域と同様に視細胞が検出できるように、ＰＧＣ領域における視細胞検出の閾値を以下のように変更する。すなわち、決定部１３３は、Ｔｂに対して、（ＰＧＣ領域の平均輝度値）／（ＬＰＰ領域の平均輝度値）を乗じて得た閾値Ｔｃを視細胞検出の際に用いるように、計測部１３６に対して指示する。
【００４８】
＜ステップ７５０：計測＞
また、計測部１３６は、Ｓ４４０の（ｉ）の処理を適用したＳＬＯ画像から視細胞Ｃを検出し、視細胞Ｃの分布を計測する。計測部１３６は、補正済ＳＬＯ画像における視細胞以外のピーク成分（ノイズや視細胞以外の眼底組織から反射光）を除去するために、高周波成分の除去を行う。本実施形態では、高速フーリエ変換（ＦＦＴ）を用いて周波数変換を行い、低域通過フィルタを適用して高周波成分の信号値をカットする。該フィルタ済ＳＬＯ画像を逆フーリエ変換することで空間領域に戻し、高周波成分が除去された補正済ＳＬＯ画像を生成する。また、補正済ＳＬＯ画像において、ＰＧＣ領域では閾値Ｔｃで、またそれ以外の領域では閾値Ｔｂで二値化することにより、視細胞Ｃを検出する。さらに、検出された視細胞Ｃの二値画像に対して以下の手順でボロノイ図を生成する。すなわち、視細胞Ｃの二値画像に対し、個々の視細胞領域の中心点（図８のＭＰ）を算出し、隣り合う中心点ＭＰを結ぶ線分に対して垂直二等分線を描画する。描画された垂直二等分線のうち、中心点ＭＰ同士を結ぶ線分の中点から垂直二等分線同士の交点ＶＰまでを残し、残りを消去することでボロノイ境界ＶＢが得られる。ボロノイ図において、個々の視細胞Ｃが占める面積や形状はボロノイ境界ＶＢで囲まれた領域ＶＲで表される。また、生成されたボロノイ図に基づき、視細胞Ｃの分布に関する統計量を算出する。具体的には、検出された視細胞Ｃの密度、隣接する視細胞間の距離の平均、１視細胞が占める面積の平均値、ボロノイ図において視細胞Ｃが六角形で表される領域の割合を算出する。
【００４９】
＜ステップ７６０：表示＞
また、表示部１３５は、補正済ＳＬＯ画像、視細胞Ｃの検出結果（視細胞位置のマップ）、ボロノイ図等をモニタ３０５に表示する。なお、ボロノイ図については個々のボロノイ領域ごとの面積に応じて色づけして表示する。
【００５０】
以上の構成より、画像処理装置１０は、ＳＬＯ画像の血球移動領域において算出した経時的な輝度分布に基づいて画像処理法決定部１３３２が計測パラメータを決定して計測を行う。これにより、毛細血管領域間の細胞の検出性能が略同一になるように計測できる。
【００５１】
［第３の実施形態：ＬＰＰとＰＧＣとのうちいずれか一方の画像処理方法を決定］
本実施形態では、ＳＬＯ画像の血球移動領域において算出した経時的な輝度分布に基づいて、計測対象決定部１３３３が計測対象の血球が走行する血管を決定し、計測部１３６が血球速度の計測を行う場合について説明する。具体的には、血球移動領域における時間方向のヒストグラムの統計量に基づいて、計測対象決定部１３３３が白血球の走行する血管を決定する。計測部１３６が、該血管の経路に沿って時空間画像を生成し、該時空間画像上で白血球の移動軌跡を検出して白血球の移動速度を計測する。これにより、所定の種類の血球が走行する血管を特定できる。次に、本実施形態に係る画像処理装置１０の機能ブロック図を図９に示す。決定部１３３に計測対象決定部１３３３を備える点が、第２の実施形態と異なる。また、本実施形態での画像処理フローは、図１０に示す通りであり、Ｓ１０４０、Ｓ１０５０以外は、第２の実施形態と同様である。すなわち、Ｓ１０１０−１０３０及びＳ１０６０−Ｓ１０９０はそれぞれ、図７のＳ７１０−Ｓ７３０及びＳ７６０−Ｓ７９０と同じである。そこで、本実施形態ではＳ１０４０、Ｓ１０５０における処理について説明する。
【００５２】
＜ステップ１０４０：計測対象決定＞
まず、Ｓ１０３０において算出された全フレームを通じた、ａ）輝度値の分散値、もしくは、ｂ）最大輝度値と最小輝度値との差分、が各々閾値Ｔｖ、閾値Ｔｓ以上となる血管枝を計測対象の血管枝とする。これは、白血球の通過時に最も高輝度、赤血球凝集の通過時に最も低輝度であるため白血球や赤血球凝集が通過する毛細血管では上記ａ）またはｂ）の値が大きくなることに対応している。
【００５３】
＜ステップ１０５０：計測＞
また、計測部１３６は、計測対象として決定された血管枝において時空間画像を生成する。この時空間画像は、図５（ｈ）や図５（ｉ）に示すように、横軸に血管枝状の位置、縦軸に走査時刻を持ち、指定された血管枝の位置において（フレーム間位置合わせ済の）ＳＬＯ動画像の曲断面画像を生成することに相当する。なお、時空間画像の横軸は原点に近い方が上流側となるように設定する。また、図５（ｈ）は、ＬＰＰにおける時空間画像、図５（ｉ）は、ＰＧＣにおける時空間画像を示している。図５（ｈ）に示すように時空間画像には白血球の移動を示す高輝度な線状成分と、そのすぐ後方に存在する赤血球列凝集を示す低輝度な線状線分とが含まれる。該時空間画像から、計測対象の血球列を検出する。本実施形態では白血球を計測対象としているので、時空間画像から高輝度な白血球の移動軌跡を検出する。具体的には、任意の公知な線強調フィルタを用いて線強調した上で、閾値Ｔｔ１で二値化することにより高輝度な白血球の軌跡を検出する。さらに、検出された白血球の移動軌跡の角度に基づいて白血球の移動速度を計測する。
【００５４】
以上の構成より、画像処理装置１０は、ＳＬＯ画像の血球移動領域において算出した経時的な輝度分布に基づいて計測対象決定部１３３３が計測対象の血球が走行する血管を決定し、計測部１３６が血球速度の計測を行う。これにより、所定の種類の血球が走行する血管を特定できる。
【００５５】
なお、異なる時間の複数の輝度値の分布としては、ヒストグラム以外に、時空間画像等を用いても良い。例えば、各画素(xy位置)上でprofile(フレーム順を変えずにそのまま画素値を並べる)を作って、profile上で高輝度点(白血球)が繰り返し検出されるかどうかを調べても良い。これは、時空間画像の縦１列分だけ選んでその中で高輝度点(白血球)が一定数個(血液中の白血球の含有率(血液中の１％)から見て妥当な量、例えば１秒あたり１個など)あればＬＰＰと決定し、そうでなければ(比較的高輝度でない点しかない等)ならＰＧＣと決定することに相当する。なお、時空間画像は、通常、横方向に空間位置、縦方向に時間(もしくはフレーム番号)を並べるが、ここでは、横方向に1画素分や２画素分しかない場合でも時空間画像と見なす。
【００５６】
また、本実施形態において、決定手段が、ＬＰＰ領域とＰＧＣ領域とのうち少なくとも一方を自動的に決定しても良いし、操作者が画像上でＬＰＰ領域とＰＧＣ領域とのうち少なくとも一方を（マウスのクリック等により）手動で決定しても良い。また、自動的に決定された領域を操作者が手動で修正しても良い。
【００５７】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2016086842.tif 000003
【図２】
2016086842.tif 000004
【図３】
2016086842.tif 000005
【図４】
2016086842.tif 000006
【図５】
2016086842.tif 000007
【図６】
2016086842.tif 000008
【図７】
2016086842.tif 000009
【図８】
2016086842.tif 000010
【図９】
2016086842.tif 000011
【図１０】
2016086842.tif 000012