(57)【要約】【課題】  眼部の毛細血管に生じる早期病変を非侵襲に自動検出する。【解決手段】  取得された眼部の動画像から血球もしくは血球移動領域を特定する特定手段と、前記特定された血球もしくは血球移動領域に関する位置、形状、分布の少なくとも一つを計測する計測手段と、前記計測の結果に基づき病変候補を判定する判定手段と、を備えることを特徴とする画像処理装置。【選択図】  図１
2013169296.tif 000002
【特許請求の範囲】
【請求項１】
補償光学系を有する眼科撮影装置で撮影され取得された眼部の動画像から血球移動領域を特定する特定手段と、
前記特定された血球移動領域に関する位置、形状、分布の少なくとも一つを計測する計測手段と、
前記計測の結果に基づき病変候補を判定する判定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記計測手段は、前記血球の速度もしくは数、前記血球移動領域の径、曲率、密度、もしくは前記血球移動領域が存在しない領域の形状や面積を計測することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記計測の結果と正常値とを比較することにより前記病変候補を判定することを特徴とする請求項１乃至請求項２に記載の画像処理装置。
【請求項４】
前記判定手段は、異なる領域で計測された前記計測の結果を比較することにより前記病変候補を判定することを特徴とする請求項１乃至請求項３に記載の画像処理装置。
【請求項５】
前記判定手段は、撮影時刻の異なる前記計測の結果を比較することにより前記病変候補を判定することを特徴とする請求項１乃至請求項４に記載の画像処理装置。
【請求項６】
前記眼部の画像から輝度異常の程度、歪みの大きさ、信号に対する雑音の大きさ、基準フレームに対する変位量の少なくとも一つが所定の閾値以上あるフレームを判定する例外フレーム判定手段をさらに備え、前記特定手段は前記例外フレームを判定した上で血球領域もしくは血球の移動領域を特定することを特徴とする請求項１乃至請求項５に記載の画像処理装置。
【請求項７】
補償光学系を有する眼科撮影装置で撮影され取得された眼部の動画像から血球もしくは血球移動領域を特定する特定工程と、
前記特定された血球もしくは血球移動領域に関する位置、形状、分布の少なくとも一つを計測する計測工程と、
前記計測の結果に基づき病変候補を判定する判定工程と、
を備えることを特徴とする画像処理方法。
【請求項８】
請求項１に記載の画像処理装置をコンピュータで実現するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、特に眼科診療に用いられる画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
糖尿病網膜症のような網膜循環障害では疾病の初期段階において傍中心窩付近の毛細血管に異常が現れることが知られている。例えば、糖尿病網膜症では毛細血管瘤や蛇行、毛細血管の閉塞（無血管領域の拡大）が生じる。またこのような形態の変化に伴って血流速度の低下する領域が現れる。
これまで、このような微小循環（毛細血管）における病変を目視評価するために蛍光眼底造影検査が行われてきた。蛍光眼底造影検査は標準的な検査であるものの侵襲性が高く、定性的な評価しかできないという問題があった。他にレーザースペックル法やレーザードップラー法といった非侵襲な血流計測法が存在するが、いずれも細動脈部の計測が限界であり毛細血管における血流速度の計測は難しかった。
また、毛細血管や血球に関する形態や動態の異常を検出する場合には、血管数が多く計測が煩雑であり、観察者により判定基準が異なるため一定の基準で多数の症例に対して病変を検出することが難しいという問題があった。
眼部の画像における血流速度の計測技術として、レーザードップラー法により眼底画像から血流速度及び血管径から予測血流量を算出し、測定した血流量と比較して正常か否か評価する技術が特許文献１に開示されている。または特許文献２には、赤血球位置を特定して直接移動速度を計測する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２７５９７５号公報
【特許文献２】特開２００２−５１７２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら血球位置を特定して直接移動速度を計測する技術において、日病変候補を得ることができなかった。
本発明は上記の課題に鑑みてなされたものであり、眼部の毛細血管に生じる早期病変を非侵襲に自動検出することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の実施形態に係る画像処理装置は取得された眼部の動画像から血球もしくは血球移動領域を特定する特定手段と、前記特定された血球もしくは血球移動領域に関する位置、形状、分布の少なくとも一つを計測する計測手段と、前記計測値に基づき病変候補を判定する判定手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、眼部の毛細血管に生じる早期病変を非侵襲に自動検出できる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１の実施形態に係る画像処理装置１０の機能構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置１０を含むシステムの構成例を示すブロック図である。
【図３】記憶部１３０、画像処理部１４０に相当するハードウェアを有し、且つその他の各部をソフトウェアとして保持し、実行するコンピュータのハードウェア構成例を示すブロック図である。
【図４】本発明の第１の実施形態に係る画像処理装置１０が実行する処理のフローチャートである。
【図５】本発明の第１の実施形態での画像処理内容を説明する図である。
【図６】本発明の第１の実施形態に係るＳ４３０で実行される処理の詳細を示すフローチャートである。
【図７】本発明の第２の実施形態に係る画像処理装置１０の機能構成例を示すブロック図である。
【図８】本発明の第２の実施形態に係る画像処理装置１０が実行する処理のフローチャートである。
【図９】本発明の第３の実施形態に係る画像処理装置１０の機能構成例を示すブロック図である。
【図１０】本発明の第３実施形態に係る画像処理装置１０が実行する処理のフローチャートである。
【図１１】本発明の第３の実施形態に係るＳ１０２０で実行される処理の詳細を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、添付図面に従って本発明に係る画像処理装置及び方法の好ましい実施形態について詳説する。ただし本発明はこれに限定されるものではない。
【０００９】
［第１の実施形態］
本実施形態に係る画像処理装置は、黄斑部の傍中心窩を撮影したＳＬＯ動画像から血球領域を特定した上で血球の移動速度を計測し、正常値もしくは他領域における計測の結果とを比較することにより血球動態の異常を検出する場合について説明する。
【００１０】
具体的には、黄斑部の傍中心窩を撮影したＳＬＯ動画像Ｄに対して特定部１４１が差分処理を行うことで高輝度血球領域を特定する。計測部１４２が前記差分画像から生成した時空間画像上で血球軌跡を検出し、その移動速度を算出する。判定部１４３が該速度を正常値もしくは他領域における計測値と比較することにより血球動態の異常を検出する場合について説明する。
【００１１】
これにより、眼部の毛細血管に生じる血流異常を非侵襲に自動検出できる。
【００１２】
（全体構成）
図２は本実施形態に係る画像処理装置１０を含むシステムの構成図である。図２に示すように画像処理装置１０は、ＳＬＯ像撮像装置２０や時相データ取得装置３０、データサーバ５０と、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等で構成されるローカル・エリア・ネットワーク（ＬＡＮ）４０を介して接続されている。なおこれらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよい。
【００１３】
ＳＬＯ像撮像装置２０は補償光学系を有する補償光学走査型レーザ検眼鏡（ＡＯ−ＳＬＯ：Ａｄａｐｔｉｖｅ  Ｏｐｔｉｃｓ―Ｓｃａｎｎｉｎｇ  Ｌａｓｅｒ  Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）であり眼底部の平面画像（ＳＬＯ動画像）を撮像する装置である。
【００１４】
補償光学走査型レーザ検眼鏡（ＡＯ−ＳＬＯ）は光源であるＳＬＤ（Ｓｕｐｅｒ  Ｌｕｍｉｎｅｓｃｅｎｔ  Ｄｉｏｄｅ）と、収差測定系であるシャックハルトマン波面センサ、収差補正系である補償光学系、ビームスプリッタ、Ｘ−Ｙ走査ミラー、フォーカスレンズ、絞り、光センサ、画像形成部、出力部で構成される。
【００１５】
ＳＬＤ光源から照射された光は眼底で反射され、一部が第二のビームスプリッタ経由でシャックハルトマン波面センサへ、それ以外は第一のビームスプリッタ経由で光センサへ入力される。シャックハルトマン波面センサは眼の収差を測定するためのデバイスであり、レンズアレイにＣＣＤが接続されている。入射光がレンズアレイを透過するとＣＣＤに輝点群が現れ、該投影された輝点の位置ずれに基づき波面収差が測定される。補償光学系はシャックハルトマン波面センサで測定された波面収差に基づき、収差補正デバイス（可変形状ミラーもしくは空間光位相変調器）を駆動して収差を補正する。該収差補正された光はフォーカスレンズ、絞り経由で光センサで受光される。Ｘ／Ｙ走査ミラーを動かすことで眼底上の走査位置を制御でき、操作者が予め指定した撮影対象領域、時間（フレームレート×フレーム数）のデータを取得する。該データを画像形成部へ伝送し、走査速度のばらつきに起因する画像歪みの補正や、輝度値の補正を行って画像データ（動画像もしくは静止画像）を形成する。出力部は画像形成部が形成した画像データを出力する。なお、眼底上の特定の深さ位置にフォーカスを合わせるためには、補償光学系内の収差補正デバイスを用いて調整してもよいし、光学系内に不図示のフォーカス調整用レンズを設置し、該レンズを移動することによって調整してもよい。
【００１６】
ＳＬＯ動画像Ｄを撮像し、前記ＳＬＯ動画像Ｄ及びその撮影時に用いた固視標位置Ｆの情報を画像処理装置１０、データサーバ５０へ送信する。
【００１７】
時相データ取得装置３０は、自律的に変化する生体信号データ（時相データＰ）を取得する装置であり、例えば脈波計もしくは心電計からなる。時相データ取得装置３０は不図示の操作者による操作に応じ、前記ＳＬＯ動画像Ｄの取得と同時に時相データＰを取得する。ここで時相データＰは図５（ｅ）に示すように一方の軸に取得時刻ｔ、他方の軸に脈波計が計測した脈波信号値ｖを持つ点列として表現される。得られた時相データＰは、画像処理装置１０、データサーバ５０へ送信される。
【００１８】
データサーバ５０は被検眼のＳＬＯ動画像Ｄや固視標位置Ｆのような撮像条件データ、時相データＰ、眼部の画像特徴及び該画像特徴の正常値などを保持する。ＳＬＯ像撮像装置２０が出力する前記ＳＬＯ動画像Ｄ、固視標位置Ｆや時相データ取得装置３０が出力する時相データＰ、画像処理装置１０が出力する眼部の画像特徴を該サーバに保存する。また画像処理装置１０からの要求に応じ、ＳＬＯ動画像Ｄ、時相データＰ、眼部の画像特徴及び該画像特徴の正常値データを画像処理装置１０に送信する。
【００１９】
次に、図３を用いて画像処理装置１０のハードウェア構成について説明する。図３において、３０１は中央演算処理装置（ＣＰＵ）、３０２はメモリ（ＲＡＭ）、３０３は制御メモリ（ＲＯＭ）、３０４は外部記憶装置、３０５はモニタ、３０６はキーボード、３０７はマウス、３０８はインターフェースである。本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置３０４に記憶されている。これらの制御プログラムやデータは、ＣＰＵ３０１による制御のもと、バス３０９を通じて適宜ＲＡＭ３０２に取り込まれ、ＣＰＵ３０１によって実行され、以下に説明する各部として機能する。
【００２０】
次に、図１を用いて本実施形態に係る画像処理装置１０の機能構成を説明する。図１は画像処理装置１０の機能構成を示すブロック図であり、画像処理装置１０は画像取得部１１０、時相データ取得部１２０、記憶部１３０、画像処理部１４０、指示取得部１５０を有する。
【００２１】
また、画像処理部１４０は特定部１４１、計測部１４２、判定部１４３、表示部１４４を有する。さらに、計測部１４２には速度計測部１４２１と形状計測部１４２２を備える。
【００２２】
画像処理装置１０を構成する各ブロックの機能については、図４のフローチャートに示す画像処理装置１０の具体的な実行手順と関連付けて説明する。
【００２３】
＜ステップ４１０＞
時相データ取得部１２０は時相データ取得装置３０に対し生体信号に関する時相データＰの取得を要求する。本実施形態では時相データ取得装置３０として脈波計を用い、被験者の耳垂（耳たぶ）から脈波データＰを取得する。時相データ取得装置３０は該取得要求に応じて対応する時相データＰを取得し送信するので、時相データ取得部１２０は時相データ取得装置３０からＬＡＮ４０を介して当該脈波データＰを受信する。時相データ取得部１２０は受信した時相データＰを記憶部１３０に格納する。
【００２４】
画像取得部１１０はＳＬＯ像撮像装置２０に対して固視標位置Ｆで撮影されたＳＬＯ動画像Ｄ、固視標位置Ｆの取得を要求する。本実施形態では、黄斑部の傍中心窩に固視標位置Ｆを設定し、網膜外層（図５（ａ）のＢ５）付近にフォーカス位置を設定してＳＬＯ動画像Ｄ（図５（ｂ））を取得する。なお、撮影位置の設定方法はこれに限定されず、任意の位置に設定してよい。
【００２５】
ここで時相データ取得装置３０が取得する時相データＰのある位相に合わせて画像取得部１１０がＳＬＯ動画像Ｄを取得開始する場合と、前記ＳＬＯ動画像Ｄの取得要求後直ちに脈波データＰとＳＬＯ動画像Ｄの取得を同時に開始する場合が考えられる。本実施形態ではＳＬＯ動画像Ｄの取得要求後直ちに時相データＰとＳＬＯ動画像Ｄの取得を開始する。
【００２６】
ＳＬＯ像撮像装置２０は該取得要求に応じてＳＬＯ動画像Ｄ、固視標位置Ｆを取得し送信するので、画像取得部１１０はＳＬＯ像撮像装置２０からＬＡＮ４０を介してＳＬＯ動画像Ｄ、固視標位置Ｆを受信する。画像取得部１１０は受信したＳＬＯ動画像Ｄ、固視標位置Ｆを記憶部１３０に格納する。なお、本実施形態では前記ＳＬＯ動画像Ｄは既にフレーム間位置合わせ済の動画像とする。
【００２７】
＜ステップ４２０＞
特定部１４１は、前記ＳＬＯ動画像Ｄから血球領域及び血球の移動範囲（毛細血管領域）を特定する処理を行う。具体的には、以下の手順で特定処理が実行される。
【００２８】
ｉ）ＳＬＯ動画像Ｄの隣接フレーム間で差分画像を生成する
ｉｉ）差分動画像の各フレームにおいて、輝度値が閾値Ｔｄ以上の領域を血球領域として特定する
ｉｉｉ）差分動画像の各ｘ−ｙ位置においてフレーム方向に関する輝度統計量を算出し、輝度分散が閾値Ｔｖ以上の領域を毛細血管（血球移動）領域として特定する
なお血球の特定処理はこの方法に限定されるものではなく、任意の公知の方法を用いて良い。
【００２９】
＜ステップ４３０＞
計測部１４２は、Ｓ４２０で特定された毛細血管領域の血管径を計測した上で、該毛細血管領域における白血球の移動速度を計測する。
【００３０】
なお、毛細血管径及び白血球の移動速度計測の具体的な手順についてはＳ６１０からＳ６４０で詳述する。
【００３１】
＜ステップ４４０＞
判定部１４３は、データサーバ５０に対して計測された毛細血管の血管径に対応する白血球移動速度の平均値及び拍動係数に関する正常値データの送信を要求し、画像取得部１１０が該正常値を取得して記憶部１３０に保存する。
【００３２】
判定部１４３は、以下のｉ）、ｉｉ）のいずれかが成り立つ場合に該毛細血管を病変候補領域として検出する。
【００３３】
ｉ）Ｓ４３０で計測された血球移動速度の平均値及び拍動係数の値を該正常値と比較し、いずれかが正常値の範囲外である場合
ｉｉ）Ｓ４３０で計測された血球移動速度の平均値及び拍動係数の値の領域間でのばらつき（分散）を血管径ごとに算出し、該分散が閾値以上の場合
なお、領域の設定法については任意の設定法を用いることができ、本実施形態では中心窩を中心に視度が約２度未満の領域を上側、下側、耳側、鼻側の４領域に区分けするものとする。
【００３４】
＜ステップ４５０＞
表示部１４４は、ＳＬＯ動画像Ｄと、Ｓ４２０で特定した毛細血管領域にＳ４３０で計測した計測値やＳ４４０で検出した病変候補領域を重畳した画像とを並べてモニタ３０５に表示する。なお、表示法はこれに限らず、任意の公知の表示を用いて良い。例えば、ＳＬＯ動画像Ｄ上に重畳する情報（画像特徴、計測値、病変候補）をリストのようなＧＵＩで選択し、選択した情報のみ重畳表示するように構成しても良い。
【００３５】
＜ステップ４６０＞
指示取得部１５０は、ＳＬＯ動画像Ｄ、Ｓ４２０において特定された毛細血管領域、Ｓ４３０において計測された計測値、病変候補領域、固視標位置Ｆをデータサーバ５０へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード３０６やマウス３０７を介して操作者により入力される。保存が指示された場合はＳ４７０へ、保存が指示されなかった場合はＳ４８０へと処理を進める。
【００３６】
＜ステップ４７０＞
画像処理部１４０は、検査日時、披検眼を同定する情報、ＳＬＯ動画像Ｄと画像特徴、計測値、病変候補、固視標位置Ｆを関連付けてデータサーバ５０へ送信する。
【００３７】
＜ステップ４８０＞
指示取得部１５０は画像処理装置１０によるＳＬＯ動画像Ｄに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード３０６やマウス３０７を介して操作者により入力される。処理終了の指示を取得した場合は解析処理を終了する。一方、処理継続の指示を取得した場合にはＳ４１０に処理を戻し、次の披検眼に対する処理（または同一披検眼に対する再処理を）行う。
【００３８】
次に図６に示すフローチャートを参照しながら、Ｓ４３０で実行される処理の詳細について説明する。
【００３９】
＜ステップ６１０＞
計測部１４２がＳ４２０で特定された各毛細血管に対して中心軸を設定し、形状計測部１４２２が各中心軸に沿って血管径を計測する。血管径は中心軸に直交する方向において輝度値が閾値未満である範囲（図５（ｂ）のＶＷ）として計測する。
【００４０】
＜ステップ６２０＞
速度計測部１４２１は各毛細血管の中心軸に沿って時空間画像を生成する。時空間画像は図５（ｄ）に示すように横軸が中心軸上の位置、縦軸が時間で表され、ＳＬＯ動画像を血管中心軸に沿って切り出した曲断面画像に相当する。本実施形態では毛細血管領域に対して細線化処理を行うことにより、中心軸を設定する。なお、中心軸の設定法はこれに限らず、任意の公知の設定法を用いて良い。
【００４１】
＜ステップ６３０＞
速度計測部１４２１は、各時空間画像上で血球の移動軌跡を検出する。図５（ｄ）に示すように時空間画像では白血球の移動軌跡Ｍは高輝度な直線となる。    
任意の公知な直線検出法を用いることができるが、本実施形態ではハフ変換を用いて白血球の移動軌跡を検出する。
＜ステップ６４０＞
速度計測部１４２１は、各時空間画像上で検出された血球の移動軌跡の角度に基づき血球の移動速度を算出する。
【００４２】
なお、白血球は血球成分中の約３％しか存在しないため、図５（ｆ）の上側のグラフに示すように実際の血流の速度変化（実線部）に比べて血球速度の計測可能な時刻（丸点部）は限られる。そこで、複数心拍分の画像を取得して速度計測しておき、図５（ｆ）の下側のグラフのように計測された血球速度値を（計測された時刻ではなく）脈波の位相（θ）に対して標記することが一般に行われる。
【００４３】
本実施形態では、各毛細血管に対して血球速度の平均値と、以下の式で示される拍動係数ＰＩを算出する。
【００４４】
拍動係数ＰＩ  ＝  （ＰＳＶ−ＥＤＶ）／Ｖａ
ここで、ＰＳＶ  ＝  （収縮末期における最大血流速度）
ＥＤＶ  ＝  （拡張末期における血流速度）
Ｖａ    ＝  （血流速度の平均値）
であり、拍動の周期Ｃｙ、収縮末期Ｐｈ、拡張末期Ｐｌの位置は脈波のデータ（図５（ｅ））を基に決定する。
【００４５】
なお、本実施形態では黄斑部の網膜外層（図５（ａ）のＢ５）にフォーカス位置を設定して撮影したＳＬＯ動画像における白血球の移動速度に関する異常を検出したが、本発明はこれに限定されるものではない。例えば視神経乳頭部を撮影したＳＬＯ動画像に対し、毛細血管の血球の移動速度に関する異常を判定してもよい。あるいは網膜内層（図５（ａ）のＢ２〜Ｂ４）にフォーカス位置を設定して撮影したＳＬＯ動画像（図５（ｃ））に対し、赤血球の移動速度に関する異常を検出してもよい。
【００４６】
以上述べた構成によれば、画像処理装置１０は、黄斑部の傍中心窩を撮影したＳＬＯ動画像から血球領域を特定した上で血球の移動速度を計測し、正常値もしくは他領域における計測値と比較することにより血球動態の異常を検出する。
【００４７】
これにより、眼部の毛細血管に生じる血流異常を非侵襲に自動検出できる。
【００４８】
［第２の実施形態］
本実施形態では、ＳＬＯ動画像Ｄに対してフレーム間の位置合わせを行い、毛細血管形状や毛細血管密度、血球移動速度を計測する。計測された毛細血管形状や血管密度分布、血球移動速度とを用いて複合的に異常判定を行うことにより、眼部の毛細血管に生じる早期病変をより高精度に検出する場合について説明する。
【００４９】
これにより、より高精度に血球領域を特定できる。また、毛細血管に関する形態（形状や分布）と機能の双方について異常検出を行うことで、眼部の毛細血管に生じる早期病変を高精度に検出できる。
【００５０】
次に、本実施形態に係る画像処理装置１０の機能ブロック図を図７に示す。画像処理部１４０に位置合わせ部１４５を備える点、計測部１４２に分布計測部１４２３を備える点が実施形態１の場合と異なっている。
【００５１】
また本実施形態での画像処理フローは図８に示す通りであり、Ｓ８２０、Ｓ８４０、Ｓ８５０、Ｓ８６０以外は実施形態１の場合と同様である。そこで、本実施形態ではＳ８２０、Ｓ８４０、Ｓ８５０、Ｓ８６０における処理のみ説明する。
【００５２】
＜ステップ８２０＞
位置合わせ部１４５は、記憶部１３０からＳＬＯ動画像Ｄを読み込んでＳＬＯ動画像Ｄにおけるフレーム間位置合わせを行う。
【００５３】
具体的には、
ｉ）位置合わせ部１４５は、位置合わせの基準となる基準フレームを設定する。本実施形態では、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定法はこれに限るものではなく、任意の設定法を用いて良い。例えば、ユーザが指定した基準フレーム番号を指示取得部１５０から取得して基準フレームを設定してもよい。
ｉｉ）位置合わせ部１４５は、フレーム間の大まかな位置の対応付け（粗位置合わせ）を行う。任意の位置合わせ手法を利用できるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いて粗位置合わせを行う。
ｉｉｉ）位置合わせ部１４５は、フレーム間の大まかな位置の対応関係のデータに基づいて精密位置合わせを行う。
【００５４】
本実施形態ではｉｉ）で得られた粗位置合わせ済動画像に対し、非剛体位置合わせ手法の一種であるＦＦＤ（Ｆｒｅｅ  Ｆｏｒｍ  Ｄｅｆｏｒｍａｔｉｏｎ）法を用いてフレーム間の精密位置合わせを行う。
【００５５】
なお、精密位置合わせの手法はこれに限らず、任意の位置合わせ手法を用いて良い。
【００５６】
本実施形態では、画素値ベースの画像間類似度を用いて、ＳＬＯ動画像Ｄのフレーム全体が基準フレームに最も類似する位置合わせパラメータの組み合わせを求めたが、これに限定されるものではない。例えば、ＳＬＯ動画像Ｄの各フレームにおいて観察対象の画像特徴（中心窩や血管分岐等）を検出する。さらに該画像特徴の位置が最も精密に合うようにＳＬＯ動画像Ｄのフレーム間で位置合わせを行っても良い。
【００５７】
＜ステップ８４０＞
計測部１４２は、Ｓ４２０で特定された毛細血管領域の血管形状を計測した上で、毛細血管密度と、該毛細血管領域における白血球の移動速度を計測する。
【００５８】
形状計測部１４２２は、毛細血管形状の計測項目として実施形態１の場合のように血管径だけでなく、血管の曲率も計算する。血管の屈曲が大きいほど（曲率半径が小さいほど）血球も流れにくくなり、血球速度異常が生じやすいと考えられる。
【００５９】
さらに、分布計測部１４２３は毛細血管の欠落（閉塞）が生じている度合いを示す血管密度を計測する。ここで、血管密度は単位面積あたりに存在する毛細血管の長さの合計値で表され、血管密度が低いほど領域内での毛細血管の欠落（閉塞）が生じていることになる。
【００６０】
なお、血球移動速度の計測法については実施形態１の場合と同様であるので省略する。
【００６１】
＜ステップ８５０＞
判定部１４３は、Ｓ８４０で計測した毛細血管形状や血管密度分布、血球速度値が正常値の範囲外であったり、領域間でのばらつき（分散）が閾値以上である場合に病変候補領域として検出する。
【００６２】
なお、形状異常と機能異常は毛細血管ごとに検出され、分布異常は領域ごとに検出される。
【００６３】
本実施形態では、
１．形状異常または分布異常、速度異常のいずれか一項目のみが見られる領域
２．形状異常、分布異常、速度異常のうちの２項目が見られる領域
３．形状異常、分布異常、速度異常のいずれも見られる領域
に分類し、病変の確からしさのランク付けを行う。
【００６４】
本実施形態では、３が最も病変である可能性が高い領域、２が病変である確率が中程度の領域、１が（病変候補領域ではあるが）病変である確率が低い領域のように判定する。
【００６５】
＜ステップ８６０＞
表示部１４４は、ＳＬＯ動画像Ｄと、Ｓ８２０で特定された毛細血管領域、Ｓ８５０にて検出された病変候補領域をモニタ３０５に表示する。
【００６６】
本実施形態では、ＳＬＯ動画像Ｄの隣に、毛細血管領域画像上に病変候補領域を色付けして重畳した画像を並べて表示する。
【００６７】
なお、表示方法はこれに限定されるものではなく、任意の表示方法を用いて良い。例えば、毛細血管領域画像上に病変領域を色枠で囲ったり、病変候補領域の近傍に矢印を付加しても良い。あるいは、病変候補の種類に応じて色や矢印の種類を変更したり、病変候補領域を示す色枠や矢印の表示・非表示を毛細血管画像上で切り替え可能なように構成しても良い。あるいは、形状異常と機能異常について異なる色づけを行ったり、病変の確からしさに応じて異なる色づけを行って表示してもよい。
【００６８】
なお、本実施形態では毛細血管領域における形状異常、毛細血管の分布異常、血球動態異常のいずれかを病変候補領域として検出したが、本発明はこれに限定されない。例えば、偽陽性（病変候補として検出されたが、実際には病変ではないもの）を減らすために、形状異常かつ血球速度異常の領域のみ病変候補として検出してもよい。この場合には、検出を効率的に行うために
ｉ）形状異常の毛細血管が存在する領域に対し血球移動速度を計測し、血球速度異常の場合に病変候補として検出する
ｉｉ）血球速度異常の毛細血管に対して形状計測し、形状異常の場合に病変候補として検出する
のいずれかの方法を用いてよい。
【００６９】
また、本実施形態では黄斑部の網膜外層（図５（ａ）のＢ５）にフォーカス位置を設定して撮影したＳＬＯ動画像における毛細血管形状や血管密度分布、白血球の移動速度に関する異常を検出したが、本発明はこれに限定されるものではない。例えば視神経乳頭部を撮影したＳＬＯ動画像に対し、毛細血管の形状や血管密度分布、白血球の移動速度に関する異常を判定してもよい。あるいは網膜内層（図５（ａ）のＢ２〜Ｂ４）にフォーカス位置を設定して撮影したＳＬＯ動画像（図５（ｃ））に対し、毛細血管形状や血管密度分布、赤血球の移動速度に関する異常を検出してもよい。
【００７０】
以上の構成より、画像処理装置１０は、ＳＬＯ動画像Ｄに対してフレーム間位置合わせを行い、毛細血管形状や毛細血管密度、血球移動速度を計測する。計測された毛細血管形状や血管密度分布、血球移動速度とを用いて複合的に異常判定を行うことにより、眼部の毛細血管に生じる早期病変をより高精度に検出する。
【００７１】
これにより、より高精度に血球領域を特定できる。また、毛細血管に関する形態（形状や分布）と機能の双方について異常検出を行うことで、眼部の毛細血管に生じる早期病変を高精度に検出できる。
【００７２】
［第３の実施形態］
本実施形態は、実施形態２に対して、ＳＬＯ動画像における瞬目や固視ずれ・収差補正不良の含まれる例外フレームを判定し、例外フレームまたは例外フレームに近接するフレームにおける画像処理方法を変更した上で毛細血管及び血球領域を特定する。該特定された領域に対して毛細血管の形状や血管密度分布、血球の移動速度を計測する。該計測値を正常もしくは他領域における計測値と比較することにより毛細血管の形状もしくは分布に関する異常、血球動態の異常を検出する。
【００７３】
具体的には、例外フレーム判定部１４５１がＳＬＯ画像Ｄのフレーム間位置合わせ時に各フレームの輝度値・画像歪み量・Ｓ／Ｎ比、基準フレームに対する変位量に基づき例外フレームを判定する。特定部１４１は例外フレーム以外の高輝度血球領域を特定し、計測部１４２が特定された毛細血管領域に関する形状と密度分布を計測する。さらに例外フレームを除いた血球軌跡を検出して血球の移動速度を計測する。判定部１４３が該計測値の正常値や他領域における計測値と比較することにより、病変候補領域を検出する場合について説明する。なお、判定部１４３は撮影時刻の異なる眼底画像についての計測の結果を比較することにより病変候補を判定することもできる。
【００７４】
これにより、眼部の動画像に例外フレームが含まれる場合でも、毛細血管に生じる早期病変を非侵襲に自動検出できる。
【００７５】
次に、本実施形態に係る画像処理装置１０の機能ブロック図を図９に示す。位置合わせ部１４５に例外フレーム判定部１４５１を備える点が実施形態２の場合と異なっている。
【００７６】
また本実施形態での画像処理フローは図１０に示す通りであり、Ｓ１０２０、Ｓ１０３０、Ｓ１０４０以外は実施形態２の場合と同様である。そこで、本実施形態ではＳ１０２０、Ｓ１０３０、Ｓ１０４０における処理のみ説明する。
【００７７】
＜ステップ１０２０＞
位置合わせ部１４５は、ＳＬＯ動画像Ｄに対してフレーム間位置合わせを行う。まず例外フレーム判定部１４５１が単独フレームで例外フレーム判定を行い、位置合わせ部１４５が基準フレームを選択する。次にＡｆｆｉｎｅ変換を用いて粗位置合わせを行った後、公知の非剛体位置合わせ手法を用いて精密位置合わせを行う。最後に、例外フレーム判定部１４５１が位置合わせ済ＳＬＯ動画像に対して例外フレーム判定を行う。
【００７８】
＜ステップ１０３０＞
特定部１４１は、Ｓ１０２０で判定された例外フレーム以外のフレームを用いて血球領域もしくは毛細血管領域（血球移動領域）を特定する。
【００７９】
基本的にはＳ４２０の場合と同様の処理であるが、
ｉ）ＳＬＯ動画像Ｄの隣接フレーム間で差分画像を生成する
際に、差分対象画像の少なくとも一方が例外フレームであれば差分処理を行わない点が異なる。従って、
ｉｉｉ）差分動画像の各ｘ−ｙ位置においてフレーム方向に関する輝度統計量を算出し、輝度分散が閾値Ｔｖ以上の領域を毛細血管（血球移動）領域として特定する際に、輝度統計量の算出対象から例外フレームに相当する範囲が除外される。
【００８０】
これにより、例外フレームが存在しても血球領域や毛細血管領域を正確に特定できる。
【００８１】
＜ステップ１０４０＞
計測部１４２は、Ｓ１０３０で特定された毛細血管領域の血管形状を計測した上で、毛細血管密度と、該毛細血管領域における白血球の移動速度を計測する。
【００８２】
毛細血管形状及び血管密度の計測法については実施形態２の場合と変わらないため説明は省略する。
【００８３】
血球速度計測処理（実施形態１のＳ６１０〜Ｓ６４０）のうち、血球移動軌跡の検出（Ｓ６３０）法のみが実施形態１の場合と異なる。
【００８４】
具体的には、ハフ変換による高輝度血球移動軌跡の検出の際に、直線候補の式が例外フレームを通過しうる（時空間画像上で血球軌跡Ｍが例外フレームに近接している）場合にはθρ空間における評価値に対して例外フレームを通る長さに比例した重みｗを乗算する。
【００８５】
これにより、例外フレームにより血球の移動軌跡Ｍの一部が途切れている場合でも、ロバストに直線として検出することができる。
【００８６】
次に図１１に示すフローチャートを参照しながら、Ｓ１０２０で実行される処理の詳細について説明する。
【００８７】
なお、Ｓ１１２０、Ｓ１１３０、Ｓ１１４０については実施形態２におけるＳ８２０の場合と同様であるので、詳細は省略する。
【００８８】
＜ステップ１１１０＞
例外フレーム判定部１４５１は、単独フレームでの例外判定を行う。
【００８９】
ＳＬＯ画像Ｄから画像特徴として各フレームＤｉにおける平均輝度値Ａｉ及び血管領域Ｖｉを取得する。血管領域の取得方法は任意の公知の血管抽出法を用いることができ、本実施形態では輝度値が閾値Ｔ１以下の領域とする。また、前記血管領域Ｖｉを細線化して得られる点列Ｂｉｍ（ｍ＝１，２，．．．，ｎ３）の交差部Ｃｉｎ（ｎ＝１，．．．，ｎ４≧３）も取得する。
【００９０】
ＳＬＯ動画像Ｄの各フレームＤｉに対し、瞬目により輝度が極端に低いフレームや固視微動により画像歪みが生じているフレーム、収差補正不良によりＳ／Ｎ（信号対雑音）比が低いフレームを例外フレームとして検出する。
【００９１】
本実施形態では、前記平均輝度値Ａｉが閾値Ｔ２以下であれば、各ＳＬＯ動画像ＤのフレームＤｉを瞬目による輝度異常とみなし例外フレームと判定する。また前記血管交差部Ｃｉｎ間の距離の二乗和の値が隣接フレーム間で閾値Ｔ３以上異なっていれば、固視微動による画像歪みとみなして例外フレームと判定する。さらに、Ｓ／Ｎ比が閾値Ｔ４以下であれば収差補正不良とみなして例外フレームと判定する。
【００９２】
なお例外フレームの判定法はこれに限るものではなく、任意の例外判定法を用いて良い。例えば、各フレームに対し微分処理を行うことにより得られる微分画像の輝度統計量（平均値、最頻値、もしくは最大値）を算出し、閾値Ｔ５以下であれば被写体の動きによるボケが発生しているとみなして例外フレームと判定しても良い。
【００９３】
＜ステップ１１５０＞
例外フレーム判定部１４５１は、Ｓ１１４０で生成した精密位置合わせＳＬＯ画像に対して例外フレーム判定を行う。
【００９４】
具体的には、Ｓ１１２０で設定した基準フレームにおける画像特徴（血管交差部Ｃｉｎ）と非基準フレームにおける画像特徴との変位量を算出し、変位量が許容値より大きいフレームを例外フレームとして判定する。本実施形態では基準フレームに対する変位量として並進（ｘ、ｙ）、回転θ、拡大率（ｓｘ、ｓｙ）を成分として持つ変位量ベクトル（ｘ，ｙ，θ，ｓｘ、ｓｙ）を定義する。ｘ＞Ｔｘ、ｙ＞Ｔｙ、θ＞Ｔθ、ｓｘ＞Ｔｓｘ、ｓｙ＞Ｔｓｙの少なくとも一つが成り立つ場合に例外フレームと判定する。
【００９５】
なお、変位量の定義はこれに限らず、変位の程度を示唆する量（スカラ量またはベクトル量）であれば任意の値を用いてよい。例えば、観察・計測対象となる基準領域が各フレームにおいて含まれる割合（例えば、（基準領域全体の面積）  ／（各フレームＤｉに含まれる基準領域の面積））を変位量として定義しても良い。
【００９６】
なお、本実施形態では黄斑部の網膜外層（図５（ａ）のＢ５）にフォーカス位置を設定して撮影したＳＬＯ動画像における毛細血管形状や血管密度分布、白血球の移動速度に関する異常を検出したが、本発明はこれに限定されるものではない。例えば視神経乳頭部を撮影したＳＬＯ動画像に対し、毛細血管の形状や血管密度分布、白血球の移動速度に関する異常を判定してもよい。あるいは網膜内層（図５（ａ）のＢ２〜Ｂ４）にフォーカス位置を設定して撮影したＳＬＯ動画像（図５（ｃ））に対し、毛細血管形状や血管密度分布、赤血球の移動速度に関する異常を検出してもよい。
【００９７】
以上の構成より、画像処理装置１０は、実施形態２に対して、ＳＬＯ動画像における瞬目や固視ずれ・収差補正不良の含まれる例外フレームを判定する。さらには例外フレームまたは例外フレームに近接するフレームにおける画像処理方法を変更した上で毛細血管及び血球領域を特定する。そして該特定された領域に対して毛細血管の形状や血管密度分布、血球の移動速度を計測する。そして該計測値を正常もしくは他領域における計測値と比較することにより毛細血管の形状もしくは分布に関する異常、血球動態の異常を検出する。
【００９８】
これにより、眼部の動画像に例外フレームが含まれる場合でも、毛細血管に生じる早期病変を非侵襲に自動検出できる
［その他の実施形態］
上述の実施形態では眼部の動画像を補償光学ＳＬＯにより撮影することとしたがこれに限らず、補償光学系を有する眼底カメラを用いることとしてもよく、要は血管内の血球を観察できる画像を得ることができる眼科撮影装置であればよい。
【００９９】
上述の実施形態では本発明を画像処理装置として実現したが、本発明の実施形態は画像処理装置のみに限定されない。例えばコンピュータのＣＰＵにより実行されるソフトウェアとして実現しても良い。また、本ソフトウェアを記憶した記憶媒体も本発明を構成することは言うまでもない。
【符号の説明】
【０１００】
１４１  特定部
１４２  計測部
１４３  判定部
【図１】
2013169296.tif 000003
【図２】
2013169296.tif 000004
【図３】
2013169296.tif 000005
【図４】
2013169296.tif 000006
【図５】
2013169296.tif 000007
【図６】
2013169296.tif 000008
【図７】
2013169296.tif 000009
【図８】
2013169296.tif 000010
【図９】
2013169296.tif 000011
【図１０】
2013169296.tif 000012
【図１１】
2013169296.tif 000013