(57)【特許請求の範囲】
【請求項１】
画像を形成する画像形成装置であって、
それぞれが被検眼の非共焦点画像を形成する、前記被検眼からの戻り光を領域分割した第１の非共焦点信号と第２の非共焦点信号を取得する信号取得部と、
前記第１の非共焦点信号から生成される第１の非共焦点画像と前記第２の非共焦点信号から生成される第２の非共焦点画像の各画素間の位置を合わせるように、前記第１の非共焦点信号と前記第２の非共焦点信号の位置関係を補正する補正部と、
前記補正された前記第１の非共焦点信号と前記第２の非共焦点信号を用いて最大値演算を行う演算部と、
前記演算部による演算結果に基づいて、形成する画像の各画素値を決定する決定部と、を備え
前記位置関係を補正される前記第１の非共焦点信号と前記第２の非共焦点信号は、同時に取得された信号である、画像形成装置。
【請求項２】
前記補正部は、前記非共焦点画像間の輝度分布特性を揃えるように、前記第１の非共焦点信号と前記第２の非共焦点信号の何れか一方を補正する、請求項１に記載の画像形成装置。
【請求項３】
前記最大値演算に用いられる前記第１の非共焦点信号と前記第２の非共焦点信号を、前記戻り光を４つに領域分割して得られる４つの非共焦点信号の中から選択する選択部をさらに備え、
前記演算部は、前記選択部によって選択された前記第１の非共焦点信号と前記第２の非共焦点信号を用いて前記最大値演算を行う、請求項１又は２に記載の画像形成装置。
【請求項４】
前記補正部は、前記４つの非共焦点信号における各画素間の位置を合わせるように、前記４つの非共焦点信号の位置関係を補正し、
前記演算部は、前記補正された４つの非共焦点信号間で差分強調処理演算を行って演算値を算出し、
前記選択部は、前記演算値に基づいて、前記第１の非共焦点信号と前記第２の非共焦点信号を選択する、請求項３に記載の画像形成装置。
【請求項５】
前記演算部は、前記４つの非共焦点信号間で差分強調処理演算を行って演算値を算出し、
前記選択部は、算出された演算値に基づいて、前記第１の非共焦点信号と前記第２の非共焦点信号を選択し、
前記補正部は、前記第１の非共焦点信号と前記第２の非共焦点信号の位置関係を補正する、請求項３に記載の画像形成装置。
【請求項６】
前記演算部は、前記画素値を決定すべき画素を含む所定の領域に対応する前記非共焦点信号に関し、前記差分強調処理演算を行って前記演算値を算出し、
前記選択部は、前記所定の領域内における前記演算値の平均値に基づいて、前記第１の非共焦点信号と前記第２の非共焦点信号を選択する、請求項４又は５に記載の画像形成装置。
【請求項７】
前記演算部は、前記画素値を決定すべき画素を含む所定の領域に対応する前記非共焦点信号に関し、前記差分強調処理演算を行って前記演算値を算出し、
前記選択部は、前記所定の領域内における前記演算値のうち、所定の閾値を超える前記演算値の和に基づいて、前記第１の非共焦点信号と前記第２の非共焦点信号を選択する、請求項４又は５に記載の画像形成装置。
【請求項８】
前記演算部は、前記補正された前記第１の非共焦点信号と前記第２の非共焦点信号の値及び該値に関する特徴量のうちの一方を用いて前記最大値演算を行う、請求項１乃至７のいずれか一項に記載の画像形成装置。
【請求項９】
前記演算部は、前記補正された前記４つの非共焦点信号の値及び該値に関する特徴量のうちの一方を用いて前記差分強調処理演算を行う、請求項４に記載の画像形成装置。
【請求項１０】
前記演算部は、前記４つの非共焦点信号の値及び該値に関する特徴量のうちの一方を用いて前記差分強調処理演算を行う、請求項５に記載の画像形成装置。
【請求項１１】
画像を形成する画像形成方法であって、
それぞれが被検眼の非共焦点画像を形成する、前記被検眼からの戻り光を領域分割した第１の非共焦点信号と第２の非共焦点信号を取得することと、
前記第１の非共焦点信号から生成される第１の非共焦点画像と前記第２の非共焦点信号から生成される第２の非共焦点画像の各画素間の位置を合わせるように、前記第１の非共焦点信号と前記第２の非共焦点信号の位置関係を補正することと、
前記補正された前記第１の非共焦点信号と前記第２の非共焦点信号を用いて最大値演算を行うことと、
前記最大値演算の演算結果に基づいて、形成する画像の各画素値を決定することと、
を含み、
前記位置関係を補正される前記第１の非共焦点信号と前記第２の非共焦点信号は、同時に取得された信号である、画像形成方法。
【請求項１２】
前記戻り光を４つに領域分割して得られる４つの非共焦点信号の中から、前記最大値演算に用いられる前記第１の非共焦点信号と前記第２の非共焦点信号を選択することをさらに含み、
前記最大値演算を行うことは、前記選択された前記第１の非共焦点信号と前記第２の非共焦点信号を用いて前記最大値演算を行うことを含む、請求項１１に記載の画像形成方法。
【請求項１３】
請求項１乃至１０のいずれか一項に記載の画像形成装置の各部をコンピュータで実現させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像形成装置、画像形成方法及びそのプログラムに関する。
【背景技術】
【０００２】
生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。眼部の検査では、共焦点レーザー顕微鏡の原理を利用した眼科装置として走査型レーザー検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ  Ｌａｓｅｒ  Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）が用いられている。ＳＬＯは、測定光であるレーザーを眼底に対してラスター走査し、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。また、ＳＬＯでは、開口部（ピンホール）内を通過した光のみを検出することで、特定の深度位置の戻り光のみを画像化でき、眼底カメラ等に比べてコントラストの高い画像を取得できる。
【０００３】
以下、このような平面画像を撮像する装置をＳＬＯ装置、該平面画像をＳＬＯ画像と記す。
【０００４】
近年、ＳＬＯ装置において、測定光のビーム径を大きくすることにより、横分解能を向上させた網膜のＳＬＯ画像を取得することが可能になってきた。しかし、測定光のビーム径の大径化に伴い、網膜のＳＬＯ画像の取得において被検眼の収差によるＳＬＯ画像のＳ／Ｎ比及び分解能の低下が問題になってきた。
【０００５】
この問題を解決するために、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する、測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯ装置が開発されている。補償光学（ＡＯ：Ａｄａｐｔｉｖｅ  Ｏｐｔｉｃｓ）ＳＬＯ装置（ＡＯ−ＳＬＯ装置）を用いることで、高横分解能なＳＬＯ画像の取得することができる。
【０００６】
このような高横分解能なＳＬＯ画像は動画像として取得することができる。そのため、例えば、血流動態を非侵襲に観察するために、動画像の各フレームから網膜血管を抽出した上で毛細血管における血球の移動速度などを計測することもできる。また、ＳＬＯ画像を用いて被検眼の毛細血管等と視機能との関連を評価するために、視細胞Ｐを検出した上で視細胞Ｐの密度分布や配列の計測を行うこともできる。図１は、このような高横分解能なＳＬＯ画像の概略的な例を示す。図１を参照すると、視細胞Ｐや毛細血管の位置に対応した低輝度領域Ｑ、白血球の位置に対応した高輝度領域Ｗが観察できる。
【０００７】
ここで、図２に網膜を構成する各層を示す。ＳＬＯ画像において視細胞Ｐを観察する場合には、フォーカス位置を網膜外層(図２のＢ５)付近に設定して図１に示すようなＳＬＯ画像を撮影する。一方、網膜内層(図２のＢ２からＢ４)には網膜血管や分岐した毛細血管が走行している。そのため、フォーカス位置を網膜内層に設定して補償光学ＳＬＯ画像を取得すると、例えば網膜血管壁を直接観察できる。
【０００８】
しかし、網膜内層を撮影した共焦点画像では、神経線維層から反射する光の影響でノイズ信号が強く、血管壁の観察や壁境界の検出が難しい場合があった。
【０００９】
そこで、近年は受光部手前にあるピンホールの径や形状、位置を変えることにより取得した散乱光に基づく非共焦点画像を観察する方法（Ｏｆｆｓｅｔ  Ｐｉｎｈｏｌｅ法）が用いられるようになってきている。非共焦点画像ではフォーカス深度が大きいため、血管のように深度方向に凹凸のある物体の観察がしやすく、また神経線維層からの反射光を直接受光しにくくなることからノイズが低減される。
【００１０】
非特許文献１は、このようなＡＯ−ＳＬＯ装置のピンホールの開口部の位置や径を手動で調節した上で散乱光を受光することにより、網膜血管壁を可視化する非共焦点撮影技術を開示している。
【００１１】
また、同様の目的で、ピンホールなどの開口部を２分割して２種類の散乱光を略同時に取得する非共焦点撮影法（Ｓｐｌｉｔ  Ｄｅｔｅｃｔｉｏｎ法）も開発されている。これに関連し、非特許文献２は、ＡＯ−ＳＬＯ装置のピンホールの開口部を円周方向に８か所等間隔に移動させて視細胞を撮影する技術を開示している。
【００１２】
一方、ＡＯ−ＳＬＯ装置で観察される網膜動脈は、血管径が約１０〜１００μｍ程度の細動脈であり、その壁は内膜・中膜・外膜から構成されている。さらに中膜は、平滑筋細胞で構成されており、血管の周囲方向へコイル状に走行している。高血圧症などを背景として網膜動脈壁にかかる圧力が増大すると、平滑筋が収縮して網膜動脈壁の壁厚が増加する。この時点では、降圧剤を服用するなどして血圧を下げれば網膜動脈壁の形状は元に戻る。しかし、高血圧のまま長期間放置すると、中膜を構成する平滑筋細胞が壊死するとともに中外膜の繊維性肥厚が生じて動脈の壁厚が増加していく。この場合には、既に網膜動脈壁に器質的（非可逆）な障害が生じており、細動脈障害がこれ以上進行しないように継続的に治療を行う必要がある。
【００１３】
網膜動脈は全身の細動脈のうち直接観察可能な唯一の組織である。そのため、高血圧や糖尿病などの有病者の体内における細動脈の器質的変化の有無や程度を推定するために、ＡＯ−ＳＬＯ装置では網膜動脈の壁や膜を明瞭に描出することが望まれている。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】Chui et al.;“The use of forward scatter to improve retinal vascular imaging with an adaptive optics scanning laser ophthalmoscope”, BIOMEDICAL OPTICS EXPRESS, Vol.3, No.10, pp.2537-2549, 2012.
【非特許文献２】Rossi et al.;“Adaptive optics imaging of putative cone inner segments within geographic atrophy lesions”, IOVS, Vol.56, No.7, 4931, 2015.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、Ｏｆｆｓｅｔ  Ｐｉｎｈｏｌｅ法においては、１回の撮影では血管の走行方向から見て左右に存在する血管壁のうち片側の血管壁しか明瞭に描出できないという問題があった。この点に関し、非特許文献１にも、左右両側の血管壁を明瞭に描出する技術については開示されていない。なお、以下において、血管壁に関する左右とは、撮影された画像における血管の走行方向から見た左右を意味するものとして記載する。
【００１６】
また、同様に、Ｓｐｌｉｔ  Ｄｅｔｅｃｔｉｏｎ法においても、１種類の非共焦点信号では左右両側の血管壁のうち片側の血管壁しか明瞭に描出されないという問題があった。この点に関し、非特許文献２にも、左右両側の血管壁を明瞭に描出する技術については開示されていない。
【００１７】
本発明は上記の問題に鑑みてなされたものであり、血管壁領域が左右両側とも明瞭に描出された画像を形成する画像形成装置、画像形成方法及びそのプログラムを提供する。
【課題を解決するための手段】
【００１８】
本発明の一実施態様による画像形成装置は、画像を形成する画像形成装置であって、それぞれが被検眼の非共焦点画像を形成する、前記被検眼からの戻り光を領域分割した第１の非共焦点信号と第２の非共焦点信号を取得する信号取得部と、前記第１の非共焦点信号から生成される第１の非共焦点画像と前記第２の非共焦点信号から生成される第２の非共焦点画像の各画素間の位置を合わせるように、前記第１の非共焦点信号と前記第２の非共焦点信号の位置関係を補正する補正部と、前記補正された前記第１の非共焦点信号と前記第２の非共焦点信号を用いて最大値演算を行う演算部と、演算部による演算結果に基づいて、形成する画像の各画素値を決定する決定部とを備え、前記位置関係を補正される前記第１の非共焦点信号と前記第２の非共焦点信号は、同時に取得された信号である。
【００１９】
また、本発明の一実施態様による画像処理方法は、画像を形成する画像形成方法であって、それぞれが被検眼の非共焦点画像を形成する、前記被検眼からの戻り光を領域分割した第１の非共焦点信号と第２の非共焦点信号を取得することと、前記第１の非共焦点信号から生成される第１の非共焦点画像と前記第２の非共焦点信号から生成される第２の非共焦点画像の各画素間の位置を合わせるように、前記第１の非共焦点信号と前記第２の非共焦点信号の位置関係を補正することと、前記補正された前記第１の非共焦点信号と前記第２の非共焦点信号を用いて最大値演算を行うことと、前記最大値演算の演算結果に基づいて、形成する画像の各画素値を決定することを含み、前記位置関係を補正される前記第１の非共焦点信号と前記第２の非共焦点信号は、同時に取得された信号である。
【発明の効果】
【００２０】
本発明によれば、血管壁領域が左右両側とも明瞭に描出された画像を形成できる画像形成装置、画像形成方法及びそのプログラムが提供される。
【図面の簡単な説明】
【００２１】
【図１】高横分解能なＳＬＯ画像の一例を示す。
【図２】眼底の網膜を構成する層の一例を示す。
【図３】本発明の第１実施形態に係る画像形成装置を含むシステムの概略的な構成例を示す。
【図４】本発明の第１実施形態に係るＳＬＯ装置の概略的な構成例を示す。
【図５】本発明の第１実施形態に係るＳＬＯ装置における絞り及び光センサの概略的な構成例を示す。
【図６】本発明の第１実施形態に係るＳＬＯ装置における絞りの概略的な構成例を示す。
【図７】本発明の第１実施形態に係る画像形成装置の概略的なハードウェア構成例を示す。
【図８】本発明の第１実施形態に係る画像形成装置の概略的な機能構成例を示すブロック図である。
【図９】本発明の第１実施形態及びその変形例に係る画像形成装置による処理のフローチャートである。
【図１０】本発明の第１実施形態に係る画像形成装置による画像処理を説明する図である。
【図１１】本発明の第１実施形態に係る画像形成装置による画像処理内容を説明する図である。
【図１２】本発明の第１実施形態及びその変形例に係る画像形成装置による画像形成処理の詳細を示すフローチャートである。
【図１３】本発明の第２実施形態に係る画像形成装置の概略的な機能構成例を示すブロック図である。
【図１４】本発明の第２実施形態及びその変形例に係る画像形成装置による画像形成処理の詳細を示すフローチャートである。
【図１５】本発明のその他の実施形態に係る画像形成装置の概略的な機能構成例を示すブロック図である。
【図１６】本発明のその他の実施形態に係る画像形成装置による画像形成処理の詳細を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。ただし、以下の実施形態で説明する寸法、材料、形状、構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。さらに、以下において、分割された非共焦点信号をそれぞれ、異なる種類の非共焦点信号といい、当該異なる種類の非共焦点信号に基づく非共焦点画像を、異なる種類の非共焦点画像という。これに関し、例えば、４つに分割された非共焦点信号を４種類の非共焦点信号という。また、例えば、４つに分割された非共焦点信号のうち２つを合わせて得た非共焦点信号も１種類の非共焦点信号として扱う。さらに、分割された非共焦点信号のことをそれぞれ、信号種ともいう。さらに、演算する値のうちより大きい値を選択する（求める）演算を最大値演算という。
【００２３】
［第１実施形態］
本発明の第１実施形態に係る画像形成装置は、共焦点画像と２種類の非共焦点画像を取得するＳＬＯ装置を用いて網膜血管壁の画像を形成する場合に、以下の処理を行う。すなわち、２種類の非共焦点画像間の視差を低減するために両画像を位置合わせした後、各画素位置で両画像の画素値について最大値演算した結果に基づいて画像を形成する。これにより、本実施形態に係る画像形成装置は、画像内にぼけや偽像が発生するのを抑制しつつ、左右両側の血管壁の視認性が高い画像を形成することができる。
【００２４】
（全体構成）
図３は、本実施形態に係る画像形成装置１０を含むシステムの概略的な構成例を示す。図３に示すように、画像形成装置１０は、ＳＬＯ装置２０、データサーバ４０及び時相データ取得装置５０とＬＡＮ（ローカル・エリア・ネットワーク）３０を介して接続されている。ＬＡＮ３０は、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等で構成される。なお、これらの機器の接続は、インターネット等の外部ネットワークを介した接続であってもよいし、あるいは直接的な接続であってもよい。
【００２５】
ＳＬＯ装置２０は、眼部の広画角画像Ｄｌ、並びに高倍率な画像である共焦点画像Ｄｃ及び非共焦点画像Ｄｎを撮像する。ＳＬＯ装置２０は、広画角画像Ｄｌ、共焦点画像Ｄｃ及び非共焦点画像Ｄｎ、並びにその撮影時に用いた固視標位置Ｆｌ，Ｆｃｎの情報を画像形成装置１０及びデータサーバ４０へ送信する。
【００２６】
時相データ取得装置５０は、自律的に変化する生体信号データ(時相データ)を取得する装置であり、例えば脈波計もしくは心電計を含む。時相データ取得装置５０は、不図示の操作者による操作に応じて、ＳＬＯ装置２０による広画角画像Ｄｌや共焦点画像Ｄｃ及び非共焦点画像Ｄｎの取得と同時に時相データＰｉを取得する。時相データ取得装置５０は、得られた時相データＰｉを画像形成装置１０及びデータサーバ４０へ送信する。なお、時相データ取得装置５０は、ＳＬＯ装置２０に直接接続されてもよい。
【００２７】
ここで、各画像を異なる撮影位置で取得する場合には、各撮像位置で取得された画像を広画角画像Ｄｌｉや共焦点画像Ｄｃｊ、非共焦点画像Ｄｎｋ等のように表す。すなわち、これら参照符号のｉ，ｊ，ｋは各々撮影位置（撮影位置番号）を示す変数であり、ｉ＝１，２，．．．，ｉｍａｘ、ｊ＝１，２，．．．，ｊｍａｘ、ｋ＝１，２，．．．，ｋｍａｘとする。
【００２８】
データサーバ４０は、ＳＬＯ装置２０が出力する被検眼の広画角画像Ｄｌ、共焦点画像Ｄｃ、非共焦点画像Ｄｎ、及びその撮影時に用いた固視標位置Ｆｌ，Ｆｃｎのような撮像条件データなどを保持する。また、データサーバ４０は、時相データ取得装置５０が出力する時相データＰｉ、及び画像形成装置１０が出力する眼部の画像や当該眼部の画像特徴なども保持する。本実施形態では眼部の画像特徴として、網膜血管、網膜血管壁、網膜血管の中心線及び血管壁を構成する膜や壁細胞に関する画像特徴を扱う。また、データサーバ４０は、画像形成装置１０からの要求に応じ、保持している広画角画像Ｄｌ、共焦点画像Ｄｃ、非共焦点画像Ｄｎ、時相データＰｉ及び眼部の画像特徴を画像形成装置１０に送信する。
【００２９】
画像形成装置１０は、ＳＬＯ装置２０で取得された共焦点画像Ｄｃや非共焦点画像Ｄｎ、データサーバ４０に保持されたデータ並びに時相データ取得装置５０で取得された時相データＰｉ等を用いて、網膜血管壁を含む画像を形成する。形成した画像は、不図示の画像表示装置に表示したり、データサーバ４０に保存することができる。
【００３０】
次に、図４及び５を用いて、補償光学系を適用したＳＬＯ装置２０を説明する。ＳＬＯ装置２０には、ＳＬＤ（Ｓｕｐｅｒ  Ｌｕｍｉｎｅｓｃｅｎｔ  Ｄｉｏｄｅ）２０１、ビームスプリッタ２０２，２０３、補償光学系２０４及びＸ−Ｙ走査ミラー２０５が設けられている。ＳＬＯ装置２０にはさらに、シャックハルトマン波面センサ２０６、フォーカスレンズ２０９、絞り２１０、光センサ２１１、画像形成部２１２及び出力部２１３が設けられている。
【００３１】
ＳＬＤ２０１は光源であり、ＳＬＤ２０１から出射された光は被検眼Ｅの眼底Ｅｒで反射される。眼底Ｅｒからの戻り光の一部は、第二のビームスプリッタ２０３を経由してシャックハルトマン波面センサ２０６へ入力され、それ以外の戻り光は第一のビームスプリッタ２０２を経由して光センサ２１１へ入力される。
【００３２】
Ｘ−Ｙ走査ミラー２０５は、ＳＬＤ２０１から出射された光の眼底上での走査位置を制御することができる。
【００３３】
シャックハルトマン波面センサ２０６には、レンズアレイ２０７及びＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）２０８が設けられており、ＣＣＤ２０８はレンズアレイ２０７に接続されている。
【００３４】
シャックハルトマン波面センサ２０６への入射光がレンズアレイ２０７を透過するとＣＣＤ２０８に輝点群が現れる。シャックハルトマン波面センサ２０６は、ＣＣＤ２０８に投影された輝点の所定位置からの位置ずれに基づいて、被検眼Ｅの波面収差を測定する。また、シャックハルトマン波面センサ２０６は、測定した波面収差に関する情報を補償光学系２０４に送る。
【００３５】
補償光学系２０４には、既知の収差補正デバイスである、可変形状ミラー又は空間光位相変調器が設けられている。補償光学系２０４は、シャックハルトマン波面センサ２０６から受け取った波面収差に関する情報に基づき、収差補正デバイスを駆動して、被検眼Ｅからの戻り光に含まれる被検眼Ｅの収差を補正する。補償光学系２０４によって被検眼Ｅの収差が補正された戻り光は、フォーカスレンズ２０９及び絞り２１０を経由し光センサ２１１にて受光される。
【００３６】
光センサ２１１は、被検眼Ｅからの戻り光を受光して電気信号を生成し、画像形成部２１２に送る。
【００３７】
なお、ＳＬＯ装置２０は、不図示の入力装置等を介して、操作者が予め指定した撮影対象領域、時間（フレームレート×フレーム数）のデータを取得する。
【００３８】
画像形成部２１２は、当該撮影対象領域等のデータを用いて、走査速度のばらつきに起因する画像歪みの補正や輝度値の補正を行って、光センサ２１１からの受け取った電気信号から画像データ（動画像もしくは静止画像）を形成する。画像形成部２１２は、形成した画像を出力部２１３に送る。
【００３９】
出力部２１３は、画像形成部２１２から受け取った画像データを画像形成装置１０やデータサーバ４０等に出力する。なお、出力部２１３は、ＳＬＯ装置２０に設けられた不図示の画像表示装置に当該画像を表示させてもよい。
【００４０】
ＳＬＯ装置２０において、共焦点画像Ｄｃと非共焦点画像Ｄｎを取得可能な構成であれば、図４に示すような絞り２１０及び光センサ２１１の部分は任意の構成にしてよい。本実施形態では、絞り２１０及び光センサ２１１の部分は、図５に示すように、遮光部２１０−１及び光センサ２１１−１、２１１−２、２１１−３を含む。ここで、図５は、本実施形態におけるＳＬＯ装置２０の絞り２１０及び光センサ２１１の概略的な構成を示す。
【００４１】
図６（ａ）を参照して本実施形態における遮光部２１０−１を説明する。図６（ａ）乃至（ｈ）は、絞り２１０（遮光部２１０−１）の構成例を示す。なお、図６（ａ）乃至（ｈ）において、本実施形態に係る遮光部２１０−１を図６（ａ）に示し、絞り２１０（遮光部２１０−１）の変形例を図６（ｂ）乃至（ｈ）に示す。
【００４２】
本実施形態における遮光部２１０−１は、反射領域２１０−１−１、透過領域２１０−１−２，２１０−１−３及び透過領域を分割する遮光領域（太線部分）で形成される。遮光部２１０−１は、図５に示すように、ＳＬＯ光学系の結像面に配置され、遮光部２１０−１の中心が戻り光ＲＬの光軸中心に位置するように配置される。遮光部２１０−１は、戻り光ＲＬの光軸に対して斜めに配置されたときに、光軸方向から見て円形になるような楕円形状のパターンを有する。
【００４３】
図５に示すように、結像面に配置された遮光部２１０−１に入射した戻り光ＲＬの一部は、遮光部２１０−１の中心部分に位置する反射領域２１０−１−１によって反射されて光センサ２１１−１に入射する。一方、遮光部２１０−１の透過領域２１０−１−２及び２１０−１−３を通過した戻り光ＲＬは、結像面に配置されたプリズム２１０−２によって分割され、図５に示すように、光センサ２１１−２，２１１−３へそれぞれ入射する。
【００４４】
各光センサ２１１−１，２１１−２，２１１−３は戻り光ＲＬを受光し電圧信号を生成する。各光センサ２１１−１，２１１−２，２１１−３で生成された電圧信号は画像形成部２１２に送られ、画像形成部２１２内のＡＤボードにてデジタル値に変換された後に２次元画像に変換される。
【００４５】
ここで、光センサ２１１−１に入射された光に基づいて生成されたデジタル信号は深度方向における特定の狭い範囲に焦点を合わせた共焦点信号となり、当該共焦点信号から形成された画像が共焦点画像である。また、光センサ２１１−２及び２１１−３に入射された光に基づいて生成されたデジタル信号は、深度方向における広い範囲に焦点を合わせた非共焦点信号となり、当該非共焦点信号から形成された画像が非共焦点画像である。従って、ＳＬＯ装置２０は、遮光部２１０−１を用いて、被検眼Ｅからの戻り光を分割し、分割した光から共焦点画像及び２種類の非共焦点画像を取得する。
【００４６】
なお、非共焦点信号の分割方法はこれに限られるものではなく、非共焦点信号を２以上の任意の数に分割し、分割数に応じた数の光センサを用いる構成としてよい。例えば、図６（ｂ）に示すように透過領域を４つに分割した遮光部を用いて非共焦点信号を４つに分割したり、図６（ｃ）に示すような透過領域を８つに分割した遮光部を用いて非共焦点信号を８つに分割してもよい。また、反射領域を設けずに、図６（ｄ）、（ｅ）及び（ｆ）にそれぞれ示すように透過領域を２つ、４つ又は８つに分割し、複数の種類の非共焦点信号のみを略同時に取得するよう構成してもよい。
【００４７】
さらに、共焦点信号及び非共焦点信号を取得する方法はこれに限定されるものではない。例えば、絞り２１０（開口部）の径や位置を可変としてもよい。この場合、例えば、図６（ｇ）に示すように開口部の径を小さくし共焦点信号を取得したり、図６（ｈ）に示すように開口部の径を大きくし非共焦点信号を取得するように、開口部の径や位置を調節することができる。なお、開口部の径や移動量は任意に設定してよい。例えば、図６（ｇ）に示すように開口部の径を１ＡＤＤ（Ａｉｒｙ  Ｄｉｓｃ  Ｄｉａｍｅｔｅｒ）程度に設定したり、図６（ｈ）に示すように開口部の径を１０ＡＤＤ程度に設定したり、移動量を６ＡＤＤ程度に設定することができる。
【００４８】
本実施形態では、非共焦点信号は２つに分割されるため、非共焦点信号は２種類ある。そのため、以下においては便宜上、片側の非共焦点信号から形成される非共焦点画像をＲチャンネルの非共焦点画像Ｄｎｒとし、もう一方の非共焦点信号から形成される非共焦点画像をＬチャンネルの非共焦点画像Ｄｎｌとする。また、非共焦点画像Ｄｎと表記する場合は、Ｒチャンネルの非共焦点画像Ｄｎｒ及びＬチャンネルの非共焦点画像Ｄｎｌの両方を指す。
【００４９】
また、図４に示す走査光学系（Ｘ−Ｙ走査ミラー２０５）の振り角を大きくし、補償光学系２０４が収差補正を行わないよう指示することによって、ＳＬＯ装置２０は通常のＳＬＯ装置として動作し、広画角画像を取得することもできる。
【００５０】
なお、以下では、高倍率な画像である共焦点画像Ｄｃ及び非共焦点画像Ｄｎよりも低倍率で、画像形成装置１０がＳＬＯ装置２０から取得した画像の中で最も低倍率な画像のことを広画角画像Ｄｌ（Ｄｌｃ、Ｄｌｎ）とする。広画角画像Ｄｌは、補償光学が適用されたＳＬＯ画像の場合もあるし、単なるＳＬＯ画像の場合も含まれる。
【００５１】
次に、図７を用いて画像形成装置１０のハードウェア構成について説明する。図７に示すように、画像形成装置１０には、中央演算処理装置（ＣＰＵ）３０１、メモリ（ＲＡＭ）３０２、制御メモリ（ＲＯＭ）３０３、外部記憶装置３０４、モニタ３０５、キーボード３０６、マウス３０７及びインターフェース３０８が設けられている。
【００５２】
外部記憶装置３０４は、本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータを記憶している。ＣＰＵ３０１は、バス３０９を通じて、外部記憶装置３０４に記憶されたこれらの制御プログラムやデータを適宜ＲＡＭ３０２に取り込み、制御プログラムを実行することで、以下に説明する各部として機能する。
【００５３】
図８を参照して、本実施形態に係る画像形成装置１０の機能構成例を説明する。図８は画像形成装置１０の概略的な機能構成例を示すブロック図である。画像形成装置１０には、信号取得部１１０、記憶部１２０、画像処理部１３０及び指示取得部１４０が設けられている。
【００５４】
信号取得部１１０には、共焦点データ取得部１１１、非共焦点データ取得部１１２及び時相データ取得部１１３が設けられている。共焦点データ取得部１１１はＳＬＯ装置２０に対して高倍率な画像である共焦点画像Ｄｃｊの取得を要求する。また、非共焦点データ取得部１１２は、同様に、ＳＬＯ装置２０に対して高倍率な画像である非共焦点画像Ｄｎｒｋ，Ｄｎｌｋの取得を要求する。なお、信号取得部１１０は、ＳＬＯ装置２０に対し、これらの画像に対応する固視標位置Ｆｌ，Ｆｃｎの取得も併せて要求する。時相データ取得部１１３は、時相データ取得装置５０に対して生体信号に関する時相データＰｉの取得を要求する。信号取得部１１０は、取得したこれらの画像及びデータを記憶部１２０に格納する。
【００５５】
画像処理部１３０には、位置合わせ部１３１、補正部１３２、演算部１３３、特徴量算出部１３４、決定部１３５、表示制御部１３６及び保存部１３７が設けられている。
【００５６】
位置合わせ部１３１は、記憶部１２０に格納された各動画像のフレーム間の位置合わせを行う。
【００５７】
補正部１３２には、異種信号位置合わせ部１３２１及び輝度補正部１３２２が設けられている。異種信号位置合わせ部１３２１は、取得した２種類の非共焦点画像に関し、位置合わせ部１３１でフレーム間の位置合わせが行われた動画像から生成された、それぞれの重ね合わせ画像間の位置合わせを行う。輝度補正部１３２２は、これら画像間の輝度分布が大きく異なっている場合に、両画像間の輝度分布を揃えるように調整する。
【００５８】
演算部１３３は、補正部１３２によって画像間の位置合わせがなされた２種類の非共焦点画像の各画素位置において、該画素位置に対応する非共焦点信号間の演算処理を行う。本実施形態では、当該非共焦点信号間で最大値演算を行う。
【００５９】
決定部１３５は、演算部１３３による演算結果に基づいて、各画素位置における画素値を決定し、左右両側の血管壁が明瞭に描出された画像を形成する。
【００６０】
表示制御部１３６は、ＳＬＯ装置２０で取得された動画像や決定部１３５によって画素値を決定することで形成された画像、及び広画角画像Ｄｌに高倍率な画像である共焦点画像Ｄｃや非共焦点画像Ｄｎを貼り合わせた画像などをモニタ３０５に表示する。
【００６１】
保存部１３７は、これらの画像や、画像形成時に用いた位置合わせパラメータ等の値をデータサーバ４０等へ保存する際の制御を行う。
【００６２】
特徴量算出部１３４は、位置合わせ部１３１で位置合わせされた動画像から生成された、それぞれの重ね合わせ画像を形成する非共焦点信号に関する輝度のコントラストや空間微分値などの特徴量を算出する。なお、本実施形態においては、演算部１３３によって非共焦点信号間で信号値（輝度値）の最大値演算を行うため、特徴量算出部１３４は設けられなくてもよい。これに対し、演算部１３３で、特徴量に対する演算を行う場合には、決定部１３５は、特徴量算出部１３４で求めた特徴量を用いて非共焦点信号間の演算を行う。
【００６３】
指示取得部１４０は、キーボード３０６やマウス３０７を介して操作者により入力される指示を取得する。当該指示は、例えば、上記画像等のデータサーバ４０への保存を行うか否かを含む。
【００６４】
以下、図９のフローチャートを参照して、画像形成装置１０による処理について説明する。
【００６５】
画像形成装置１０による処理が開始されると、ステップＳ９１０が実行される。
【００６６】
＜ステップＳ９１０＞
ステップＳ９１０において、信号取得部１１０の共焦点データ取得部１１１及び非共焦点データ取得部１１２は、ＳＬＯ装置２０に対して高倍率な画像(共焦点画像Ｄｃｊ及び非共焦点画像Ｄｎｒｋ，Ｄｎｌｋ)の取得を要求する。また、信号取得部１１０は、これらの画像に対応する固視標位置Ｆｌ，Ｆｃｎの取得を要求する。
【００６７】
ＳＬＯ装置２０は該取得要求に応じて広画角画像Ｄｌ、共焦点画像Ｄｃｊや非共焦点画像Ｄｎｒｋ，Ｄｎｌｋ、画角やフレームレートなどのこれら画像に対応する属性データ及び固視標位置Ｆｌ，Ｆｃｎを取得し、画像形成装置１０に送信する。信号取得部１１０は、ＳＬＯ装置２０からＬＡＮ３０を介して広画角画像Ｄｌ、共焦点画像Ｄｃｊ、非共焦点画像Ｄｎｒｋ，Ｄｎｌｋ、属性データ及び固視標位置Ｆｌ，Ｆｃｎ等を受信し、記憶部１２０に格納する。
【００６８】
ここで、網膜血管を撮影した場合の共焦点画像Ｄｃ及び非共焦点画像Ｄｎｒ，Ｄｎｌの例を、それぞれ図１０(ａ)乃至（ｃ）に示す。図１０(ａ)乃至（ｃ）はそれぞれ、撮像された共焦点画像Ｄｃ及び非共焦点画像Ｄｎｒ，Ｄｎｌを示す。図１０（ａ）に示すように、共焦点画像Ｄｃでは背景の神経線維層の反射が強く、血管壁付近のコントラストが低くなりやすい。また、図１０（ｂ）に示すようにＲチャンネルの非共焦点画像Ｄｎｒでは、右側の血管壁のコントラストが高くなる。一方、図１０（ｃ）に示すように、Ｌチャンネルの非共焦点画像Ｄｎｌでは、左側の血管壁のコントラストが高くなる。
【００６９】
なお、高倍率な画像である共焦点画像Ｄｃや非共焦点画像Ｄｎの撮像対象の位置は、眼底Ｅｒの任意の位置であってよい。例えば、共焦点画像Ｄｃや非共焦点画像Ｄｎは視神経乳頭部周囲について取得されてもよいし、網膜血管アーケードに沿って取得されてもよい。
【００７０】
また、時相データ取得部１１３は、時相データ取得装置５０に対し生体信号に関する時相データＰｉの取得を要求する。本実施形態では、時相データ取得装置５０として脈波計を用い、被検者の耳垂(耳たぶ)から脈波データを取得する。ここで脈波データは一方の軸に取得時刻、他方の軸に脈波計が計測した脈波信号値を持つ点列として表現される。
【００７１】
時相データ取得装置５０は、該取得要求に応じて時相データＰｉを取得し画像形成装置１０に送信する。時相データ取得部１１３は、時相データ取得装置５０からＬＡＮ３０を介して時相データＰｉである脈波データを受信する。時相データ取得部１１３は受信した時相データＰｉを記憶部１２０に格納する。
【００７２】
ここで、本実施形態では共焦点データ取得部１１１及び非共焦点データ取得部１１２による画像の取得要求、並びに時相データ取得部１１３による時相データＰｉの取得要求後、直ちに画像と時相データＰｉの取得を開始する。これに対し、時相データ取得部１１３からの要求に従って時相データ取得装置５０が取得する時相データＰｉのある位相に合わせて、共焦点データ取得部１１１及び非共焦点データ取得部１１２がＳＬＯ装置２０からの画像取得を開始してもよい。
【００７３】
信号取得部１１０は、時相データ取得部１１３又は記憶部１２０から各画像取得時の時相データＰｉを取得し、各々の時相データＰｉの極値を検出して心拍動の周期及び心時相の相対値(ｒｅｌａｔｉｖｅ  ｃａｒｄｉａｃ  ｃｙｃｌｅ)を算出する。なお、心時相の相対値は、心拍動の周期を１とした場合に０から１までの浮動小数点数で表わされる相対値である。ここで、各々の時相データＰｉは取得された各画像と略同時に取得されるため、互いに対応関係を有する。そのため、心時相の相対値は、心拍動の周期における、画像及び時相データを取得したタイミングを示す。信号取得部１１０は、算出した心拍動の周期及び心時相の相対値を記憶部１２０に格納する。
【００７４】
＜ステップＳ９２０＞
ステップＳ９２０において、位置合わせ部１３１は、ステップＳ９１０で取得した各動画像のフレーム間位置合わせを行う。具体的なフレーム間位置合わせ法として、本実施形態では以下の方法を実行する。
【００７５】
ｉ）位置合わせ部１３１は、位置合わせの基準となる基準フレームを設定する。本実施形態では、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定法はこれに限るものではなく、任意の設定法を用いてよい。
【００７６】
ｉｉ）位置合わせ部１３１は、設定された基準フレームを用いて、フレーム間の大まかな位置の対応付け（粗位置合わせ）を行う。任意の位置合わせ手法を利用できるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いて粗位置合わせを行う。
【００７７】
ｉｉｉ）位置合わせ部１３１は、ｉｉ）で得られたフレーム間の大まかな位置の対応関係のデータに基づいて、フレーム間の精密位置合わせを行う。本実施形態では、ｉｉ）で得られた粗位置合わせ済み動画像に対し、非剛体位置合わせ手法の一種であるＦＦＤ（Ｆｒｅｅ  Ｆｏｒｍ  Ｄｅｆｏｒｍａｔｉｏｎ）法を用いてフレーム間の精密位置合わせを行う。なお、精密位置合わせの手法はこれに限らず、任意の位置合わせ手法を用いてよい。
【００７８】
また、本実施形態では動画像毎にフレーム間位置合わせを行ったが、フレーム間位置合わせの方法はこれに限定されない。例えば、位置合わせ部１３１は、共焦点画像Ｄｃに対してフレーム間位置合わせを行うことによって得られる位置合わせパラメータを、非共焦点画像Ｄｎのフレーム間位置合わせパラメータとして用いてもよい。あるいは、非共焦点画像Ｄｎ（非共焦点画像Ｄｎｒ，Ｄｎｌや、これらの画像間の演算処理により得られる画像も含む）のフレーム間位置合わせによって得られる位置合わせパラメータを、共焦点画像Ｄｃのフレーム間位置合わせパラメータとして用いてもよい。
【００７９】
なお、位置合わせ部１３１は、当該フレーム間位置合わせの間に、各フレームの輝度値やノイズ、各フレームと基準フレームとの間の変位量に基づいて、取得された各動画像における例外フレームを判定することもできる。例えば、フレーム全体の輝度値が所定の閾値よりも低いフレームやノイズが所定の閾値よりも多いフレーム、基準フレームからの変位量が所定の閾値よりも大きいフレームを後述の処理において用いられる動画像から除外される例外フレームとして判定する。この場合、位置合わせ部１３１によって例外フレームとして判定されたフレームは、後述の処理から除外される。
【００８０】
位置合わせ部１３１は、このようにしてフレーム間で位置合わせを行った動画像を記憶部１２０に格納する。
【００８１】
＜ステップＳ９３０＞
ステップＳ９３０において、画像処理部１３０は、以下の手順で両側の血管壁の視認性が高い画像Ｄｆを形成する。
【００８２】
ｉ）動画像単位での重ね合わせ画像生成
画像処理部１３０は、ステップＳ９２０でフレーム間位置合わせ済みの各動画像を平均値投影することで各重ね合わせ画像を生成する。本実施形態では、共焦点画像の重ね合わせ画像と２種類の非共焦点重ね合わせ画像を生成する。
【００８３】
ｉｉ）異種画像間の位置合わせ・輝度調整
異種信号位置合わせ部１３２１は、ｉ）において生成された２種類の非共焦点重ね合わせ画像間の視差を低減するため、当該非共焦点重ね合わせ画像間の位置合わせを行う。具体的には、異種信号位置合わせ部１３２１は、非共焦点重ね合わせ画像間の位置を合わせるように、両画像の非共焦点信号を補正する。なお、本明細書においては、視差という用語を「観測位置の違いによって生じる対象物の結像位置の差異」という意味で用いる。
【００８４】
被検眼Ｅに対する遮光部２１０−１の両透過領域(２１０−１−２，２１０−１−３)の相対位置が異なっていることが原因となり、Ｒチャンネルの非共焦点画像ＤｎｒとＬチャンネルの非共焦点画像Ｄｎｌとの間には視差が生じる。そのため、Ｒチャンネルの非共焦点画像Ｄｎｒを重ね合わせて得た非共焦点重ね合わせ画像、及びＬチャンネルの非共焦点画像Ｄｎｌを重ね合わせて得た非共焦点重ね合わせ画像の間にも視差が生じる。
【００８５】
例として、図１０（ｂ）に示すＲチャンネルの非共焦点画像Ｄｎｒと、図１０（ｃ）に示すＬチャンネルの非共焦点画像Ｄｎｌの同一位置(点線部)で取得した輝度プロファイルを図１１（ａ）に示す。図１１（ａ）において、実線はＲチャンネルの非共焦点画像Ｄｎｒについての輝度プロファイルを示し、点線はＬチャンネルの非共焦点画像Ｄｎｌについての輝度プロファイルを示す。図１１（ａ）を参照すると、両輝度プロファイル間で視差が生じていることがわかる。
【００８６】
上述のように、非共焦点画像Ｄｎｒ，Ｄｎｌではそれぞれに対応する片側の血管壁のみ高コントラストな画像となる。このため、左右両側の血管壁の視認性を同程度にする演算として、例えばＲチャンネルの非共焦点重ね合わせ画像とＬチャンネルの非共焦点重ね合わせ画像の加算平均演算を行うことが考えられる。しかしながら、両画像に対し単に加算平均演算を行っても、絞り２１０における透過領域(２１０−１−２，２１０−１−３)の相対位置が異なることに起因する両画像間の視差が原因で、ぼけた画像が生成されてしまう。また、左右両側の血管壁の視認性を同程度にする別の演算として、例えばＲチャンネルの非共焦点重ね合わせ画像とＬチャンネルの非共焦点重ね合わせ画像の最大値演算を行うことが考えられる。しかしながら、両画像に対し単に最大値演算を行っても、上述の両画像間の視差が原因で血柱反射(血管の中心に延在する高輝度領域)が実際よりも太く描出されてしまう。このような視差を含む画像同士の演算によって生じる「ぼけ」や偽像（アーチファクト）を防ぐには、両非共焦点画像間での視差を低減する必要がある。
【００８７】
そこで、異種信号位置合わせ部１３２１は、両画像間の演算処理を行う前に両非共焦点重ね合わせ画像間での位置合わせを行うことで当該視差を低減する。上述のように図１０（ｂ）に示すＲチャンネルの非共焦点画像Ｄｎｒと、図１０（ｃ）に示すＬチャンネルの非共焦点画像Ｄｎｌ内の同一位置(点線部)で取得した、図１１（ａ）に示すような輝度プロファイルでは視差が生じている。これに対し、両非共焦点重ね合わせ画像間で位置合わせを行うことで図１１（ｂ）に示すように視差を低減する。図１１（ｂ）は、両非共焦点重ね合わせ画像の位置合わせ後の図１１（ａ）に対応する輝度プロファイルを示す。なお、位置合わせ方法は任意の公知の位置合わせ手法を適用可能であるが、本実施形態ではステップＳ９２０で用いた非剛体位置合わせ手法と同じ手法を用いる。
【００８８】
異種信号位置合わせ部１３２１は、当該位置合わせが行われた非共焦点重ね合わせ画像を記憶部１２０に格納する。
【００８９】
また、輝度補正部１３２２は、図１１（ｃ）に示すように何らかの原因で異なる種類の非共焦点重ね合わせ画像間で輝度分布が大きく異なっている場合に、位置合わせされた非共焦点重ね合わせ画像の輝度分布特性を揃えるように調整（階調変換処理）する。これにより、輝度補正部１３２２は、後述する非共焦点重ね合わせ画像間の演算結果において、特定の種類の非共焦点信号の影響が過度に大きくなることを防止できる。輝度補正部１３２２は、輝度分布を調整した非共焦点重ね合わせ画像を記憶部１２０に格納する。なお、図１１（ｃ）は、異なる種類の非共焦点重ね合わせ画像間で輝度分布が大きく異なっている場合の各画像の輝度プロファイルの例を示す。図１１（ｃ）において、実線はＲチャンネルの非共焦点画像Ｄｎｒについての輝度プロファイルを示し、点線はＬチャンネルの非共焦点画像Ｄｎｌについての輝度プロファイルを示す。
【００９０】
ｉｉｉ）注目画素位置における非共焦点信号間の演算
演算部１３３は、左右両側の血管壁の視認性が高い画像を生成するために、形成される画像の各画素位置について、当該画素位置に対応する、２種類の非共焦点重ね合わせ画像の非共焦点信号間で演算処理を行う。本実施形態では、演算部１３３は、形成する画像における画素値を決めるべき画素（注目画素）位置において、ｉｉ）で位置合わせした２種類の非共焦点重ね合わせ画像の非共焦点信号同士で最大値演算（第１の演算）を行う。その後、決定部１３５が演算部１３３による最大値演算の演算結果に基づいて、各画素位置における画素値を決定する。これにより、画像形成装置１０は、左右両側の血管壁の視認性が高い画像Ｄｆを形成する。なお、当該画像形成処理における具体的な処理については、図１２（ａ）に示すステップＳ１２１０〜ステップＳ１２５０を用いて後述する。決定部１３５は、形成した画像Ｄｆを記憶部１２０に格納する。
【００９１】
＜ステップＳ９４０＞
次にステップＳ９４０では、位置合わせ部１３１は、広画角画像ＤｌとステップＳ９３０で生成した高倍率な画像Ｄｆとの位置合わせを行い、広画角画像Ｄｌ上での該高倍率な画像Ｄｆの相対位置を求める。その後、位置合わせ部１３１は、求めた相対位置に基づいて、広画角画像Ｄｌと画像Ｄｆの貼り合わせを行う。具体的には、以下のように相対位置を求め、画像の貼り合わせを行う。
【００９２】
位置合わせ部１３１は、記憶部１２０から高倍率な共焦点画像Ｄｃｊの撮影時に用いた固視標位置Ｆｃｎを取得し、広画角画像Ｄｌと高倍率な画像Ｄｆとの位置合わせにおける位置合わせパラメータの探索初期点とする。位置合わせ部１３１は、該パラメータ値の組み合わせを変化させながら広画角画像Ｄｌと高倍率な画像Ｄｆとの位置合わせを行う。
【００９３】
位置合わせ部１３１は、広画角画像Ｄｌと画像Ｄｆとの類似度が最も高い位置合わせパラメータ値の組み合わせを、広画角画像Ｄｌに対する画像Ｄｆの相対位置として決定する。位置合わせ手法はこれに限らず、任意の位置合わせ手法を用いてよい。
【００９４】
位置合わせ部１３１は、このようにして求めた位置合わせパラメータの値に基づいて、広画角画像Ｄｌ上に画像Ｄｆを貼り合わせる。位置合わせ部１３１は、貼り合わせを行った画像を記憶部１２０に格納する。
【００９５】
また、位置合わせ部１３１は、広画角画像Ｄｌと画像Ｄｆに対し求めた位置合わせパラメータ値を用いて、ステップＳ９１０で取得した共焦点画像Ｄｃや非共焦点画像Ｄｎを広画角画像Ｄｌ上に貼り合わせてもよい。
【００９６】
なお、広画角画像ＤｌとステップＳ９１０で取得した共焦点画像Ｄｃｊ（もしくは非共焦点画像Ｄｎｒ，Ｄｎｌ）に対して位置合わせパラメータ値を求めて、これらを貼り合わせてもよい。また、この場合、広画角画像ＤｌとステップＳ９１０で取得した画像に対して求めた位置合わせパラメータ値を、画像Ｄｆの貼り合わせに対しても適用することで広画角画像Ｄｌ上の高倍率な画像Ｄｆの相対位置を決定してもよい。
【００９７】
＜ステップＳ９５０＞
ステップＳ９５０において、表示制御部１３６は、ステップＳ９１０で取得した画像やステップＳ９３０で生成した画像Ｄｆ、ステップＳ９４０で貼り合わせ処理した画像をモニタ３０５に表示する。
【００９８】
本実施形態では、表示制御部１３６は、ステップＳ９２０でフレーム間位置合わせを行った動画像、及び後述する、フレーム間位置合わせを行った動画像における脈波の特定の位相に対応するフレームを選択して重ね合わせた画像をモニタ３０５に表示する。
【００９９】
また、表示制御部１３６は、ステップＳ９３０で生成した画像Ｄｆをモニタ３０５に表示する。
【０１００】
さらに、表示制御部１３６は、貼り合わせ画像(広画角画像ＤｌとステップＳ９１０で取得した画像とを貼り合わせ処理した画像、もしくは広画角画像ＤｌとステップＳ９３０で生成した画像Ｄｆとを貼り合わせ処理した画像)をモニタ３０５に表示する。
【０１０１】
＜ステップＳ９６０＞
ステップＳ９６０において、指示取得部１４０は、ステップＳ９１０で取得した画像やステップＳ９３０で生成した画像Ｄｆ、位置合わせパラメータ等の値をデータサーバ４０へ保存するか否かの指示を外部から取得する。この指示は、例えばキーボード３０６やマウス３０７を介して操作者により入力される。画像処理部１３０は、保存が指示された場合はステップＳ９７０へ処理を進め、保存が指示されなかった場合はステップＳ９８０へと処理を進める。
【０１０２】
＜ステップＳ９７０＞
ステップＳ９７０において、保存部１３７は、検査日時や被検眼を同定する情報と、ステップＳ９６０で決定した保存対象の画像や固視位置、位置合わせパラメータ値とを関連付けてデータサーバ４０へ送信する。
【０１０３】
＜ステップＳ９８０＞
ステップＳ９８０において、指示取得部１４０は、画像形成装置１０による画像形成処理を終了するか否かの指示を外部から取得する。この指示はキーボード３０６やマウス３０７を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはステップＳ９１０に処理を戻し、次の被検眼に対する処理（又は同一被検眼に対する再処理を）行う。
【０１０４】
さらに、図９、図１１及び図１２（ａ）を参照しながら、ステップＳ９３０で実行される画像形成処理の詳細について説明する。図１２（ａ）は、ステップＳ９３０で実行される画像形成処理のフローチャートである。以下、図１２（ａ）に示すフローチャートに沿って、当該画像形成処理について説明する。
【０１０５】
＜ステップＳ１２１０＞
ステップＳ９３０で画像形成処理が実行されると、ステップＳ１２１０において、画像処理部１３０が、ステップＳ９２０でフレーム間位置合わせした各動画像を平均値投影することで重ね合わせ画像を生成する。なお、重ね合わせ処理する場合には、心拍動の影響により血管壁を構成する膜境界の位置が変化するのを避けるために、脈波の特定の位相に対応するフレームを選択して重ね合わせ処理することが望ましい。この場合、画像処理部１３０は、ステップＳ９１０で算出した心時相の相対値に基づいて、脈波の特定の位相に対応するフレームを選択することができる。
【０１０６】
本実施形態では、画像処理部１３０は、共焦点画像の重ね合わせ画像Ｄａｃと２種類の非共焦点重ね合わせ画像（Ｄａｒ，Ｄａｌ）を生成する。また、画像処理部１３０は、生成した画像を記憶部１２０に格納する。
【０１０７】
＜ステップＳ１２２０＞
上述のように、ステップＳ１２１０で生成した各重ね合わせ画像（Ｄａｃ，Ｄａｒ，Ｄａｌ）の間には視差が生じている。そのため、ステップＳ１２２０において、異種信号位置合わせ部１３２１は、該視差を低減するために異なる種類の非共焦点重ね合わせ画像Ｄａｒ，Ｄａｌ間で非剛体位置合わせ処理を行う。具体的には、異種信号位置合わせ部１３２１が非共焦点重ね合わせ画像Ｄａｒ，Ｄａｌ間で位置を合わせるように両画像の非共焦点信号を補正する。ステップＳ９３０にて説明したように、位置合わせ方法は任意の公知の位置合わせ手法を適用可能であるが、本実施形態ではステップＳ９２０で用いた非剛体位置合わせ手法と同じ手法を用いる。異種信号位置合わせ部１３２１は、位置合わせを行った非共焦点重ね合わせ画像を記憶部１２０に記憶する。
【０１０８】
なお、本実施形態では共焦点画像の重ね合わせ画像を基準画像として、該基準画像に対して非共焦点画像（Ｄａｒ及びＤａｌ）を位置合わせする。これに限らず、２種類の非共焦点画像同士のいずれかを基準画像として異なる種類の非共焦点画像間で直接位置合わせしてもよい。
【０１０９】
また、図１１（ｃ）に示すように、異なる種類の非共焦点重ね合わせ画像Ｄａｒ，Ｄａｌ間で輝度分布が大きく異なっている場合がある。この場合には、輝度補正部１３２２が、特定の非共焦点重ね合わせ画像の信号成分が過度に演算結果に影響するのを防ぐために、両非共焦点重ね合せ画像の非共焦点信号間における演算の前に階調変換処理により、非共焦点重ね合わせ画像の輝度分布特性を揃える。
【０１１０】
輝度分布の補正方法は任意の公知の手法を適用可能である。本実施形態では一方の画像Ｘの平均輝度Ｘａと輝度の標準偏差Ｓｘを、他方の画像Ｙの平均輝度Ｙａや輝度の標準偏差Ｓｙと一致するように線形変換する手法を用いるものとする。当該手法では、例えば、係数ａがａ＝Ｓｙ／Ｓｘであり、係数ｂがｂ＝Ｙａ−（Ｓｙ／Ｓｘ）・Ｘａであるような、線形変換Ｙ＝ａＸ＋ｂを行う。
【０１１１】
例えば、図１１（ｃ）に示すような輝度プロファイルは、異種信号位置合わせ部１３２１による非共焦点信号間の非剛体位置合わせ処理によって、図１１（ｄ）に示すように互いに位置合わせされる。さらに、輝度補正部１３２２による輝度補正処理によって図１１（ｅ）に示すように輝度分布が補正される。図１１（ｅ）に示される輝度プロファイルから、両非共焦点重ね合わせ画像の信号間の最大値を選択すること（最大値演算）により、左右両側の血管壁の視認性が向上した画像になることがわかる。ここで、図１１（ｄ）は、図１１（ｃ）に示される輝度プロファイルが互いに非剛体位置合わせ処理によって位置合わせされたものを示し、図１１（ｅ）は、図１１（ｄ）に示された輝度プロファイルについて輝度分布の補正が行われたものを示す。
【０１１２】
輝度補正部１３２２は、このように輝度補正（階調変換）処理を行った画像を記憶部１２０に格納する。
【０１１３】
＜ステップＳ１２３０＞
ステップＳ１２３０において、演算部１３３は、左右両側の血管壁の視認性が高い画像を形成するために、形成する画像の各画素位置において、異なる種類の非共焦点重ね合わせ画像の非共焦点信号間で演算処理を行い、演算結果を決定部１３５に送る。本実施形態では、ステップＳ１２２０で位置合わせや輝度補正を行った２種類の非共焦点重ね合わせ画像の非共焦点信号の信号値同士で最大値演算を行う。そして、決定部１３５が演算部１３３の演算結果に基づいて各画素位置における画素値を決定する。当該処理を全画素位置について行うことにより、図１０（ｅ）に示すような、画像内のぼけや偽像が抑制された左右両側の血管壁の視認性が高い画像Ｄｆを形成することができる。図１０（ｅ）は、左右両側の血管壁の視認性が高い画像Ｄｆの例を示す。
【０１１４】
＜ステップＳ１２４０＞
ステップＳ１２４０において、画像処理部１３０は、全画素において非共焦点信号間の演算処理が完了していればステップＳ９４０へと処理を進め、まだ演算処理が未了の画素が残っている場合にはステップＳ１２５０へと処理を進める。
【０１１５】
＜ステップＳ１２５０＞
ステップＳ１２５０において、画像処理部１３０は、非共焦点信号間の演算処理が未了の隣接する画素位置へ移動した上で、ステップＳ１２３０へと処理を進める。
【０１１６】
上記のように、本実施形態による画像形成装置１０は、それぞれが被写体の非共焦点画像Ｄｎを形成する、複数の種類の非共焦点信号を取得する信号取得部１１０を備える。また、画像形成装置１０は、非共焦点画像Ｄｎ間の位置を合わせるように、複数の種類の非共焦点信号を補正する補正部１３２を備える。さらに、画像形成装置１０は、補正された複数の種類の非共焦点信号を用いて最大値演算を行う演算部１３３と、演算部１３３による演算結果に基づいて、形成する画像の各画素値を決定する決定部１３５とを備える。ここで、最大値演算とは、演算に用いる値のうちより大きい値を選択する演算である。なお、複数の種類の非共焦点信号は、開口部の領域が複数に分割された絞りを用いて取得される。
【０１１７】
上記構成によれば、画像形成装置１０は、ＳＬＯ装置２０を用いて取得した２種類の非共焦点画像Ｄｎｒ，Ｄｎｌに基づいて網膜血管壁の画像を形成する。この際に、画像形成装置１０は、当該２種類の非共焦点画像Ｄｎｒ，Ｄｎｌ間の視差を低減するために両画像を位置合わせした後、形成する画像の各画素位置について非共焦点信号間で最大値演算した結果に基づいて画像を形成する。これにより、画像形成装置１０は、左右両側の血管壁の視認性が高い画像を形成することができる。
【０１１８】
また、本実施形態による画像形成装置１０における補正部１３２は、非共焦点画像Ｄｎｒ，Ｄｎｌ間の輝度分布特性を揃える（類似させる）ように、非共焦点画像Ｄｎｒ，Ｄｎｌの非共焦点信号を補正する。例えば、輝度補正部１３２２は、非共焦点画像Ｄｎｒ，Ｄｎｌ間の輝度分布のスケールを揃えるように、非共焦点画像Ｄｎｒ，Ｄｎｌの非共焦点信号を補正する。これにより、画像形成装置１０は、特定の非共焦点重ね合わせ画像の信号成分が演算部１３３による演算結果に過度に影響するのを防ぐことができる。
【０１１９】
なお、本実施形態に係る画像形成装置１０では、２種類の非共焦点重ね合わせ画像を位置合わせした後に、各画素位置で最大値演算をした結果に基づいて画素値を決定している。これに対し、２種類の非共焦点重ね合わせ画像間の位置合わせをせずに、各画素位置で最大値演算を行う場合でも、輝度値の高い領域についての視認性を向上させた画像を形成することができる。そのため、この場合であっても、左右両側の血管壁の視認性を向上させた画像を形成することができる。
【０１２０】
しかしながら、上述のように、２種類の非共焦点重ね合わせ画像間には視差が存在するため、両画像は当該視差に基づいて互いに対してずれている。そのため、当該２種類の非共焦点重ね合わせ画像間の位置合わせをせずに各画素位置で最大値演算を行うと、互いにずれた高輝度の領域について最大値演算が行われるため、高輝度の領域が実際より太く描出されてしまう場合がある。従って、この場合には、例えば図１０（ｂ）に示される画像において血管の中央に延在する、いわゆる血柱反射によって高輝度を有する領域などが最大値演算によって太く描写されてしまい、実際の被検眼Ｅの状態に即した画像が得られない可能性がある。
【０１２１】
これに対し、本実施形態に係る画像形成装置１０では、２種類の非共焦点重ね合わせ画像間の位置合わせを行うことで、両画像間の視差を低減することができる。そのため、画像形成装置１０では、例えば、両画像間のずれに基づいて、高輝度の領域が太く描写されること等による偽像（アーチファクト）やぼけが生じることを抑制し、より明瞭な画像を形成することができる。
【０１２２】
また、本実施形態に係る画像形成処理では、非共焦点信号間の最大値演算によって各画素位置における画素値を決定した。しかしながら、画素値を決定するための演算部１３３による非共焦点信号間の演算はこれに限られない。例えば、非共焦点信号間で加算平均演算を行ってもよい。この場合には、低輝度に描出される片方の血管壁がより明確に描出されることができ、従来の画像形成処理と比べて、当該画像形成処理によって画像内にぼけが生じるのを抑制しながら左右両側の血管壁が明確に描出される画像を形成することができる。
【０１２３】
なお、本実施形態ではＳｐｌｉｔ  Ｄｅｔｅｃｔｉｏｎ法により略同時に取得した複数種の非共焦点信号に基づく画像を用いて、左右両側の血管壁の視認性を向上させた画像を形成する場合について説明した。しかしながら、複数の種類の非共焦点信号を取得する方法はこれに限定されない。例えば、Ｏｆｆｓｅｔ  Ｐｉｎｈｏｌｅ法によって異なる種類の非共焦点信号を取得してもよい。
【０１２４】
また、本実施形態では、異なる非共焦点重ね合わせ画像の非共焦点信号間の演算に、非共焦点信号の信号値（輝度値）自体を用いて、左右両側の血管壁の視認性を向上させた画像を形成する場合について説明した。しかしながら、非共焦点信号間の演算に用いられるものは非共焦点信号の信号値に限定されない。例えば、図１２（ｂ）に示すような手順で、異なる種類の非共焦点信号の特徴量（輝度のコントラストもしくは空間微分の絶対値）が最大の信号を選択して画素値を決定し、血管壁の視認性を向上させた画像を形成してもよい。
【０１２５】
図１２（ｂ）は、最大値演算を行う対象として非共焦点重ね合わせ画像における特徴量を用いた場合の画像形成処理のフローチャートを示す。図１２（ｂ）に示すフローチャートは、ステップＳ１２３１以外、図１２（ａ）に示すフローチャートと同様であるため、相違点であるステップＳ１２３１を中心として説明し、他の箇所について説明を省略する。
【０１２６】
＜ステップＳ１２３１＞
ステップＳ１２３１では、特徴量算出部１３４が、ステップＳ１２２１で位置合わせや輝度補正が行われた２種類の非共焦点重ね合わせ画像Ｄａｒ，Ｄａｌについて特徴量（輝度のコントラストもしくは空間微分）を算出し、特徴量を記憶部１２０に格納する。
【０１２７】
演算部１３３は、形成する画像の各画素位置において、特徴量算出部１３４によって算出された２種類の非共焦点画像の非共焦点信号の特徴量同士について最大値演算を行い、演算結果を決定部１３５に送る。そして、決定部１３５が演算部１３３の演算結果に基づいて、特徴量がより大きい非共焦点画像の画素値を、形成する画像における各画素位置の画素値として決定する。当該処理を全画素位置について行うことにより、図１０（ｅ）に示すような左右両側の血管壁の視認性が高い画像Ｄｆを形成することができる。
【０１２８】
例えば、特徴量として輝度値の空間微分値の絶対値を用いる場合には、図１０（ｂ）や同図（ｃ）に示す非共焦点画像Ｄｎｒ，Ｄｎｌを空間微分処理した上で、点線部で該微分画像の輝度プロファイルを生成すると図１１（ｆ）に示す輝度プロファイルになる。そして、ステップＳ１２２１で非剛体位置合わせや輝度補正処理を行うと、輝度プロファイルは図１１（ｇ）に示すようになり、微分の絶対値がより大きい方の信号値を画素値として選択し、決定する。形成する画像の全画素位置について当該処理を行うことで、画像形成装置１０は、左右両側の血管壁の視認性が高い画像を形成することができる。なお、図１１（ｆ）及び（ｇ）において、実線はＲチャンネルの非共焦点画像の微分画像の輝度プロファイルを示し、点線はＬチャンネルの非共焦点画像の微分画像の輝度プロファイルを示す。
【０１２９】
また、特徴量として輝度値のコントラストを用いる場合には、図１０（ｂ）や同図（ｃ）の非共焦点画像Ｄｎｒ，Ｄｎｌの点線部でコントラストを算出すると図１１（ｈ）に示すコントラストプロファイルになる。そして、ステップＳ１２２１で非剛体位置合わせ及び輝度補正処理を行うと、コントラストプロファイルは図１１（ｉ）に示すようになり、コントラスト値がより大きい方の信号値を画素値として選択し、決定する。形成する画像の全画素位置について当該処理を行うことで、画像形成装置１０は、左右両側の血管壁の視認性が高い画像を形成することができる。なお、図１１（ｈ）及び（ｉ）において、実線はＲチャンネルの非共焦点画像のコントラストプロファイルを示し、点線はＬチャンネルの非共焦点画像のコントラストプロファイルを示す。
【０１３０】
このような構成では演算部１３３は、補正された複数の種類の非共焦点信号の値に関する特徴量を用い最大値演算を行う。非共焦点信号の信号値に代えて、画像の特徴量を用いて非共焦点重ね合わせ画像間の演算を行い、形成する画像における各画素位置の画素値を決定することでも、左右両側の血管壁の視認性が高い画像を形成することができる。
【０１３１】
［第２実施形態］
第１実施形態に係る画像形成装置１０では、従来のＯｆｆｓｅｔ  Ｐｉｎｈｏｌｅ法やＳｐｌｉｔ  Ｄｅｔｅｃｔｏｒ法を用いた画像形成装置における、上記片側の血管壁しか明瞭に描出できないという問題に対処した。これに対し、従来のＯｆｆｓｅｔ  Ｐｉｎｈｏｌｅ法では、当該問題に加え、撮像対象領域内に蛇行や分岐、交叉等により走行方向の異なる血管が存在する場合には血管枝の走行方向によって明瞭に血管壁を描出できない場合が生じるという問題があった。また同様に、従来のＳｐｌｉｔ  Ｄｅｔｅｃｏｔｒ法では、ピンホールなどの開口部の分割方向と血管の走行方向が大きく異なっている場合に血管壁が明瞭に描出しにくくなるという問題があった。
【０１３２】
この点に関し、非特許文献１は、蛇行や分岐・交叉した血管に適した非共焦点撮影・画像生成技術については開示していない。また、非特許文献２も、ＳＬＯ装置のピンホールの開口部を円周方向に８か所等間隔に移動させて視細胞を撮影することを開示しているが、蛇行や分岐、交差した血管に適した画像を生成するために８種類の画像を適応的に選択する技術については開示していない。
【０１３３】
上記事情に鑑み、本発明の第２実施形態では、血管の走行方向に関わらず血管壁領域を明瞭に描出する画像形成装置及び画像形成方法を提供する。
【０１３４】
本実施形態に係る画像形成装置は、３種以上の非共焦点画像を取得するＳＬＯ装置で撮影した異なる種類の非共焦点画像の非共焦点信号間で演算処理を行い、演算結果である演算値が最大となる信号種の組み合わせを選択する。さらに、画像形成装置は、選択した信号種の組み合わせ間での最大値演算を実行する。これにより、本実施形態に係る画像形成装置は、血管走行方向に関わらず壁の視認性の高い画像を形成することができる。
【０１３５】
以下、図１３及び１４（ａ）を参照して、本実施形態に係る画像形成装置６０について説明する。本実施形態に係る画像形成装置６０と接続される機器の構成は、第１実施形態に係る画像形成装置１０に接続される機器の構成と同様であるので説明を省略する。
【０１３６】
本実施形態に係る画像形成装置６０の機能構成例を図１３に示す。図１３は、画像形成装置６０の概略的な機能構成例を示すブロック図である。本実施形態に係る画像形成装置６０は、補正部１３２に代えて画像処理部６３０に選択部６３８を備え、演算部６３３が、選択部６３８による選択のために異なる種類の非共焦点重ね合わせ画像の非共焦点信号間で演算処理を行う点が第１実施形態と異なっている。なお、信号取得部１１０等の他の構成要素に関しては、第１実施形態に係る画像形成装置６０における構成要素と同様であるため、同じ参照符号を付し、説明を省略する。以下、本実施形態に係る画像形成装置６０を、第１の実施形態に係る画像形成装置１０との相違点を中心に説明する。
【０１３７】
本実施形態に係る画像形成装置６０は、画像処理部６３０に演算部６３３及び選択部６３８を備える。
【０１３８】
演算部６３３は、異なる種類の非共焦点画像の非共焦点信号間で、差分強調処理などの演算処理を行い、演算結果となる演算値を選択部６３８に送る。また、演算部６３３は、形成する画像の各画素位置において、選択部６３８によって選択された異なる種類の非共焦点信号の組み合わせに対して演算を行い、演算結果を決定部１３５に送る。なお、決定部１３５は、選択部６３８によって選択された異なる種類の非共焦点信号の組み合わせに対する演算の結果に基づいて、第１実施形態における決定部１３５と同様に、形成する画像の各画素位置における画素値を決定する。
【０１３９】
選択部６３８は、演算部６３３から受け取った演算値に基づいて、形成する画像の各画素位置における画素値を決定するための演算に用いられる、非共焦点信号の種類の組み合わせを選択する。具体的には、選択部６３８は、演算部６３３から受け取った演算値の比較を行い、演算部６３３で演算処理を行った非共焦点信号の種類（信号種）の組み合わせのうち演算値が最大となる信号種の組み合わせを選択する。
【０１４０】
次に、本実施形態に係る画像形成装置６０における画像処理フローについて説明する。なお、当該画像処理フローは、第１実施形態と同様であり、図９に示すステップＳ９３０における画像形成処理以外は、第１実施形態の場合と同様であるので説明は省略する。
【０１４１】
＜ステップＳ９３０＞
本実施形態に係るステップＳ９３０において、画像処理部６３０は、以下の手順で血管の走行方向に関わらず血管壁の視認性が高い画像を形成する。
【０１４２】
ｉ）動画像単位での重ね合わせ画像生成
第１実施形態の場合と同様に、画像処理部６３０はステップＳ９２０でフレーム間位置合わせを行った各動画像を平均値投影することで重ね合わせ画像を生成する。
【０１４３】
ｉｉ）各非共焦点信号間の演算値算出
演算部６３３は、形成する画像の各画素（注目画素）を含む小領域内の各画素において、異なる種類の非共焦点重ね合わせ画像における当該画素に対応する各非共焦点信号間で演算処理を行う。ここで、「注目画素を含む小領域」とは画素値を決定すべき画素（注目画素）位置の近傍領域を指し、「注目画素を含む小領域」として任意の大きさや形状の領域を設定することができる。例えば、「注目画素を含む小領域」は、半径ｒの円形領域でもよいし、矩形領域でもよい。あるいは、「注目画素を含む小領域」は、「注目画素及びその４近傍画素」でもよいし、「注目画素及びその８近傍画素」でもよい。あるいは、「注目画素を含む小領域」は、注目画素のみ（面積が１）でもよい。
【０１４４】
本実施形態に係るＳＬＯ装置２０及び画像形成装置６０は、図６（ｂ）に示すような、透過領域が４つに分けられた絞りを用いて４種類の非共焦点信号ＮＣ１，ＮＣ２，ＮＣ３，ＮＣ４を取得するものとする。図６（ｂ）に示す絞りは、反射領域２１０−１−１、４つの透過領域２１０−１−４，２１０−１−５，２１０−１−６，２１０−１−７及び透過領域を分割する遮光領域（太線部分）を備える。なお、非共焦点信号ＮＣ１，ＮＣ２，ＮＣ３，ＮＣ４は各々、図６（ｂ）に示す絞りの透過領域２１０−１−４，２１０−１−５，２１０−１−６，２１０−１−７を透過した光に基づいて取得される非共焦点信号とする。
【０１４５】
演算部６３３は、非共焦点信号の組み合わせを選択するための演算処理として、各注目画素を含む小領域内の各画素において、異なる非共焦点信号（ＮＣ１〜ＮＣ４）間での差分強調処理（Ｓｐｌｉｔ  Ｄｅｔｅｃｔｉｏｎ処理）を行う。演算部６３３は、差分強調処理に用いた信号種の組み合わせ毎に、差分強調処理によって求めた差分（Ｓｐｌｉｔ  Ｄｅｔｅｃｔｉｏｎ）値の絶対値を演算値として求め、当該小領域内における演算値の総和を算出する。ただし、差分強調処理に限られず、任意の公知の演算処理を適用してよい。
【０１４６】
ｉｉｉ）各非共焦点信号間で算出した演算値の比較に基づく信号種の選択
選択部６３８は、ｉｉ）で算出した値（演算値の総和）を比較して、異なる種類の非共焦点信号のうち、当該算出した値が最大となる信号種の組み合わせを注目画素毎に選択する。
【０１４７】
ｉｖ）選択した信号種間演算による画素値の決定
演算部６３３は、選択部６３８が選択した信号種間の演算を行う。そして、決定部１３５が、演算部６３３の演算結果に基づいて、画像形成装置６０が形成する画像における各注目画素の画素値を決定する。本実施形態では、演算部６３３が、ｉｉｉ）で選択した信号種間で最大値演算を行った値を求め、決定部１３５が当該最大値演算の演算結果を形成する画像における注目画素の画素値として決定する。
【０１４８】
なお、本実施形態では、ｉｉ）で算出した小領域内における信号種間の差分の絶対値の総和をｉｉｉ）で比較して、当該総和が最大となる信号種の組み合わせを選択した。しかしながら、信号種の組み合わせを選択するために対比される信号種間の演算は、これに限定されない。例えば、ｉｉ）において、演算部が、小領域内の差分の絶対値の総和を算出せず、差分値の絶対値を算出する。そして、ｉｉｉ）では、選択部が、小領域内の各画素位置において、演算部が算出した差分値の絶対値の大小に基づいて信号種を仮選択し、最も多く仮選択された信号種の組み合わせを注目画素毎に選択する。その後、ｉｖ）で、演算部が選択された信号種の組み合わせに対して演算を行い、決定部が当該演算結果に基づいて各注目画素の画素値を決定する。このような信号種間の演算処理を用いて信号種の組み合わせを選択し、注目画素の画素値を求めてもよい。
【０１４９】
以下、図１４（ａ）を参照して、画像形成装置６０における画像処理フローのステップＳ９３０において行われる画像形成処理について説明する。図１４（ａ）は、画像形成装置６０によって実行される画像形成処理を示すフローチャートである。ただし、ステップＳ１４１０については、第１実施形態に係るステップＳ１２１０と同様であるので説明は省略する。
【０１５０】
＜ステップＳ１４２０＞
ステップＳ１４２０において、演算部６３３は、各注目画素を含む小領域内の各画素において各非共焦点信号間での演算値を算出する。本実施形態に係る演算部６３３は、各注目画素を含む小領域内の各画素において、異なる非共焦点信号（ＮＣ１〜ＮＣ４）間での差分演算として、同じスケールで平滑化した非共焦点信号（ＮＣ１〜ＮＣ４）を用いて差分強調処理を行う。演算部６３３は、差分強調処理に用いた信号種の組み合わせ毎に、当該小領域内における、異なる非共焦点信号間の差分強調処理によって求めた差分値の絶対値の総和を算出する。
【０１５１】
なお、第１実施形態のように、非共焦点画像(Ｒ，Ｌ)間に視差が生じている場合には、両画像間で差分強調処理(（Ｌ−Ｒ）／（Ｒ＋Ｌ）)を行うと、同一画像内で空間微分処理（異なる座標間での輝度値の差分処理）を行った場合と類似した画像が得られる。ここで、演算部６３３によって差分強調処理が施された画像の例として、図１０（ｄ）に、平滑化したＳｐｌｉｔ  Ｄｅｔｅｃｔｏｒ画像を示す。
【０１５２】
本実施形態に係る演算部６３３は、以下の計４つの種類の異なる非共焦点信号間の差分強調演算処理を行い、注目画素を含む小領域内における絶対値の総和を算出する。
【０１５３】
ａ）横方向の差分（透過領域の分割線：縦方向）
（（ＮＣ１＋ＮＣ２）／２  −  （ＮＣ３＋ＮＣ４）／２）
／（（ＮＣ１＋ＮＣ２）／２  ＋  （ＮＣ３＋ＮＣ４）／２）
【０１５４】
ｂ）斜め方向(左上と右下)の差分（透過領域の分割線：右上から左下に向かう方向）
（ＮＣ１−ＮＣ３）／（ＮＣ１＋ＮＣ３）
【０１５５】
ｃ）縦方向の差分（透過領域の分割線：横方向）
（（ＮＣ１＋ＮＣ４）／２  −  （ＮＣ２＋ＮＣ３）／２）
／（（ＮＣ１＋ＮＣ４）／２  ＋  （ＮＣ２＋ＮＣ３）／２）
【０１５６】
ｄ）斜め方向(右上と左下)の差分（透過領域の分割線：右下から左上に向かう方向）
（ＮＣ４−ＮＣ２）／（ＮＣ４＋ＮＣ２）
【０１５７】
なお、非共焦点信号間の演算処理に用いられる非共焦点信号は、任意の組み合わせであってよい。これに関し、当該演算処理に用いられる非共焦点信号に対応する絞りの透過部は、正反対の位置にあり、かつ透過領域の面積が同じである必要はない。例えば、ＮＣ１と（ＮＣ３＋ＮＣ４）／２のように、正反対の位置になかったり、面積の和が異なる透過領域を透過した光に基づく非共焦点信号間で演算処理した結果に基づいて、画像形成に用いる信号種の組み合わせを選択してもよい。ここで、画像形成に用いる信号種の組み合わせとは、決定部１３５による画素値の決定のために、演算部６３３によって演算される非共焦点信号の組み合わせを指す。
【０１５８】
演算部６３３は、算出した非共焦点信号間の差分値の絶対値の総和を選択部６３８に送る。
【０１５９】
＜ステップＳ１４３０＞
ステップＳ１４３０において、選択部６３８は、ステップＳ１４２０で算出した値同士を比較して、当該値が最大となる信号種の組み合わせを選択する。本実施形態では、上述の非共焦点信号間の差分値の絶対値の総和同士を比較して最大となる信号種の組み合わせを選択する。例えば、上記ａ）〜ｄ）の演算を行い、ｂ）の演算による、注目画素を含む小領域における非共焦点信号間の差分値の絶対値の総和が、当該４つの演算値の中で最大であれば、非共焦点信号ＮＣ１と非共焦点信号ＮＣ３の組み合わせを選択する。
【０１６０】
ここで、本実施形態では、画像形成に用いる信号種の組み合わせの選択に用いる値として、演算値の総和を用いたが、これに限定されない。例えば、画像形成に用いる信号種の組み合わせの選択に用いる値として、演算値の最大値や平均値、所定の閾値以上の演算値の和を用いてもよい。
【０１６１】
選択部６３８は、選択した非共焦点信号の種類（信号種）の組み合わせを演算部６３３に送る。
【０１６２】
＜ステップＳ１４４０＞
ステップＳ１４４０において、演算部６３３は、ステップＳ１４３０で選択した信号種の組み合わせ間の演算を行い、演算結果を決定部１３５に送る。決定部１３５は、演算部６３３の演算結果に基づいて、画像形成装置１０が形成する画像の注目画素の画素値を決定する。
【０１６３】
本実施形態では、演算部６３３は、ステップＳ１４３０で選択した信号種の組み合わせ間で、注目画素に対応する非共焦点信号の信号値について最大値演算した値を決定部１３５に送る。決定部１３５は、当該最大値演算した値を注目画素の画素値として決定する。
【０１６４】
＜ステップＳ１４５０＞
ステップＳ１４５０で、画像処理部６３０は、全画素において非共焦点信号間の演算処理が完了していれば、図９に示すステップＳ９４０へと処理を進め、まだ演算処理が未了の画素が残っている場合にはステップＳ１４６０へと処理を進める。
【０１６５】
＜ステップＳ１４６０＞
ステップＳ１４６０において、画像処理部６３０は、非共焦点信号間の演算が未了の隣接する画素位置へ移動した上で、ステップＳ１４２０へと処理を進める。
【０１６６】
上記のように、本実施形態による画像形成装置６０は、それぞれが被写体の非共焦点画像を形成する、複数の種類の非共焦点信号ＮＣ１〜ＮＣ４を取得する信号取得部１１０を備える。また、画像形成装置６０は、形成する画像の画素値を決定する際に用いられる非共焦点信号の組み合わせを複数の種類の非共焦点信号ＮＣ１〜Ｎ４の中から選択する選択部６３８を備える。さらに、画像形成装置６０は、選択部６３８によって選択された非共焦点信号の組み合わせについて、複数の種類の非共焦点信号を用いて最大値演算を行う演算部６３３を備える。加えて、画像形成装置６０は、演算部６３３による最大値演算の演算結果に基づいて、形成する画像の各画素値を決定する決定部１３５を備える。また、演算部６３３は、複数の種類の非共焦点信号間で差分強調処理を行って演算値を算出し、選択部６３８は、複数の種類の非共焦点信号間の当該演算値に基づいて、非共焦点信号の組み合わせを選択する。
【０１６７】
このような構成によれば、画像形成装置６０は、ＳＬＯ装置２０で撮影した３種以上の非共焦点画像の非共焦点信号間で演算処理（差分強調処理）を行う。画像形成装置６０は、当該演算処理による演算値が最大となる信号種の組み合わせを選択した上で、選択した信号種の組み合わせに対し最大値演算を実行する。これにより、本実施形態による画像形成装置６０は、血管走行方向に関わらず壁の視認性の高い画像を形成することができる。
【０１６８】
本実施形態では、図６（ｂ）に示すような絞りを用いて４種類の非共焦点信号を取得する場合について説明したが、非共焦点信号は３種類以上であれば任意の数の種類の非共焦点信号を取得してよい。例えば、図６（ｃ）もしくは（ｆ）に示すような絞りを用いて、８種類の非共焦点信号（ＮＣ１〜ＮＣ８）を取得して、選択部６３８が８種類の非共焦点信号間の演算値に基づいて画像形成に用いる信号種の組み合わせを選択してもよい。
【０１６９】
ここで、非共焦点信号ＮＣ１〜ＮＣ８を、各々図６（ｃ）に示す絞りの透過領域２１０−１−９〜２１０−１−１６を透過した光から取得される非共焦点信号とする。この場合、以下のｉ）〜ｉｉｉ)のいずれかの手法により、形成する画像の注目画素の画素値を決定することもできる。
【０１７０】
ｉ）演算部が、非共焦点信号ＮＣ１とＮＣ５、ＮＣ２とＮＣ６、ＮＣ３とＮＣ７、ＮＣ４とＮＣ８の間で差分演算を行う。選択部は、当該差分の絶対値の総和が最も大きい組み合わせを画像形成に用いる信号種の組み合わせとして選択し、演算部が選択された信号種間の最大値演算を行い、決定部が当該演算結果に基づいて注目画素の画素値を決定する。
【０１７１】
ｉｉ）演算部が、（ＮＣ１＋ＮＣ２）／２と（ＮＣ５＋ＮＣ６）／２、（ＮＣ２＋ＮＣ３）／２と（ＮＣ６＋ＮＣ７）／２、（ＮＣ３＋ＮＣ４）／２と（ＮＣ７＋ＮＣ８）／２、（ＮＣ４＋ＮＣ５）／２と（ＮＣ８＋ＮＣ１）／２間で差分演算を行う。選択部は、当該差分の絶対値の総和が最も大きい組み合わせを画像形成に用いる信号種の組み合わせとして選択し、演算部が選択された信号種間の最大値演算を行い、決定部が当該演算結果に基づいて注目画素の画素値を決定する。
【０１７２】
ｉｉｉ）演算部が、（ＮＣ１＋ＮＣ２＋ＮＣ３＋ＮＣ４）／４と（ＮＣ５＋ＮＣ６＋ＮＣ７＋ＮＣ８）／４、（ＮＣ２＋ＮＣ３＋ＮＣ４＋ＮＣ５）／４と（ＮＣ６＋ＮＣ７＋ＮＣ８＋ＮＣ１）／４間で各々差分演算を行う。これに加えて、演算部が、（ＮＣ３＋ＮＣ４＋ＮＣ５＋ＮＣ６）／４と（ＮＣ７＋ＮＣ８＋ＮＣ１＋ＮＣ２）／４、（ＮＣ４＋ＮＣ５＋ＮＣ６＋ＮＣ７）／４と（ＮＣ８＋ＮＣ１＋ＮＣ２＋ＮＣ３）／４間で各々差分演算を行う。選択部は、当該差分の絶対値の総和が最も大きい組み合わせを画像形成に用いる信号種の組み合わせとして選択し、演算部が選択された信号種間の最大値演算を行い、決定部が当該演算結果に基づいて注目画素の画素値を決定する。
【０１７３】
なお、非共焦点信号間の演算処理に用いられる非共焦点信号は、任意の組み合わせであってよい。これに関し、当該演算処理に用いられる非共焦点信号に対応する絞りの透過部は、透過領域２１０−１−９と透過領域２１０−１−１３のように、正反対の位置にあり、かつ透過領域の面積が同じである必要はない。例えば、（ＮＣ１＋ＮＣ２）／２と（ＮＣ４＋ＮＣ５＋ＮＣ６）／３のように正反対の位置になかったり、面積の和が異なる透過領域を透過した光に基づく信号種間で演算処理した結果に基づいて画像形成に用いる信号種の組み合わせを選択してもよい。このことからも、８種類の非共焦点信号の組み合わせ間の演算が上記ｉ）〜ｉｉｉ）に限られず、任意の組み合わせ間の演算を行ってよいことが理解される。
【０１７４】
また、本実施形態では、異なる種類の非共焦点信号の信号値（輝度値）自体を用いて、血管の走行方向に関係なく血管壁の視認性を向上させた画像を形成する場合について説明した。しかしながら、非共焦点信号の組み合わせの選択及び画素値を決定するための演算に用いられる値は非共焦点信号の信号値に限定されない。例えば、図１４（ｂ）に示すような手順で、異なる種類の非共焦点信号に関する特徴量(輝度のコントラストもしくは空間微分の絶対値)が最大の信号種の組み合わせに基づいて、画像形成に用いる信号種の組み合わせを選択してもよい。また、当該信号種の組み合わせについて、非共焦点信号に関する特徴量に基づいて画素値を決定し、血管壁の視認性を向上させた画像を形成してもよい。
【０１７５】
図１４（ｂ）は、信号種の組み合わせの選択や画素値を決定するための最大値演算に非共焦点信号に関する特徴量を用いた場合の画像形成処理のフローチャートを示す。図１４（ｂ）に示すフローチャートは、ステップＳ１４２１乃至Ｓ１４４１以外、図１４（ａ）に示すフローチャートと同様であるため、相違点であるステップＳ１４２１乃至Ｓ１４４１を中心として説明し、他の箇所について説明を省略する。
【０１７６】
＜ステップＳ１４２１＞
ステップＳ１４２１では、特徴量算出部１３４が、各非共焦点重ね合わせ画像の非共焦点信号に関する特徴量(輝度のコントラストもしくは空間微分の絶対値)を算出し、算出した特徴量を演算部６３３に送る。なお、当該特徴量は記憶部１２０に格納されてもよい。
【０１７７】
演算部６３３は、注目画素を含む小領域において、特徴量算出部１３４から受け取った各非共焦点信号に関する特徴量を用いて演算処理を行い、演算値を算出する。なお、当該演算処理としては、非共焦点信号の組み合わせの選択に適切な任意の演算処理を行ってよく、例えば、各特徴量同士の加算を行ってもよい。
【０１７８】
＜ステップＳ１４３１＞
ステップＳ１４３１において、選択部６３８は、ステップＳ１４２１で算出した値同士を比較して、当該値が最大となる信号種の組み合わせを選択する。本実施形態では、上述の演算値の絶対値の総和同士を比較して、該総和が最大となる信号種の組み合わせを選択する。
【０１７９】
ここで、画像形成に用いる信号種の組み合わせの選択に用いる値として、演算値の総和を用いたが、これに限定されない。例えば、画像形成に用いる信号種の組み合わせの選択に用いる値として、演算値の最大値や平均値、所定の閾値以上の演算値の和を用いてもよい。
【０１８０】
選択部６３８は、選択した非共焦点信号の種類（信号種）の組み合わせを演算部６３３に送る。
【０１８１】
＜ステップＳ１４４１＞
ステップＳ１４４１では、演算部６３３が、注目画素において、ステップＳ１４３１で選択された信号種の組み合わせ間で非共焦点信号に関する特徴量同士で最大値演算を行い、演算結果を決定部１３５に送る。そして、決定部１３５が演算部６３３の演算結果に基づいて、特徴量がより大きい非共焦点画像の画素値を、形成する画像における注目画素の画素値として決定する。
【０１８２】
このように、非共焦点信号の信号値に代えて、非共焦点信号に関する特徴量を用いて非共焦点信号間の演算処理を行い、画像形成に用いる信号種の組み合わせを選択した場合でも、血管の走行方向に関わらず血管壁の視認性が高い画像を形成することができる。また、非共焦点信号に関する特徴量を用いて、形成する画像における各画素位置の画素値を決定した場合でも血管の走行方向に関わらず血管壁の視認性が高い画像を形成することができる。
【０１８３】
［その他の実施形態］
第１実施形態では、補正部１３２を備える画像形成装置１０によって、左右両側の血管壁の視認性を向上させた画像を形成する場合について説明した。また、第２実施形態では、選択部６３８を備える画像形成装置６０によって、血管の走行方向に関わらず血管壁の視認性を向上させた画像を形成する場合について説明した。上記においては、これら実施形態を異なる実施形態として説明したが、これらを組み合わせて画像を形成してもよい。すなわち、画像処理部に補正部と選択部の双方を設けることで、血管の走行方向に関わらず両側の血管壁の視認性の高い画像を形成することができる。
【０１８４】
このような変形例による画像形成装置７０の機能構成例を図１５に示す。図１５は、画像形成装置７０の概略的な機能構成例を示すブロック図である。図１５においては、第１実施形態及び第２実施形態による画像形成装置１０及び６０における構成要素と同様の構成要素について、同じ参照符号を付している。また、以下において、第１実施形態及び第２実施形態に係る構成及び画像処理フローと同様の構成及び画像処理フローについては、説明を省略し、これらとの相違点を中心に、本変形例による画像形成装置７０について説明する。
【０１８５】
画像形成装置７０は、第１実施形態による画像形成装置１０に対し、第２実施形態に係る選択部６３８が加えられた構成である。なお、これらの機能は第１実施形態及び第２実施形態における構成要素と同様であるため、説明を省略する。なお、画像処理部７３０の演算部７３３は、選択部６３８による信号種の組み合わせの選択及び補正部１３２による非共焦点重ね合わせ画像間の位置合わせや輝度調整が行われた非共焦点信号や非共焦点画像に関する演算を行う。
【０１８６】
以下、このような画像形成装置７０による画像形成処理について図１６（ａ）を参照して説明する。図１６（ａ）は、画像形成装置７０において実行される画像形成処理を示すフローチャートである。なお、当該画像形成処理におけるステップＳ１６１０、Ｓ１６６０及びＳ１６７０は、第１実施形態による画像形成装置１０において実行される画像形成処理のステップＳ１２１０、Ｓ１２４０及びＳ１２５０とそれぞれ同様であるため、説明を省略する。
【０１８７】
＜ステップＳ１６２０＞
ステップＳ１６２０では、演算部７３３が、第２実施形態における演算部６３３と同様に、注目画素を含む小領域内の各画素において、異なる非共焦点信号間での差分強調処理（演算処理）を行う。演算部７３３は、差分強調処理に用いた信号種の組み合わせ毎に、差分強調処理によって求めた差分値の絶対値を演算値として求め（第２の演算）、当該小領域内における演算値の総和を算出し、選択部６３８に送る。
【０１８８】
＜ステップＳ１６３０＞
ステップＳ１６３０では、選択部６３８が、ステップＳ１６２０で算出した差分値の絶対値の総和同士を比較して、当該総和が最大となる信号種の組み合わせを選択し、補正部１３２及び演算部７３３に送る。
【０１８９】
＜ステップＳ１６４０＞
ステップＳ１６４０では、異種信号位置合わせ部１３２１が、第１実施形態に係るステップＳ１２２０と同様に、選択部６３８によって選択された信号種の組み合わせに対応する非共焦点重ね合わせ画像間での位置合わせを行うことで両画像間の視差を低減する。異種信号位置合わせ部１３２１は、当該位置合わせが行われた非共焦点重ね合わせ画像を記憶部１２０に格納する。
【０１９０】
また、輝度補正部１３２２は、当該信号種の組み合わせに対応する非共焦点重ね合わせ画像間で何らかの原因で輝度分布が大きく異なっている場合に、位置合わせされた非共焦点重ね合わせ画像間での輝度分布特性を揃えるように調整する。調整する手法は第１実施形態に係るステップＳ１２２０と同様である。輝度補正部１３２２は、輝度補正が行われた非共焦点重ね合せ画像を記憶部１２０に格納する。
【０１９１】
＜ステップＳ１６５０＞
ステップＳ１６５０では、演算部７３３が、注目画素について、補正された各非共焦点重ね合わせ画像の非共焦点信号の組み合わせ間で最大値演算（第１の演算）を行い、演算結果を決定部１３５に送る。決定部１３５は、演算結果に基づいて、形成する画像における注目画素の画素値を決定する。
【０１９２】
上記のように、本変形例による画像形成装置７０は、第１実施形態による画像形成装置１０の構成に加え、画素値を決定する際に用いられる非共焦点信号の組み合わせを複数の種類の非共焦点信号の中から選択する選択部６３８をさらに備える。演算部７３３は、複数の種類の非共焦点信号間で差分強調処理を行って演算値として差分値の絶対値を算出し、選択部６３８は、算出された複数の種類の非共焦点信号間の演算値に基づいて、非共焦点信号の組み合わせを選択する。そして、補正部１３２は、選択された非共焦点信号の組み合わせに対して、当該非共焦点信号によって形成される非共焦点画像間の位置を合わせるように、補正を行う。その後、演算部７３３が、選択部６３８によって選択された非共焦点信号の組み合わせについて、補正された複数の種類の非共焦点信号を用いて最大値演算を行い、該演算結果に基づいて決定部１３５が注目画素の画素値を決定する。
【０１９３】
このように、本変形例による画像形成装置７０では、選択部６３８は、異なる信号種間の差分処理を行い該差分の絶対値の総和が最大となる信号種の組み合わせを選択する。その上で、補正部１３２が、該選択された信号種の組み合わせに対応する非共焦点重ね合わせ画像間で位置合わせや輝度分布を補正する。そして、演算部７３３が、該補正した信号対間の最大値演算により画素値を決定する。
【０１９４】
当該構成によれば、画像形成装置７０は血管の走行方向に関わらず左右両側の血管壁の視認性を向上させた画像を形成することができる。
【０１９５】
当該変形例による画像形成装置７０では、選択部６３８が信号種の組み合わせを選択した後に、補正部１３２が当該信号種の組み合わせに対応する非共焦点重ね合わせ画像の位置合わせ等を行った。これに対し、補正部１３２が異なる非共焦点画像間の視差や輝度分布を補正した上で、選択部６３８が信号種の組み合わせを選択してもよい。
【０１９６】
この場合には、演算部７３３が、補正された複数の種類の非共焦点信号間で差分強調処理を行って演算値として差分値の絶対値を算出し、選択部６３８が、補正された複数の種類の非共焦点信号間の演算値に基づいて、非共焦点信号の組み合わせを選択する。
【０１９７】
当該構成によっても、画像形成装置７０は、血管の走行方向に関わらず左右両側の血管壁の視認性を向上させた画像を形成することができる。
【０１９８】
また、本変形例では、信号種を選択するための演算処理や画素値を決定するための非共焦点信号間の演算に、非共焦点信号の信号値（輝度値）自体を用いて、血管の走行方向に関係なく血管壁の視認性を向上させた画像を形成する場合について説明した。しかしながら、信号種を選択するための演算処理や画素値を決定するための非共焦点信号間の演算に用いられるものは非共焦点信号の信号値に限定されない。例えば、異なる種類の非共焦点信号に関する特徴量(輝度のコントラストもしくは空間微分の絶対値)の演算値が最大となる信号種の組み合わせを選択し、当該特徴量が最大である非共焦点信号に基づいて画素値を決定してもよい。
【０１９９】
この場合、演算部７３３は複数の種類の非共焦点信号の値に関する特徴量を用いて、差分強調処理や特徴量の加算等を行い、演算結果として演算値を算出する。また、補正部１３２が異なる非共焦点画像間の視差や輝度分布を補正した上で、選択部６３８が信号種の組み合わせを選択する場合には、演算部７３３が補正された複数の種類の非共焦点信号の値に関する特徴量を用いて同様の演算を行い、演算値を算出する。そして、選択された非共焦点信号の組み合わせについて、演算部７３３が非共焦点信号に関する特徴量について最大値演算を行い、決定部１３５が当該演算結果に基づいて画素値を決定する。これらの場合であっても、画像形成装置７０は、血管の走行方向にかかわらず左右両側の血管壁の視認性を向上させた画像を形成することができる。
【０２００】
また、上述の第２実施形態や変形例では、選択部６３８が画素値を決定すべき画素（注目画素）毎に信号種の組み合わせを選択する場合について説明したが、本発明はこれに限定されない。例えば、画像内の小領域毎に信号種の組み合わせ選択を行ったり、画像全体の輝度値を用いて画像に対して一様に信号種の選択を行ったりする場合も本発明に含まれる。
【０２０１】
また、上述の第２実施形態や変形例では、選択部６３８が画像全体の画素値（輝度値）に対して信号種の組み合わせの選択処理を行い、画像全体について血管壁の視認性を向上させた画像を形成した。しかしながら、信号種の組み合わせの選択処理や血管壁の視認性を向上させた画像の形成領域はこれに限定されない。例えば、図１６（ｂ）に示すような手順で、画像処理部が特徴抽出処理を行って１以上の関心領域を指定し、当該関心領域内で算出した非共焦点信号間の演算値が最大となる信号種の組み合わせを選択し、関心領域内の画像を形成する場合も本発明に含まれる。図１６（ｂ）は、このような場合の画像形成処理を示すフローチャートである。なお、ステップＳ１６１１は図１６（ａ）に示す、上記変形例による画像形成装置７０における画像形成処理のステップＳ１６１０と同様であるため、説明を省略する。
【０２０２】
図１６（ｂ）に示す画像形成処理は、ステップＳ１６１２，Ｓ１６２１及びＳ１６６１以外、図１６（ａ）に示す画像形成処理と同様であるため、当該相違点を中心に説明する。
【０２０３】
＜ステップＳ１６１２＞
当該変形例におけるステップＳ１６１２では、画像処理部が公知の特徴抽出処理により、血管の特徴を抽出し、抽出した特徴に基づいて関心領域（ＲＯＩ：Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）を決定する。画像処理部は、決定したＲＯＩを演算部に送る。
【０２０４】
＜ステップＳ１６２１＞
ステップＳ１６２１では、演算部が、第２実施形態係るステップＳ１４２０と同様に、決定されたＲＯＩ内における注目画素を含む小領域について、異なる非共焦点信号間での差分強調処理を行う。演算部は、差分強調処理に用いた信号種の組み合わせ毎に、差分強調処理によって求めた差分値の絶対値を演算値として求め、当該小領域内における演算値の総和を算出し、選択部に送る。
【０２０５】
ステップＳ１６３１乃至ステップＳ１６５１については、図１６（ａ）に示す、上記変形例による画像形成装置７０における画像形成処理のステップＳ１６３０乃至Ｓ１６５０と同様であるため、説明を省略する。
【０２０６】
＜ステップＳ１６６１＞
ステップＳ１６６１では、画像処理部が、ＲＯＩ内の全画素において非共焦点信号間の演算処理が完了していれば、図９に示すステップＳ９４０へと処理を進め、まだ演算処理が未了の画素が残っている場合にはステップＳ１６７１へと処理を進める。なお、ステップＳ１６７１は図１６（ａ）に示す、上記変形例による画像形成装置７０における画像形成処理のステップＳ１６７０と同様であるため、説明を省略する。
【０２０７】
このようにして、画像全体ではなく、特定の関心領域内の画素について、信号種の組み合わせを選択し、血管壁の視認性を向上させた画像を形成してもよい。なお、第１実施形態による画像形成装置１０のように、信号種の組み合わせを選択しない構成であっても同様である。
【０２０８】
なお、当該変形例においては、画像処理部が特徴抽出処理を行って１以上の関心領域を指定したが、例えば、操作者がキーボード３０６やマウス３０７等を用いて手動で関心領域を指定してもよい。
【０２０９】
また、上述の実施形態では、予め指定された撮影対象領域について、選択部６３８が選択した信号種間で演算処理した結果を用いて画像を形成する場合について説明した。しかしながら、撮影対象領域の決定はこれに限定されない。例えば、選択部６３８が選択した信号種に基づいて血管の走行方向情報を取得した上で、血管の走行方向情報に基づいて撮影対象領域を決定してもよい。
【０２１０】
上述の実施形態では信号取得部１１０に共焦点データ取得部１１１と非共焦点データ取得部１１２を両方とも含む場合について説明したが、非共焦点データを２種以上取得可能な構成であれば、信号取得部１１０に共焦点データ取得部１１１を含まなくてもよい。
【０２１１】
さらに、以上では各実施形態に係る画像形成装置について述べたが、本発明の実施形態は画像形成装置のみに限定されない。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。なお、このようなプログラムを記憶した記憶媒体も本発明の趣旨に含まれる。
【０２１２】
なお、上記実施形態では、共焦点画像及び非共焦点画像が動画像である場合について述べた。しかしながら、共焦点画像及び非共焦点画像は静止画であってもよい。この場合には、これらの画像はフレーム毎に位置合わせをすることなく、それぞれ画像形成に用いられる。そのため、演算部において、重ね合わせ画像ではなく、それぞれの静止画に対して演算を行って形成する画像の注目画素について演算を行い、決定部が当該演算結果に基づいて画素値を決定する。この場合に構成された画像形成装置であっても、第１実施形態や第２実施形態に係る画像形成装置と同様の効果を奏することができる。
【０２１３】
また、上記実施形態では、被測定物が眼の場合について述べた。しかしながら、本発明に係る画像形成装置及び画像形成方法は、眼以外の皮膚や臓器等を被測定物として検査する検査装置にも適用することが可能である。そのため、眼科装置以外の、例えば内視鏡等の医療機器に本発明に係る画像形成装置を用いることもできる。
【０２１４】
以上、実施形態を参照して本発明について説明したが、本発明は上記実施形態に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
【符号の説明】
【０２１５】
１０：画像形成装置、１１０：信号取得部、１３２：補正部、１３５：決定部
【図１】
0006711617.tif 000002
【図２】
0006711617.tif 000003
【図３】
0006711617.tif 000004
【図４】
0006711617.tif 000005
【図５】
0006711617.tif 000006
【図６】
0006711617.tif 000007
【図７】
0006711617.tif 000008
【図８】
0006711617.tif 000009
【図９】
0006711617.tif 000010
【図１０】
0006711617.tif 000011
【図１１】
0006711617.tif 000012
【図１２】
0006711617.tif 000013
【図１３】
0006711617.tif 000014
【図１４】
0006711617.tif 000015
【図１５】
0006711617.tif 000016
【図１６】
0006711617.tif 000017