(57)【要約】      （修正有）【課題】レーザの二次元走査によって画像を形成する画像処理装置で各ラインのトリガにタイミングずれがある場合の画質劣化を低減する。【解決手段】被検査物上でレーザを主走査方向に往復走査することで得られた画素群から前記被検査物の画像を生成する画像生成装置において前記レーザによる一往復分の走査による第一の画素列と、前記第一の画素列に隣接し且つ前記レーザによる一往復分の走査による第二の画素列とを取得する画素列取得手段と、前記第一の画素列と第二の画素列とを比較して、前記第一の画素列と前記第二の画素列との位置ずれ量を検出する往復行比較手段と、を配する。【選択図】図２
2016080962.tif 000002
【特許請求の範囲】
【請求項１】
被検査物上でレーザを主走査方向に往復走査することで得られた画素群から前記被検査物の画像を生成する画像生成装置であって、
前記レーザによる一往復分の走査による第一の画素列と、前記第一の画素列に隣接し且つ前記レーザによる一往復分の走査による第二の画素列とを取得する画素列取得手段（３１０）と、
前記第一の画素列と第二の画素列とを比較して、前記第一の画素列と前記第二の画素列との位置ずれ量を検出する往復行比較手段（３３０）と、
を備えることを特徴とする画像生成装置。
【請求項２】
前記往復行比較手段は、前記第一の画素列及び前記第二の画素列をそれぞれ一ライン状にみなして前記位置ずれ量を検出することを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記検出された位置ずれ量に応じ、前記第一の画素列又は第二の画素列の何れかをずらす事で前記位置ずれを補正して補正済画素列を生成する往復行補正手段（３３０）をさらに備えることを特徴とする請求項１又は２に記載の画像生成装置。
【請求項４】
２個以上の前記補正済画素列から、前記画素列を列の途中で分割して所定の第一のブロック領域と第二のブロック領域とを抽出するブロック抽出手段（３５０）と、
前記第一のブロック領域と第二のブロック領域とを比較するブロック比較手段（３５０）と、
をさらに備えることを特徴とする請求項３に記載の画像生成装置。
【請求項５】
前記ブロック比較手段による比較結果に応じて、前記往復走査における各画素の位相を決定する位相決定手段（３５０）をさらに備えることを特徴とする請求項４に記載の画像生成装置。
【請求項６】
前記ブロック比較手段は、前記第一のブロック領域又は前記第二のブロック領域を１画素未満分だけ副走査方向に平行移動する平行移動手段（３５０）を含むことを特徴とする請求項４又は５に記載の画像生成装置。
【請求項７】
前記ブロック比較手段は、前記第一のブロック領域及び前記第二のブロック領域の画像を縮小処理する縮小手段（３５０）を含むことを特徴とする請求項４乃至６の何れか一項に記載の画像生成装置。
【請求項８】
前記ブロック抽出手段は、前記ブロック比較手段に適した領域を含むように前記第一のブロック領域および前記第二のブロック領域を抽出する手段を含むことを特徴とする請求項４乃至７の何れか一項に記載の画像生成装置。
【請求項９】
前記被検査物の画像から血管、視細胞、まつ毛の少なくともいずれかの像を認識する画像認識手段（７６０）をさらに備えることを特徴とする請求項４乃至８の何れか一項に記載の画像生成装置。
【請求項１０】
前記ブロック抽出手段は、前記画像認識手段により認識された像に応じて抽出するブロックを決定することを特徴とする請求項９に記載の画像生成装置。
【請求項１１】
前記画像に応じて、補正する画素列の数を動的に決定する補正画素列数決定手段（９４０）を含むことを特徴とする請求項４乃至１０の何れか一項に記載の画像生成装置。
【請求項１２】
前記被検査物は眼球であって、前記眼球の固視微動、瞬き、脈動の少なくともいずれかを検出する動き検出手段（７７０）をさらに含むことを特徴とする請求項１１に記載の画像生成装置。
【請求項１３】
前記補正画素列数決定手段は、前記動き検出手段の結果を用いて前記補正する画素列の数を決定する事を特徴とする請求項１２に記載の画像生成装置。
【請求項１４】
前記補正画素列数決定手段は、前記往復行比較手段により検出されたずれ量に基づいて前記補正する画素列の数を決定する事を特徴とする請求項１１又は１２に記載の画像生成装置。
【請求項１５】
前記被検査物の画像から血管、視細胞、まつ毛の少なくともいずれかの像を認識する画像認識手段（７６０）をさらに備えることを特徴とする請求項１乃至３の何れか一項に記載の画像生成装置。
【請求項１６】
前記被検査物は眼球であって、前記眼球の固視微動、瞬き、脈動の少なくともいずれかを検出する動き検出手段（７７０）をさらに含むことを特徴とする請求項１乃至１０及び１５の何れか一項に記載の画像生成装置。
【請求項１７】
前記レーザの一往復の走査ごとに所定の基準画素位置を検出するトリガ（２００）をさらに備え、
前記一往復分の画素は、前記トリガを基準として走査時の往路と復路の間の無効区間を含む所定の画素数として得られる事を特徴とする請求項１乃至１６の何れか一項に記載の画像生成装置。
【請求項１８】
被検査物上でレーザを主走査方向に往復走査することで得られた一連の画素群から前記被検査物の画像を生成する画像生成方法であって、
前記レーザによる一往復分の走査による第一の画素列を取得するステップと、
前記第一の画素列に隣接し且つ前記レーザによる一往復分の走査による第二の画素列を取得するステップと、
前記第一の画素列と前記第二の画素列とを比較して前記第一の画素列と前記第二の画素列との位置ずれを検出する往復行間位置ずれ検出ステップと、
を含む事を特徴とする画像生成方法。
【請求項１９】
請求項１８に記載の画像生成方法の各工程をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物上でレーザ光を走査する事によって該対象物の画像を生成する画像生成装置、画像生成方法、及びプログラムに関するものである。
【背景技術】
【０００２】
近年、走査型レーザ検眼鏡（Scanning Laser Ophthalmoscope）のように、スキャン対象に対してレーザ光を二次元状に走査し、該レーザ光のスキャン対象からの反射光の光量などを連続的に測定する事で画像を生成する装置が知られている。図１３にスキャン対象上での該レーザ光の走査態様を示す。同図に示すように、このような装置では、レーザ光の照射位置を副走査方向（上下方向）にずらしながら、該レーザ光による主走査方向（左右方向）の往路走査と復路走査とが交互に行われる。この主走査方向のレーザ光の走査には共振スキャナが、また副走査方向の走査にガルバノスキャナなどが用いられる。画像の生成に際しては、光センサにより前述した反射光を受光している。そして、受光された光量等に基づいて画像生成がなされる。
【０００３】
共振スキャナでは、水平同期信号を往路復路それぞれのライン先頭位置のトリガとし、往路復路各々の走査に応じた所定数の画素からなる画素列を、該トリガに対応して取得する事で１ラインを構成する。このように構成された１ラインの構成を副走査方向にずらしながら繰り返す事で１フレームを構成する。具体的には、図１３に示すように、往路トリガ１３１０、１３２０、１３３０、１３４０及び１３５０により往路の各ラインに対応する列状の画素各々の取得を開始する。往路の各ラインにて所定数の画素（実線部）を取得したのち、無効区間（破線部）でレーザ光の走査方向が折り返される。折り返しの後、復路でのトリガ１３１５、１３２５、１３３５、１３４５、及び１３５５で再び逆方向の各ラインに対応する列状の画素の取得を実行している。そして、往路トリガと主走査方向上の位置が略対応する位置までの画素の取得が行われる。
【０００４】
ここで、共振スキャナの水平同期信号に関する課題について説明する。水平同期信号は、速度センサなどを用いて生成される。しかし、走査時の往路と復路との間でトリガを得るタイミングが完全には合わず、往路の最終画素と復路の一画素目が合わない事がある。これは共振スキャナの周波数がゆるやかに変動している事などに起因する。また、走査時の往路同士を比較しても、電気的ノイズなどの影響により、トリガを得るタイミングが一致していない事がある。従って、ラインごとに主走査方向にわずかにずれた画像が形成される事になり、このことは最終的に構成する画像において画質が損なわれる原因となり得る。
【０００５】
画質が損なわれるケースについて、図１４を用いて説明する。図１４は構成される平面画像例の一部を拡大した図であって、当該図における枡１つ１つが各々取得される１画素を表している。図１４（ａ）はトリガと画素取得の開始時とにおいてタイミングずれが無い理想的な場合に取得される画像例であり、図１４（ｂ）はタイミングずれがある場合に取得される画像例である。図に示す例のように、画像上に縦方向の像のエッジがあるとすると、タイミングずれが存在する場合にはこれによりエッジ位置が揃わず、櫛状などいびつな像の境目としてのエッジが形成される。なお図１４（ｂ）では、例示を簡単とするために画素単位でずれを表現しているが、実際には０．５画素などサプピクセル単位でずれは発生する。
【０００６】
このようなトリガのタイミングずれに対し、特許文献１に開示される技術では光学系を配して走査光を分岐させて、分岐して得た光に基づいて走査位置を検出し、検出位置にしたがって補正できるようにしている。また特許文献２に開示される技術では、往路走査と復路走査での時間的なずれを考慮した受光信号の信号取得条件を予め記憶しておき、その信号取得条件にしたがって信号を取得する事で画像のずれを軽減している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１４５８２６号公報
【特許文献２】特開２０１２−２１３４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の手法では、ハーフミラーやレンズ、更にはセンサなどを追加する必要があるためコスト増や筐体の大型化を引き起こす。また特許文献２の手法では、模型眼などを用いて事前に信号取得条件を決定する必要がある。このため、静的なタイミングずれ（同じずれ量が連続する場合など）には有効であるが、電気的ノイズなどに起因する動的なタイミングずれ（ずれ量がランダムな場合など）には適用できない。
【０００９】
本発明は以上の状況に鑑みて為されたものであって、水平同期信号に動的なタイミングずれがある場合でもこのずれを好適に補正して高品質な画像の構成を可能とする画像生成装置、画像生成方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る画像生成装置は、被検査物上でレーザを主走査方向に往復走査することで得られた画素群から前記被検査物の画像を生成する画像生成装置であって、
前記レーザによる一往復分の走査による第一の画素列と、前記第一の画素列に隣接し且つ前記レーザによる一往復分の走査による第二の画素列とを取得する画素列取得手段（３１０）と、
前記第一の画素列と第二の画素列とを比較して、前記第一の画素列と前記第二の画素列との位置ずれ量を検出する往復行比較手段（３３０）と、
を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、トリガのタイミングずれが与える影響を低減し、新たなセンサなどの追加なしで高品質な画像を構成することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１における画像の処理単位を説明する図である。
【図２】本発明の実施形態１における画像生成装置の機能構成の一例を説明する図である。
【図３】本発明の実施形態１における画像処理の流れを説明するフローチャートである。
【図４】本発明の実施形態１における往復行の位置合わせを説明する図である。
【図５】斜め構造体がある場合の位置合わせを説明する図である。
【図６】本発明の実施形態１におけるバンド内ブロックの位置合わせを説明する図である。
【図７】本発明の実施形態１変形例における画像生成装置の機能構成の一例を示す図である。
【図８】実施形態１変形例におけるバンド内ブロックの位置合わせを説明する図である。
【図９】本発明の実施形態１変形例における画像処理の流れを説明するフローチャートである。
【図１０】本発明の実施形態２における画像処理の流れを説明するフローチャートである。
【図１１】本発明の実施形態２におけるバンド内ブロックの位置合わせを説明する図である。
【図１２】本発明の実施形態３における画像処理を実施する機能構成の一例を説明する図である。
【図１３】レーザの二次元走査を説明する図である。
【図１４】トリガのタイミングずれを説明する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関わる本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１４】
＜実施形態１＞
まず共振スキャナの特性の１つであるサイン歪みについて説明する。共振スキャナは振り子のように位置によって走査速度が変化する。このため、被検査物上において共振スキャナで走査した測定光により取得した画像は正弦波状に走査領域中央では取得画像が縮み、端にいくほど伸びる歪み（サイン歪み）を持っている。これを補正するため、主走査方向の画像に取得位置に応じて走査範囲の端にいくほど画像が縮小するような逆変換処理（サイン歪み補正）が行われる。
【００１５】
このようなサイン歪み補正を行うには、画像を得る各画素におけるサイン歪みの位相が必要になる。本実施形態では、測定光走査時の往路と復路の間で走査方向が反転する画素位置（折り返し位置と呼ぶ）を求める。共振の周波数を既知とする時、折り返し位置を０°として当該位置を基準にすれば各画素の位相が分かる事になる。なお、後述する本実施形態の構成では、後段でサイン歪み補正が実施可能な構成となっている。しかし、本発明においてサイン歪み補正は必須ではなく、また入力画像がサイン歪みを持っている事も必須要件ではない。
【００１６】
次に、本実施形態における処理単位の１つである画素１往復分（以降、往復行と呼ぶ）、即ち主走査方向において測定光を１往復させて得られる画素列について説明する。往復行では、例えば図１３において点線にて囲まれた区間１３５０のように、往路の先頭画素（往路トリガ位置）から次の復路の最終画素までの所定数の画素が含まれるとする。なお、この所定数には、往路と復路の間の無効区間における画素の数を含む。該トリガは、レーザの一往復の走査ごとに所定の基準画素位置を検出する。その際この一往復分の画素には、トリガを基準として走査時の往路と復路との間の無効区間を含む所定の画素数を含む。
【００１７】
図１は、図１４（ｂ）に示した画像を、往復行１００、１１０、１２０、１３０、１４０、１５０、１６０、及び１７０ごとに示している。
【００１８】
例えば図１４（ｂ）に示される画素列の１行目と、２行目とその間の無効区間と、を合わせて往復行１００は構成されている。即ち、往復行は本来２行であるが、本実施形態ではこれを図示したように１つのライン状の画素列とみなして処理単位としている。即ち、これら１行目と２行目とを一ライン状に配列し直して、１つのライン上の画素列として後に後述するように位置ずれ量の検出等の処理に用いる。また、１往復行における一画素に対応するマス目に付記された濃淡は、各画素の輝度値等の画素値を例示的に示している。
【００１９】
ここで、往路と復路は副走査方向にわずかにずれているもののほぼ同じ場所を走査している。また、往路と復路とでは走査方向が逆となる。このため、通常、これら往復行は左右対称に近い画素構成となる。なお、上記往復行は往路トリガ位置を基準として取得すると説明したが、復路トリガを基準としても良い。或いは、トリガとは関係なく所定の周期で取得するとしても良い。
【００２０】
図２は、本実施形態における画像生成装置２０の機能構成の一例を示している。画像生成装置２０は、画像取得部２００、制御部２２０、記憶部２３０、画像処理部２４０、及び出力部２５０を有する。該画像生成装置２０は、被検査物である被検眼上でレーザを主走査方向に往復走査することで得られた画素群から該被検眼の画像を生成する。
【００２１】
画像取得部２００は、不図示の共振スキャナ等を用いて測定光を眼底上で走査することで得られた一連の画素列を順に取得する。画像処理部２４０は、２つの異なる画像処理に行うために、往復行処理部２４１及びブロック処理部２４２の２種類の処理部を含む。これら処理部を併用し、該画像処理部２４０は取得した画像に含まれるタイミングずれを補正する。記憶部２３０は、画像処理の中間データ等を記憶する。出力部２５０は、補正された画像を外部メモリや後段に設けられた他の画像処理部へ送る。制御部２２０は、これら一連の構成により行われるデータ処理走査全般を制御する。
【００２２】
本実施形態における画像処理の流れを図３にフローチャートとして示す。同処理操作において、ステップ３００において処理を開始する。ステップ３１０及びステップ３２０において、制御部２２０は画像上方から順に１往復行目の画素を画像取得部２００から取得し、画像処理部２４０へ送る。例えば、ステップ３１０にて画像の最上部の１往復行の画素を取得した場合、ステップ３２０ではその下の１往復行の画素を取得することとなる。
【００２３】
ステップ３３０において、往復行処理部２４１はステップ３２０で取得した往復行と直前の隣接する往復行との位置合わせを行い、往復行間の位置ずれを補正する。制御部２２０は、補正後の画像データを記憶部２３０に一時的に蓄積させる。
【００２４】
ステップ３４０では所定数Ｎ（Ｎは２以上の整数）回の往復行の処理（すなわちステップ３３０の位置合わせ処理はＮ−１回実行されていることとなる）が終了しているか否かを確認する。ここで終了していると確認されれば、フローはステップ３５０に進む。終了していない場合であれば、フローはステップ３２０に戻る。
【００２５】
ステップ３５０において、ブロック処理部２４２はＮ往復行をまとめた領域（以降ではバンドと呼ぶ）を処理単位として記憶部２３０からこのバンドに含まれる往復行のデータを読み出す。読み出されたデータは、バンド往路領域（左半分）とバンド復路領域（右半分）とに分離され、これらで位置合わせが行われる。この操作により、バンド単位で往復の折り返し位置を求めることができ、また前述したように各画素の位相も求まる。
【００２６】
処理後の画像データは、出力部２５０から画像生成装置２０の外部へ出力される。外部では前述したサイン歪み補正など他の画像処理をさらに行っても良い。この場合、出力部２５０は各画素の位相情報を付加して出力しても良い。
【００２７】
ステップ３６０では、全往復行の処理が終了しているか否かを判定する。終了していると判定されれば、フローはステップ３７０に進み画像処理は終了する。全往復行の処理がまだ終了していないと判定される場合ステップ３１０に戻り、残りの往復行についての処理が進められる。
【００２８】
以降では、本発明のポイントであるステップ３３０で行われる往復行の位置合わせ、及びステップ３５０で行われるバンド単位の位置合わせに関して詳しく説明する。
ステップ３３０で行われる位置合わせでは、まず副走査方向に連続する２つの往復行の画素値の並びはほぼ同じであるとの仮定のもとで実行される。この仮定に基づき、両者の画素値が最も近くなる（最も相関が高くなる）主走査方向の相対位置（シフト量）を測定する。次に、副走査方向で下に位置する方の往復行を、測定されたシフト量分主走査方向にずらす（平行移動する）。この操作を通じ、両往復行の画素各々の主走査方向での位置が合うように相対位置補正が行われる。
【００２９】
図４にこの操作の例を模式的に示す。往復行４００とその下に位置する往復行４１０とは補正前の各々の画素の位置関係を示す。また、往復行４２０は、往復行４１０の配置を補正した結果を示している。往復行４００の画素列に対して、画素値によれば往復行４１０の画素列は１画素分主走査方向で右にずれている。よって、往復行４２０では、この相対的なシフト量を補償するように、往復行４１０を１画素左にずらしている。これにより、往復行４２０は往復行４００に対して主走査方向の位置が合わされる。ただし、往復行の画素にノイズが多い場合など、位置合わせを実行してもその精度が低いと考えられる場合は、この補正の操作を実行せずにフローをステップ３４０に進めることとしても良い。
上記シフト量を測定する方法について、更に詳しく説明する。シフト量の測定には、例えば相互相関（cross correlation）を利用する方法が適用できる。位置合わせをする２つの往復行をそれぞれｆ（ｘ）、ｇ（ｘ）とする。この時、相互相関関数ｃ（ｍ）はｆとｇの畳み込みとして
【数１】
2016080962.tif 000003
と定義される。上記相互相関関数を算出し、最大値を与えるｍがシフト量として求まる。なお、往復行ｆ（ｘ）、ｇ（ｘ）に対して、中央など重要箇所の重みが大きくなるように事前に重みづけしてから相互相関関数を算出するとしても良い。また、相互相関関数はフーリエ変換を用いて求めても良い。畳み込みはフーリエ空間では乗算に相当するので、これにより計算量の削減が期待できる。
【００３０】
また、その他のシフト量測定方法として、ｆ（ｘ）、ｇ（ｘ）を相対的に平行移動しながら差分二乗和が最小となるシフト量を探索する方法を用いても良い。或いは、ｆ（ｘ）、ｇ（ｘ）から前述したエッジなどの特徴点をそれぞれ検出し、該特徴点の対応関係からシフト量を求めても良い。
【００３１】
ステップ３３０での操作は、ステップ３５０に進むまでに（Ｎ−１）回繰り返される。従って、ステップ３５０にフローが進んだ段階ではＮ往復行の画素列の主走査方向の位置が合わされた状態となる。
【００３２】
なお、一般的に画像の連続するラインを位置合わせする場合、画像中に斜め方向に走る像によるエッジがあると、単純に相互相関関数を求める方法では正しく位置合わせできないことがある。眼底をスキャンする場合は血管などが、このようなエッジを形成する要素に相当することがある。本実施形態において、このようなエッジが存在する場合について図５を例に説明する。
【００３３】
図５（ａ）は、画像中に斜め構造体があった場合の、従来の画素データ取得様式での往行で得られる画素列５００とその下の復行で得られる画素列５１０を示している。この場合、斜め構造体の存在によって、図５（ａ）で示す画像が本来の正しい位置を示す画素の状態である。このとき、この両者を上記方法等で単純に位置合わせすると、図５（ｂ）のように画素列５２０に対して画素列５３０を主走査方向左に１画素分シフトさせることとなる。その結果、間違った位置へと画素列が補正されてしまう事になる。
【００３４】
一方、本実施形態におけるステップ３３０では、往復行を一列の画素列としてこれを１単位として位置合わせしている。往復行の位置合わせは、図５（ｃ）にしめすように、上下に並んだ左右対称の画素値変化を有する列同士の位置合わせとなる。すなわち斜め構造体があっても往路と復路とでは逆の勾配になるため、相互相関や差分二乗和を算出すると斜め構造体の影響を打ち消しあって正しく位置合わせできる。また、本実施形態によれば、特徴点対応を用いる手法であっても、平均値を取ることで斜め構造体の影響を打ち消す事ができる。
【００３５】
次に、ステップ３５０で行われるブロック間の位置合わせに関して詳しく説明する。
ステップ３５０では、バンドの往路領域（左半分）と復路領域（右半分）からそれぞれ位置合わせに適したブロック領域を抽出し、両者の相対位置を測定する。ここで、往路領域と復路領域とは走査方向が逆なので、復路領域は左右反転した上で相対位置の測定を行う。
【００３６】
図６にＮ＝４の場合のブロック間の位置合わせの例を示す。まず、バンド６００の往復の折り返し位置６３０を仮定する。次に、折り返し位置６３０から左右それぞれ等距離となる左ブロック６１０、及び右ブロック６２０を抽出する。右ブロック６２０は反転した上で左ブロック６１０と位置合わせする（図６（ａ）参照）ことで、両者の主走査方向の相対位置（シフト量）を測定する。左ブロック６１０と右ブロック６２０との間のシフト量は、折り返し位置６３０のずれ量である。よって、そのずれ量分、仮定した折り返し位置６３０からずらした折り返し位置を求めることで、正しい折り返し位置６４０を得ることができる（図６（ｂ）参照）。次に、この正しい折り返し位置６４０を軸として復路領域に対応する右ブロック６５０を折り返す。より詳細には、復路領域を反転して１ラインごとに副走査方向に並ぶ往行の画素列と往行画素列との間に、復行の画素列を折り返したうえで挿入する。以上の操作により、ずれのない画像６６０を得ることができる。このようにステップ３５０ではブロック領域を使って位置合わせするので、ノイズが多い場合などでも比較的ロバストに折り返し位置を求めることができる。
【００３７】
なお、抽出する左ブロック６１０及び右ブロック６２０はあらかじめ決められた座標のブロックを用いるとしても良いし、画像に応じて位置合わせに適した領域を動的に決定しても良い。動的に決定する場合は、縦方向のエッジを含むように抽出しても良いし、例えば血管や視細胞、まつ毛などの構造物を画像認識処理で検出した上でこれらをブロック内に含むように決定しても良い。一般に、濃淡が少ない領域同士を高精度に位置合わせするのは難しい。このため、ブロック内にこのような構造物を含めることで、位置合わせ精度の向上が期待できる。なお、このような操作を加える場合、例えば後述する図７に示す機能構成のように、画像処理装置に対して更に画像認識部７６０を備えた構成になる。
【００３８】
図７に示す画像処理装置７０は、図２に示した画像処理装置２０の構成と対応する画像取得部７００、制御部７２０、記憶部７３０、画像処理部７４０、及び出力部７５０に加え、前述した画像認識部７６０及び後述する動き検出部７７０を有する。例えば、この画像認識部７６０を付加することによって、先に述べたように、ブロック内に含まれる構造物を認識し、これに基づいた往行画素列と復行画素列との位置合わせが実行可能となる。該画像認識手段である画像認識部７６０は、被検査物が眼であるとすれば、その画像より血管、視細胞、まつ毛の少なくとも何れかの像を認識することとなる。当該画像認識部７６０が配される場合、後述するブロック抽出手段は、この画像認識手段により認識された像に応じて抽出するブロックを決定することが好ましい。
【００３９】
以上説明したように、本実施形態では往復行単位とバンド単位の二段階で位置合わせすることとしている。これにより、光学的な構成の付加や模型眼を用いた予備的操作を実施することなく、各ライン間の画素取得時のタイミングずれを工程に補正することが可能となる。
【００４０】
以上述べたように本実施形態では、レーザによる一往復分の走査による第一の画素列１００と、第一の画素列１００に隣接してレーザによる一往復分の走査による第二の画素列１１０とを、画素列取得手段として機能する画像取得手段２００によって取得する。次に、この第一の画素列と第二の画素列とを、往復行比較手段として機能する往復行処理部２４１によって比較して、これら画素列間の位置ずれ量を検出する。また、該往復行比較手段は、この位置ずれ量の検出に際しては、各々往復行からなる第一の画素列及び第二の画素列を、図１に示すように一ライン状の画素列として並び替えた後に位置ずれを求めている。更に、往復行処理部２４１は、本実施形態での往復行補正手段として、検出された位置ずれ量に応じて、第一の画素列及び第二の画素列の何れかをその列の並び方向にずらせて該位置ずれを補正し、補正済み画素列を生成する。
【００４１】
続けて、２個以上（上述したＮ回の処理により得られたＮ個）の該補正済画素列から、該画素列を列の途中で分割することで、上述した所定の第一のブロック領域と第二のブロック領域とを抽出する。この抽出の操作はブロック処理部２４２においてブロック抽出手段として機能する領域により実行される。また、抽出されたこれらブロックは、同じくブロック処理部２４２におけるブロック比較手段として機能する領域により比較され、この比較結果によってレーザ往復走査における各画素の位相が決定される。該決定の操作は、同じくブロック処理部２４２において位相決定手段として機能する領域により実行される。
【００４２】
＜変形例１＞
上述した実施形態１の変形例として、ステップ３５０において、抽出した右ブロック６２０とブロック左ブロック６１０とを位置合わせする。本変形例では、この位置合わせの操作の前に、補間演算を用いて一方のブロックを０．５画素分垂直上方に平行移動するとしている。往路領域（左半分）は、元の画像を考えれば復路領域（右半分）より垂直方向に１ライン上方に位置している。
【００４３】
往復行における０．５画素分は元画像の１ライン分に相当するので、上述したように右ブロック６２０を平行移動する事により、該右ブロック６２０と左ブロック６１０との副走査方向の位置を同等とする事ができる。このような操作を含めることによって、より高精度化された位置合わせが期待できる。なお、左ブロック６１０を０．５画素分、垂直下方に平行移動しても同等の効果が得られることは言うまでもない。
【００４４】
以上の第一のブロック領域及び第二のブロック領域の何れかを画素一個、即ち１画素未満分だけ副走査方向に平行移動する操作は、ブロック処理部２４２におけるブロック比較手段に含まれた平行移動手段によって実行される。
【００４５】
＜変形例２＞
上述した実施形態１の更なる変形例として、ステップ３５０において、バンドの折り返し位置を求める前に変倍処理（解像度変換）をおこなっても良い。例えば図８の例ではバンド８００から抽出した左ブロック８１０及び右ブロック８２０を、それぞれ縦横半分に縮小した上で位置合わせをしている。この場合求めたシフト量の２倍の値が変倍前のブロックのシフト量として算出できる。当該変形例によれば、画像を縮小する事で位置合わせの精度は低くなるが、演算量やメモリ量を大幅に削減できる。
【００４６】
この、第一のブロック領域及び第二のブロック領域の画像を縮小処理する縮小処理は、ブロック処理部２４２におけるブロック比較手段に含まれる縮小手段によって実行される。
【００４７】
＜変形例３＞
上述した実施形態１では、バンドを構成する往復行の数であるＮはあらかじめ決められた所定の値であったが、このＮを動的に決定することとしても良い。この場合、往復行処理部２４１は、予め認識された血管等の特徴的に画像に応じて、補正する画素列の数を動的に決定する補正画素列数決定手段として機能する領域を有することが好ましい。
【００４８】
本変形例における処理の流れを図９に示すフローチャートを用いて説明する。実施形態１に示した処理工程と比較して、本変形例ではステップ９４０の工程が追加されている。ステップ９００〜ステップ９３０の工程は実施形態１のステップ３００〜ステップ３３０の工程に各々対応し、ステップ９５０〜ステップ９８０の工程はステップ３４０〜ステップ３７０の工程に各々対応している。
該ステップ９４０では、バンド中の画素値やステップ９３０で求めたシフト量などに応じてバンドの切れ目を決定する。本変形例では、例えば、バンドを周波数解析して、後段のステップ９６０での位置合わせに十分な情報量がある場合、バンドを切ることとしている。この場合、ステップ９６０での操作の結果が期待する範囲内の値でなかった場合には、ステップ９４０に戻ってバンドの切れ目を再設定するとしても良い。或いは、病変などの画像の重要領域がないところをバンドの切れ目としても良い。更には、眼球の固視微動や瞬き、脈動など少なくとも何れかの動きを検出し、そのタイミングに合わせるとしても良い。
【００４９】
例えば１フレームの走査の途中でサッカード（固視微動の一種）や瞬きが起きれば、その前後では画像の連続性が途切れて位置合わせの精度が低下し得る。よってこれらに合わせてバンドを切る事により、位置合わせ精度の低下を防止できる。この場合、装置の機能構成として、例えば図７に示す構成例のように、動き検出手段として機能する動き検出部７７０を備えた構成とすることで対応が可能である。この場合、前述した補正画素列数決定手段は、この動き検出手段による被検眼の動きの検出結果を用いて補正する画素列数Ｎを決定することが好ましい。
【００５０】
また、本変形例において、前段のステップ９３０の位置合わせの結果に応じてバンドの切れ目を決定しても良い。例えば前段のステップ９３０において行った位置合わせの結果が信頼できない値だった場合、そこでバンドを切ることが好ましい。これにより位置合わせによる誤差の伝搬を止め、総合的には画質の低下を防止する効果が得られる。なお、以上のような連続性が途切れる場合、バンドの大きさは画像中で変動する可能性が大きい。従って、例えば画像１フレーム全体を１バンドとする事も考えられる。
【００５１】
即ち、本変形例では、ブロック比較手段がブロックの比較を行う際に適した領域を含むように第一のブロック領域及び第二のブロック領域を抽出している。このような操作は、ブロック処理部２４２におけるブロック抽出手段に含まれた処理領域によって実行される。また、前述した補正画素列数決定手段は、往復行処理部２４１における往復行比較手段により検出されたずれ量に基づいて補正する画素列の数Ｎを決定することが好ましい。
【００５２】
＜変形例４＞
上述した実施形態１の更なる変形例として、先に記載のタイミングずれ補正方法の他に、従来のタイミングずれ補正方法も併用することとし、これらを動的に切り替えても良い。上述したように、実施形態１に記載した方法では、画像中に血管などの斜め構造体があっても正しく位置合わせできるという効果が得られる。そこで、例えばまず画角や画像内容を解析し、斜め構造体がある場合には実施形態１に記載の方法を適用し、ない場合には従来の補正方法を適用するなどとしても良い。このような構成とする事で、各方式に対して、それぞれが相対的に好適な画像のみについての位置合わせを対象とする事ができるため、総合的な補正精度の向上が期待できる。
【００５３】
＜実施形態２＞
次に、本発明の実施形態２に係る画像処理の工程について述べる。
上述した実施形態１の場合、例えばタイミングずれの補正後（出力部２５０の出力後）でサイン歪み補正を実行する事ができる。本実施形態では、タイミングずれ補正とサイン歪み補正とを同時に行う構成を示す。図１０に本実施形態における処理の流れを、フローチャートとして示す。なお、本実施形態と実施形態１と異なるのはステップ１０５０の操作のみであるので、ここではステップ１０５０に関して図１１を参照して説明する。なお、本実施形態におけるステップ１０００〜ステップ１０４０に係る工程と実施形態１におけるステップ３００〜ステップ３４０、及びステップ１０６０及びステップ１０７０とステップ３６０及びステップ３７０は同じ操作を行うステップとして各々対応している。
【００５４】
本実施形態では、ステップ１０５０において、ブロック処理部２４２はバンド１１００に対して、まず複数の折り返し位置１１１０、１１２０及び１１３０を仮定する。なお、図示した折り返し位置は３つだが、例えば０．５画素ごとに±２画素の範囲で計９本の折り返し位置を設ける等しても良い。即ち、所定の範囲内にて、所定の間隔で折り返し位置が配置されるように設定することが好ましい。
【００５５】
ここで、これら折り返し位置が正しいと仮定して、折り返し位置を配置した各々の場合についてサイン歪み補正処理を行う。図１１においては、折り返し位置１１１０が正しいと仮定してサイン歪み補正した結果がバンド１１１５であり、折り返し位置１１２０が正しいと仮定してサイン歪み補正した結果がバンド１１２５であり、折り返し位置１１３０が正しいと仮定してサイン歪み補正した結果がバンド１１３５である。これらバンドのうち、往路領域（左半分）と復路領域（右半分）の画素値が一番近い（例えば差分二乗和の値が一番小さい）ものを折り返し位置が正しい場合として選択する。
【００５６】
本実施形態によれば、以上の操作の実施により、タイミングずれ補正とサイン歪み補正とが同時に実行できる。
【００５７】
＜実施形態３＞
本実施形態では、実施形態１で説明した画像処理について、ＦＰＧＡなどを用いてパイプライン処理によって実行する場合の構成を示す。
【００５８】
図１２（ａ）に、本実施形態における画像処理を行う機能構成についてのブロック図を示す。本実施形態では、図３のステップ３３０に相当する処理を往復行間位置合わせ部１２１０で処理し、ステップ３５０に相当する処理をバンド内ブロック位置合わせ部１２３０で処理している。また、ステップ３６０後段に行われるサイン歪み補正処理についても、サイン歪み補正部１２３０で処理している。本実施形態では、これら３つの処理をバンド（Ｎ往復行）単位でパイプライン処理する。
【００５９】
図１２（ａ）に対応したパイプライン処理の流れを図１２（ｂ）に示す。同図中では、下方ほど時間が経過していることを示す。即ち、バンド１は、まず往復行間位置合わせ部１２１０で処理される。この処理が終わるとバンド１はバンド内ブロック位置合わせ部１２３０に送られて処理されるが、それと同時に往復行間位置合わせ部１２１０ではバンド２の処理を開始している。例えば時刻ｔ１では、往復行間位置合わせ部１２１０がバンド３を処理し、バンド内ブロック位置合わせ部１２３０はバンド２を処理し、サイン歪み補正部１２３０はバンド１を処理している。
【００６０】
以上のような構成により、最大３つのバンドが同時に処理されるためリアルタイム処理など高性能が求められる場合でも、これに対応して効率的に画像処理を行うことが可能となる。
【００６１】
＜他の実施形態＞
また、本発明は、上述した実施形態の機能（例えば、上記の各部の処理を各工程に対応させたフローチャートにより示される処理）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施形態の機能を実現する。
【００６２】
また、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内において、種々の変形、変更して実施することができる。例えば、上述した実施形態では、被検査物が眼の場合について述べているが、眼以外の皮膚や臓器等の被検査物の画像生成に本発明を適用することも可能である。この場合、本発明は眼科装置以外の、例えば内視鏡等の医療機器としての態様を有する。従って、本発明は眼科装置に例示される検査装置として把握され、被検眼は被検査物の一態様として把握されることが望ましい。
【００６３】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６４】
２０、７０：画像処理装置
２００、７００：画像取得部
２２０、７２０：制御部
２３０、７３０：記憶部
２４０、７４０：画像処理部
２４１、７４１：往復行処理部
２４２、７４２：ブロック処理部
２５０、７５０：出力部
７６０：画像認識部
７７０：動き検出部
【図１】
2016080962.tif 000004
【図２】
2016080962.tif 000005
【図３】
2016080962.tif 000006
【図４】
2016080962.tif 000007
【図５】
2016080962.tif 000008
【図６】
2016080962.tif 000009
【図７】
2016080962.tif 000010
【図８】
2016080962.tif 000011
【図９】
2016080962.tif 000012
【図１０】
2016080962.tif 000013
【図１１】
2016080962.tif 000014
【図１２】
2016080962.tif 000015
【図１３】
2016080962.tif 000016
【図１４】
2016080962.tif 000017