(57)【要約】【課題】  複数画像のスティッチング処理において、重複領域内に十分な画素値の変化がない場合、位置合わせの精度が低下する。【解決手段】  被検査物上で第１の方向にレーザを走査させる第１の走査手段と、第１の方向に直交する第２の方向にレーザを走査させる第２の走査手段と、第１の撮影領域、及び、第１の撮影領域に第２の方向に隣接する第２の撮影領域を設定する手段と、第１の撮影領域を撮影する第１の撮影と、第１と第２の撮影領域とを合わせた領域に対して第２の走査手段を連続的に制御させる第２の撮影と、第２の撮影領域を撮影する第３の撮影を実行する撮影手順を決める手段と、撮影手順に従って第１と第２の走査手段を制御する制御手段と、制御手段の制御により走査されたレーザに基づき、第１の撮影で第１の画像、第２の撮影で第２の画像、及び、前記第３の撮影で第３の画像を取得する取得手段とを備える。【選択図】  図３
2017012450.tif 000002
【特許請求の範囲】
【請求項１】
被検査物上でレーザを走査することで前記被検査物の画像を生成する画像生成装置であって、
第１の方向に前記レーザを走査させる第１の走査手段と、
前記第１の方向に直交する第２の方向に前記レーザを走査させる第２の走査手段と、
第１の撮影領域、および、前記第１の撮影領域に前記第２の方向に隣接する第２の撮影領域を設定する設定手段と、
前記第１の撮影領域を撮影する第１の撮影と、前記第１の撮影領域と前記第２の撮影領域とを合わせた領域に対して第２の走査手段を連続的に制御させて撮影する第２の撮影と、前記第２の撮影領域を撮影する第３の撮影とを実行する撮影シーケンスを決める手段と、
前記撮影シーケンスに従って前記第１の走査手段および前記第２の走査手段を制御する制御手段と、
前記制御手段の制御により走査された前記レーザに基づき、前記第１の撮影で第１の画像、前記第２の撮影で第２の画像、および、前記第３の撮影で第３の画像を取得する取得手段とを備えることを特徴とする画像生成装置。
【請求項２】
前記第１の画像、および、前記第３の画像のそれぞれを、前記第２の画像へ合成する画像合成手段を更に備えることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記画像合成手段により得られた画像の合成結果を、前記第１の方向に隣接する領域の画像の合成結果とスティッチング処理するスティッチング手段を更に備えることを特徴とする請求項２に記載の画像生成装置。
【請求項４】
前記第１の撮影領域と前記第２の撮影領域との重複領域を含む領域を解析する解析手段と、
前記解析結果から前記撮影シーケンスを実行するか否かを判断する手段を更に備えることを特徴とする請求項１乃至３の何れか１項に記載の画像生成装置。
【請求項５】
前記解析手段は、前記重複領域内に含まれる画素値の変化量を示すパラメータを求めることを特徴とする請求項４に記載の画像生成装置。
【請求項６】
前記解析手段は、前記重複領域内に含まれる視細胞の数を求めることを特徴とする請求項４に記載の画像生成装置。
【請求項７】
前記被検査物の動きを計測する計測手段と、
前記計測の結果を基づき、前記被検査物の動きを予測する予測手段と、
前記予測の結果を基づき、前記第２の撮影中に所定の事象が発生する確率が少なくなるように、前記撮影のタイミングを調整する手段とを更に備えることを特徴とする請求項１乃至６の何れか１項に記載の画像生成装置。
【請求項８】
前記予測手段は、少なくとも所定の眼の動き、もしくは瞬きが発生するタイミングを予測することを特徴とする請求項７に記載の画像生成装置。
【請求項９】
前記計測手段は、少なくとも所定の眼の動き、もしくは瞬きが発生する周期を計測することを特徴とする請求項７に記載の画像生成装置。
【請求項１０】
前記第２の撮影に時間的に近い撮影ほど、前記第２の方向に長い領域を撮影するように前記第２の走査手段を制御することを特徴とする請求項１乃至９の何れか１項に記載の画像生成装置。
【請求項１１】
第１の方向に前記レーザを走査させる第１の走査手段と、前記第１の方向に直交する第２の方向に前記レーザを走査させる第２の走査手段により、被検査物上でレーザを走査することで前記被検査物の画像を生成する画像生成方法であって、
第１の撮影領域、および、前記第１の撮影領域に前記第２の方向に隣接する第２の撮影領域を設定し、
前記第１の撮影領域を撮影する第１の撮影と、前記第１の撮影領域と前記第２の撮影領域とを合わせた領域に対して第２の走査手段を連続的に制御させて撮影する第２の撮影と、前記第２の撮影領域を撮影する第３の撮影とを実行する撮影シーケンスを決め、
前記撮影シーケンスに従って制御された前記第１の走査手段および前記第２の走査手段により走査された前記レーザに基づき、前記第１の撮影で第１の画像、前記第２の撮影で第２の画像、および、前記第３の撮影で第３の画像を取得することを特徴とする画像生成方法。
【請求項１２】
請求項１乃至１０の何れか１項に記載の画像生成装置の各構成を、コンピュータで実現するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像生成方法、及びプログラムに関し、特に、被検査物上でレーザ光を走査する事によって被検査物の画像を生成する画像生成装置、画像生成方法、及びプログラムに関するものである。
【背景技術】
【０００２】
近年、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ  Ｌａｓｅｒ  Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）や光干渉断層計（Ｏｐｔｉｃａｌ  Ｃｏｈｅｒｅｎｃｅ  Ｔｏｍｏｇｒａｐｈｙ）のように、スキャン対象に対してレーザ光を二次元状に走査し、該レーザ光のスキャン対象からの反射光の光量などを連続的に測定する事で画像を生成する装置が知られている。図１２にスキャン対象上での該レーザ光の走査態様を示す。同図に示すように、このような装置では、被検査物１２００（眼底など）に対してレーザ光の照射位置を副走査方向（図における上下方向）にずらしながら、該レーザ光による主走査方向（図における左右方向）の往路走査と復路走査とが交互に行われる（ジグザグ走査）。この主走査方向のレーザ光の走査には共振スキャナが、また副走査方向の走査にガルバノスキャナがしばしば用いられる。画像の生成に際しては、光センサにより反射光などを光電変換、量子化して画素値を求める事でデジタル画像が得られる。
【０００３】
生成された画像のノイズ低減や高解像度化、ダイナミックレンジ拡大などを目的として、同じ場所を撮影した複数枚の画像を合成する事で１枚の画像を生成する画像合成処理が行われる事がある。ただし眼底を撮影する時のように被写体が動き得る場合はフレーム間の位置合わせが必要となる。フレーム間の動き量や変形が大きいほど正確な位置合わせは難しくなるため、合成するフレームの撮影間隔は短い方が望ましい。フレームレートには共振スキャナの周波数による制限があるため、１フレームのライン数が少ないほどフレームレートを上げられる事になる。解像度を一定とすれば、ライン数が少ない事は視野角が狭い事を意味する。
【０００４】
一方、病理診断のためには広い視野角の画像が望ましい場合もある。そのため合成後の画像に対して、隣接領域の合成画像とスティッチング処理により視野角を広げ、広視野角画像を生成する事がある。例えば４つの隣接する領域で撮影した画像を位置合わせした上でスティッチングすれば、最大で４倍の広視野角化が可能になる。類似の技術としては、例えば特許文献１では、広視野角の画像に狭視野角の画像を位置合わせして、重ねて表示している。
【０００５】
図１３を用いて上記画像処理に関して更に説明する。図１３は、スティッチングに用いる領域数を４つとした時における、撮影領域として設定する領域（１３１１、１３１２、１３２１、１３２２）の位置関係を示している。図中、各領域に描かれた矢印はそれぞれの走査区間を表している。例えば１３５０、１３６０は領域１３２２の主走査方向、副走査方向の走査区間をそれぞれ示している。すなわち、領域１３１１は主走査方向に１３０１、副走査方向に１３１０に位置し、領域１３１２は主走査方向に１３０２、副走査方向に１３１０に位置し、領域１３２１は主走査方向に１３０１、副走査方向に１３２０に位置し、領域１３２２は主走査方向に１３０２、副走査方向に１３２０に位置する。図示したように各領域は隣接する領域と一部重複（図中の斜線部）するように設定される。以降ではこの領域を重複領域と呼ぶ。１３０３は主走査方向１３０１と１３０２とを合わせた区間であり、１３３０は副走査方向１３１０と１３２０とを合わせた区間である。スティッチングの結果画像は主走査方向１３０３、副走査方向１３３０に位置する領域となる。
【０００６】
画像合成処理では、各撮影領域１３１１、１３１２、１３２１、１３２２をそれぞれ複数枚撮影し、それぞれの領域毎にフレーム間の位置合わせをした上で平均化処理や超解像処理などの画像合成処理を実行する。スティッチング処理では、合成画像とそれに隣接す合成画像との相対位置を重複領域の位置合わせ処理により求め、合成画像同士を接続する。重複領域は、１３１１と１３２１間、１３２１と１３２２間、１３２２と１３１２間、１３１２と１３１１間の計４か所あるため、４回の位置合わせ処理によりそれぞれ相対位置を計測する。以上のようにすることで合成処理に用いる画像のフレームレートを高く維持できる一方、広い視野角が実現できる。例えば重複領域の幅を各フレーム幅の２０％とすれば、主走査、副走査ともに９／５倍になり、面積ではおよそ３．２倍の広視野角化が達成できる。
【０００７】
以上説明した画像合成処理、スティッチング処理において位置合わせの精度は極めて重要である。特にスティッチング処理では位置合わせに使える領域が重複領域のみであるため、精度が不安定になる可能性がある。位置合わせの精度が低い場合、スティッチングの境界がスジ状に視認され、病理診断精度低下や再撮影による撮影時間増加につながる可能性がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】ＵＳ２０１３−０３０１００１Ａ１
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、重複領域の位置合わせによるスティッチングでは重複領域内に画素値の変化がなくのっぺりとした領域であった場合、スティッチング処理の位置合わせの精度が著しく低下して正しくスティッチングできないという課題がある。
本発明は以上の状況に鑑みて為されたものであって、重複領域内に画素値の変化が乏しい場合でもスティッチング処理の精度を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る画像生成装置は、被検査物上でレーザを走査することで前記被検査物の画像を生成する画像生成装置であって、第１の方向に前記レーザを走査させる第１の走査手段と、前記第１の方向に直交する第２の方向に前記レーザを走査させる第２の走査手段と、第１の撮影領域、および、前記第１の撮影領域に前記第２の方向に隣接する第２の撮影領域を設定する設定手段と、前記第１の撮影領域を撮影する第１の撮影と、前記第１の撮影領域と前記第２の撮影領域とを合わせた領域に対して第２の走査手段を連続的に制御させて撮影する第２の撮影と、前記第２の撮影領域を撮影する第３の撮影とを実行する撮影シーケンスを決める手段と、前記撮影シーケンスに従って前記第１の走査手段および前記第２の走査手段を制御する制御手段と、前記制御手段の制御により走査された前記レーザに基づき、前記第１の撮影で第１の画像、前記第２の撮影で第２の画像、および、前記第３の撮影で第３の画像を取得する取得手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、スティッチング処理の精度を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１における画像生成装置の構成例を示す図である。
【図２】本発明の実施形態１における画像処理の流れを説明するフローチャートである。
【図３】本発明の実施形態１におけるスキャナの動きを説明する図である。
【図４】本発明の実施形態１における走査区間の設定例を説明する表である。
【図５】本発明の実施形態１における画像合成を説明する図である。
【図６】本発明の実施形態２における画像処理の流れを説明するフローチャートである。
【図７】本発明の実施形態３における画像処理の流れを説明するフローチャートである。
【図８】本発明の実施形態４における撮影するフレームの種類を説明する図である。
【図９】本発明の実施形態４における撮影の流れを説明するフローチャートである。
【図１０】本発明の実施形態５におけるスキャナの動きを説明する図である。
【図１１】本発明の実施形態５変形例におけるスキャナの動きを説明する図である。
【図１２】従来のスキャナの動きを説明する図である。
【図１３】スティッチング処理に用いる各領域の位置を説明する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関わる本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１４】
＜実施形態１＞
本実施形態における画像生成装置の構成例を図１に示す。
【００１５】
図１において、画像生成部１００は、撮影部２００と接続されており、撮影装置２００はＳＬＯ装置やＯＣＴ装置である。撮影部２００に関しては、走査ミラー１６０、１６５、センサ１７０のみを示し、他の構成は一般的であるのでその詳細については省略する。
【００１６】
画像生成部２００の各構成について説明する。主走査制御部１１０および副走査制御部１１５はそれぞれ走査ミラー（スキャナ）１６０、１６５を制御する。走査ミラー１６０が主走査方向に、走査ミラー１６５が主走査方向と直交する副走査方向にレーザ（図示せず）を反射する角度を変えていくことで、被検査物上で所定の二次元の領域を走査させる。画像取得部１２０は、センサ１７０が光電変換した画素列を取得し、所定の単位ごとに記憶部１４５へ格納する。画像合成部１２５は記憶部１４５から画像を読み出し、画像合成処理を行い、結果を記憶部１４５へ格納する。スティッチング部１３０は記憶部１４５から画像を読み出し、スティッチング処理を行い、結果は再び記憶部１４５へ格納する。システム制御部１４０はこれらの処理を制御するため各部の設定や同期管理、外部装置との通信などを行う。
【００１７】
画像合成部１２５の画像合成処理、スティッチング部１３０のスティッチング処理を含めた、システム制御部１４０の制御で実施される画像生成の流れを図２のフローチャートに沿って説明する。
【００１８】
画像合成処理には各領域それぞれ５枚分の画像を合成に用い、スティッチング処理には４つの領域分（図１３参照）を用いるとして説明するが、本発明は任意の枚数、任意の領域数に適用できる。また画像合成処理として平均化処理を実施するものとして説明する。本処理により画素ごとに各フレームの画素値の平均値を求めることでノイズを低減できる。
【００１９】
図２中、ステップ２１０−１１、ステップ２１０−２１の撮影は、それぞれ従来と同様の通常撮影であり、所定の撮影領域をそれぞれ４枚撮影する。この間にステップ２４０−１でＬフレーム撮影というステップを挟んでいる。Ｌフレーム撮影の詳細は後述するが、副走査方向に隣接する領域間の接続用フレームとなる。同様に、ステップ２１０−２２、ステップ２１０−１２の撮影は、それぞれ従来と同様の通常撮影であり、所定の撮影領域をそれぞれ４枚撮影する。ステップ２１０−２２、ステップ２１０−１２の通常撮影の間にステップ２４０−２でＬフレーム撮影を行う。
【００２０】
上記ステップ２４０−１、２４０−２のＬフレーム撮影について、図３を用いて説明する。図３は、ステップ２１０−１１における最終フレーム（４枚目）の撮影、ステップ２４０−１におけるＬフレーム撮影、ステップ２１０−２１における最初のフレーム（１枚目）の撮影という撮影シーケンスにおけるレーザの走査（スキャナの動き）の概念を示している。３１０は領域１３１１の４枚目撮影時におけるスキャナの動きを示しており、副走査方向１３１０に対応する領域をジグザグ走査している。３２０はＬフレーム撮影時におけるスキャナの動きを示しており、副走査方向１３１０および１３２０を合わせた区間に対応する領域を１フレームとみなしてジグザグ走査している。３３０は領域１３２１の１枚目撮影時におけるスキャナの動きを示しており、副走査方向１３２０に対応する領域をジグザグ走査している。このように、Ｌフレーム撮影時には、副走査方向に、直前のフレームの走査区間と直後のフレームの走査区間とを合わせた区間を走査区間として連続的に走査する。
【００２１】
各ステップにおいてスキャナに設定する主走査方向の走査区間、副走査方向の走査区間の設定値をまとめた表を図４に示す。４１０は主走査制御部１１０に設定し、４２０は副走査制御部１１５に設定する項目である。ステップ２１０−１１の設定値は、主走査の走査区間は１３０１、副走査の走査区間は１３１０であり、ステップ２４０１−１の設定値は、主走査の走査区間は１３０１、副走査の走査区間は１３３０（１３１０と１３２０の連続した区間）である。以下同様である。以上のように設定することで、図３に示したようなレーザ走査を実現する。なお、以降ではＬフレームではない（通常撮影の）フレームはＭフレームと呼ぶこととする。
【００２２】
図２に戻り、ステップ２２０−１１における画像合成について説明する。ステップ２１０−１１で撮影した４枚のＭフレームの画像、およびステップ２４０−１で撮影したＬフレームの画像の計５枚の画像を用いる。まずＬフレームの画像を基準画像として、各Ｍフレームの画像のＬフレームの画像に対する相対位置を計測する。例えば、ブロックマッチングやＣｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎを用いて最も相関が高くなる位置を求める。計測した位置ずれ分、Ｍフレームの画像を平行移動する事でＬフレームの画像の位置に合わせた上でフレーム間の平均化処理を実行する。以上をまとめると、画像合成後の画素値Ｆ（ｘ，ｙ）は次式で与えられる。
【００２３】
【数１】
2017012450.tif 000003
ここで、Ｌフレームの画像の画素値をｆｂ（ｘ，ｙ）、Ｍフレームの画像の画素値をそれぞれｆ１（ｘ，ｙ）、ｆ２（ｘ，ｙ）、ｆ３（ｘ，ｙ）、ｆ４（ｘ，ｙ）とする。また、Ｍフレームの画像のＬフレームの画像に対する相対位置をそれぞれ（ｄｘ１，ｄｙ１）、（ｄｘ２，ｄｙ２）、（ｄｘ３，ｄｙ３）、（ｄｘ４，ｄｙ４）としている。
【００２４】
これにより、Ｌフレーム内で部分的に副走査方向１３１０の区間が平均化されることとなる。図５は画像合成処理の概略を示している。図５（Ａ）はステップ２２０−１１においてＬフレームの画像５１０にＭフレームの画像群５２０を合成する処理を示しており、その結果として図５（Ｂ）中のＬフレームの画像５３０の斜線部が平均化されたことを示している。同様に、ステップ２２０−２１では、ステップ２４０−１で撮影されＭフレームの画像群５２０が合成されたＬフレームの画像５３０へ、ステップ２１０−２１で撮影したＭフレームの画像群５４０を合成する。これによりＬフレーム内で副走査方向１３２０の区間が平均化され、合わせてＬフレーム全領域に平均化処理が適用されたことになる（図５（Ｃ）の５５０参照）。処理結果を合成Ｌフレームの画像１と呼ぶ。
【００２５】
なお、上記手順では重複領域に関して、後で合成するＭフレームの画像群５４０の方がＭフレームの画像群５２０よりも合成結果に寄与する割合が大きくなってしまうので、重みづけを変えても良い。すなわち、ステップ２２０−２１で合成する際に、Ｍフレームの画像群５４０の重みに対してＬフレームの画像５３０内の重複領域は重みを例えば５倍とすれば良い。また、フレーム間の平行移動以外の成分（例えば回転や拡大縮小など）が無視できない場合は、その変換行列（例えばアフイン変換行列）を求めて逆変換した上で平均化などの画像合成処理を実行しても良い。
【００２６】
同様にステップ２２０−２２、およびステップ２２０−１２では、ステップ２４０−２で撮影したＬフレームの画像に対して、ステップ２１０−２２で撮影したＭフレームの画像４枚、およびステップ２１０−１２で撮影したＭフレームの画像４枚を合成する。これにより合成Ｌフレームの画像２を生成する。
【００２７】
ステップ２３０では、上記合成Ｌフレームの画像１および合成Ｌフレームの画像２に対し、主走査方向のスティッチング処理により、最終的な広視野角画像を得る。これには主走査方向の重複領域（１３０１と１３０２の重複区間）を用いて位置合わせする。
【００２８】
本実施形態では、合成の際にＬフレームの画像を基準としたことで、従来スティッチング時に行っていた領域１３１１と領域１３２１の位置合わせ、領域１３１２と領域１３２２の位置合わせは不要となっている。すなわち、副走査方向に隣接する領域との相対位置はＬフレームの画像を基準にして得られ、一方、主走査方向に隣接する領域との相対位置は従来と同様に重複領域の位置合わせで求めている。
【００２９】
以上説明したように、本実施形態では撮影領域を副走査方向に移動する際に、Ｌフレーム（接続用フレーム）の撮影を挟み、Ｌフレームへ合成処理を行う事で領域間の位置関係を担保した。これにより、スティッチング処理時に重複領域を用いた位置合わせは不要となり、スティッチング処理を安定的に実行することが可能となった。
【００３０】
もしくは、Ｌフレームの画像を基準としたスティッチング処理と、従来の重複領域の位置合わせによるスティッチング処理両者を共に使う方法として、例えばＬフレームの画像を基準に大まかな相対位置を把握し、重複領域を用いて１画素未満の位置の微調整を行うなどとしても良い。また、Ｌフレームの画像は領域間の相対位置を求める目的のみで使い、画像合成には使わないとしても良い。この場合、画像合成はＭフレームの画像のみで行い、それをＬフレームの画像に位置合わせする事で、隣接する領域との相対位置を計測する。計測された相対位置を基に、合成画像同士をスティッチングすることとなる。
【００３１】
なお、走査区間の他の撮影パラメータに関しては撮影１枚ごとに変えても良い。例えば、ステップ２１０中に撮影するＭフレームの画像４枚はそれぞれレーザ光量を変えるなどしてダイナミックレンジを変えるように撮影し、後段の画像合成時にＨＤＲ処理を実行するなどとしても良い。他の例としては、副走査方向が逆転したフレームがあっても良い。図３ではどのフレームも下方へ向かって走査する場合を示したが、上方へ向かって走査するフレームが混在しても良い。
【００３２】
＜変形例＞
スティッチング処理に用いる領域数が、副走査方向に３つ以上の場合について簡単に説明する。副走査方向に隣接するＡ、Ｂ、Ｃの３つをスティッチングに用いるとする時、ＡのＭフレーム撮影、ＡとＢに跨るＬフレーム撮影、ＢのＭフレーム撮影、ＢとＣに跨るＬフレーム撮影、ＣのＭフレーム撮影の順で撮影すれば良い。すなわち、副走査方向に撮影領域を移動する際に、移動前と移動後の領域を包括する領域をＬフレームとして撮影することとなる。
【００３３】
＜実施形態２＞
上記実施形態１の構成では、Ｌフレームの画像を基準に領域間の位置関係を担保した。そのためＬフレームの画像を撮影中に被検査物が大きく動いた場合（被検眼におけるサッカードなど）や瞬きが入る場合などの撮影不具合が発生した時、正しく位置があった広視野角画像が得られないことがある。これは最終画像の画質を著しく低下させる可能性がある。一方、Ｍフレームの画像を撮影中に上記撮影不具合が発生した場合は、例えばそのＭフレームの画像を合成時に使わないこととするなどが可能であり、最終画像への影響は比較的小さい。そこで本実施形態では被測定物が眼である場合に、撮影タイミングを調整することで、Ｌフレームの画像を撮影中に上記撮影不具合が発生する確率を低減する。これにより撮影不具合が最終画像へ与える影響を低減する。
【００３４】
図６に本実施形態における撮影のフローチャートを示す。ステップ６１０−１１からステップ６１０−２１の処理は実施形態１と同様の処理（図４におけるステップ２１０−１１からステップ２１０−１２の処理）である。また、ステップ６２０の処理は実施形態１と同様の画像合成処理（図４におけるステップ２２０−１１からステップ２２０−１２の処理）、ステップ６３０の処理は実施形態１と同様のスティッチング処理（図４における３０の処理）である。そのため以降では、ステップ６５０、６６０、６７０のみについて説明する。
【００３５】
まずステップ６５０にて、不図示の眼底観察装置で撮影した眼底画像を画像解析や眼の動きを検知する専用センサにより、固視微動の中で特に移動量の大きい動きや瞬きなどのタイミングを取得する。次に、ステップ６６０にて、統計的にこれら撮影不具合が発生するタイミングを予測する。例えば事象ごとに平均周期を計測してこれらが周期的に発生すると仮定すれば、前回発生時刻＋平均周期の時刻が次回の発生確率が最も高いなどと予測できる。
【００３６】
ステップ６７０では、ステップ６１０−１１以降の開始タイミングを調整する。Ｌフレームの画像の撮影（ステップ６４０−１、６４０−２）までの時間は計算できるので、上記予測結果を用いて撮影不具合の発生確率がＬフレームの画像の撮影時に最小になるようにする。例えばステップ６４０−１、６４０−２の撮影時刻が、撮影開始からそれぞれ０．５秒後、１．５秒後であるとし、撮影不具合の発生確率が１秒後〜２秒後は低いと予測されたとすると、ステップ６７０では０．５秒待って撮影を開始する。これによりＬフレームの画像の撮影中に撮影不具合が発生する確率を減らす事ができる。
【００３７】
より簡易な方法としては、例えば瞬きのみに注目し、発生直後は発生確率が比較的低いとして、瞬き発生直後に撮影を開始する（すなわちステップ６７０で瞬きの発生まで待つ）などとしても効果がある。
【００３８】
＜実施形態３＞
本実施形態では、従来の重複領域の位置合わせ処理に基づくスティッチング処理と、実施形態１で説明したＬフレームの画像に基づくスティッチング処理とを動的に切り替える事でより高精度なスティッチング処理を実現する。具体的には、重複領域内に十分な数の視細胞がある場合など、高精度に位置合わせができる情報が含まれると予測される時は重複領域に基づくスティッチング処理を実行し、そうでない場合はＬフレームの画像に基づくスティッチング処理を実行する。また撮影領域（Ｌフレーム撮影の有無）もそれぞれの場合に合わせて設定する。
【００３９】
図７に本実施形態における撮影のフローチャートを示す。ステップ７００ではまず各領域が重複する重複領域を撮影する。具体的には、図１３における領域１３１１と領域１３２１の重複領域、および領域１３１２と領域１３２２の重複領域である。例えば、領域１３１１および領域１３１２のＭフレームの画像を撮影する。次にステップ７１０にて重複領域内の画素値を解析し、位置合わせが高精度に行える見込みがあるかどうかを判断する。一般に、画像位置合わせでは濃淡のないのっぺりとした領域の位置合わせの精度は低く、エッジ（画素値の変化量が大きい部分）を多く含む領域の位置合わせの精度は高い。そのため、例えば視細胞などの構造物を認識し、数をカウントする、もしくは領域内の微分値の絶対値和を求め、これらが所定の閾値を超えているかどうかを基に判断する。なお、ステップ７１０の解析後に解析結果は破棄しても良いし、後段の画像合成処理などで再度用いても良い。
【００４０】
重複領域内に、位置合わせに十分な情報があると判断した場合、ステップ７２０に進み、Ｌフレームの画像の撮影を含めない（Ｍフレームの画像のみの）撮影を行う。ステップ７３０では実施形態１の処理同様、Ｍフレームの画像同士の合成処理を行う。ステップ７４０では重複領域の位置合わせ処理により、隣接する領域との相対位置を求め、スティッチング処理を行う。
【００４１】
一方、ステップ７１０にて重複領域内に位置合わせに十分な情報がないと判断した場合、ステップ７５０に進み、以降は実施形態１と同様の処理（図４の各ステップ）を行う。
【００４２】
以上のようにすることで、重複領域の状況に応じてスティッチング処理の精度が高い方を動的に選択可能となる。なお、本実施形態では撮影前に選択するようにしたが、撮影はＬフレームの画像の撮影を含めて撮影しておき、撮影後にスティッチング処理方法のみを切り替えても良い。切り替え方法は、前述したように重複領域の解析を基にしても良いし、Ｌフレームの画像内にサッカードや瞬きなどの撮影不具合が含まれているかどうかで判断しても良い。スティッチング処理は両者それぞれ行って、スティッチング処理結果の境界の滑らかさを評価し、滑らかな方を最終結果として採用するなどとしても良い。
【００４３】
＜実施形態４＞
実施形態１で撮影するフレームの種類はＭフレームおよびＬフレームの２種であったが、本実施形態では更にＳフレームの撮影を加える。
【００４４】
Ｓフレームについて図８を用いて説明する。図８はＳフレーム、Ｍフレーム、Ｌフレームの副走査方向における走査区間をそれぞれ示している。８１０は撮影領域１３１１におけるＳフレームの走査区間であり、８２０は撮影領域１３１１におけるＭフレームの走査区間である。８３０は撮影領域１３１１、１３２１にまたがるＬフレームの走査区間である。８４０は撮影領域１３２１におけるＭフレームの走査区間であり、８５０は撮影領域１３２１におけるＳフレームの走査区間である。
【００４５】
まず、Ｍフレームに注目すると、走査区間８２０および８４０はそれぞれ所定の重複区間があるように設定されている。一方、Ｓフレームに注目すると、走査区間８１０と８５０の間には重複区間がなく、Ｓフレームの走査区間はＭフレームの走査区間よりも短くなっている。主走査方向の走査に共振スキャナを利用している場合、ライン数で撮影時間が決まるので、走査区間の短い（つまり撮影時間の短い）Ｓフレームの撮影を含める事で、フレームレートの向上や合成枚数の増加などが可能である。一方、重複区間が無くても、実施形態１で示したようにＬフレームを基準としてスティッチング処理はできる。
【００４６】
例えば、Ｍフレームの重複区間の幅をフレーム幅の２０％とすれば、ＳフレームはＭフレームに比べて副走査方向に１０％小さく、これによりフレームレートを最大１０％上げることができる。すなわちフレーム間の被検査物の動き・変形も小さくなるので、画像合成結果の画質向上を図れる。
【００４７】
Ｓフレームの画像の撮影を含む撮影処理の流れを図９に示す。ステップ９１０−１１では領域１３１１のＳフレームの画像をＮｓ枚撮影する。ステップ９２０−１１では領域１３１１のＭフレームの画像をＮｍ枚撮影する。ステップ９４０−１では領域１３１１、１３２１に跨るＬフレームの画像をＮｌ枚撮影する。ステップ９２０−２１では領域１３２１のＭフレームの画像をＮｍ枚撮影する。ステップ９１０−２１では領域１３２１のＳフレームの画像をＮｓ枚撮影する。以上により主走査方向１３０１の区間の撮影が終了となる。同様に、ステップ９１０−２２〜ステップ９１０−１２では主走査方向１３０２の区間に対してＳフレームの画像、Ｍフレームに画像、Ｌフレームの画像をそれぞれ撮影する。各フレームの画像の枚数は、例えばＮｓ＝５、Ｎｍ＝１、Ｎｌ＝２とする。
【００４８】
撮影後の処理は実施形態１などと同様である。すなわちＳフレーム、Ｍフレーム、Ｌフレームに対して同じ領域を撮影している部分をそれぞれ画像合成処理し、Ｌフレームの画像を基準にスティッチング処理する。Ｍフレームの数が０でない場合（Ｎｍ＝０でない場合）は更に重複領域を使った位置合わせ処理を行って微調整などしても良い。この場合、位置合わせに用いる重複領域は時間方向に近いフレームの画像を用いた方が、フレームの画像間の変形が少ないため精度が高いと期待できる。したがって、Ｓフレーム⇒Ｍフレーム⇒Ｌフレーム⇒Ｍフレーム⇒Ｓフレームといったように、Ｌフレームの画像の撮影に時間的に近い撮影ほど副走査方向の走査区間が長くなるようするのが望ましい。
【００４９】
なお、各フレームの枚数は任意の数で実現できる。Ｓフレームの割合を増やせば、例えばフレームレートを向上させて領域単位での高画質化が期待できる。Ｍフレームの割合を増やせば、重複領域内に構造物がある場合にスティッチング処理における位置合わせの精度向上が期待できる。なお、Ｍフレームは必ずしも必要ではなく、Ｎｍ＝０でも良い。Ｌフレームの割合を増やせば、スティッチング処理時に例えば信頼性の高い方（フレーム内での被検査物の動きが少ない方）を基準として選択するなどが可能となり、より安定的なスティッチング処理が可能となる。すなわちこれらは要件に応じてトレードオフとして決定すれば良い。
【００５０】
＜実施形態５＞
実施形態１では、副走査方向に隣接する領域を撮影する際にＬフレームを接続用フレームとして撮影した。本実施形態では主走査方向の場合について説明する。図２で説明したフローチャートにおいて、ステップ２１０−２１とステップ２１０−２２の間に、領域１３２１と領域１３２２に跨る（主走査方向に長い）Ｌフレームを撮影する。
【００５１】
主走査方向のＬフレームに関して、図１０を用いて説明する。図１０はステップ２１０−２１における最終フレームの撮影、主走査方向Ｌフレームの撮影、ステップ２１０−２２における最初のフレームの撮影という撮影シーケンスにおけるレーザの走査（スキャナの動き）を示している。上下方向が時間軸であり、下にいくほど時間が経過していることを示している。１０１０は領域１３２１撮影時におけるスキャナの動きを示しており、主走査方向１３０１の区間を二次元状にジグザグ走査している。１０２０は主走査方向Ｌフレーム撮影時におけるスキャナの動きを示しており、主走査方向１３０１と１３０２とを合わせた区間を１フレームとみなして二次元状にジグザグ走査している。１０３０は領域１３２２の１枚目撮影時におけるスキャナの動きを示しており、副走査方向１３０２の区間を二次元状にジグザグ走査している。このように、Ｌフレームの画像の撮影時には、主走査方向における直前のフレームの走査区間と直後のフレームの走査区間とを合わせた区間を走査区間として連続的に走査する。
【００５２】
撮影後の画像合成処理は実施形態１と同様である。すなわちＬフレームの画像へＭフレームの画像を重ね合わせていくこととなる。主走査方向・副走査方向ともにＬフレームの画像を基準に位置関係が得られているので、重複領域の位置合わせによるスティッチング処理は不要となる。
【００５３】
ただし、主走査方向の走査に共振スキャナを用いる場合、振幅の変更には時間がかかるため、本実施形態の適用は現実的ではない。本実施形態を適用できるのは主走査方向の振幅を遅延なく変更できるようなスキャナに限られる。例えば、主走査・副走査ともにガルバノスキャナを使う場合などが挙げられる。
【００５４】
＜変形例＞
上記実施形態５では主走査方向の振幅を変えることで主走査方向のＬフレームの画像を撮影していたが、他の方法での撮影も可能である。例えば光学的に主走査と副走査を入れ替えるようにしても良い。すなわち、実施形態１では共振スキャナで被検査物のＸ方向、ガルバノスキャナで被検査物のＹ方向を走査するとする。その場合において、被検査物のＸ方向をガルバノスキャナで走査し、被検査物のＹ方向を共振スキャナで走査するよう、光学系（走査ミラーと被検査物との間）にミラーを挿入して方向を入れ替える。この時のスキャナの動きについて図１１を用いて説明する。図１１に示したように、１１１０は領域１３２１のＭフレームの画像の撮影時のスキャナの動きを示しているが、上下方向が主走査（共振スキャナ）になり、左右方向が副走査（ガルバノスキャナ）になっている。同様に、１１２０はＬフレームの画像の撮影時のスキャナの動きであり、１１３０は領域１３２２のＭフレームの画像の撮影時のスキャナの動きを示している。
【００５５】
以上のようにする事で、主走査（上下方向）の振幅はＭフレームであってもＬフレームであっても一定になるので、共振スキャナなど振幅の変更に時間がかかるスキャナを用いても主走査方向のＬフレームを含めて撮影可能となる。
【００５６】
＜他の実施形態＞
また、本発明は、上述した実施形態の機能（例えば、上記の各部の処理を各工程に対応させたフローチャートにより示される処理）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施形態の機能を実現する。
【００５７】
また、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内において、種々の変形、変更して実施することができる。例えば、上述した実施形態では、被検査物が眼の場合について述べているが、眼以外の皮膚や臓器等の被検査物の画像生成に本発明を適用することも可能である。この場合、本発明は眼科装置以外の、例えば内視鏡等の医療機器としての態様を有する。従って、本発明は眼科装置に例示される検査装置として把握され、被検眼は被検査物の一態様として把握されることが望ましい。
【図１】
2017012450.tif 000004
【図２】
2017012450.tif 000005
【図３】
2017012450.tif 000006
【図４】
2017012450.tif 000007
【図５】
2017012450.tif 000008
【図６】
2017012450.tif 000009
【図７】
2017012450.tif 000010
【図８】
2017012450.tif 000011
【図９】
2017012450.tif 000012
【図１０】
2017012450.tif 000013
【図１１】
2017012450.tif 000014
【図１２】
2017012450.tif 000015
【図１３】
2017012450.tif 000016