(57)【要約】【課題】複数の画像の位置合わせを比較的高速に行うことができる撮像装置、撮像方法などを提供する。【解決手段】撮像装置は、被写体の画像の撮影部と、複数の画像を合成して合成画像を作成する制御部を有する。制御部は、複数の画像内で画素値分布をもつ第１領域のうちの１画素を第１位置とし、複数の画像のうち所定の１つの画像の第１領域内で、位置に対する画素値を第１の関係として取得し、画像の各々の第１位置での画像の画素値から第１の関係に基づいて各画像の第１位置の、所定の１つの画像の第１領域内における座標Ａを取得し、複数の画像から選出した選出画像の座標Ａから選出画像以外の画像の第１位置の、所定の１つの画像の第１領域内における座標ａを取得し、複数の画像のうちの１つを基準画像とし、選出画像の特徴領域の基準画像の特徴領域からの位置ずれ量を取得し、選出画像以外の画像の位置ずれ量は選出画像の位置ずれ量を用いて取得する。【選択図】図３
2017084144.tif 000002
【特許請求の範囲】
【請求項１】
被写体の複数の画像を撮影する撮影部と、複数の画像を合成することにより被写体の合成画像を作成する制御部と、を有する撮像装置であって
前記制御部は、
前記複数の画像内で画素値分布をもつ第１領域のうちの１画素を第１位置とし、前記複数の画像のうち所定の１つの画像の前記第１領域内で、位置に対する画素値を第１の関係として取得し、
前記画像の各々の前記第１位置での画素値から、前記第１の関係に基づいて、前記画像の各々の第１位置の、前記所定の１つの画像の前記第１領域内における座標Ａを取得し、
前記複数の画像から選出画像を選出し、前記選出画像の前記座標Ａから、前記選出画像以外の画像の第１位置の、前記所定の１つの画像の前記第１領域内における座標ａを取得し、前記選出画像以外の同一の前記画像の前記座標Ａに係わる数値と前記座標ａに係わる数値の差を取得し、
前記差が閾値を超える画像が存在する場合には、前記閾値を超える画像のうち少なくとも１つを新たな選出画像に加え、
複数の画像のうちいずれか１つを基準画像とし、前記選出画像の特徴領域の前記基準画像の特徴領域からの位置ずれ量を取得し、前記選出画像以外の画像の位置ずれ量は前記選出画像の位置ずれ量を用いて取得する、
ことを特徴とする撮像装置。
【請求項２】
前記制御部は、
前記複数の画像から、少なくとも２つの画像を前記選出画像として選出し、これらを第１画像と第２画像とし、前記第１画像と前記第２画像の前記座標Ａから、前記第１画像と前記第２画像以外の画像の前記座標ａを取得して、前記第１画像と前記第２画像以外の同一の前記画像における座標Ａと座標ａの差ｅ１を取得し、
前記差ｅ１が閾値を超える画像が存在する場合には、前記閾値を超える画像のうち少なくとも１つを新たな選出画像として選出しこれを第３画像とし、
複数の画像のうちいずれか１つを基準画像とし、前記第１画像、前記第２画像、前記第３画像の特徴領域の前記基準画像の特徴領域からの位置ずれ量を取得し、前記第１画像と前記第２画像と前記第３画像以外の画像の位置ずれ量は前記第１画像、前記第２画像、前記第３画像の位置ずれ量を用いて取得することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御部は、
前記第１画像と前記第２画像と前記第３画像のうち少なくとも２画像を用いて前記第１画像、前記第２画像、前記第３画像以外の画像の座標ａを取得して、前記座標Ａと前記座標ａの差ｅ１を再度取得して、前記ｅ１が前記閾値を超える画像が無くなるまで新たな前記第３画像を選出することを繰り返すことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御部は、
前記ｅ１が前記閾値を最大に超えた１画像を前記第３画像として選出することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記制御部は、
前記第１領域が前記画像内の第１方向に単調変化する画素値分布をもつとして、前記第１領域、前記第１位置、前記第１の関係を取得し、さらに前記第１方向とは平行でない第２方向に単調変化する画素値分布をもつ第２領域のうちの１画素を第２位置とし、前記所定の１つの画像の前記第２領域内で、位置に対する画素値を第２の関係として取得し、
前記画像の各々の前記第２位置での画素値から、前記第２の関係に基づいて、前記画像の各々の第２位置の、前記所定の１つの画像の前記第２領域内における座標Ｂを取得し、
前記複数の画像から選出画像を選出し、前記選出画像の前記座標Ｂから、前記選出画像以外の画像の第２位置の、前記所定の１つの画像の前記第２領域内における座標ｂを取得し、前記選出画像以外の同一の前記画像における前記座標Ｂと前記座標ｂの差ｅ２を取得し、
前記差ｅ１と前記差ｅ２のうち少なくとも一方が閾値を超える画像が存在する場合には前記閾値を超える画像のうち少なくとも１つを新たな選出画像に加えることを特徴とする請求項１または２に記載の撮像装置。
【請求項６】
前記制御部は、
前記第１領域が前記画像内の第１方向に単調変化する画素値分布をもつとして、前記第１領域、前記第１位置、前記第１の関係を取得し、さらに前記第１方向とは平行でない第２方向に単調変化する画素値分布をもつ第２領域のうちの１画素を第２位置とし、前記所定の１つの画像の前記第２領域内で、位置に対する画素値を第２の関係として取得し、
前記画像の各々の前記第２位置での画素値から、前記第２の関係に基づいて、前記画像の各々の第２位置の、前記所定の１つの画像の前記第２領域内における座標Ｂを取得し、
前記第１画像と前記第２画像の前記座標Ｂから、前記第１画像と前記第２画像以外の画像の前記座標ｂを取得して、前記第１画像と前記第２画像以外の同一の前記画像における座標Ｂと座標ｂの差ｅ２を取得し、
前記差ｅ１と前記差ｅ２のうち少なくとも一方が閾値を超える画像が存在する場合には前記閾値を超える画像のうち少なくとも１つを新たな選出画像として選出しこれを第３画像とすることを特徴とする請求項２に記載の撮像装置。
【請求項７】
前記制御部は、
前記第１画像と前記第２画像と前記第３画像のうち少なくとも２画像を用いて前記第１画像、前記第２画像、前記第３画像以外の画像の前記座標ａ、前記座標ｂを取得して、前記座標Ａと前記座標ａの差ｅ１、前記座標Ｂと前記座標ｂの差ｅ２を再度取得して、前記差ｅ１と前記差ｅ２のうち一方でも前記閾値を超える画像が無くなるまで新たな前記第３画像を選出することを繰り返すことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記制御部は、
前記ｅ１と前記ｅ２のうち一方でも前記閾値を最大に超えた１画像を前記第３画像として選出することを特徴とする請求項６または７に記載の撮像装置。
【請求項９】
前記制御部は、
前記第１領域が前記画像内の第１方向に単調変化する画素値分布をもつとして、前記第１領域、前記第１位置、前記第１の関係を取得し、さらに前記第１方向とは平行でない第２方向に単調変化する画素値分布をもつ第２領域のうちの１画素を第２位置とし、前記所定の１つの画像の前記第２領域内で、位置に対する画素値を第２の関係として取得し、
前記画像の各々の前記第２位置での画素値から、前記第２の関係に基づいて、前記画像の各々の第２位置の、前記所定の１つの画像の前記第２領域内における座標Ｂを取得し、
前記複数の画像から選出画像を選出し、前記選出画像の前記座標Ｂから、前記選出画像以外の画像の第２位置の、前記所定の１つの画像の前記第２領域内における座標ｂを取得し、前記選出画像以外の同一の前記画像における前記座標Ｂと前記座標ｂの差ｅ２を取得し、
前記差ｅ１と前記差ｅ２からｅ＝（ｅ１２＋ｅ２２）１／２を計算し、ｅが閾値を超える画像が存在する場合には前記閾値を超える画像のうち少なくとも１つを新たな選出画像に加えることを特徴とする請求項１または２に記載の撮像装置。
【請求項１０】
前記制御部は、
前記第１領域が前記画像内の第１方向に単調変化する画素値分布をもつとして、前記第１領域、前記第１位置、前記第１の関係を取得し、さらに前記第１方向とは平行でない第２方向に単調変化する画素値分布をもつ第２領域のうちの１画素を第２位置とし、前記所定の１つの画像の前記第２領域内で、位置に対する画素値を第２の関係として取得し、
前記画像の各々の前記第２位置での画素値から、前記第２の関係に基づいて、前記画像の各々の第２位置の、前記所定の１つの画像の前記第２領域内における座標Ｂを取得し、
前記第１画像と前記第２画像の前記座標Ｂから、前記第１画像と前記第２画像以外の画像の前記座標ｂを取得して、前記第１画像と前記第２画像以外の同一の前記画像における座標Ｂと座標ｂの差ｅ２を取得し、
前記差ｅ１と前記差ｅ２からｅ＝（ｅ１２＋ｅ２２）１／２を計算し、ｅが閾値を超える画像が存在する場合には前記閾値を超える画像のうち少なくとも１つを新たな選出画像として選出しこれを第３画像とすることを特徴とする請求項２に記載の撮像装置。
【請求項１１】
前記制御部は、
前記第１画像と前記第２画像と前記第３画像のうち少なくとも２画像を用いて前記第１画像、前記第２画像、前記第３画像以外の画像の前記座標ａ、前記座標ｂを予測取得して、前記座標Ａと前記座標ａの差ｅ１、前記座標Ｂと前記座標ｂの差ｅ２を再度取得して、前記ｅ１と前記ｅ２からｅ＝（ｅ１２＋ｅ２２）１／２を取得し、ｅが前記閾値を超える画像が無くなるまで新たな前記第３画像を選出することを繰り返すことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記制御部は、
前記ｅ１と前記ｅ２からｅ＝（ｅ１２＋ｅ２２）１／２を計算し、ｅが前記閾値を最大に超えた１画像を前記第３画像として選出することを特徴とする請求項１０または１１に記載の撮像装置。
【請求項１３】
前記制御部は、
前記第１領域とは位置変化に対する画素値変化の増減が逆になっている第３領域のうちの１画素を第３位置とし、前記所定の１つの画像の前記第３領域内で、位置に対する画素値を第３の関係として取得し、
前記第１の関係の画素値から前記第３の関係の画素値を引いた値を、位置に対する第５の関係として取得し、前記画像の各々における前記第１位置での画素値から前記第３位置での画素値を引いた値を取得し、前記第５の関係に基づいて前記画像の前記座標Ａを取得することを特徴とする請求項１から１２のうちの何れか１項に記載の撮像装置。
【請求項１４】
前記制御部は、
前記第１方向とは平行でない第２方向に単調変化する画素値分布をもつ第２領域のうちの１画素を第２位置とし、前記所定の１つの画像の前記第２領域内で、位置に対する画素値を第２の関係として取得し、
前記第２領域とは位置変化に対する画素値変化の増減が逆になっている第４領域のうちの１画素を第４位置とし、前記所定の１つの画像の前記第３領域内で、位置に対する画素値を第４の関係として取得し、前記第２の関係の画素値から前記第４の関係の画素値を引いた値を、位置に対する第６の関係として取得し、
前記画像の各々における前記第２位置での画素値から前記第４位置の画素値を引いた値を取得し、前記第６の関係に基づいて前記画像の座標Ｂを取得することを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記制御部は、
前記選出画像の前記座標Ａから、前記選出画像以外の画像の第１位置の、前記所定の１つの画像の前記第１領域内における座標ａを線形補間法を用いる取得することを特徴とする請求項１から１４のうちの何れか１項に記載の撮像装置。
【請求項１６】
前記制御部は、前記第１画像と前記第２画像としてそれぞれ、最初の番号の撮影画像と最後の番号の撮影画像を選出することを特徴とする請求項１から１５のうちの何れか１項に記載の撮像装置。
【請求項１７】
前記制御部は、複数の画像について前記位置ずれ量を補正して合成することにより被写体の合成画像を作成することを特徴とする請求項１から１６のうちの何れか１項に記載の撮像装置。
【請求項１８】
複数の画像を合成することにより被写体の合成画像を作成する撮像方法であって、
被写体の複数の画像を撮影するステップと、
前記複数の画像の内で画素値分布をもつ領域のうちの１画素を基準位置とし、前記複数の画像のうち所定の１つの画像の前記領域内で、位置に対する画素値の関係を取得するステップと、
前記画像の各々の前記基準位置での画素値から、前記関係に基づいて、前記画像の各々の基準位置の、前記所定の１つの画像の前記領域内における座標Ａを取得するステップと、
前記複数の画像から選出画像を選出し、前記選出画像の前記座標Ａから、前記選出画像以外の画像の基準位置の、前記所定の１つの画像の前記領域内における座標ａを取得るステップと、
前記選出画像以外の同一の前記画像の前記座標Ａに係わる数値と前記座標ａに係わる数値の差を取得するステップと、
前記差が閾値を超える前記画像が存在する場合には、前記閾値を超える画像のうち少なくとも１つを新たな選出画像に加えるステップと、
複数の画像のうちいずれか１つを基準画像とし、前記選出画像の特徴領域の前記基準画像の特徴領域からの位置ずれ量を取得し、前記選出画像以外の画像の位置ずれ量は前記選出画像の位置ずれ量を用いて取得するステップと、
を有することを特徴とする撮像方法。
【請求項１９】
複数の画像について前記位置ずれ量を補正して合成することにより被写体の合成画像を作成するステップを有することを特徴とする請求項１８に記載の撮像方法。
【請求項２０】
被写体の複数の撮影画像から、所定の規準で選出画像を選出し、複数の前記撮影画像のうちいずれか１つを基準画像とし、前記選出画像の特徴領域の前記基準画像の特徴領域からの位置ずれ量を取得し、前記選出画像以外の画像の位置ずれ量は前記選出画像の位置ずれ量を用いて予測取得することを特徴とする撮像方法。
【請求項２１】
前記被写体は、生体であることを特徴とする請求項１８から２０のうちの何れか１項に記載の撮像方法。
【請求項２２】
前記被写体は、関節を有する生体であり、前記領域は関節付近に設定することを特徴とする請求項１８または１９に記載の撮像方法。
【請求項２３】
前記被写体の複数の画像を近赤外光を用いて撮影することを特徴とする請求項１８から２２の何れか１項に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を撮影し、それらを合成することにより最終画像などの合成画像を作成する撮像装置及び撮像方法に関するものである。
【背景技術】
【０００２】
カメラやビデオカメラなどでは複数の画像を撮影して、それらを合成することにより高ダイナミックレンジ化、手ぶれ補正、ノイズ低減などを行っている。その際に画像内の被写体の写っている位置を合わせてから画像を合成することにより、被写体がボケてしまうことを回避する画像位置合わせ技術が知られている。例えば、医用撮像装置で患部の時間経過を観察するためには長時間撮影して多数の画像を取得する必要があるが、人体の拍動や呼吸、あるいは姿勢の変化によって撮影中に患部が動いてしまうことがある。精密な検査を行うためには患部が高コントラストで写っている必要があり、患部に対する高精度な画像位置合わせが必要となる。
【０００３】
特許文献１に記載の技術では、光コヒーレントトモグラフィの分野において、被測定物体の複数の断層画像を位置合わせして画素値を平均化することにより一枚の断層画像を形成するとしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０９５００５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像の枚数が多くなると、画像の位置合わせに時間がかかってしまい、迅速な診断が迅速に行えないことがある。そのため、画像の位置合わせに高速化が求められている。
【課題を解決するための手段】
【０００６】
上記課題に鑑み、本発明の撮像装置は、被写体の複数の画像を撮影する撮影部と、複数の画像を合成することにより被写体の合成画像を作成する制御部と、を有する。そして、前記制御部は、複数の画像内で画素値分布をもつ第１領域のうちの１画素を第１位置とし、複数の画像のうち所定の１つの画像の第１領域内で、位置に対する画素値を第１の関係として取得し、画像の各々の第１位置での画素値から、第１の関係に基づいて、画像の各々の第１位置の、前記所定の１つの画像の第１領域内における座標Ａを取得し、複数の画像から選出画像を選出し、選出画像の座標Ａから、選出画像以外の画像の第１位置の、前記所定の１つの画像の第１領域内における前記座標ａを取得し、選出画像以外の同一の画像の座標Ａに係わる数値と座標ａに係わる数値の差を取得し、前記差が閾値を超える画像が存在する場合には、閾値を超える画像のうち少なくとも１つを新たな選出画像に加え、複数の画像のうちいずれか１つを基準画像とし、選出画像の特徴領域の基準画像の特徴領域からの位置ずれ量を取得し、選出画像以外の画像の位置ずれ量は選出画像の位置ずれ量を用いて取得する。
【０００７】
また、上記課題に鑑み、本発明の撮像方法は、複数の画像を合成することにより被写体の合成画像を作成する撮像方法であって、次のステップを有する。すなわち、被写体の複数の画像を撮影するステップと、複数の画像の内で画素値分布をもつ領域のうちの１画素を基準位置とし、複数の画像のうち所定の１つの画像の前記領域内で、位置に対する画素値の関係を取得するステップと、画像の各々の基準位置での画素値から、前記関係に基づいて、画像の各々の基準位置の、前記所定の１つの画像の領域内における座標Ａを取得するステップと、複数の画像から選出画像を選出し、選出画像の座標Ａから、選出画像以外の画像の基準位置の、前記所定の１つの画像の領域内における座標ａを取得するステップと、選出画像以外の同一の画像の座標Ａに係わる数値と座標ａに係わる数値の差を取得するステップと、前記差が閾値を超える画像が存在する場合には、閾値を超える画像のうち少なくとも１つを新たな選出画像に加えるステップと、複数の画像のうちいずれか１つを基準画像とし、選出画像の特徴領域の基準画像の特徴領域からの位置ずれ量を取得し、選出画像以外の画像の位置ずれ量は選出画像の位置ずれ量を用いて取得するステップと、を有する。
【発明の効果】
【０００８】
本発明によれば、複数の画像の位置合わせを比較的高速に行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態を説明する図。
【図２】被写体の特徴点またはマーカーの動きを示す図。
【図３】位置合わせ処理のフローを示す図。
【図４】位置ずれ量の高速算出のフローを示す図。
【図５】プローブ（基準位置の画素）の位置ずれを説明する図。
【図６】領域のｘ方向の画素値の分布を示す図。
【図７】ノード（選出画像）の選出方法のフローを示す図。
【図８】基準フレームでの画素位置を説明する図。
【図９】補間による誤差を説明する図。
【図１０】被写体の特徴点またはマーカーの位置ずれ補正を説明する図。
【図１１】ノードの選出方法の他のフローを示す図。
【図１２】２点のプローブを設定した様子を示す図。
【図１３】ｘ方向の画素値の分布とｙ方向の画素値の分布を示す図。
【図１４】画素値の増減の符号が逆になるプローブの対を設定した様子を示す図。
【図１５】逆の画素値分布の領域の画素値の分布を示す図。
【図１６】逆の画素値分布の領域の画素値の分布の差を示す図。
【図１７】逆の画素値分布の領域の各プローブの画素値の変化を示す図。
【図１８】逆の画素値分布の領域の両プローブの画素値の差を説明する図。
【図１９−１】本発明の実施例１の撮像装置を説明する図。
【図１９−２】本発明の実施例１の装置の制御部を説明する図。
【図２０】本発明の実施例１のプローブをもつ２つの領域を説明する図。
【図２１】本発明の実施例１のプローブの画素値を説明する図。
【図２２】本発明の実施例１のプローブの画素値の変化を説明する図。
【図２３】本発明の実施例１のプローブの高速算出と予測算出の画素値を説明する図。
【図２４】本発明の実施例１のノードの選出方法を説明する図。
【図２５】本発明の実施例１のノードの選出方法を説明する図。
【図２６】本発明の実施例１のノードの選出方法を説明する図。
【図２７】本発明の実施例２のプローブをもつ４つの領域を説明する図。
【図２８】本発明の実施例２のプローブの画素値を説明する図。
【図２９】本発明の実施例２のプローブの画素値の変化を説明する図。
【図３０】本発明の実施例２のプローブの画素値の変化と差を説明する図。
【図３１】本発明の実施例２のノードの選出方法を説明する図。
【発明を実施するための形態】
【００１０】
本発明の一側面は次の特徴を有する。すなわち、被写体の複数の撮影画像から、所定の規準（高速取得した位置ずれ量、画像（フレーム）の番号などを用いる規準）で選出画像を選出する。そして、複数の撮影画像のうちいずれか１つを基準画像とし、選出画像についてこれの特徴領域の基準画像の特徴領域からの位置ずれ量を取得する。他方、選出画像以外の画像の位置ずれ量は選出画像の位置ずれ量を用いて線形補間法、外挿法などで取得する。必要であれば、複数の撮影画像について前記位置ずれ量を補正して合成することにより被写体の合成画像を作成する。
【００１１】
動く被写体を連続的に複数枚撮影すると、被写体が規則的な動きをする場合には、或るフレームでの被写体の位置は、異なるフレームでの被写体の位置から予測することができる。特に、被写体の動きが等速直線運動に近い場合やフレームレートが高い場合には線形補間などで動きを予測することができる。しかし、被写体が不規則な動きをする場合には被写体の位置の予測は困難であり、後述の基準フレームでの被写体位置と対象フレームでの被写体位置とのずれ量は直接算出する必要がある。例えば、被写体の特徴点（被写体が持つ毛などのテクスチャー等）や被写体に配置したマーカー（マジックなどによる印）などの特徴領域を用いる。そして、基準となるフレームと位置ずれ量を計算するフレームとの間で特徴領域を移動して相関値を取得する手法を用いて前記ずれ量を高精度に算出する。すなわち、２つの画像Ａ、Ｂの相関値を計算し、相関値を最大化する画像Ａに対する画像Ｂの移動量（ずれ量）を求める。ＳＩＤ（ｓｑｕａｒｅｄ  ｉｎｔｅｎｓｉｔｙ  ｄｉｆｆｅｒｅｎｃｅｓ）、ＲＩＵ（ｒａｔｉｏ  ｉｍａｇｅ  ｕｎｉｆｏｒｍｉｔｙ）などを演算する手法もある。
【００１２】
しかしながら、この計算は一般に時間がかかってしまう。そこで、被写体の不規則な動きの影響などを受けたフレームに対してのみ基準フレームからの位置ずれ量を高精度に計算し、被写体の規則的な動きの下で得たフレームの位置ずれ量は、高精度に計算したフレームの位置ずれ量から予測取得する。こうして計算量を減らすこととする。そのためには、被写体の規則的な動きの下で得たフレームと被写体の不規則な動きの影響を受けたフレームとを予め知っておくか、推定等しなければならない。つまり、計算に時間がかかる手法を用いずに被写体の不規則な動きの影響などを受けたフレームを抽出するための選出機構が必要となる。本発明はこの選出機構を有し、複数の画像の位置を従来の手法に比べて高速に合わせることができる装置及び方法に関する。
【００１３】
（発明の特徴の一側面）
本発明に係る撮像装置ないし方法の実施の形態について図１乃至図１８に沿って説明する。なお、本実施形態の説明は本発明を何ら限定するものではない。本発明の要旨の範囲内において適宜に変形、変更等が可能である。
【００１４】
図１は、位置合わせを高精度に行うフレーム数を減らした様子を示す。位置ずれ量を高精度に計算するフレームをノードと呼びフレーム１で表す。これに対して、ノードの位置ずれ量から予測によって位置ずれ量を算出するフレームをリンクと呼びフレーム２で表す。全フレーム数に対してノードの数を少なくすることによって計算時間を減らすことができる。図２は、各フレームにおける被写体の特徴点またはマーカーの動きを示す。以下、各フレームでの被写体の特徴点またはマーカーの動きや位置を単に動きや位置などと表すこともある。黒丸は各フレームの位置を表し、第ｎフレームの位置の座標を（ｘｎ、ｙｎ）で表す。実線３は、連続するフレームの位置同士を結んだ線を示す。点４はノードであり、位置ずれ量を高精度に計算するフレームであり図１のフレーム１に対応する。それ以外の点５はリンクであり、位置ずれ量を点４の位置から補間処理によって予測するフレームで、図１のフレーム２に対応する。点線６は、連続するノード同士を結んだ線であり、点５に対応する位置は点線６上の点７として補間算出される。
【００１５】
図３に、本実施形態の撮像装置ないし方法で行う各フレームの被写体の位置合わせ処理のフローを示す。ステップ１では、画像を複数フレーム撮影する。ステップ２では、各フレームの位置ずれ量を高速に算出する。このステップ２では、高精度に算出せずにずれ量のおおよその大きさが分かる程度で算出することにより、計算時間を短縮して位置合わせ処理を高速化する。ステップ３では、ステップ２で高速に算出した各フレームの位置ずれ量からノードとなるフレームを選出する。例えば、位置ずれ量が大きく変化する間のフレームを選出する。フレーム番号の両端のフレームを選出するなどして、位置ずれ量とは関係なく選出することもできるし、位置ずれ量とフレーム番号の両方を考慮してノードを選出することもできる。
【００１６】
ステップ４では、上記相関値を取得する手法などで、選出したノードの位置ずれ量を高精度に算出する。ステップ５では、ノードとならなかったリンクの位置ずれ量をステップ４で算出したノードの位置ずれ量から補間の予測法により算出する。ステップ６では、ステップ４とステップ５で算出した位置ずれ量に基づいて全てのフレームの位置を補正する。
【００１７】
まずステップ２について詳しく説明する。図４はステップ２のフローを示す。ステップ２０１では、或るフレームにおいて画素値分布がある領域（画素値が単調変化する領域など）を設定する。或るフレームは基準フレームであることが好ましい。ここで、基準フレームとは位置合わせの基準となるフレームであり、他の全てのフレームをこのフレームに位置合わせをする。領域の設定には、例えば、撮像装置の構成や撮影条件の制約により被写体がｘ方向に動きやすい場合には、基準フレームに写った被写体の中でｘ方向に画素値分布がついている領域を採用する。ステップ２０２では、ステップ２０１で設定した領域内の画素位置（座標Ａ、座標Ｂなど）と画素値の関係を把握しておく。これの詳細は図５を用いて後述する。ステップ２０３では、ステップ２０１で設定した領域内の１点をプローブに設定する。プローブは、例えば、画素値分布をもつ領域のうちの１画素の位置（基準位置）である。ステップ２０４では、ステップ２０３で決めたプローブの画素位置の画素値を全てのフレームで得る。ステップ２０５では、ステップ２０４で得た画素値とステップ２０２で得た画素位置と画素値の関係から全てのフレームでプローブの画素位置を算出する。すなわち、全てのフレームにおいて、プローブの画素値を基準フレームの基準画像上での画素位置に変換する。
【００１８】
図５は２つのフレームを重ねて描画したものである。基準フレームに写った被写体８に対して、位置ずれ量を見積もるフレームに写った被写体９が重なっている。被写体８上でプローブ１０を内部に持つ領域１１を設定する。被写体８に対する領域１１の位置と被写体９に対する領域１２の位置とは同じである。領域１３は領域１１を、領域１４は領域１２をそれぞれ拡大表示したものである。各領域内の濃淡は画素値の大小を表し、淡い色ほど画素値は大きく濃い色ほど画素値は小さい。図６に、領域１３のｘ方向の画素値の分布を示す。この分布を予め把握しておくことにより、プローブ１０の画素は、被写体８での値は画素値１５を取るのに対して、被写体９での値は画素値１６を取ることが分かる。これは、プローブ１０が−ｘ方向に１画素ずれたことを意味するので、被写体９は基準フレームの被写体８に対して＋ｘ方向に１画素ずれたことが分かる。ここでは、領域１１はｘ方向にのみ画素値が変化する例を示したが、領域１１内で画素値と位置との対応づけが可能ならばどんな画素値分布でも構わない。例えば、領域１１内で全ての画素の画素値が異なっている場合には画素値と位置との対応づけが１対１でできることになる。
【００１９】
（領域１１の設定）
領域１１は本装置の使用者が設定することも可能であり、本装置の制御部が被写体の画素値分布を解析して自動で設定することも可能である。制御部が自動で設定することで、画素値と位置との対応づけを高精度に行うことができ、さらに領域１１を高速に見つけ出すことができる。これにより、位置合わせに掛かるトータルの時間を短縮することができるため、位置合わせ処理の更なる高速化が可能である。領域１１は、被写体の位置ずれ量が起こりうる最大値を想定して、領域の広さを設定しておくとよい。例えば、想定される位置ずれ量の最大値が３０画素であった場合には±３０画素以上の広さに設定する。しかし、位置ずれ量が想定した以上に大きい場合もある。この場合には、領域１１の画素値分布から外挿することにより位置ずれ量に換算する。例えば、領域１１においてｘ方向にほぼ直線的に画素値が変化する様なときには、直線近似することにより領域外の画素値と位置ずれ量を対応づけることができる。使用者が設定する場合も、同様なことを考慮して使用者が領域１１を見つけ出し、入力操作部から装置の制御部にデータを入力する。
【００２０】
次に図３のステップ３について詳しく説明する。図７はステップ３のフローを示す。ステップ３０１では、高速に算出した位置ずれ量と補間による位置ずれ量推定値との差を許容する閾値を決定する。事前に決める閾値は、最終出力画像に必要なコントラストなどから逆算して、各フレームに許される位置ずれ量を画素数で与える。ここでは閾値の大きさをｅとする。ステップ３０２では、少なくとも２フレーム（２画像）をノードとして選出する。ステップ３０３では、リンクとなったフレームに含まれるプローブの基準フレームでの画素位置を、ノードとなったフレームから補間算出する。ここで、ノードのプローブ位置は図３のステップ２で高速に算出した値を用いる。
【００２１】
ステップ３０３について図８を用いて詳しく説明する。図８は図３のステップ２で算出した各フレームの基準フレームでの画素位置を示す。全てのフレームはノード（黒丸で示す）またはリンク１７、１８（黒三角で示す）のいずれかである。リンク１８の画素位置はノードから補間線１９上に補間画素位置２０として算出される。図７のステップ３０４では、図８の補間画素位置２０（座標ａに係わる数値）とリンク１８の画素位置（座標Ａに係わる数値）との誤差（差ｅ１、差ｅ２など）を算出する。ステップ３０５では、ステップ３０４で算出した誤差のうち閾値を超えるリンクをノードとするが、すでに全ての差が閾値以下である場合には何も行わない。
【００２２】
ステップ３０３、３０４、３０５について図９を用いて詳しく説明する。図９は補間による画素位置の誤差を表している。リンク２１、リンク２２はそれぞれ図８のリンク１７、１８に対応している。リンク２２に対しては、図８の補間画素位置２０からリンク１８の画素位置を引いた値が誤差２６として表されている。リンク２１に対しては、図８の別の補間画素位置からリンク１７の画素位置を引いた値が誤差２５として表されている。閾値２３、２４はそれぞれ＋ｘ、−ｘ方向に許容される誤差ｅ、−ｅである。誤差２５の大きさは閾値ｅを上回っているので許容範囲外となり、誤差２６の大きさは閾値−ｅを下回っているので許容範囲外となる。これらはノードの候補となる。図９における黒三角の他のリンクは閾値を超えていないので許容範囲内にある。
【００２３】
（ノードの選出方法）
誤差２５は誤差の大きさが閾値を上または下回っているもののうち最大であるのでリンク２２をノードに変更する。誤差が最大である１画像のみをノードに変更することで、再度各リンクの補間による位置ずれ量推定値を算出するとその値が変わり、閾値を超えていたリンクのうちこの操作によって許容範囲内となるものが現れる。これによって閾値を超えるリンクの数が飛躍的に減少するため、閾値を超えるリンクがなくなるまでこの操作を繰り返しても最終的にノードに変更するリンクの数は少なくなる。こうして、位置合わせを高精度に行うフレーム数が減り、計算時間を短縮することができるため、位置合わせ処理の更なる高速化が可能となる。これに対して、ノードに変更するフレームを複数選んだ場合にはノードにする必要のないリンクまでノードに変更してしまう恐れがあるため、最終的なノードの数が多くなってしまうことになり易い。
【００２４】
次に図３のステップ４について説明する。ステップ３で決定したノードとなったフレームに対して高精度に位置ずれ量を計算する。計算の方法には、例えば、被写体の特徴点や被写体に配置したマーカーについて、基準フレームの画像とノードとなった各フレームの画像との間で相関値、ＳＩＤ、ＲＩＵなどを求めて位置ずれ量を取得する上述した方法がある。
【００２５】
次に図３のステップ５について説明する。ステップ３で決定したリンクとなったフレームに対しての位置ずれ量を、ステップ４で決定したノードとなったフレームの位置ずれ量から補間により算出する。
【００２６】
（補間の方法）
ステップ３とステップ５で実行される補間の方法は、線形補間、スプライン補間など、どのような手法を用いてもよい。線形補間を用いた場合は、他の補間方法と比較して計算が簡易であり高速に演算処理を行うことが可能であり、好適である。また、スプライン補間を用いた場合には線形補間の場合よりも位置ずれ量推定の精度が向上し、ステップ３で選出するノードの数を減らせる場合がある。これによって、位置合わせを高精度に行うフレーム数が減り、計算時間を短縮するできるため、位置合わせ処理の更なる高速化が可能である。
【００２７】
最後に図３のステップ６について詳しく説明する。図１０は、基準フレームに異なるフレームを重ねたものを示す。基準フレームの被写体２７に対して、注目しているフレームの被写体２８は位置がずれている。その位置ずれ量３１は、被写体上の特徴点の基準フレームにおける位置２９に対して注目フレームにおける位置３０のずれ量として算出される。位置３０は、注目フレームがノードである場合には高精度に算出されたものであり、リンクである場合にはノードの位置ずれ量から補間を用いて算出されたものとなる。位置ずれ量３１だけ戻す様に注目フレームを変換することにより基準フレームに位置を合わせることができる。例えば、剛体ではない大きいサイズの被写体が位置によって位置ずれ量が異なる場合や、被写体中で特に注目したい箇所が特徴点から遠くて特徴点とは違う位置ずれを生じている場合には、特徴点を複数取ればよい。そして、特徴点のそれぞれに対して位置ずれ量を求めてからアフィン行列を算出して、注目フレームをアフィン変換するという方法もある。被写体の空間位置を一意に決めるという観点などから、特徴点は少なくとも３つ取るのが良い。
【００２８】
（ノード追加の方法）
また、以下の構成を取ることも可能である。図３のステップ３でノードとなるフレームを決定する際に、次のように決定する。すなわち、ステップ２で算出した位置ずれ量と補間により算出した位置ずれ量との差が全てのリンクとなるフレームで閾値を越えなくなるまで図７のステップ３０３、３０４、３０５を繰り返す。図１１は本構成のフローを示す。ステップ３０１乃至３０５は図７のものと同じである。ステップ３０４の後に、ステップ３０６として、全ての差が閾値以下であるか否か（閾値を越えないか否か）を判断する処理が入る。全ての差が閾値以下である場合には処理を終了し、そうでない場合にはステップ３０５を実行して再びステップ３０３に戻る。すなわち、差を再度取得して、閾値を超える画像が無くなるまでノードを選出する。
【００２９】
ステップ３０５で、前述と同様に、誤差が最大のものをノードに変更することで閾値を超えるフレームがなくなるまでノードを増やしていった場合には、ノードに変更するフレームを無作為に選んだ時と比べて、ノードの数を減らすことができる。これによって、位置ずれ量を高精度に計算するフレーム数が減り、計算時間を短縮することができるため、位置合わせ処理の更なる高速化が可能である。
【００３０】
（２次元的な位置ずれ量の算出）
また、以下に示す構成により被写体の２次元的な位置ずれ量を算出することも可能である。本構成ではプローブを２点設定し、それぞれはｘ方向の位置ずれ量検出及びｙ方向（ｘ方向とは平行でない）の位置ずれ量検出のためのプローブである。図１２は２点のプローブを設定した様子を示す。プローブ３２、プローブ３３に対してそれぞれ領域３４、領域３５を設定する。領域３６は領域３４を、領域３７は領域３５をそれぞれ拡大表示したものである。各領域内の濃淡は画素値の大小を表し、淡い色ほど画素値は大きく濃い色ほど画素値は小さい。領域３４はｘ方向にのみ画素値が変化し、領域３５はｙ方向にのみ画素値が変化する。
【００３１】
図１３に、領域３４のｘ方向の画素値の分布３８及び領域３５のｙ方向の画素値の分布３９を示す。基準フレームの被写体の位置ずれ量をゼロとしたとき、横軸はｘまたはｙ方向の位置ずれ量を示す。基準フレームにおいてプローブ３２、プローブ３３はそれぞれ画素値４０、４１であったとする。そして、異なるフレームにおいてはそれぞれ画素値４２、４３であったとする。分布３８、３９を予め知っておくことにより、プローブ３２の画素はｘ方向に１画素ずれ、プローブ３３の画素は−ｙ方向に２画素ずれたことが分かる。図３のステップ３でノードとなるフレームを決定する際に、図７のステップ３０４ではステップ２で算出した位置（座標Ａと座標Ｂ）と補間により算出した位置（座標ａと座標ｂ）との差をｘ方向、ｙ方向それぞれ算出する。そして、ステップ３０５ではそのうちどちらか一方でも閾値を超えたフレームをノードとする。
【００３２】
もしくは、ｘ方向の差とｙ方向の差から｛（ｘ方向の差）２＋（ｙ方向の差）２｝１／２（＝（ｅ１２＋ｅ２２）１／２）を２次元的な位置の差として算出し、この値が閾値を超えたフレームをノードとしてもよい。これにより、許容される誤差の方向が等方的になり、最終的に合成して作る画像のコントラストの劣化のうち各画像の位置ずれが要因となるものについては方向依存性がなくなるため、この方法は好適である。
【００３３】
（プローブ画素値の変動の判別法）
また、以下の構成を取ることも可能である。複数枚の画像を撮影中に被写体を照らす光源が光量変動を起こしたり、被写体が人体である場合には血流などの状態が変化したりして光の透過率や反射率が変化する可能性がある。その場合には、プローブの画素値の変動が被写体の動きによるものであるのか、光源光量や被写体の状態変化であるのかが判別できない。この課題に対処するため、同じ移動方向（位置変化）に対して画素値の増減の符号が逆になるプローブの対を設定する。図１４はプローブの対を設定した様子を示す。プローブ４４、プローブ４５に対してそれぞれ領域４６、領域４７を設定する。領域４８は領域４６を、領域４９は領域４７をそれぞれ拡大表示したものである。各領域内の濃淡は画素値の大小を表し、淡い色ほど画素値は大きく濃い色ほど画素値は小さい。領域４６はｘ方向にのみ画素値が変化し、−ｘ方向にいくほど画素値が大きくなっている。これに対して、領域４７もｘ方向にのみ画素値が変化しているが、＋ｘ方向にいくほど画素値が大きくなっていて、領域４６と画素値の増減の符号が逆になっている。領域４６と領域４７における画素値と移動量の関係は、両者の画素値を足し合わせた値が移動量に対して一定である必要はな（図１４の例では一定になっている）。同じ移動方向に対して、一方の画素値が増大し、他方の画素値が減少すればよい。
【００３４】
図１５に、領域４６、４７それぞれのｘ方向の画素値の分布５０、５１を示す。基準フレームの被写体の位置ずれ量をゼロとしたとき、横軸はｘ方向の位置ずれ量を示す。プローブ４４、４５が比較的近くに位置している場合には両プローブは同じ動きをするとみなせるため、領域４６、４７を比較的近い位置から探して設定するのが好適である。例えば、基準フレームにおいてプローブ４４、４５はそれぞれ画素値５２、５３であったとする。そして、異なるフレームにおいて両プローブともに＋ｘ方向に１画素動いたとすると、それぞれ画素値５４、５５を取り、画素値の増減が逆になる。
【００３５】
図１６に画素値の分布５０、５１の差を示す。画素値の差６２は、画素値の分布５０から分布５１を引いたものである。基準フレームにおいてプローブ４４とプローブ４５の画素値の差が画素値差６３であったとする。そして、異なるフレームにおいて画素値差６４であったとすると、被写体が＋ｘ方向に１画素動いたことが分かる。
【００３６】
図１７に、光源輝度変化または被写体の状態変化と被写体の動きがあった場合のプローブ４４、４５の画素値変化を示す。画素値変化５６、５７はそれぞれプローブ４４、４５に対応する。領域５８では両プローブの画素値がともに上がっているので光源輝度変化または被写体の状態変化があったことが分かる。一方で、領域５９ではプローブ４４の画素値が上がっているのに対してプローブ４５の画素値は下がっているので、被写体が＋ｘ方向に動いたことが分かる。
【００３７】
図１８に両プローブの画素値の差をプロットしたものを示す。画素値の差の変化６０が、プローブ４４の画素値変化５６からプローブ４５の画素値変化５７を引いた値である。図１７の領域５８では、両プローブ４４、４５ともに画素値が増大しているので、それらの差が何の変化も起こっていないフレームと同等な値となっている。一方、領域５９では、両プローブ４４、４５の画素値の増減が逆になっているので、それらの差は、何の変化も起こっていないフレームの差よりも大きくなる。つまり、光源輝度変化または被写体の状態変化を打消し、被写体の動きを顕在化させる。画素値の差の変化６０を図１６の画素値の差６２と対応づけることで被写体の位置ずれ量を算出することができる。
【００３８】
また、以下の構成を取ることも可能である。プローブを含む領域は画素値と位置の対応づけが可能でなければならないが、そのような画素値分布が被写体に必ず存在するとは限らない。また、そのような領域があったとしても、探し出すのに時間を要してしまう場合がある。光を透過させて撮影する撮像装置で、被写体に関節を含んでいる場合には、プローブが動く領域を関節付近から探して設定することでこの課題を解決することができる。関節の関節腔は髄液で満たされているため光の透過率が高いのに対して、骨は透過率が低い。関節腔と骨の境界は、光の強度の差が顕著に表れるのではなく、被写体の厚みだけ光が透過する間に毛細血管やその他の組織により光が散乱され、強度は関節腔から骨の方向に向かうにつれて徐々に下がっていく。よって、関節付近では画素値の勾配を持った領域が存在することが多いので、画素値と位置の対応付けを精度良く行うことができる。また、最初からプローブを含む領域を関節付近から探し出すようにすることで時間を短縮することができるため、位置合わせ処理の更なる高速化が可能である。
【００３９】
（実施例１）
より具体的な実施例１を説明する。図１９−１と図１９−２は本発明の撮像装置の一例の構成を示す。被写体となる生体の指６５を台６６上に置いて撮影する。下方に設置した光源６７から発した光６８は台６６内に設けられた光の透過部を抜けて指６５を照射する。指６５内を透過した光６９は上部に設けたカメラ（撮影部）７０によって受光され、画像が１６ビットの諧調で撮影される。光源６７は波長８１０ｎｍ（近赤外光）のＬＥＤアレイである。カメラ７０は光源６７の波長に感度を有する近赤外カメラである。
【００４０】
撮像カメラ７０、照明光源６７などは、図１９−２に示す制御部１７３のＣＰＵ１７４により制御される。撮像カメラ７０はカメラＩ／Ｆボード１７５を介してＣＰＵ１７４に繋がり、カメラの絞り、露光時間、感度などの撮影条件の設定や撮影タイミングの制御が行われる。撮影した画像はＣＰＵ１７４内の記憶部１７６に取り込まれ、撮影した画像に対して上述した位置合わせ、画像合成などの画像処理が行われる。制御部１７３には情報入力操作部１７８が接続され、上述したプローブを含む領域の設定、撮影条件の設定や撮影の開始・停止を情報入力操作部１７８のキーやボタンなどで操作できる。制御部１７３にはモニター（出力部）１７９が接続され、合成した画像などを表示することができる。
【００４１】
上述のフローチャートは、例えば、１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介して装置の制御部１７３に供給し、その装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理で実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４２】
図２０はカメラ７０を用いて撮影した画像を示す。画像７１は、連続して撮影した１０００枚の画像のうち位置合わせの基準であり、ここでは第１フレームとした。被写体は指７２である。撮影した１０００枚の画像のうちノードとなるフレームを選出した後に、指７２上に配置した３つのマーカー７３を用いて高精度に位置合わせを行う。指７２の関節７４上には光の透過率が高い位置７５があり、その境界付近には透過率の勾配を持つ領域７６、７７が存在する。領域７６はｘ方向に画素値の勾配を持ち、ｙ方向にはほぼ一定の画素値となっており、領域７７はｙ方向に画素値の勾配を持ち、ｘ方向にはほぼ一定の画素値となっている。
【００４３】
図２１は画素値勾配を持った領域の拡大図を示す。図２１（Ａ）に示した領域７８は図２０の領域７６を拡大したものである。領域７８内にプローブ７９を設定し、そこをｘ方向の原点として±２０画素の範囲を領域７８としている。領域７８内の画素値分布を濃淡で表しており、＋ｘ方向にいくほど画素値が高くなっているが、ｙ方向には殆ど変化がない。図２１（Ｃ）は領域７８内の画素値分布をグラフで示したものであり、ｘ方向の画素値分布８２はｙ方向に平均化したものである。プローブ７９はプロット８３に対応している。第１フレーム（基準フレーム）におけるそこでの画素値は３．４×１０４であり、ｘ＝−２０画素からｘ＝＋２０画素の範囲で画素値は３．０×１０４から４．０×１０４まで変化していて、ｘ方向の位置と画素値が１対１に対応している。同様に図２１（Ｂ）は図２０の領域７７を拡大したものであり、図２１（Ｄ）はｘ方向に平均化した画素値分布を示している。
【００４４】
図２２には画素値と位置ずれ量の対応付けのグラフを示す。図２２のグラフ上に各フレームを黒点でプロットしており、そこに付してある数字はフレーム番号を表している。プロット８６は第１フレームであり、位置合わせの基準となるためｘの位置をゼロとしている。つまり、各フレームでのプローブの位置は、第１フレームからの位置ずれ量を表している。例えば、第３００フレームを表すプロット８７の画素値は３．６×１０４であるとすると、グラフからｘ＝９と読み取れるので、第１フレームからの位置ずれ量は９画素であると見積もれる。この様にして、第２フレームから第１０００フレームまでの全てのフレームでの位置ずれ量を見積もる。ｙ方向に対する位置ずれ量も図２１（Ｄ）のグラフから同様に見積もる。
【００４５】
ここで、位置ずれ量の算出誤差を許容する閾値を決定する。観察したい指の血管の太さが５０画素であるとして、最終的な出力画像に求めるコントラストから、血管の太さの１／５を位置ずれ量算出誤差として許容すると、閾値は１０画素となる。図２３に全フレームのｘ方向位置ずれ量とその線形補間による予測を示す。各フレームを黒点でプロットしており、隣り合うプロット同士を実線で結んでいる。プロット８８は第１フレームであり、位置合わせの基準となるので位置ずれ量はゼロである。
【００４６】
（ノードの選出法）
ここでは、最初の第１フレームと最後の第１０００フレームをノードとして選ぶ。近い２フレームを選んでノードとした場合は、他のフレームの位置ずれ量を外挿で予測することになり、誤差が大きくなる可能性が高い。しかし、第１フレームと最終フレームを選ぶことで他のフレームを内挿により予測するため、誤差が小さくなる可能性が高い。これにより、選出するノードの個数を減らすことができる。こうして、位置合わせを高精度に行うフレーム数が減り、計算時間を短縮することができるため、位置合わせ処理の更なる高速化が可能である。両フレームを直線８９で結び、この直線上にリンクとなる第２から９９９のフレームの位置ずれ量があるとして線形補間により予測する。この直線上の白丸のプロットが、補間によるリンクの位置ずれ量予測値を示す。例えば、プロット９０にあるフレームは直線８９上の予測値９１にあると予測され、高速に算出して見積もった位置ずれ量は−７画素であるが、補間による予測では１０画素となる。
【００４７】
図２４に見積もった位置ずれ量と補間による予測の差を示す。各フレームにおける［（見積もった位置ずれ量）−（補間による位置ずれ量予測の値）］をプロットしている。第１フレームであるプロット９２と第１０００フレームであるプロット９３はノードであるため、補間による位置ずれ量は算出していないので、差をゼロとしている。先に決定した閾値である１０画素を正の閾値９４、負の閾値９５として示している。プロット９６は位置ずれ量算出誤差が閾値を超えたフレームであり、次にノードに設定するフレームの候補となる。
【００４８】
図２５に、見積もった位置ずれ量と新たにノードを加えたときの補間による予測を示す。第１フレームと第１０００フレームであるプロット９７、９８はもともとノードとしたフレームであり、プロット９９、１００が新たにノードにしたフレームである。プロット９７とプロット９９の間、プロット９９とプロット１００の間、プロット１００とプロット９８の間は直線で結んである。線形補間によるリンクの位置ずれ量予測値を白丸で示している。先ほどと同様に、見積もった位置ずれ量と補間による位置ずれ量予測の差を算出して、閾値を超えたフレームの中から次にノードとなるフレームを選出する。その選出方法は、差が閾値を超えていて、かつ差の大きさが最大の１フレームをノードとして選出する。これによって、無駄なノードを増やすことなく、最小のノード数にとどめることができる。この操作を、閾値を超えるフレームがなくなるまで繰り返す。
【００４９】
図２６に、見積もった位置ずれ量と補間による予測との差の最終状態を示す。全てのフレームで差が閾値１０１、１０２以内に収まっている。ここまでの処理は全てｘ方向の位置ずれに対してのものであるが、ｙ方向に対しても、図２１（Ｂ）、（Ｄ）などから同様に行う。１０００フレーム中、最終的にノードとして選出したフレームは５０フレームである。ノードとなった５０フレームに対してのみ、マーカーを用いた相関値計算を行って位置ずれ量を高精度に算出し、リンクとなった９５０フレームに対してはノードの位置ずれ量から補間により位置ずれ量を予測する。これによって、本来１０００フレーム全てに対して高精度に計算を行う場合の計算時間が約３時間であるのに対して、本実施例では約９分となり、１／２０に計算時間が短縮される。
【００５０】
（実施例２）
本発明の実施例２を説明する。装置の構成は図１９−１及び図１９−２と同じであり、実施例１と同様に１０００枚の画像を撮影する。図２７はカメラ７０を用いて撮影した画像を示す。画像７１は連続して撮影した１０００枚の画像のうち位置合わせの基準であり、ここでも第１フレームとした。図２７に記した番号のうち図２０と同じ番号は同じものを示す。領域１０３は、ｘ方向に領域７６とは逆の画素値の勾配を持ち、ｙ方向にはほぼ一定の画素値となっている。領域１０４は、ｙ方向に領域７７とは逆の画素値の勾配を持ち、ｘ方向にはほぼ一定の画素値となっている。
【００５１】
図２８は、画素値勾配を持った領域のうち図２７の領域１０３、１０４の拡大図を示す。図２１に領域７６、７７に対するものを示したのと同様に、図２８には領域１０３、１０４のものを示す。領域１０３を拡大した領域１０５内にプローブ１０６を示し、領域１０５内の画素値をｙ方向に平均した画素値分布１０９を示す。プローブ１０６はプロット１１０に対応していて、第１フレームにおけるそこでの画素値は３．２×１０４であり、ｘ＝−２０画素からｘ＝＋２０画素の範囲で画素値は３．０×１０４から４．０×１０４まで変化している。領域１０４を拡大した領域１０７内にプローブ１０８を示し、領域１０７内の画素値をｘ方向に平均した画素値分布１１１を示し、プローブ１０８の値はプロット１１２に示す。
【００５２】
図２９に領域７６、１０３の画素値分布と両者の差を示す。図２９（Ａ）には、図２１の画素値分布８２と図２８の画素値分布１０９を同一のグラフに示す。図２９（Ｂ）には、画素値分布８２から画素値分布１０９を引いたグラフを示す。画素値分布差１１３は−１．０×１０４から１．０×１０４まで変化していて、ｘ方向の位置と画素値の差分が１対１に対応付いている。
【００５３】
図３０に各フレームのプローブ７９、１０６の画素値変化と両者の差分を示す。図３０（Ａ）で実線のグラフ１１４はプローブ７９の画素値変化、破線のグラフ１１５はプローブ１０６の画素値変化を示す。フレーム１１６で両プローブの画素値は上昇している。これは光源の発光光量増大のためである。フレーム１１７では、被写体である指が−ｘ方向に動いたため図２９（Ａ）で示した様にプローブ７９の画素値は下がり、プローブ１０６の画素値は上がっている。
【００５４】
図２９（Ｂ）のグラフ１１８はグラフ１１４からグラフ１１５を引いた画素値を示す。図２９（Ａ）のフレーム１１６はフレーム１１９に対応しており、両プローブともに同等量の画素値上昇が起こったため、その差分はゼロに近い値となっている。これに対して図２９（Ａ）のフレーム１１７はフレーム１２０に対応しており、手の変化に対して画素値の増減が逆であるため、その差分は負の方向に大きく出ている。つまり、プローブ７９の値からプローブ１０６の値を引くことによって光源の発光光量変化の影響を相殺し、被写体の動きを顕著に観察することができる。
【００５５】
図３１は各フレームでの被写体のｘ方向の位置ずれ量を示す。図３０（Ｂ）のグラフの縦軸を図２９（Ｂ）の画素値分布差１１３を用いることでｘ方向の位置ずれ量に直している。プロット１２１は第１フレームでの位置ずれ量であるので、ここを基準とするためゼロになるように全体をシフトしてグラフ１２２を描いている。これ以降の処理は実施例１と同じ様にグラフ１２２の中で閾値１２３を超えるフレームの中から最大の超過量のものをノードとして選出して、閾値１２３を超えるフレームがなくなるまで同じ処理を繰り返す。ここまでの処理は全てｘ方向の位置ずれに対してのものであるが、ｙ方向に対しても図２８（Ｂ）、（Ｄ）などから同様に行う。この結果、１０００フレーム中、最終的にノードと選出したフレームは６０フレームとなり、これにより、本実施例では光源の発光輝度があっても約１／１７に計算時間が短縮された。
【符号の説明】
【００５６】
１、４・・選出画像（ノード）
２、１０・・第１位置（プローブ、基準位置）
３、１１、１２・・第１領域
４、２９、３０・・特徴領域（特徴部、マーカー）
５、７０・・撮影部（カメラ）
６、１７３・・制御部
【図１】
2017084144.tif 000003
【図２】
2017084144.tif 000004
【図３】
2017084144.tif 000005
【図４】
2017084144.tif 000006
【図５】
2017084144.tif 000007
【図６】
2017084144.tif 000008
【図７】
2017084144.tif 000009
【図８】
2017084144.tif 000010
【図９】
2017084144.tif 000011
【図１０】
2017084144.tif 000012
【図１１】
2017084144.tif 000013
【図１２】
2017084144.tif 000014
【図１３】
2017084144.tif 000015
【図１４】
2017084144.tif 000016
【図１５】
2017084144.tif 000017
【図１６】
2017084144.tif 000018
【図１７】
2017084144.tif 000019
【図１８】
2017084144.tif 000020
【図１９−１】
2017084144.tif 000021
【図１９−２】
2017084144.tif 000022
【図２０】
2017084144.tif 000023
【図２１】
2017084144.tif 000024
【図２２】
2017084144.tif 000025
【図２３】
2017084144.tif 000026
【図２４】
2017084144.tif 000027
【図２５】
2017084144.tif 000028
【図２６】
2017084144.tif 000029
【図２７】
2017084144.tif 000030
【図２８】
2017084144.tif 000031
【図２９】
2017084144.tif 000032
【図３０】
2017084144.tif 000033
【図３１】
2017084144.tif 000034