(57)【要約】  本発明にかかる画像処理装置は、被写体画像を取得する被写体画像取得部と、注目箇所を検出する検出対象画像を選択する検出対象画像選択部と、複数の被写体画像のうちのいずれかに重畳されて注目箇所を示す重畳オブジェクトの空間情報を生成する重畳オブジェクト情報生成部と、重畳対象画像を選択する重畳対象画像選択部と、検出対象画像と重畳対象画像との間の画像間対応情報を生成する画像間対応情報生成部と、重畳オブジェクトの空間情報を補正する空間情報補正部と、重畳オブジェクトを重畳対象画像に重ねるオブジェクト重畳部と、を備え、一の検出対象画像について重畳オブジェクトの空間情報を生成するまでの間、重畳対象画像選択部による重畳対象画像の選択処理、画像間対応情報生成部による画像間対応情報の生成処理、空間情報補正部による空間情報の補正処理、およびオブジェクト重畳部による重畳オブジェクトの重畳処理を繰り返し実行する。
2017212653.tif 000002
【特許請求の範囲】
【請求項１】
複数の被写体画像を順次取得する被写体画像取得部と、
注目箇所を検出する検出対象画像を前記複数の被写体画像から選択する検出対象画像選択部と、
前記検出対象画像における前記注目箇所を検出して、前記複数の被写体画像のうちのいずれかに重ねられて前記注目箇所を示す重畳オブジェクトの空間情報を生成する重畳オブジェクト情報生成部と、
前記重畳オブジェクトを重ねる対象である重畳対象画像を前記複数の被写体画像から選択する重畳対象画像選択部と、
前記検出対象画像と前記重畳対象画像との間の画像間対応情報を生成する画像間対応情報生成部と、
前記画像間対応情報に基づいて前記重畳オブジェクトの空間情報を補正する空間情報補正部と、
前記空間情報補正部により補正された空間情報を有する前記重畳オブジェクトを前記重畳対象画像に重ねるオブジェクト重畳部と、
を備え、
前記重畳オブジェクト情報生成部が一の前記検出対象画像について前記重畳オブジェクトの空間情報を生成するまでの間、前記重畳対象画像選択部による前記重畳対象画像の選択処理、前記画像間対応情報生成部による前記画像間対応情報の生成処理、前記空間情報補正部による前記空間情報の補正処理、および前記オブジェクト重畳部による前記重畳オブジェクトの重畳処理を繰り返し実行する
画像処理装置。
【請求項２】
前記重畳オブジェクト情報生成部が一の前記検出対象画像について前記重畳オブジェクトの空間情報を生成する処理と、
前記重畳対象画像選択部による前記重畳対象画像の選択処理、前記画像間対応情報生成部による前記画像間対応情報の生成処理、前記空間情報補正部による前記空間情報の補正処理、および前記オブジェクト重畳部による前記重畳オブジェクトの重畳処理と、
を並行して実行させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記重畳オブジェクトの空間情報を記憶する記憶部をさらに備え、
前記被写体画像取得部が前記被写体画像を取得した取得時刻であって、前記重畳オブジェクト情報生成部が前記重畳オブジェクトの空間情報を生成した前記検出対象画像の取得時刻と、前記記憶部に記憶されている最新の前記重畳オブジェクトの空間情報を生成した前記検出対象画像の取得時刻とを比較して、前記重畳オブジェクト情報生成部により生成された前記重畳オブジェクトの空間情報を前記記憶部に記憶させるか否かを判断する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記重畳オブジェクトの空間情報を記憶する記憶部をさらに備え、
前記制御部は、
前記被写体画像取得部が前記被写体画像を取得した取得時刻であって、前記重畳オブジェクト情報生成部による前記重畳オブジェクトの空間情報の生成した前記検出対象画像の取得時刻が、前記記憶部に記憶されている最新の前記重畳オブジェクトの空間情報を生成した前記検出対象画像の取得時刻よりも前である場合、前記重畳オブジェクト情報生成部による生成処理を終了させる
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記重畳オブジェクト情報生成部は、前記重畳オブジェクトの空間情報の生成処理を異なる検出対象画像について並行して実行し、
複数の前記検出対象画像、およびこれら複数の前記検出対象画像に対応する複数の前記重畳オブジェクトの空間情報を記憶する記憶部をさらに備え、
前記画像間対応情報生成部は、前記記憶部を参照して、前記画像間対応情報の生成処理に用いる前記検出対象画像として、各々前記被写体画像取得部が前記検出対象画像を取得した取得時刻が最新の前記検出対象画像を選択する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記重畳オブジェクト情報生成部は、前記重畳対象画像選択部による前記重畳対象画像の選択処理、前記画像間対応情報生成部による前記画像間対応情報の生成処理、前記空間情報補正部による前記空間情報の補正処理、および前記オブジェクト重畳部による前記重畳オブジェクトの重畳処理を繰り返し実行する間に、一の前記検出対象画像の前記重畳オブジェクトの空間情報の生成処理を時分割で実行する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像間対応情報生成部は、前記検出対象画像全体に基づいた、前記検出対象画像と前記重畳対象画像との間の全体画像間対応情報、および、前記検出対象画像における前記重畳オブジェクトの配置領域に対応する領域に基づいた、前記検出対象画像と前記重畳対象画像との間の部分画像間対応情報を生成し、
前記検出対象画像における前記重畳オブジェクトに対応する第１のオブジェクト領域と、前記全体画像間対応情報を用いて前記第１のオブジェクト領域に対応付けられた、前記重畳対象画像における第２のオブジェクト領域との第１の類似度、および、前記第１のオブジェクト領域と、前記部分画像間対応情報を用いて前記第１のオブジェクト領域に対応付けられた、前記重畳対象画像における第３のオブジェクト領域との第２の類似度を算出する類似度算出部と、
前記第１の類似度および前記第２の類似度に基づいて、前記全体画像間対応情報および前記部分画像間対応情報のうちのいずれかを前記画像間対応情報として選択する選択部と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記被写体画像に関する情報、および前記重畳オブジェクト情報生成部が生成した前記重畳オブジェクトの空間情報を記憶する記憶部をさらに備え、
前記画像間対応情報生成部は、前記被写体画像取得部が新たに被写体画像を取得した場合に、今回取得した被写体画像と、前回取得した被写体画像との間の画像間対応情報を生成し、
前記記憶部は、生成された前記画像間対応情報を順次記憶し、
前記画像間対応情報生成部は、前記記憶部を参照して、前記検出対象画像から前記重畳対象画像にわたる複数の前記画像間対応情報を累積することによって前記画像間対応情報を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記画像間対応情報生成部は、前記検出対象画像全体を用いて、前記検出対象画像と前記重畳対象画像との間の前記画像間対応情報を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記画像間対応情報生成部は、前記検出対象画像における前記重畳オブジェクトの配置領域に対応する領域を用いて、前記検出対象画像と前記重畳対象画像との間の前記画像間対応情報を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記画像間対応情報生成部は、生成した前記画像間対応情報に対して、前記検出対象画像と前記重畳対象画像との間で対応する領域の画素値を比較することにより前記画像間対応情報を更新する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記画像間対応情報生成部は、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換および平行移動からなる群の少なくとも一つの座標変換によって表現される情報を前記画像間対応情報として生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
前記空間情報は、代表座標、領域マスク、輪郭線からなる群の少なくとも一つである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
前記重畳オブジェクト情報生成部は、センサからの検出情報に基づいて前記重畳オブジェクトの空間情報を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１５】
複数の被写体画像を順次取得する被写体画像取得ステップと、
注目箇所を検出する検出対象画像を前記複数の被写体画像から選択する検出対象画像選択ステップと、
前記検出対象画像における前記注目箇所を検出して、前記複数の被写体画像のうちのいずれかに重ねられて前記注目箇所を示す重畳オブジェクトの空間情報を生成する空間情報生成ステップと、
前記重畳オブジェクトを重ねる対象である重畳対象画像を前記複数の被写体画像から選択する重畳対象画像選択ステップと、
前記検出対象画像と前記重畳対象画像との間の画像間対応情報を生成する画像間対応情報生成ステップと、
前記画像間対応情報に基づいて前記重畳オブジェクトの空間情報を補正する空間情報補正ステップと、
補正された空間情報を有する前記重畳オブジェクトを前記重畳対象画像に重ねる重畳ステップと、
を含み、
一の前記検出対象画像について前記重畳オブジェクトの空間情報を生成する前記空間情報生成ステップを実行する間、前記重畳対象画像選択ステップ、前記空間情報生成ステップ、前記空間情報補正ステップおよび前記重畳ステップを繰り返す
画像処理方法。
【請求項１６】
複数の被写体画像を順次取得する被写体画像取得手順と、
注目箇所を検出する検出対象画像を前記複数の被写体画像から選択する検出対象画像選択手順と、
前記検出対象画像における前記注目箇所を検出して、前記複数の被写体画像のうちのいずれかに重ねられて前記注目箇所を示す重畳オブジェクトの空間情報を生成する空間情報生成手順と、
前記重畳オブジェクトを重ねる対象である重畳対象画像を前記複数の被写体画像から選択する重畳対象画像選択手順と、
前記検出対象画像と前記重畳対象画像との間の画像間対応情報を生成する画像間対応情報生成手順と、
前記画像間対応情報に基づいて前記重畳オブジェクトの空間情報を補正する空間情報補正手順と、
補正された空間情報を有する前記重畳オブジェクトを前記重畳対象画像に重ねる重畳手順と、
をコンピュータに実行させ、
一の前記検出対象画像について前記重畳オブジェクトの空間情報を生成する前記空間情報生成手順を実行する間、前記重畳対象画像選択手順、前記空間情報生成手順、前記空間情報補正手順および前記重畳手順を繰り返す
画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子により生成された撮像信号に信号処理を施して画像信号を生成する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、医療分野および工業分野において、各種検査のために内視鏡装置が広く用いられている。このうち、医療用の内視鏡装置は、患者等の被検体内に、複数の画素を有する撮像素子が先端に設けられた、細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても被検体内の画像（被写体画像）を取得できるため、被検体への負担が少なく、普及が進んでいる。【０００３】
このような内視鏡装置では、画像解析の結果として、病変検出結果などの注目箇所を指示する情報（以下、オブジェクトともいう）が、被写体画像に重畳されて観察画面上に表示される。被写体画像に対してオブジェクトを重ねる技術として、撮像画像内の動き物体（注目箇所）をオブジェクトとして検出して切り出す処理を行い、この処理が完了した時点で取得した撮像画像にオブジェクトを重ねる技術が知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２２０６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１が開示する技術では、オブジェクトを検出して切り出すまでに時間を要するため、切り出したオブジェクトが、重ねる被写体画像における注目箇所の位置とは異なる位置に重畳されてしまう場合があった。この場合、重畳したオブジェクトが、表示している被写体画像内のオブジェクトを適切に指示できていなかった。また、オブジェクトの検出は、被写体画像の取得間隔よりも時間を要するため、オブジェクトの更新頻度が低かった。【０００６】
本発明は、上記に鑑みてなされたものであって、注目箇所を指示するオブジェクトを生成した画像とは異なる画像に対し、そのオブジェクトを重ねる場合であっても、重畳対象の画像における注目箇所とオブジェクトとの位置ずれを抑制するとともに、オブジェクトの更新頻度を向上することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、複数の被写体画像を順次取得する被写体画像取得部と、注目箇所を検出する検出対象画像を前記複数の被写体画像から選択する検出対象画像選択部と、前記検出対象画像における前記注目箇所を検出して、前記複数の被写体画像のうちのいずれかに重ねられて前記注目箇所を示す重畳オブジェクトの空間情報を生成する重畳オブジェクト情報生成部と、前記重畳オブジェクトを重ねる対象である重畳対象画像を前記複数の被写体画像から選択する重畳対象画像選択部と、前記検出対象画像と前記重畳対象画像との間の画像間対応情報を生成する画像間対応情報生成部と、前記画像間対応情報に基づいて前記重畳オブジェクトの空間情報を補正する空間情報補正部と、前記空間情報補正部により補正された空間情報を有する前記重畳オブジェクトを前記重畳対象画像に重ねるオブジェクト重畳部と、を備え、前記重畳オブジェクト情報生成部が一の前記検出対象画像について前記重畳オブジェクトの空間情報を生成するまでの間、前記重畳対象画像選択部による前記重畳対象画像の選択処理、前記画像間対応情報生成部による前記画像間対応情報の生成処理、前記空間情報補正部による前記空間情報の補正処理、および前記オブジェクト重畳部による前記重畳オブジェクトの重畳処理を繰り返し実行することを特徴とする。【０００８】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理方法は、複数の被写体画像を順次取得する被写体画像取得ステップと、注目箇所を検出する検出対象画像を前記複数の被写体画像から選択する検出対象画像選択ステップと、前記検出対象画像における前記注目箇所を検出して、前記複数の被写体画像のうちのいずれかに重ねられて前記注目箇所を示す重畳オブジェクトの空間情報を生成する空間情報生成ステップと、前記重畳オブジェクトを重ねる対象である重畳対象画像を前記複数の被写体画像から選択する重畳対象画像選択ステップと、前記検出対象画像と前記重畳対象画像との間の画像間対応情報を生成する画像間対応情報生成ステップと、前記画像間対応情報に基づいて前記重畳オブジェクトの空間情報を補正する空間情報補正ステップと、補正された空間情報を有する前記重畳オブジェクトを前記重畳対象画像に重ねる重畳ステップと、を含み、一の前記検出対象画像について前記重畳オブジェクトの空間情報を生成する前記空間情報生成ステップを実行する間、前記重畳対象画像選択ステップ、前記空間情報生成ステップ、前記空間情報補正ステップおよび前記重畳ステップを繰り返すことを特徴とする。【０００９】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理プログラムは、複数の被写体画像を順次取得する被写体画像取得手順と、注目箇所を検出する検出対象画像を前記複数の被写体画像から選択する検出対象画像選択手順と、前記検出対象画像における前記注目箇所を検出して、前記複数の被写体画像のうちのいずれかに重ねられて前記注目箇所を示す重畳オブジェクトの空間情報を生成する空間情報生成手順と、前記重畳オブジェクトを重ねる対象である重畳対象画像を前記複数の被写体画像から選択する重畳対象画像選択手順と、前記検出対象画像と前記重畳対象画像との間の画像間対応情報を生成する画像間対応情報生成手順と、前記画像間対応情報に基づいて前記重畳オブジェクトの空間情報を補正する空間情報補正手順と、補正された空間情報を有する前記重畳オブジェクトを前記重畳対象画像に重ねる重畳手順と、をコンピュータに実行させ、一の前記検出対象画像について前記重畳オブジェクトの空間情報を生成する前記空間情報生成手順を実行する間、前記重畳対象画像選択手順、前記空間情報生成手順、前記空間情報補正手順および前記重畳手順を繰り返すことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、注目箇所を指示するオブジェクトを生成した画像とは異なる画像に、このオブジェクトを重ねる場合であっても、重畳対象の画像における注目箇所とオブジェクトとの位置ずれを抑制するとともに、オブジェクトの更新頻度を向上することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１に係る画像処理システムの機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る画像処理装置が行うオブジェクト重畳処理を説明する図である。
【図３】図３は、本発明の実施の形態１に係る画像処理装置が生成するオブジェクト重畳画像を示す図である。
【図４】図４は、従来の処理によって生成されるオブジェクト重畳画像を示す図である。
【図５】図５は、本発明の実施の形態１に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を説明する図である。
【図６】図６は、本発明の実施の形態１に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を示すフローチャートである。
【図７】図７は、本発明の実施の形態１の変形例１に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を説明する図である。
【図８】図８は、本発明の実施の形態１の変形例２に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を示すフローチャートである。
【図９】図９は、本発明の実施の形態１の変形例３に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を示すフローチャートである。
【図１０】図１０は、本発明の実施の形態１の変形例４に係る画像処理システムの機能構成を示すブロック図である。
【図１１】図１１は、本発明の実施の形態２に係る画像処理システムの機能構成を示すブロック図である。
【図１２】図１２は、本発明の実施の形態２に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を示すフローチャートである。
【図１３】図１３は、本発明の実施の形態３に係る画像処理システムの機能構成を示すブロック図である。
【図１４】図１４は、本発明の実施の形態３に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を示すフローチャートである。
【図１５】図１５は、本発明の実施の形態４に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本発明は、各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。また、同一の構成には同一の符号を付して説明する。
【００１３】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理システム１の機能構成を示すブロック図である。図１に示す画像処理システム１は、画像処理装置２と、表示装置３と、を備える。画像処理装置２は、取得した画像に処理を施すことによって表示装置３が表示する表示用の画像信号を生成する。表示装置３は、映像ケーブルを介して画像処理装置２が生成した画像信号を受信して画像信号に対応する画像を表示する。表示装置３は、液晶または有機ＥＬ（Electro  Luminescence）を用いて構成される。
【００１４】
画像処理装置２は、画像取得部２１と、検出対象画像選択部２２と、重畳オブジェクト情報生成部２３と、重畳対象画像選択部２４と、画像間対応情報生成部２５と、空間情報補正部２６と、オブジェクト重畳部２７と、記憶部２８と、制御部２９と、を備える。
【００１５】
画像取得部２１は、外部から被写体画像を含む画像信号を時系列に順次受信する、または記憶部２８に記憶されている画像を時系列に取得する。画像取得部２１は、必要に応じてノイズ除去やＡ／Ｄ変換、同時化処理（例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う）などの信号処理を施すことにより、例えばＲＧＢの色成分が付与された３板の被写体画像を含む画像信号を生成する。画像取得部２１は、取得した画像信号、または信号処理後の画像信号を重畳オブジェクト情報生成部２３および記憶部２８に入力する。画像取得部２１は、上述した同時化処理などのほか、ＯＢクランプ処理や、ゲイン調整処理などを行ってもよい。画像としては、人などの被写体を含む画像や、内視鏡（カプセル型内視鏡を含む）により取得された被検体内の体腔画像など、時系列に取得（撮像）され、被写体を含む被写体画像が挙げられる。
【００１６】
検出対象画像選択部２２は、被写体画像内で注目すべき箇所（以下、注目箇所ともいう）を検出する検出対象の被写体画像（以下、検出対象画像ともいう）を被写体画像から選択する。
【００１７】
重畳オブジェクト情報生成部２３は、画像取得部２１から入力された画像信号に基づく被写体画像の注目箇所に重畳して配置する重畳オブジェクトの空間情報を生成する。注目箇所は、例えば、被検体内の体内画像であれば病変箇所である。重畳オブジェクトは、被写体画像の注目箇所に重畳され、注目箇所を示すオブジェクトである。より具体的には、例えば、被写体画像が被検体内の体腔画像である場合、病変部を取り囲む矩形の枠である。重畳オブジェクトを重ねる重畳対象の被写体画像（以下、重畳対象画像ともいう）は、検出対象画像とは異なる被写体画像であって、検出対象画像よりも時系列で後の被写体画像である。また、空間情報とは、被写体画像を二次元平面でみたときに、重畳オブジェクトの枠が位置する空間の座標情報であって、この空間を代表する座標、例えば、矩形の枠の四隅の座標に関する情報である。
【００１８】
なお、空間情報は、上述した座標情報のほか、注目箇所を透過する透過窓を有する領域マスクを表す情報や、注目箇所を取り囲む輪郭線を表す情報のいずれかであってもよいし、座標情報、領域マスクおよび輪郭線を組み合わせた情報であってもよい。
【００１９】
重畳オブジェクト情報生成部２３は、例えば、“Object  Detection  with  Discriminatively  Trained  Part-Based  Models”  Pedro  F.  Felzenszwalb,  Ross  B.  Girshick,  David  McAllester  and  Deva  Ramanan,  PAMI2010に記載された技術を用いて重畳オブジェクトの空間情報を生成することができる。
【００２０】
重畳対象画像選択部２４は、重畳オブジェクト情報生成部２３が生成した空間情報を有する重畳オブジェクトを重畳して表示装置３に表示させる重畳対象画像を被写体画像から選択する。
【００２１】
画像間対応情報生成部２５は、検出対象画像選択部２２に選択された被写体画像であって、重畳オブジェクト情報生成部２３が重畳オブジェクトの空間情報を生成した検出対象画像と、重畳対象画像選択部２４により選択された重畳対象画像との間の対応を推定した情報である画像間対応情報を生成する。具体的に、画像間対応情報生成部２５は、検出対象画像と重畳対象画像との間の、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換および平行移動のうちの少なくとも一つの座標変換によって表現される画像間対応情報を生成する。画像間対応情報の生成には、例えば、特開2007-257287号公報に記載の技術が用いられる。
【００２２】
空間情報補正部２６は、重畳オブジェクト情報生成部２３が生成した重畳オブジェクトの空間情報を、画像間対応情報生成部２５が生成した画像間対応情報に応じて補正する。本実施の形態１では、空間情報補正部２６は、重畳オブジェクト情報生成部２３が生成した重畳オブジェクトの空間情報である座標情報に対して、画像間対応情報生成部２５が生成した画像間対応情報である座標の変換パラメータに基づいた補正を行う。
【００２３】
オブジェクト重畳部２７は、重畳オブジェクト情報生成部２３が生成した重畳オブジェクトの空間情報に基づいて、重畳オブジェクトを重畳対象画像に重ねる。
【００２４】
図２は、本発明の実施の形態１に係る画像処理装置２が行うオブジェクト重畳処理を説明する図である。図３は、本発明の実施の形態１に係る画像処理装置が生成するオブジェクト重畳画像を示す図である。図２に示す時間軸には、画像取得部２１が１フレーム分の被写体画像を取得する間隔に応じて目盛りが付されている。重畳オブジェクト情報生成部２３は、例えば、検出対象画像選択部２２により、時間ｔ0における被写体画像Ｗ11が検出対象画像として選択された場合、被写体画像Ｗ11から注目箇所を検出し、この注目箇所を示す重畳オブジェクトの空間情報を、被写体画像Ｗ11から生成する。重畳オブジェクト情報生成部２３は、例えば、図２に示すように、被写体画像Ｗ11の外縁に応じたオブジェクト空間Ｐ11における重畳オブジェクトＱ1，Ｑ2の四隅の座標を空間情報として生成する。重畳オブジェクトＱ1，Ｑ2は、病変部Ｓ1，Ｓ2を取り囲む矩形の枠である。
【００２５】
重畳対象画像選択部２４は、重畳オブジェクト情報生成部２３が空間情報の生成を完了した時間をｔ1とすると、例えば、この時間ｔ1に応じた被写体画像Ｗ12（図２参照）を表示装置３に表示させる重畳対象画像として選択する。被写体画像Ｗ12には、被写体画像Ｗ11における病変部Ｓ1，Ｓ2の位置や向きが変化した病変部Ｓ11，Ｓ12が表示されている。なお、画像取得部２１は、時間ｔ0から時間ｔ1までの間には、被写体画像Ｗ11，Ｗ12以外にも複数の被写体画像を取得している。すなわち、重畳オブジェクト情報生成部２３が空間情報の生成を開始してから完了するまでには、数フレーム分の被写体画像が入力される時間を要する。図２では、説明のために被写体画像Ｗ11，Ｗ12のみを図示している。
【００２６】
画像間対応情報生成部２５は、検出対象画像選択部２２に選択され、重畳オブジェクト情報生成部２３が重畳オブジェクトＱ1，Ｑ2の空間情報を生成した検出対象画像である被写体画像Ｗ11と、重畳対象画像選択部２４により選択された重畳対象画像である被写体画像Ｗ12との間の対応を表す変換パラメータを含む画像間対応情報を生成する。画像間対応情報生成部２５は、例えば、被写体画像の全画素を用いて画像間対応情報を生成する。
【００２７】
画像間対応情報生成部２５は、被写体画像Ｗ11と被写体画像Ｗ12とについて、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換および平行移動のうちの少なくとも一つの座標変換によって表現される画像間対応情報を生成する。
【００２８】
空間情報補正部２６は、画像間対応情報の変換パラメータに基づいて、重畳オブジェクトの空間情報の各座標を変換した空間情報を、補正後の重畳オブジェクト（例えば、重畳オブジェクトＱ11，Ｑ12）の空間情報として生成する。これにより、被写体画像Ｗ12の外縁に応じたオブジェクト空間Ｐ12における重畳オブジェクトＱ11，Ｑ12の空間情報が生成される。空間情報補正部２６は、例えば、重畳オブジェクト情報生成部２３が生成した重畳オブジェクトの空間情報である各座標を、画像間対応情報である座標の変換パラメータに基づいて変換することにより、補正後の重畳オブジェクトの空間情報を生成する。
【００２９】
オブジェクト重畳部２７は、例えば、空間情報補正部２６によって補正された空間情報に基づいて重畳オブジェクトＱ11，Ｑ12（図２参照）を生成し、この重畳オブジェクトＱ11，Ｑ12を被写体画像Ｗ12（図２参照）に重ねることによって、図３に示すように、病変部Ｓ11，Ｓ12の一部が重畳オブジェクトＱ11，Ｑ12によって取り囲まれた重畳画像ＷS1を生成する。
【００３０】
図４は、従来の処理によって生成されるオブジェクト重畳画像を示す図である。従来のように重畳オブジェクトの空間情報を補正しない場合は、図４に示す重畳画像Ｗ100のように、病変部Ｓ11，Ｓ12に対して重畳オブジェクトＱ101，Ｑ102が適切に配置されないものになってしまう。
【００３１】
これに対し、本実施の形態１では、被写体画像Ｗ11から重畳オブジェクトＱ1，Ｑ2を抽出し、被写体画像Ｗ11における病変部Ｓ1，Ｓ2の位置や向きが変化した病変部Ｓ11，Ｓ12となっている被写体画像Ｗ12に、被写体画像Ｗ11から抽出した重畳オブジェクトを重ねる場合であっても、重畳オブジェクトの空間情報を補正することにより、病変部Ｓ11，Ｓ12に対して重畳オブジェクトを適切な位置に配置することができる。
【００３２】
図１に戻り、記憶部２８は、画像処理装置２を含む画像処理システム１を動作させるための各種プログラム、例えば、画像処理プログラムや、画像処理システム１の動作に必要な各種パラメータ等を含むデータを記憶する。記憶部２８は、フラッシュメモリやＤＲＡＭ（Dynamic  Random  Access  Memory）等の半導体メモリを用いて実現される。
【００３３】
記憶部２８は、画像取得部２１が取得した被写体画像を記憶する被写体画像記憶部２８１と、重畳オブジェクト情報生成部２３が生成した重畳オブジェクトの空間情報を記憶する重畳オブジェクト情報記憶部２８２とを有する。重畳オブジェクト情報記憶部２８２は、最新の重畳オブジェクトの空間情報のみを記憶し、新たに生成された重畳オブジェクトの空間情報が入力された場合には、入力された重畳オブジェクトの空間情報に更新する。
【００３４】
制御部２９は、ＣＰＵ（Central  Processing  Unit）等を用いて構成され、画像処理装置２を構成する各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。
【００３５】
次に、画像処理装置２の各部が行う重畳オブジェクトの重畳処理について図面を参照して説明する。図５は、本発明の実施の形態１に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を説明する図である。図５では、１フレーム分の被写体画像が入力される時間間隔に対応した目盛りが付与されている。図５では、重畳オブジェクト情報生成部２３が、ある被写体画像から重畳オブジェクトの空間情報を生成する際に、５フレーム分の被写体画像を取得するのに要する時間を要している。オブジェクト重畳部２７は、重畳オブジェクト情報生成部２３が重畳オブジェクト情報生成スレッドによって重畳オブジェクトの空間情報を生成している間、重畳オブジェクト重畳スレッドにより、前回生成された重畳オブジェクトの空間情報を用いて重畳処理を行う。この際、画像間対応情報生成部２５は、前回重畳オブジェクトの空間情報を生成した検出対象画像と、重畳対象画像選択部２４が選択した重畳対象画像との画像間対応情報を生成する。このようにして、重畳オブジェクトの重畳処理では、重畳オブジェクトの空間情報が更新されるまでの間、重畳オブジェクト情報記憶部２８２に記憶されている最新の重畳オブジェクトの空間情報を繰り返し用いる。
【００３６】
図６は、本発明の実施の形態１に係る画像処理装置２が行う重畳オブジェクトの重畳処理の概要を示すフローチャートである。以下、制御部２９による制御のもと、各部が動作するものとして説明する。画像処理装置２は、重畳オブジェクトの空間情報を生成する処理（ステップＳ１０１〜Ｓ１０５）と、重畳オブジェクトを重畳対象画像に重ねる処理（ステップＳ１１１〜Ｓ１１６）とを並列に行う。
【００３７】
まず、制御部２９は、ＣＰＵ内に未使用のスレッドが発生したか否かを判断する（ステップＳ１０１）。制御部２９は、例えばＣＰＵの使用率等を参照することで、重畳オブジェクトの空間情報の生成に使用可能な未使用のスレッドが発生したか否かを判断する。ここで、制御部２９は、未使用のスレッドが発生していないと判断した場合（ステップＳ１０１：Ｎｏ）は、未使用のスレッドが発生したか否かの確認を繰り返す。一方、制御部２９は、未使用のスレッドが発生していると判断した場合（ステップＳ１０１：Ｙｅｓ）、ステップＳ１０２に移行する。
【００３８】
ステップＳ１０２では、検出対象画像選択部２２が、注目箇所を検出する検出対象画像を選択する。検出対象画像選択部２２は、画像取得部２１が取得し、被写体画像記憶部２８１に記憶されている被写体画像から検出対象画像とする被写体画像を選択する。
【００３９】
ステップＳ１０３では、重畳オブジェクト情報生成部２３が、画像取得部２１から入力された被写体画像に重ねる重畳オブジェクトの空間情報を、検出対象画像（例えば、上述した被写体画像Ｗ11：図２参照）から生成する。
【００４０】
ステップＳ１０３に続くステップＳ１０４では、重畳オブジェクト情報記憶部２８２が、重畳オブジェクト情報生成部２３が生成した空間情報を記憶する。制御部２９は、重畳オブジェクト情報記憶部２８２による重畳オブジェクトの空間情報の記憶処理後、ステップＳ１０５に移行する。
【００４１】
ステップＳ１０５では、制御部２９が、重畳オブジェクトの空間情報の生成処理および記憶処理を終了する旨の指示入力があるか否かを判断する。ここで、制御部２９は、これらの処理終了の指示入力がないと判断した場合（ステップＳ１０５：Ｎｏ）、ステップＳ１０１に移行して、上述した重畳オブジェクトの空間情報の生成処理および記憶処理を繰り返す。一方、制御部２９は、重畳オブジェクトの空間情報の生成処理および記憶処理を終了する旨の指示入力があると判断した場合（ステップＳ１０５：Ｙｅｓ）、重畳オブジェクトの空間情報の生成処理および記憶処理を終了する。
【００４２】
上述した重畳オブジェクトの空間情報の生成処理と並行して、制御部２９は、重畳オブジェクトの重畳処理を行う（ステップＳ１１１〜Ｓ１１６）。まず、重畳対象画像選択部２４が、重畳オブジェクトを重畳して表示装置３に表示させる重畳対象画像（例えば、上述した被写体画像Ｗ12）を選択する（ステップＳ１１１）。重畳対象画像選択部２４は、被写体画像記憶部２８１を参照して、最初の重畳オブジェクトの空間情報の生成が完了した後の被写体画像を重畳対象画像として選択する。
【００４３】
ステップＳ１１１に続くステップＳ１１２では、画像間対応情報生成部２５が、重畳オブジェクト情報生成部２３が用いた検出対象画像と、重畳対象画像選択部２４が選択した、重畳オブジェクトを重ねる重畳対象画像とについて画像間対応情報を生成する。具体的に、ステップＳ１１２において、画像間対応情報生成部２５は、重畳オブジェクト情報記憶部２８２に記憶されている重畳オブジェクトの空間情報に対応する検出対象画像を取得し、この取得した検出対象画像と、重畳対象画像選択部２４が選択した重畳対象画像との間の対応を示す画像間対応情報を生成する。
【００４４】
ステップＳ１１２に続くステップＳ１１３では、空間情報補正部２６が、画像間対応情報生成部２５が生成した画像間対応情報の変換パラメータに基づいて空間情報の各座標を変換して空間情報を補正する。
【００４５】
ステップＳ１１３に続くステップＳ１１４では、オブジェクト重畳部２７が、空間情報補正部２６によって補正された空間情報を有する重畳オブジェクトを生成し、この重畳オブジェクトを重畳対象画像に重ねることにより重畳画像を生成する。オブジェクト重畳部２７は、例えば、図３に示すように、病変部Ｓ11，Ｓ12の一部が、重畳オブジェクトＱ11，Ｑ12によって取り囲まれた重畳画像ＷS1を生成する。
【００４６】
ステップＳ１１４に続くステップＳ１１５では、制御部２９の制御のもと、オブジェクト重畳部２７が生成した重畳画像（例えば重畳画像ＷS1）を表示装置３に表示させる制御を行う。制御部２９は、重畳画像を表示装置３に表示後、ステップＳ１１６に移行する。
【００４７】
ステップＳ１１６では、制御部２９が、重畳オブジェクトの重畳処理を終了する旨の指示入力があるか否かを判断する。ここで、制御部２９は、重畳オブジェクトの重畳処理を終了する旨の指示入力がないと判断した場合（ステップＳ１１６：Ｎｏ）、ステップＳ１１１に移行して、上述した重畳オブジェクトの重畳処理を繰り返す。一方、制御部２９は、重畳オブジェクトの重畳処理を終了する旨の指示入力があると判断した場合（ステップＳ１１６：Ｙｅｓ）、重畳オブジェクトの重畳処理を終了する。
【００４８】
重畳オブジェクト情報生成部２３が一の検出画像について重畳オブジェクトの空間情報の生成を開始してから完了するまでには、数フレーム分の被写体画像が入力される時間を要する。これに対し、重畳対象画像に重畳オブジェクトを重畳して表示装置３に表示する重畳オブジェクト重畳処理（上述したステップ１１１からステップＳ１１５まで）は、１フレーム分の被写体画像が入力される時間間隔以下の時間を要する。このため、本実施の形態１に係るオブジェクト重畳処理では、順次画像処理装置２に入力される被写体画像を重畳対象画像として選択し、重畳オブジェクト情報記憶部２８２に記憶されている重畳オブジェクトの空間情報を用いて、重畳対象画像に重畳オブジェクトを重ねる。
【００４９】
上述した本実施の形態１では、重畳オブジェクト情報生成部２３が一の検出対象画像について重畳オブジェクトの空間情報を生成する間に、オブジェクト重畳部２７が、重畳オブジェクト情報記憶部２８２に記憶されている最新の重畳オブジェクトの空間情報を繰り返し用いて、空間情報に基づいた補正を行って重畳対象画像に重畳オブジェクトを重ねる。これにより、重畳オブジェクトの検出対象画像から検出した重畳オブジェクトを、検出対象画像とは時系列で異なる重畳対象画像に重ねる場合であっても、重畳対象画像における注目箇所の位置に対する重畳オブジェクトの位置ずれを抑制することができるとともに、画像取得部２１が順次取得する被写体画像に対して、位置ずれを抑制した重畳オブジェクトを重畳して表示装置３に表示させることが可能となる。
【００５０】
なお、上述した実施の形態１において、空間情報補正部２６が、重畳対象画像における補正後の空間情報に対応する重畳オブジェクトの重畳領域の画素値と、検出対象画像における補正前の空間情報に対応する重畳オブジェクトの重畳領域の画素値との差分二乗平均等に基づき、座標を微小変化させることによって、補正後の空間情報をさらに補正するようにしてもよい。この際、空間情報補正部２６は、このように空間情報をさらに補正した場合、重畳オブジェクト情報記憶部２８２に記憶されている空間情報を、この追加補正により生成された空間情報に更新する。
【００５１】
また、上述した実施の形態１において、空間情報補正後の重畳オブジェクトに対し、被写体の輪郭を強調する処理（エッジ強調処理）などの画像処理を施すようにしてもよい。
【００５２】
また、本実施の形態１では、被写体画像の全画素を用いて画像間対応情報を生成するものとして説明したが、演算量を抑制するため、被写体画像を縮小して、この縮小した被写体画像を用いて、画像間対応情報を生成するようにしてもよい。
【００５３】
また、本実施の形態１では、重畳オブジェクト情報記憶部２８２が最新の重畳オブジェクトの空間情報のみを記憶するものとして説明したが、生成される空間情報を検出対象画像と対応付けて順次記憶するようにしてもよい。この場合、画像間対応情報生成部２５は、重畳オブジェクト情報記憶部２８２に記憶されている最新の重畳オブジェクトの空間情報に対応する検出対象画像と、重畳対象画像との間の画像間対応情報を生成する。また、空間情報補正部２６は、重畳オブジェクト情報記憶部２８２に記憶されている最新の重畳オブジェクトの空間情報に対し、画像間対応情報に基づいた補正を行う。
【００５４】
また、本実施の形態１では、重畳オブジェクトが、矩形の枠であるものとして説明したが、矩形の枠のほか、楕円や円の枠であってもよいし、注目箇所に応じた形状や、内部を塗りつぶしたオブジェクトであってもよい。
【００５５】
（実施の形態１の変形例１）
本変形例１では、重畳オブジェクト情報生成部２３が重畳オブジェクトの空間情報の生成処理を三つのスレッドにより並列に行う。
【００５６】
図７は、本発明の実施の形態１の変形例１に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を説明する図である。図７に示すように、重畳オブジェクト情報生成部２３は、三つのスレッドによる並列処理により、画像取得部２１が取得する被写体画像を用いて重畳オブジェクトの空間情報を生成する。
【００５７】
具体的に、重畳オブジェクト情報生成部２３は、第１重畳オブジェクト情報生成スレッド、第２重畳オブジェクト情報生成スレッドおよび第３重畳オブジェクト情報生成スレッドにより、画像取得部２１が順次取得する被写体画像から重畳オブジェクトの空間情報を生成する。重畳オブジェクト情報生成部２３は、例えば、時間ｔ11において、第１重畳オブジェクト情報生成スレッドにより被写体画像の重畳オブジェクトの空間情報の生成処理を開始する。
【００５８】
その後、２フレーム分の時間が経過した時間ｔ21において、重畳オブジェクト情報生成部２３は、第２重畳オブジェクト情報生成スレッドにより、第１重畳オブジェクト情報生成スレッドにおいて処理対象となっている検出対象画像とは異なる被写体画像である検出対象画像の重畳オブジェクトの空間情報の生成処理を開始する。さらに２フレーム分の時間が経過した時間ｔ31において、重畳オブジェクト情報生成部２３は、第３重畳オブジェクト情報生成スレッドにより被写体画像の重畳オブジェクトの空間情報の生成処理を開始する。
【００５９】
また、時間ｔ11に開始された重畳オブジェクトの空間情報の生成処理が完了する時間ｔ12において、重畳オブジェクト情報生成部２３は、第１重畳オブジェクト情報生成スレッドにより新たな被写体画像の重畳オブジェクトの空間情報の生成処理を開始する。以降、同様にして、時間ｔ13，ｔ14において、重畳オブジェクト情報生成部２３は、第１重畳オブジェクト情報生成スレッドにより新たな被写体画像の重畳オブジェクトの空間情報の生成処理を開始する。
【００６０】
また、第２オブジェクト情報生成スレッドについても同様に、時間ｔ21に開始された重畳オブジェクトの空間情報の生成処理が完了する時間ｔ22において、重畳オブジェクト情報生成部２３は、第２重畳オブジェクト情報生成スレッドにより新たな被写体画像の重畳オブジェクトの空間情報の生成処理を開始する。その後、時間ｔ23，ｔ24において、重畳オブジェクト情報生成部２３は、第２重畳オブジェクト情報生成スレッドにより新たな被写体画像の重畳オブジェクトの空間情報の生成処理を開始する。
【００６１】
第３オブジェクト情報生成スレッドについても同様に、時間ｔ31に開始された重畳オブジェクトの空間情報の生成処理が完了する時間ｔ32において、重畳オブジェクト情報生成部２３は、第３重畳オブジェクト情報生成スレッドにより新たな被写体画像の重畳オブジェクトの空間情報の生成処理を開始する。その後、時間ｔ33，ｔ34において、重畳オブジェクト情報生成部２３は、第３重畳オブジェクト情報生成スレッドにより新たな被写体画像の重畳オブジェクトの空間情報の生成処理を開始する。
【００６２】
一方、制御部２９は、重畳オブジェクト重畳スレッドにおいて、時間ｔ11に開始された重畳オブジェクトの空間情報の生成処理が完了する時間ｔ12から順次重畳オブジェクトの重畳処理を実行させる。
【００６３】
これにより、重畳オブジェクトの空間情報が、上述した実施の形態１と比して高頻度に更新される。このため、オブジェクト重畳部２７は、時系列的に近い重畳オブジェクトの空間情報を用いて重畳処理を行うことができる。
【００６４】
本変形例１によれば、上述した実施の形態１と比して、より時系列的に近い被写体画像の重畳オブジェクトの空間情報を用いて重畳処理を行うことができる。これにより、重畳対象画像が含む注目領域に対応する重畳オブジェクトを一層正確に追従して表示させることが可能となる。
【００６５】
また、本変形例１によれば、第１重畳オブジェクト情報生成スレッド、第２重畳オブジェクト情報生成スレッドおよび第３重畳オブジェクト情報生成スレッドの間において、それぞれが生成処理を開始するタイミングを、２フレーム分ずらすようにしたので、第１重畳オブジェクト情報生成スレッド、第２重畳オブジェクト情報生成スレッドおよび第３重畳オブジェクト情報生成スレッドにおいて開始する重畳オブジェクトの空間情報の生成タイミングを均等に維持することができる。
【００６６】
なお、上述した変形例１では、重畳オブジェクトの空間情報の生成処理を行うスレッドを複数設けるものとして説明したが、オブジェクトの重畳処理を行うスレッドを複数設けてもよいし、重畳オブジェクトの空間情報の生成処理を行うスレッドと、オブジェクトの重畳処理を行うスレッドとをそれぞれ複数設けてもよい。例えば、処理に用いることが可能なスレッドが四つある場合、本変形例１のように、重畳オブジェクトの空間情報の生成処理を行うスレッドを三つ設けてもよいし、重畳オブジェクトの重畳処理を行うスレッドを三つ設けてもよいし、重畳オブジェクトの空間情報の生成処理を行うスレッドと、重畳オブジェクトの重畳処理を行うスレッドとを二つずつ設けてもよい。
【００６７】
（実施の形態１の変形例２）
本変形例２では、複数のスレッドを用いて重畳オブジェクトの空間情報を生成する場合に、重畳オブジェクトの空間情報を重畳オブジェクト情報記憶部２８２に記憶させるか否かを判定する。図８は、本発明の実施の形態１の変形例２に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を示すフローチャートである。以下、制御部２９による制御のもと、各部が動作するものとして説明する。本変形例２に係る画像処理装置２が行う処理では、重畳オブジェクトの空間情報を生成する処理（ステップＳ１２１〜Ｓ１２６）と、重畳オブジェクトを重畳対象画像に重ねる処理（ステップＳ１１１〜Ｓ１１６）とを並列に行う。
【００６８】
まず、制御部２９は、未使用のスレッドが発生したか否かを判断する（ステップＳ１２１）。制御部２９は、未使用のスレッドが発生していないと判断した場合（ステップＳ１２１：Ｎｏ）は、未使用スレッドが発生したか否かの確認を繰り返す。一方、制御部２９は、未使用のスレッドが発生していると判断した場合（ステップＳ１２１：Ｙｅｓ）、ステップＳ１２２に移行する。
【００６９】
ステップＳ１２２では、検出対象画像選択部２２が、注目箇所を検出する検出対象画像を選択する。検出対象画像選択部２２は、画像取得部２１が取得し、被写体画像記憶２８１に記憶されている被写体画像から検出対象画像とする被写体画像を選択する。
【００７０】
ステップＳ１２３では、重畳オブジェクト情報生成部２３が、画像取得部２１から入力された被写体画像に重ねる重畳オブジェクトの空間情報を、検出対象画像から生成する。
【００７１】
ステップＳ１２３に続くステップＳ１２４では、制御部２９が、ステップＳ１２３において重畳オブジェクト情報生成部２３が重畳オブジェクトの空間情報を生成した検出対象画像の取得時刻（以下、第１取得時刻という）と、オブジェクト情報に記憶されている重畳オブジェクトの空間情報に対応する検出対象画像の取得時刻（以下、第２取得時刻という）とを比較する。ここで、取得時刻とは、画像取得部２１が検出対象画像を取得した時刻である。制御部２９は、第１取得時刻が第２取得時刻よりも前である場合（ステップＳ１２４：Ｎｏ）、ステップＳ１２５に移行する。これに対し、制御部２９は、第１取得時刻が第２取得時刻よりも新しい場合（ステップＳ１２４：Ｙｅｓ）、ステップＳ１２５に移行する。
【００７２】
ステップＳ１２５では、重畳オブジェクト情報記憶部２８２が、重畳オブジェクト情報生成部２３が生成した空間情報を記憶する。制御部２９は、重畳オブジェクト情報記憶部２８２による重畳オブジェクトの空間情報の記憶処理後、ステップＳ１２６に移行する。
【００７３】
ステップＳ１２６では、制御部２９が、重畳オブジェクトの空間情報の生成処理および記憶処理を終了する旨の指示入力があるか否かを判断する。ここで、制御部２９は、重畳オブジェクトの空間情報の生成処理および記憶処理を終了する旨の指示入力がないと判断した場合（ステップＳ１２６：Ｎｏ）、ステップＳ１２１に移行して、上述した重畳オブジェクトの空間情報の生成処理および記憶処理を繰り返す。一方、制御部２９は、重畳オブジェクトの空間情報の生成処理および記憶処理を終了する旨の指示入力があると判断した場合（ステップＳ１２６：Ｙｅｓ）、この重畳オブジェクトの空間情報の生成処理および記憶処理を終了する。
【００７４】
また、上述した重畳オブジェクトの空間情報の生成処理と並行して、オブジェクト重畳部２７が、上述した重畳オブジェクトの重畳処理を行う（ステップＳ１１１〜ステップＳ１１６）。
【００７５】
本変形例２によれば、重畳オブジェクト情報生成部２３により生成された重畳オブジェクトの空間情報が、オブジェクト情報記憶部２８２に記憶されている重畳オブジェクトの空間情報よりも新しい被写体画像を用いて生成された場合に、制御部２９が、オブジェクト情報記憶部２８２に記憶させるようにしたので、オブジェクト情報記憶部２８２に新たに記憶される最新の重畳オブジェクトの空間情報は、最新の被写体画像によるものとなる。これにより、常に最新の被写体画像に基づく重畳オブジェクトの空間情報が更新されることになり、一層精度の高い重畳処理を行うことが可能である。
【００７６】
一方、上述した変形例１のように、複数のスレッドを用いて重畳オブジェクトの空間情報を生成する際、検出対象画像間において抽出する注目箇所の形状や大きさが異なると、重畳オブジェクトの生成処理に要する時間が変化する。スレッド間で時間的に重複して重畳オブジェクトの空間情報を生成している検出対象画像によっては、重畳オブジェクトの空間情報の生成開始タイミングに対し、生成完了タイミングが逆転することがある。本変形例２では、重畳オブジェクト情報記憶部２８２に記憶されている重畳オブジェクトの空間情報に対応する検出対象画像の取得時刻を、最新のものとすることが可能である。
【００７７】
（実施の形態１の変形例３）
本変形例３では、検出対象画像の取得時刻の比較を、重畳オブジェクトの空間情報の生成前に行う。図９は、本発明の実施の形態１の変形例３に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を示すフローチャートである。以下、制御部２９による制御のもと、各部が動作するものとして説明する。本変形例３に係る画像処理装置２が行う処理では、重畳オブジェクトの空間情報を生成する処理（ステップＳ１３１〜Ｓ１３６）と、重畳オブジェクトを重畳対象画像に重ねる処理（ステップＳ１１１〜Ｓ１１６）とを並列に行う。
【００７８】
まず、制御部２９は、重畳オブジェクトの空間情報の生成に使用可能な未使用のスレッドが発生したか否かを判断する（ステップＳ１３１）。制御部２９は、未使用のスレッドが発生していないと判断した場合（ステップＳ１３１：Ｎｏ）は、未使用スレッドが発生したか否かの確認を繰り返す。一方、制御部２９は、未使用のスレッドが発生していると判断した場合（ステップＳ１３１：Ｙｅｓ）、ステップＳ１３２に移行する。
【００７９】
ステップＳ１３２では、検出対象画像選択部２２が、注目箇所を検出する検出対象画像を選択する。検出対象画像選択部２２は、画像取得部２１が取得し、被写体画像記憶２８１に記憶されている被写体画像から検出対象画像とする被写体画像を選択する。
【００８０】
ステップＳ１３３では、制御部２９が、重畳オブジェクト情報生成部２３が重畳オブジェクトの空間情報を生成する検出対象画像の取得時刻（以下、第３取得時刻という）と、上述した第２取得時刻とを比較する。制御部２９は、第３取得時刻が第２取得時刻よりも前である場合（ステップＳ１３３：Ｎｏ）、ステップＳ１３６に移行する。これに対し、制御部２９は、第３取得時刻が第２取得時刻よりも新しい場合（ステップＳ１３３：Ｙｅｓ）、ステップＳ１３４に移行する。
【００８１】
ステップＳ１３４では、重畳オブジェクト情報生成部２３が、画像取得部２１から入力された重畳対象画像に重ねる重畳オブジェクトの空間情報を、検出対象画像から生成する。
【００８２】
ステップＳ１３４に続くステップＳ１３５では、重畳オブジェクト情報記憶部２８２が、重畳オブジェクト情報生成部２３が生成した空間情報を記憶する。制御部２９は、重畳オブジェクト情報記憶部２８２による重畳オブジェクトの空間情報の記憶処理後、ステップＳ１３６に移行する。
【００８３】
ステップＳ１３６では、制御部２９が、重畳オブジェクトの空間情報の生成処理および記憶処理を終了する旨の指示入力があるか否かを判断する。ここで、制御部２９は、重畳オブジェクトの空間情報の生成処理および記憶処理を終了する旨の指示入力がないと判断した場合（ステップＳ１３６：Ｎｏ）、ステップＳ１３１に移行して、上述した重畳オブジェクトの空間情報の生成処理および記憶処理を繰り返す。一方、制御部２９は、重畳オブジェクトの空間情報の生成処理および記憶処理を終了する旨の指示入力があると判断した場合（ステップＳ１３６：Ｙｅｓ）、この重畳オブジェクトの空間情報の生成処理および記憶処理を終了する。
【００８４】
また、上述した重畳オブジェクトの空間情報の生成処理と並行して、オブジェクト重畳部２７が、上述した重畳オブジェクトの重畳処理を行う（ステップＳ１１１〜ステップＳ１１６）。
【００８５】
本変形例３によれば、重畳オブジェクト情報生成部２３により重畳オブジェクトの空間情報を生成する検出対象画像が、オブジェクト情報記憶部２８２に記憶されている重畳オブジェクトの空間情報の検出対象画像よりも新しい場合に、制御部２９が、重畳オブジェクトの空間情報を生成するようにしたので、オブジェクト情報記憶部２８２に新たに記憶される重畳オブジェクトの空間情報は、最新の被写体画像によるものとなる。これにより、常に最新の被写体画像に基づく重畳オブジェクトの空間情報が更新されることになり、一層精度の高い重畳処理を行うことが可能である。また、本変形例３は、不要となる重畳オブジェクトの空間情報を生成しないため、上述した変形例２と比して、演算処理の負荷を軽減することができる。
【００８６】
（実施の形態１の変形例４）
本変形例４では、センサにより検出された情報を取得して、センサが検出した情報をもとに注目箇所を検出して重畳オブジェクトの空間情報を生成する。
【００８７】
図１０は、本発明の実施の形態１の変形例４に係る画像処理システムの機能構成を示すブロック図である。本変形例にかかる画像処理システム１Ａは、画像処理装置２Ａと、表示装置３とを備える。画像処理装置２Ａは、上述した画像処理装置２の構成に加えて、センサ情報取得部３０を備える。
【００８８】
センサ情報取得部３０は、外部のセンサ、例えば赤外線センサや、レーザ測距装置から検出情報を取得して、注目箇所の位置情報を含むセンサ情報を重畳オブジェクト情報生成部２３に入力する。
【００８９】
重畳オブジェクト情報生成部２３は、センサ情報取得部３０から注目箇所の位置情報を含むセンサ情報を取得すると、センサ情報の位置情報をもとに、注目箇所を示すオブジェクトであって、重畳対象画像の注目箇所に重ねる重畳オブジェクトの空間情報を生成する。
【００９０】
その後は、実施の形態１と同様、重畳対象画像選択部２４が、表示装置３に表示させる重畳対象画像を選択し、画像間対応情報生成部２５が、重畳オブジェクト情報生成部２３が重畳オブジェクトの生成に用いた検出対象画像と、重畳対象画像選択部２４により選択された重畳対象画像との間の対応を推定した情報である画像間対応情報を生成する。その後、空間情報補正部２６が、重畳オブジェクトの空間情報を、画像間対応情報に基づいて補正し、オブジェクト重畳部２７が、空間情報補正部２６によって補正された重畳オブジェクトを、重畳対象画像に重ねる。
【００９１】
本変形例４によれば、上述した実施の形態１と同様に、重畳オブジェクトの検出対象画像から検出した重畳オブジェクトを、検出対象画像とは時系列で異なる重畳対象画像に重ねる場合であっても、重畳対象画像における注目箇所の位置に対する重畳オブジェクトの位置ずれを抑制することができるとともに、画像取得部２１が順次取得する被写体画像に対して、位置ずれを抑制した重畳オブジェクトを重畳して表示装置３に表示させることが可能となる。
【００９２】
（実施の形態２）
本実施の形態２では、検出対象画像および重畳対象画像の全体にわたる画像間対応情報、および部分領域における画像間対応情報を生成し、いずれか一方を選択する。図１１は、本発明の実施の形態２に係る画像処理システムの機能構成を示すブロック図である。本実施の形態２に係る画像処理システム１Ｂは、画像処理装置２Ｂと、表示装置３とを備える。画像処理装置２Ｂは、上述した画像処理装置２の構成に対し、画像間対応情報生成部２５に代えて画像間対応情報生成部２５Ａを備える。画像間対応情報生成部２５Ａは、全体画像間対応情報生成部２５１と、部分画像間対応情報生成部２５２とを有する。
【００９３】
全体画像間対応情報生成部２５１は、検出対象画像と重畳対象画像との間の全体画像間対応情報を生成する。検出対象画像は、重畳オブジェクト情報生成部２３が重畳オブジェクトの空間情報を生成した被写体画像である。重畳対象画像は、重畳対象画像選択部２４により重畳オブジェクトを重ねる対象として決定された被写体画像である。全体画像間対応情報は、検出対象画像全体を用いて生成された座標変換によって表現される。
【００９４】
部分画像間対応情報生成部２５２は、検出対象画像と重畳対象画像との間の部分画像間対応情報を生成する。部分画像間対応情報は、検出対象画像における重畳オブジェクトの配置領域に対応する領域を用いて生成された座標変換によって表現される。
【００９５】
類似度算出部３１は、検出対象画像における重畳表示オブジェクトに対応する第１オブジェクト領域と、全体画像間対応情報（変換パラメータ）を用いて第１オブジェクト領域に対応付けられた、重畳対象画像における第２のオブジェクト領域との全体画像間類似度（第１の類似度）、および、第１のオブジェクト領域と、部分画像間対応情報（変換パラメータ）を用いて第１のオブジェクト領域に対応付けられた、重畳対象画像における第３のオブジェクト領域との部分画像間類似度（第２の類似度）を算出する。類似度算出部３１は、公知の差分絶対値和（Sum  of  Absolute  Difference：ＳＡＤ）を類似度として算出してもよいし、差の二乗和（Sum  of  Squared  Difference：ＳＳＤ）を類似度として算出してもよいし、正規化相関（Normalized  Cross-Correction：ＮＣＣ）を類似度として算出してもよい。なお、ＳＡＤおよびＳＳＤは相違度を示す値であり、類似度として使用する場合は大小関係が逆になる。すなわち、相違度が大きいと類似度は小さくなる。
【００９６】
画像間対応情報選択部３２は、類似度算出部３１が算出した全体画像間類似度および部分画像間類似度に基づいて、全体画像間対応情報および部分画像間対応情報のうちのいずれかを画像間対応情報として選択する。画像間対応情報選択部３２は、全体画像間類似度および部分画像間類似度のうちの大きい方の類似度に対応する画像間対応情報を選択する。
【００９７】
次に、画像処理装置２Ｂの各部が行うオブジェクト重畳処理について図面を参照して説明する。図１２は、本発明の実施の形態２に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を説明するフローチャートである。以下、制御部２９による制御のもと、各部が動作するものとして説明する。画像処理装置２Ｂが行う処理では、重畳オブジェクトの空間情報を生成する処理（ステップＳ１０１〜Ｓ１０５）と、重畳オブジェクトを重畳対象画像に重ねる処理（ステップＳ１４１〜Ｓ１４８）とを並列に行う。
【００９８】
まず、制御部２９は、上述した実施の形態１と同様にして、重畳オブジェクトの空間情報を生成し、生成した重畳オブジェクトの空間情報を、オブジェクト情報記憶部２８２に記憶させる（ステップＳ１０１〜Ｓ１０５）。
【００９９】
上述した重畳オブジェクトの空間情報の生成処理と並行して、制御部２９は、重畳オブジェクトの重畳処理を行う。まず、重畳対象画像選択部２４が、重畳オブジェクトを重畳して表示装置３に表示させる重畳対象画像（例えば、上述した被写体画像Ｗ12）を選択する（ステップＳ１４１）。
【０１００】
ステップＳ１４１に続くステップＳ１４２では、画像間対応情報生成部２５Ａが、重畳オブジェクト情報記憶部２８２を参照して最新の重畳オブジェクトの空間情報に対応する検出対象画像を取得し、この取得した検出対象像と、重畳対象画像選択部２４が選択した重畳対象画像とについて、座標変換によって表現される画像間対応情報を生成する。本ステップＳ１４２では、全体画像間対応情報生成部２５１が、上述した全体画像間対応情報を生成するとともに、部分画像間対応情報生成部２５２が、上述した部分画像間対応情報を生成する。
【０１０１】
ステップＳ１４２に続くステップＳ１４３では、類似度算出部３１が、上述した全体画像間類似度および部分画像間類似度を算出する。その後のステップＳ１４４では、画像間対応情報選択部３２が、類似度算出部３１が算出した全体画像間類似度および部分画像間類似度に基づいて、全体画像間対応情報および部分画像間対応情報のうちのいずれかを画像間対応情報として選択する。
【０１０２】
ステップＳ１４４に続くステップＳ１４５では、空間情報補正部２６が、画像間対応情報選択部３２が選択した画像間対応情報の変換パラメータに基づいた空間情報の補正を行う。
【０１０３】
ステップＳ１４５に続くステップＳ１４６では、オブジェクト重畳部２７が、空間情報補正部２６によって補正された空間情報を有する重畳オブジェクトを生成し、この重畳オブジェクトを重畳対象画像に重ねることによって重畳画像を生成する。オブジェクト重畳部２７は、例えば、図３に示すように、病変部Ｓ11，Ｓ12の一部が、重畳オブジェクトＱ11，Ｑ12によって取り囲まれた重畳画像ＷS1を生成する。
【０１０４】
ステップＳ１４６に続くステップＳ１４７では、制御部２９の制御のもと、オブジェクト重畳部２７が生成した重畳画像を表示装置３に表示させる制御を行う。制御部２９は、重畳画像を表示装置３に表示後、ステップＳ１４８に移行する。
【０１０５】
ステップＳ１４８では、制御部２９が、重畳オブジェクトの重畳処理を終了する旨の指示入力があるか否かを判断する。ここで、制御部２９は、重畳オブジェクトの重畳処理を終了する旨の指示入力がないと判断した場合（ステップＳ１４８：Ｎｏ）、ステップＳ１４１に移行して、上述した重畳オブジェクトの重畳処理を繰り返す。一方、制御部２９は、重畳オブジェクトの重畳処理を終了する旨の指示入力があると判断した場合（ステップＳ１４８：Ｙｅｓ）、重畳オブジェクトの重畳処理を終了する。
【０１０６】
本実施の形態２に係るオブジェクト重畳処理についても、上述した実施の形態１と同様に、順次画像処理装置２に入力される被写体画像に対し、重畳オブジェクト情報記憶部２８２に記憶されている最新の重畳オブジェクトの空間情報を繰り返し用いて、重畳対象画像選択部２４により選択された複数の重畳対象画像に重畳オブジェクトをそれぞれ重ねる。
【０１０７】
上述した本実施の形態２によれば、画像間対応情報生成部２５Ａが、被写体画像において異なる領域を対象として複数の画像間対応情報を生成し、類似度算出部３１が、複数の画像間対応情報のそれぞれについて、類似度を算出し、画像間対応情報選択部３２が、算出された類似度を用いて画像間対応情報を選択するようにした。これにより、重畳オブジェクトに対応する領域が画像全体と連動して動く場合、領域の情報が乏しくても精度よく空間情報を補正することができるとともに、重畳オブジェクトに対応する領域と画像全体が異なる動きを伴う場合に、領域の画像間対応情報を用いて空間情報を補正するため、空間情報を一層高精度に補正することができる。
【０１０８】
（実施の形態３）
本実施の形態３では、順次入力される被写体画像に対して、重畳オブジェクト情報生成部２３が、座標変換によって表現される画像間対応情報を生成し、隣接座標変換情報として記憶部２８に蓄積させる処理を行う。
【０１０９】
図１３は、本発明の実施の形態３に係る画像処理システムの機能構成を示すブロック図である。本実施の形態３に係る画像処理システム１Ｃは、画像処理装置２Ｃと、表示装置３とを備える。画像処理部２Ｃは、上述した画像処理装置２の記憶部２８に代えて、記憶部２８Ａを備える。記憶部２８Ａは、被写体画像記憶部２８１と、重畳オブジェクト情報記憶部２８２と、隣接座標変換情報記憶部２８３とを有する。
【０１１０】
本実施の形態３において、画像間対応情報生成部２５は、時系列的に隣り合う被写体画像の間の画像間対応情報である隣接座標変換情報を生成し、隣接座標変換情報記憶部２８３に順次蓄積する。隣接座標変換情報は、例えば、画像取得部２１から入力された画像信号に基づく被写体画像と、この被写体画像よりも１フレーム前の被写体画像との間の画像間対応情報である。なお、時系列的に隣り合う被写体画像とは、順次取得される複数の被写体画像に対し、間引き処理等によって抽出された間欠的に隣り合う被写体画像を含み、実際に被写体画像を取得した時間で隣り合う以外の被写体画像の組み合わせを含んでいる。
【０１１１】
また、画像間対応情報生成部２５は、重畳オブジェクト情報生成部２３が重畳オブジェクトを検出した検出対象画像と、重畳対象画像選択部２４により選択された重畳対象画像との間の対応に関する画像間対応情報を生成する場合、重畳オブジェクト情報生成部２３が生成した重畳オブジェクトの空間情報である座標情報、および隣接座標変換情報記憶部２８３に蓄積されている一つまたは複数の隣接座標変換情報を参照し、隣接座標変換情報を累積することによって、重畳オブジェクト情報生成部２３が重畳オブジェクトを検出した被写体画像と、重畳対象画像選択部２４により選択された被写体画像との間の対応に関する画像間対応情報を生成する。
【０１１２】
このように、本実施の形態３では、検出対象画像である被写体画像Ｗ11と、重畳対象画像である被写体画像Ｗ12との間に存在する複数の被写体画像について、上述した実施の形態１，２では生成されていなかった時系列的に隣り合う被写体画像間の画像間対応情報がそれぞれ生成される。
【０１１３】
次に、画像処理装置２Ｃの各部が行う処理について図面を参照して説明する。図１４は、本発明の実施の形態３に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を説明するフローチャートである。以下、制御部２９による制御のもと、各部が動作するものとして説明する。画像処理装置２Ｃが行う処理では、重畳オブジェクトの空間情報を生成する処理（ステップＳ１０１〜Ｓ１０５）と、隣接座標変換情報の生成処理（ステップＳ１５１〜Ｓ１５３）と、重畳オブジェクトを重畳対象画像に重ねる処理（ステップＳ１６１〜Ｓ１６７）とを並列に行う。
【０１１４】
まず、制御部２９は、上述した実施の形態１と同様にして、重畳オブジェクトの空間情報を生成し、生成した重畳オブジェクトの空間情報を、オブジェクト情報記憶部２８２に記憶させる（ステップＳ１０１〜Ｓ１０５）。
【０１１５】
上述した重畳オブジェクトの空間情報の生成処理と並行して、制御部２９は、被写体画像の入力があるか否かを判断する（ステップＳ１５１）。制御部２９は、被写体画像の入力がないと判断した場合（ステップＳ１３１：Ｎｏ）、被写体画像の入力確認を繰り返す。これに対し、制御部２９は、被写体画像の入力があると判断した場合（ステップＳ１５１：Ｙｅｓ）、ステップＳ１５２に移行する。
【０１１６】
ステップＳ１５２では、画像間対応情報生成部２５は、画像取得部２１から入力された画像信号に基づく被写体画像と、被写体画像記憶部２８１に記憶されている被写体画像であって、画像取得部２１から入力された被写体画像と隣接した時間における被写体画像との間の隣接座標変換情報を生成し、隣接座標変換情報記憶部２８３に順次蓄積する。
【０１１７】
その後、制御部２９は、隣接座標変換情報の蓄積処理を終了する指示の入力があるか否かを判断する（ステップＳ１５３）。制御部２９は、蓄積処理を終了する旨の指示の入力がないと判断した場合（ステップＳ１５３：Ｎｏ）、ステップＳ１３１に戻り、上述した蓄積処理を繰り返す。これに対し、制御部２９は、蓄積処理を終了する旨の指示の入力があると判断した場合（ステップＳ１５３：Ｙｅｓ）、蓄積処理を終了する。なお、隣接座標変換情報の蓄積処理を終了する旨の指示の入力は、図示しない入力装置を介して入力された信号の入力であってもよいし、最後の被写体画像の入力があってから所定時間経過しても新たな被写体画像の入力がない場合に蓄積処理を終了する旨の指示の入力があったと判断してもよい。
【０１１８】
さらに、上述した重畳オブジェクトの空間情報の生成処理、および隣接座標変換情報の蓄積処理と並行して、制御部２９は、重畳オブジェクトの重畳処理を行う。まず、重畳対象画像選択部２４が、重畳オブジェクトを重畳して表示装置３に表示させる重畳対象画像（例えば、上述した被写体画像Ｗ12）を選択する（ステップＳ１６１）。
【０１１９】
ステップＳ１６１に続くステップＳ１６２では、画像間対応情報生成部２５が、隣接座標変換情報記憶部２８３に蓄積されている一つまたは複数の隣接座標変換情報を取得して、隣接座標変換情報を順次累積していく。画像間対応情報生成部２５は、累積の都度、必要なすべての隣接座標変換情報累積処理が終了したか否かを判断し、必要なすべての隣接座標変換情報累積処理が終了していないと判断した場合（ステップＳ１６２：Ｎｏ）、隣接座標変換情報記憶部２８３を参照して隣接座標変換情報を取得する。これに対して、画像間対応情報生成部２５は、必要なすべての隣接座標変換累積が終了したと判断した場合（ステップＳ１６２：Ｙｅｓ）、ステップＳ１６３に移行する。
【０１２０】
ステップＳ１６３では、画像間対応情報生成部２５が、ステップＳ１６２で隣接座標変換情報を累積して得られた情報を画像間対応情報とする。
【０１２１】
ステップＳ１６３に続くステップＳ１６４では、空間情報補正部２６が、画像間対応情報生成部２５が生成した画像間対応情報の変換パラメータに基づいた空間情報の補正を行う。
【０１２２】
ステップＳ１６４に続くステップＳ１６５では、オブジェクト重畳部２７が、空間情報補正部２６によって補正された重畳オブジェクトを有する重畳オブジェクトを生成し、この重畳オブジェクトを重畳対象画像に重ねることによって重畳画像を生成する。
【０１２３】
ステップＳ１６５に続くステップＳ１６６では、制御部２９の制御のもと、オブジェクト重畳部２７が生成した重畳画像を表示装置３に表示させる制御を行う。制御部２９は、重畳画像を表示装置３に表示後、ステップＳ１６７に移行する。
【０１２４】
ステップＳ１６７では、制御部２９が、重畳オブジェクトの重畳処理を終了する旨の指示入力があるか否かを判断する。ここで、制御部２９は、重畳オブジェクトの重畳処理を終了する旨の指示入力がないと判断した場合（ステップＳ１６７：Ｎｏ）、ステップＳ１６１に移行して、上述した重畳オブジェクトの重畳処理を繰り返す。一方、制御部２９は、重畳オブジェクトの重畳処理を終了する旨の指示入力があると判断した場合（ステップＳ１６７：Ｙｅｓ）、本処理を終了する。
【０１２５】
上述した本実施の形態３によれば、順次入力される被写体画像に対して、画像間対応情報生成部２５が、画像間対応情報を生成し、隣接座標変換情報として記憶部２８Ａに蓄積させる処理を行い、画像間対応情報生成部２５が、検出対象画像と重畳対象画像との間で生成された隣接座標変換情報を累積することによって検出対象画像と重畳対象画像の間の画像間対応情報を生成して、重畳オブジェクトの空間情報を補正するようにした。これにより、検出対象画像と重畳対象画像との間に存在する被写体画像における動きを加味して画像間対応情報を生成することができ、重畳対象画像における注目箇所の位置に対する重畳オブジェクトの位置ずれを一層確実に抑制することができる。
【０１２６】
（実施の形態４）
本実施の形態４では、重畳オブジェクト情報生成部２３およびオブジェクト重畳部２７が、一つのスレッドを用いて交互に処理を行う。本実施の形態４に係る画像処理装置の構成は、上述した実施の形態１に係る画像処理装置１と同様であるものとして説明する。図１５は、本発明の実施の形態４に係る画像処理装置が行う重畳オブジェクトの重畳処理の概要を説明する図である。図１５では、時間ｔ42，ｔ43，ｔ44，ｔ45，ｔ46およびｔ47において、新たな被写体画像が取得されるものとして説明する。例えば、時間ｔ42と時間ｔ43との間は、１フレーム分の被写体画像が入力される時間に相当する。
【０１２７】
まず、重畳オブジェクト情報生成部２３が、時間ｔ41から時間ｔ42までの間に、時間ｔ41において最新の被写体画像から重畳オブジェクトの空間情報の生成処理である空間情報生成処理Ｄ1を実行し、生成した重畳オブジェクトの空間情報が記憶部２８に記憶させる。この空間情報生成処理Ｄ1は、数フレーム分の被写体画像が入力される時間を要する。
【０１２８】
その後、オブジェクト重畳部２７が、時間ｔ42から時間ｔ43までの間に実行する重畳オブジェクトの重畳処理Ｃ1により、空間情報生成処理Ｄ1によって生成された重畳オブジェクトの空間情報に基づいてオブジェクトの重畳処理を行う。重畳オブジェクトの重畳処理は、例えば０．１フレーム分の被写体画像が入力される時間を要する。重畳オブジェクトの重畳処理Ｃ1では、時間ｔ42で取得された被写体画像を重畳対象画像として、空間情報生成処理Ｄ1によって生成された重畳オブジェクトの空間情報に基づいてオブジェクトの重畳処理を行う。制御部２９は、重畳オブジェクトの重畳処理Ｃ1により生成された重畳画像を表示装置３に表示させる。
【０１２９】
重畳オブジェクトの重畳処理Ｃ1を終了した時間ｔ51から時間ｔ43までの間、すなわち０．９フレーム分の時間で、時間ｔ42で取得された被写体画像の重畳オブジェクトの空間情報の生成処理である空間情報生成処理Ｄ2-1を実行する。空間情報生成処理Ｄ2-1により生成された重畳オブジェクトの空間情報は、時間ｔ42において取得された被写体画像から生成される重畳オブジェクトの空間情報の一部である。
【０１３０】
その後、オブジェクト重畳部２７が、時間ｔ43から時間ｔ44までの間に実行する重畳オブジェクトの重畳処理Ｃ2により、空間情報生成処理Ｄ1により生成された重畳オブジェクトの空間情報に基づいてオブジェクトの重畳処理を行う。重畳オブジェクトの重畳処理Ｃ2では、時間ｔ43で取得された被写体画像を重畳対象画像として、空間情報生成処理Ｄ1によって生成された重畳オブジェクトの空間情報に基づいてオブジェクトの重畳処理を行う。制御部２９は、重畳オブジェクトの重畳処理Ｃ2により生成された重畳画像を表示装置３に表示させる。
【０１３１】
重畳オブジェクトの重畳処理Ｃ2を終了した時間ｔ52から時間ｔ44までの間の０．９フレーム分の時間で、時間ｔ42で取得された被写体画像の重畳オブジェクトの空間情報の生成処理である空間情報生成処理Ｄ2-2を実行する。空間情報生成処理Ｄ2-2により生成される重畳オブジェクトの空間情報は、空間情報生成処理Ｄ2-1に引き続いて生成される重畳オブジェクトの空間情報の一部である。
【０１３２】
その後、重畳オブジェクト情報生成部２３は、各時間に取得された被写体画像を重畳対象画像として、空間情報生成処理Ｄ1によって生成された重畳オブジェクトの空間情報に基づくオブジェクトの重畳処理が終了してから新たな被写体画像が取得されるまでの間に、重畳オブジェクトの空間情報の生成処理Ｄ2-nまで行うことによって、時間ｔ42で取得された被写体画像の重畳オブジェクトの空間情報の生成処理を完了させる。なお、被写体画像によっては、最後の重畳オブジェクトの空間情報の生成処理に要する時間が、０．９フレーム分の時間より短くなる場合がある。この場合、重畳オブジェクト情報生成部２３は、新たな被写体画像が取得されるまで待機する。
【０１３３】
時間ｔ42で取得された被写体画像の重畳オブジェクトの空間情報の生成処理が完了した後、オブジェクト重畳部２７が、時間ｔ45から時間ｔ46までの間に実行する重畳オブジェクトの重畳処理Ｃ3により、空間情報生成処理Ｄ2により生成された重畳オブジェクトの空間情報に基づいてオブジェクトの重畳処理を行う。重畳オブジェクトの重畳処理Ｃ3では、時間ｔ45で取得された被写体画像を重畳対象画像として、空間情報生成処理Ｄ2-1〜Ｄ2-nによって生成された重畳オブジェクトの空間情報に基づいてオブジェクトの重畳処理を行う。制御部２９は、重畳オブジェクトの重畳処理Ｃ3により生成された重畳画像を表示装置３に表示させる。
【０１３４】
その後、重畳オブジェクトの重畳処理Ｃ3を終了した時間ｔ53から時間ｔ46までの０．９フレーム分の時間で、時間ｔ45で取得された被写体画像の重畳オブジェクトの空間情報の生成処理である空間情報生成処理Ｄ3-1を実行する。空間情報生成処理Ｄ3-1により生成される重畳オブジェクトの空間情報は、時間ｔ45において取得された被写体画像から生成される重畳オブジェクトの空間情報の一部である。その後は、空間情報生成処理Ｄ2-2〜Ｄ2-nと同様にして、重畳オブジェクト情報生成部２３が、各時間に取得された被写体画像を重畳対象画像として、空間情報生成処理Ｄ2によって生成された重畳オブジェクトの空間情報に基づくオブジェクトの重畳処理が終了してから新たな被写体画像が取得されるまでの間に、重畳オブジェクトの空間情報の生成処理Ｄ3-nまで行うことによって、時間ｔ45で取得された被写体画像の重畳オブジェクトの空間情報の生成処理を完了させる。
【０１３５】
以降、上述した空間情報生成処理Ｄ2-2〜Ｄ2-n、Ｄ3-2〜Ｄ3-nと同様にして、例えば時間ｔ47において取得した被写体画像から時分割で重畳オブジェクトの空間情報を生成しつつ、重畳オブジェクトを重畳した重畳画像を生成する。
【０１３６】
本実施の形態４によれば、重畳オブジェクトの空間情報を生成するスレッドと、重畳オブジェクトの重畳処理を行うスレッドとが共通の一つのスレッドである場合に、重畳オブジェクトの空間情報を時分割で生成するとともに、生成が完了した重畳オブジェクトの空間情報を用いて重畳オブジェクトを重畳対象画像に重畳した情報を生成するようにした。これにより、重畳オブジェクトの検出対象画像から検出した重畳オブジェクトを、検出対象画像とは時系列で異なる重畳対象画像に重ねる場合であっても、重畳対象画像における注目箇所の位置に対する重畳オブジェクトの位置ずれを抑制することができるとともに、画像取得部２１が順次取得する被写体画像に対して、位置ずれを抑制した重畳オブジェクトを重畳して表示装置３に表示させることが可能となる。
【０１３７】
なお、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。
【０１３８】
このように、本発明は、ここでは記載していない様々な実施の形態等を含み得るものであり、請求の範囲に記載した技術的思想を逸脱しない範囲内において適宜設計変更等を行うことが可能である。
【産業上の利用可能性】
【０１３９】
以上のように、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムは、注目箇所を指示するオブジェクトを生成した画像とは異なる画像に、このオブジェクトを重ねる場合であっても、重畳対象画像における注目箇所とオブジェクトとの位置ずれを抑制するとともに、オブジェクトの更新頻度を向上するのに有用である。
【符号の説明】
【０１４０】
１，１Ａ，１Ｂ，１Ｃ  画像処理システム
２，２Ａ，２Ｂ，２Ｃ  画像処理装置
３  表示装置
２１  画像取得部
２２  検出対象画像選択部
２３  重畳オブジェクト情報生成部
２４  重畳対象画像選択部
２５，２５Ａ  画像間対応情報生成部
２６  空間情報補正部
２７  オブジェクト重畳部
２８  記憶部
２９  制御部
３０  センサ情報取得部
３１  類似度算出部
３２  画像間対応情報選択部
２５１  全体画像間対応情報生成部
２５２  部分画像間対応情報生成部
２８１  被写体画像記憶部
２８２  重畳オブジェクト情報記憶部
２８３  隣接座標変換情報記憶部
【図１】
2017212653.tif 000003
【図２】
2017212653.tif 000004
【図３】
2017212653.tif 000005
【図４】
2017212653.tif 000006
【図５】
2017212653.tif 000007
【図６】
2017212653.tif 000008
【図７】
2017212653.tif 000009
【図８】
2017212653.tif 000010
【図９】
2017212653.tif 000011
【図１０】
2017212653.tif 000012
【図１１】
2017212653.tif 000013
【図１２】
2017212653.tif 000014
【図１３】
2017212653.tif 000015
【図１４】
2017212653.tif 000016
【図１５】
2017212653.tif 000017
【国際調査報告】
2017212653.tif 000018
2017212653.tif 000019
2017212653.tif 000020