(57)【要約】  内視鏡装置は、画像取得部（３１０）と、注目領域検出部（３２０）と、移動ベクトル推定部（３４０）と、注目領域と移動ベクトルに基づいてアラート画像を表示する表示制御部（３５０）を含み、第１の撮像画像においてアラート画像と注目領域が重畳する領域を第１の画像上領域、第１の画像上領域に対応する領域を第１の被写体領域とし、第２の撮像画像において、第１の被写体領域に対応する画像上領域とアラート画像とが重畳する領域を第２の画像上領域、第２の画像上領域に対応する領域を第２の被写体領域とした場合に、表示制御部（３５０）は、第２の被写体領域が第１の被写体領域に比べて狭い領域となるように、第２の撮像画像におけるアラート画像の表示制御を行う。
2016199273.tif 000002
【特許請求の範囲】
【請求項１】
撮像部が被写体を撮像した画像である撮像画像を取得する画像取得部と、  前記撮像画像の画素の特徴量に基づいて、注目領域を検出する注目領域検出部と、  前記撮像画像の少なくとも一部における移動ベクトルを推定する移動ベクトル推定部と、  前記注目領域と前記移動ベクトルに基づいて、前記注目領域を強調するアラート画像を、前記撮像画像に重畳して表示する表示制御部と、  を含み、  第１の撮像画像において前記アラート画像と前記注目領域が重畳する領域を第１の画像上領域とし、前記第１の画像上領域に対応する前記被写体上での領域を第１の被写体領域とし、  第２の撮像画像において、前記第１の被写体領域に対応する画像上領域と前記アラート画像とが重畳する領域を第２の画像上領域とし、前記第２の画像上領域に対応する前記被写体上での領域を第２の被写体領域とした場合に、  前記表示制御部は、  前記第２の被写体領域が前記第１の被写体領域に比べて狭い領域となるように、前記第２の撮像画像における前記アラート画像の表示制御を行うことを特徴とする内視鏡装置。
【請求項２】
請求項１において、  前記移動ベクトルに基づいて、前記第１の撮像画像と前記第２の撮像画像との間で、前記撮像部の前記被写体に対するズーミングが行われたと判定された場合に、  前記表示制御部は、  前記第２の被写体領域が前記第１の被写体領域に比べて狭い領域となるように、前記第２の撮像画像における前記アラート画像の表示制御を行うことを特徴とする内視鏡装置。
【請求項３】
請求項１において、  前記移動ベクトルに基づいて、前記第１の撮像画像と前記第２の撮像画像との間で、前記撮像部の前記被写体に対する相対的な並進移動及び回転移動の少なくとも一方が行われたと判定された場合に、  前記表示制御部は、  前記第２の被写体領域が前記第１の被写体領域に比べて狭い領域となるように、前記第２の撮像画像における前記アラート画像の表示制御を行うことを特徴とする内視鏡装置。
【請求項４】
請求項１において、  前記移動ベクトルに基づいて、前記第１の撮像画像と前記第２の撮像画像との間で、前記撮像部の光軸方向と、前記被写体の法線方向のなす角度が変化する移動が行われたと判定された場合に、  前記表示制御部は、  前記第２の被写体領域が前記第１の被写体領域に比べて狭い領域となるように、前記第２の撮像画像における前記アラート画像の表示制御を行うことを特徴とする内視鏡装置。
【請求項５】
請求項２乃至４のいずれかにおいて、  前記表示制御部は、  前記第２の撮像画像において、前記アラート画像を非表示とする制御を行うことを特徴とする内視鏡装置。
【請求項６】
請求項５において、  前記移動ベクトルに基づいて、前記第１の撮像画像と前記第２の撮像画像との間で、前記注目領域に対するズームインが行われたと判定された場合に、  前記表示制御部は、  前記第２の撮像画像において、前記アラート画像を非表示とする制御を行うことを特徴とする内視鏡装置。
【請求項７】
請求項５において、  前記移動ベクトルに基づいて、前記第１の撮像画像と前記第２の撮像画像との間で、前記注目領域が前記撮像画像の中央部に移動したと判定された場合に、  前記表示制御部は、  前記第２の撮像画像において、前記アラート画像を非表示とする制御を行うことを特徴とする内視鏡装置。
【請求項８】
請求項２乃至４のいずれかにおいて、  前記表示制御部は、  前記移動ベクトルに基づいて、前記第１の撮像画像における前記アラート画像を回転移動させて、前記第２の撮像画像に表示する制御を行うことを特徴とする内視鏡装置。
【請求項９】
請求項８において、  前記移動ベクトルに基づいて、前記第１の撮像画像と前記第２の撮像画像との間で、前記注目領域が第１の方向に並進移動したと判定された場合に、  前記表示制御部は、  前記第２の撮像画像における前記注目領域の前記第１の方向の反対方向側へ、前記アラート画像を回転移動させて、前記第２の撮像画像に表示する制御を行うことを特徴とする内視鏡装置。
【請求項１０】
請求項２乃至４のいずれかにおいて、  前記表示制御部は、  前記移動ベクトルに基づいて、前記第１の撮像画像における前記アラート画像を並進移動させて、前記第２の撮像画像に表示する制御を行うことを特徴とする内視鏡装置。
【請求項１１】
請求項１０において、  前記移動ベクトルに基づいて、前記第１の撮像画像と前記第２の撮像画像との間で、前記注目領域に対するズームインが行われたと判定された場合に、  前記表示制御部は、  前記アラート画像を、前記撮像画像の周縁部へ向かう方向に並進移動させて、前記第２の撮像画像に表示する制御を行うことを特徴とする内視鏡装置。
【請求項１２】
請求項２乃至４のいずれかにおいて、  前記表示制御部は、  前記移動ベクトルに基づいて、前記第１の撮像画像における前記アラート画像のサイズを変更して、前記第２の撮像画像に表示する制御を行うことを特徴とする内視鏡装置。
【請求項１３】
請求項２において、  前記移動ベクトルに基づいて、前記第１の撮像画像と前記第２の撮像画像との間で、前記撮像部の前記被写体に対するズームインが行われたと判定された場合に、  前記表示制御部は、  前記第１の撮像画像における前記アラート画像のサイズを縮小して、前記第２の撮像画像に表示する制御を行うことを特徴とする内視鏡装置。
【請求項１４】
請求項１において、  前記移動ベクトルに基づいて、前記第１の撮像画像と前記第２の撮像画像との間で、前記注目領域に対するズーミング、前記撮像部の前記被写体に対する相対的な並進移動、前記撮像部の前記被写体に対する相対的な回転移動、及び前記撮像部の光軸方向と前記被写体の法線方向のなす角度が変化する移動、の少なくとも１つが行われたと判定された場合に、  前記表示制御部は、  前記第２の被写体領域が前記第１の被写体領域に比べて狭い領域となる前記アラート画像を、前記第２の撮像画像に重畳して表示する制御を行い、  前記第２の撮像画像と第３の撮像画像との間で、前記ズーミング、前記並進移動、前記回転移動、及び前記角度が変化する移動の少なくとも１つが行われたと判定された場合に、  前記表示制御部は、  前記第３の撮像画像において、前記アラート画像を非表示とする制御を行うことを特徴とする内視鏡装置。
【請求項１５】
請求項１乃至１４のいずれかにおいて、  前記撮像画像を記憶する記憶部を含み、  前記移動ベクトル推定部は、  処理タイミングでの前記撮像画像と、前記記憶部に記憶された前記処理タイミングよりも過去の前記撮像画像との比較処理に基づいて、少なくとも一つの対応画素を検出し、前記対応画素に基づいて前記移動ベクトルを推定することを特徴とする内視鏡装置。
【請求項１６】
撮像部が被写体を撮像した画像である撮像画像を取得する処理を行い、  前記撮像画像の画素の特徴量に基づいて、注目領域を検出し、  前記撮像画像の少なくとも一部における移動ベクトルを推定し  前記注目領域と前記移動ベクトルに基づいて、前記注目領域を強調するアラート画像を、前記撮像画像に重畳して表示する表示制御を行い、  第１の撮像画像において前記アラート画像と前記注目領域が重畳する領域を第１の画像上領域とし、前記第１の画像上領域に対応する前記被写体上での領域を第１の被写体領域とし、  第２の撮像画像において、前記第１の被写体領域に対応する画像上領域と前記アラート画像とが重畳する領域を第２の画像上領域とし、前記第２の画像上領域に対応する前記被写体上での領域を第２の被写体領域とした場合に、  前記表示制御において、  前記第２の被写体領域が前記第１の被写体領域に比べて狭い領域となるように、前記第２の撮像画像における前記アラート画像の表示制御を行うことを特徴とする内視鏡装置の作動方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、内視鏡装置及び内視鏡装置の作動方法等に関する。
【背景技術】
【０００２】  内視鏡観察では、画像解析の結果に基づいて、システム側から病変検出結果等の注目領域に関する情報の提示が行われる場合がある。システムからの情報は、従来、観察画面上の注目領域に対して所定の位置に所定の方法で重畳して提示されていた。この重畳提示は時として観察の妨げとなるため、観察の妨げとならないような種々の提示手法が開示されている。【０００３】  例えば、特許文献１では、注目領域の数、サイズ、最初に検出されてからの検出経過時間のうちの少なくとも１つが所定の閾値を越えた場合に提示を消去する手法が開示されている。【０００４】  また、特許文献２では、選択手段によって選択された注目領域の病変部の位置を示すマーク（画像データ）を重畳する手法が開示されている。【０００５】  また、特許文献３では、重畳のウィンドウの大きさ、表示場所、表示、非表示を変更可能な手法が開示されている。【０００６】  また、特許文献４では、画像が変化したと判別されると、各部分での画像のずれ量を算出し、そのずれ量に応じて重畳する情報を変化させる手法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−２５５００６号公報
【特許文献２】特開２０１１−０８７７９３号公報
【特許文献３】特開２００１−１０４３３３号公報
【特許文献４】特開２００９−２２６０７２号公報
【特許文献５】特開２００７−１２５３７３号公報
【非特許文献】
【０００８】
【非特許文献１】"Visual SLAM for handheld monocular endoscope" Grasa, Oscar G and Bernal, Ernesto and Casado, Santiago and Gil, Ismael and Montiel, Medical Imaging, Vol. 33, No.1, p. 135-146, 2014
【非特許文献２】"Towards Automatic Polyp Detection with a Polyp Appearance Model" Jorge Bernal, F. Javier Sanchez, & Fernando Vilarino, Pattern Recognition, 45(9), 3166-3182
【発明の概要】
【発明が解決しようとする課題】
【０００９】  特許文献１〜４のように、撮像画像（表示画像、観察画像）上に何らかの情報を重畳表示する際の、表示制御手法が知られている。しかし従来手法では、システム側から病変検出結果などを重畳して、内視鏡の観察画面上に情報提示を行う場合に、情報が重畳される注目領域上の所定の位置の観察の妨げを、迅速に改善できない場合があった。【００１０】  例えば特許文献１では、注目領域の数や、サイズ、検出経過時間が所定の閾値を越えなければ提示を消去することはできないため、提示を消去するまでの反応が遅かったり、医師が消去するためのプロセスを理解する必要がある。【００１１】  また、特許文献２では、マークを示す画像データの制御を行う際には、注目領域の選択というプロセスが発生してしまう。【００１２】  また、特許文献３では、表示形態を変更するには、変更のための操作を行うというプロセスが発生してしまう。【００１３】  また、特許文献４では、ずれ量に応じて提示する情報を変化させる手法は開示されているものの、重畳されていた被写体の観察状態の改善を考慮したものでないため、提示情報の変化後においても、観察状態が改善されない場合がある。【００１４】  本発明の幾つかの態様によれば、アラート画像による注目領域の観察の妨げを、適切に改善する内視鏡装置及び内視鏡装置の作動方法等を提供できる。
【課題を解決するための手段】
【００１５】  本発明の一態様は、撮像部が被写体を撮像した画像である撮像画像を取得する画像取得部と、前記撮像画像の画素の特徴量に基づいて、注目領域を検出する注目領域検出部と、前記撮像画像の少なくとも一部における移動ベクトルを推定する移動ベクトル推定部と、前記注目領域と前記移動ベクトルに基づいて、前記注目領域を強調するアラート画像を、前記撮像画像に重畳して表示する表示制御部と、を含み、第１の撮像画像において前記アラート画像と前記注目領域が重畳する領域を第１の画像上領域とし、前記第１の画像上領域に対応する前記被写体上での領域を第１の被写体領域とし、第２の撮像画像において、前記第１の被写体領域に対応する画像上領域と前記アラート画像とが重畳する領域を第２の画像上領域とし、前記第２の画像上領域に対応する前記被写体上での領域を第２の被写体領域とした場合に、前記表示制御部は、前記第２の被写体領域が前記第１の被写体領域に比べて狭い領域となるように、前記第２の撮像画像における前記アラート画像の表示制御を行う内視鏡装置に関係する。【００１６】  本発明の一態様では、上記のように第１の被写体領域、第２の被写体領域を考えた場合に、第２の被写体領域を第１の被写体領域よりも狭くするようなアラート画像の表示制御を行う。ここで、第１の被写体領域は、第１の撮像画像においてアラート画像により観察が難しい被写体（特に注目すべき被写体）に対応し、第２の被写体領域が、第１の撮像画像と第２の撮像画像の両方において、アラート画像により観察が難しい被写体に対応する。つまりこのようにすれば、注目領域の観察状態を適切に改善することができ、且つそのための表示制御を移動ベクトルに基づいて行うため、ユーザによる煩雑な操作を省略すること等が可能になる。【００１７】  また、本発明の他の態様は、撮像部が被写体を撮像した画像である撮像画像を取得する処理を行い、前記撮像画像の画素の特徴量に基づいて、注目領域を検出し、前記撮像画像の少なくとも一部における移動ベクトルを推定し前記注目領域と前記移動ベクトルに基づいて、前記注目領域を強調するアラート画像を、前記撮像画像に重畳して表示する表示制御を行い、第１の撮像画像において前記アラート画像と前記注目領域が重畳する領域を第１の画像上領域とし、前記第１の画像上領域に対応する前記被写体上での領域を第１の被写体領域とし、第２の撮像画像において、前記第１の被写体領域に対応する画像上領域と前記アラート画像とが重畳する領域を第２の画像上領域とし、前記第２の画像上領域に対応する前記被写体上での領域を第２の被写体領域とした場合に、前記表示制御において、前記第２の被写体領域が前記第１の被写体領域に比べて狭い領域となるように、前記第２の撮像画像における前記アラート画像の表示制御を行う内視鏡装置の作動方法に関係する。
【図面の簡単な説明】
【００１８】
【図１】注目領域とアラート画像の関係図。
【図２】内視鏡装置の構成例。
【図３】図３（Ａ）〜図３（Ｄ）は並進移動が行われる場合の第１の画像上領域、第２の画像上領域の説明図。
【図４】図４（Ａ）、図４（Ｂ）はズームインが行われる場合の第１の画像上領域と、第１の画像上領域に対応する第２の撮像画像上の領域の説明図。
【図５】内視鏡装置の詳細な構成例。
【図６】図６（Ａ）、図６（Ｂ）はズームインが行われた場合にアラート画像を非表示とする手法の説明図。
【図７】図７（Ａ）、図７（Ｂ）は画像中央部への並進移動が行われた場合にアラート画像を非表示とする手法の説明図。
【図８】図８（Ａ）〜図８（Ｅ）はアラート画像を回転させる手法の説明図。
【図９】図９（Ａ）、図９（Ｂ）は文字情報を表示するアラート画像を回転させる手法の説明図。
【図１０】移動ベクトルの大きさに基づいてアラート画像の回転量を設定する手法の説明図。
【図１１】図１１（Ａ）〜図１１（Ｃ）はパンチルト操作に基づいてアラート画像を変形させる手法の説明図。
【図１２】パンチルト操作に基づいてアラート画像を簡易的に変形させる手法の説明図。
【図１３】図１３（Ａ）〜図１３（Ｃ）はズームインが行われた場合にアラート画像のサイズを縮小する手法の説明図。
【図１４】図１４（Ａ）、図１４（Ｂ）は注目領域に対して複数のアラート画像を表示する手法、及び移動ベクトルに基づいてアラート画像を並進移動させる手法の説明図。
【図１５】図１５（Ａ）〜図１５（Ｃ）は多段階での表示制御の説明図。
【発明を実施するための形態】
【００１９】  以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００２０】  １．本実施形態の手法  まず本実施形態の手法について説明する。従来、内視鏡スコープを用いて撮像された撮像画像から注目領域を検出し、当該注目領域に対して所与の情報を付加して表示する手法が知られている。例えば内視鏡検査では、医師は内視鏡画像を見ながら診察対象の体腔内に異常な部位が無いかを診断する。しかしながら、この視認による診断では、小さい病変や、周辺との差異が少ない病変などの見つけにくい病変部を見落とす可能性がある。
【００２１】  そのため、図１のＡ１のように、撮像画像中から病変の可能性がある領域を注目領域ＡＡとして検出し、その領域に図１のＡ２に示したアラート画像ＡＬ（ここでは矢印）を表示することで、医師の見落としを抑止し、医師の負担を低減する。具体的には、図１のＡ３に示すように、注目領域ＡＡの位置を表す矢印（広義にはアラート画像ＡＬ）を、当該注目領域に対応する位置に表示する手法が考えられる。このようにすれば、撮像画像を閲覧するユーザに対して、注目領域が検出されていること、及び検出された注目領域の画像上での位置をわかりやすく提示することが可能になる。また、文字等を含むアラート画像を用いることで、位置以外の情報を提示することもできる。なお、本実施形態に係る内視鏡装置は、狭義には医療用内視鏡装置であってもよく、以下の説明は医療用の内視鏡装置を例にとって行うものとする。
【００２２】  しかし、撮像画像上にアラート画像を表示することで、当該アラート画像と重畳する被写体の観察が妨げられる。例えば、アラート画像を透明ではないものとすれば、アラート画像と重畳する被写体は、その撮像画像上では確認できないことになる。特に、図１のＡ３に示すように注目領域ＡＡとアラート画像ＡＬが重畳する場合、当該注目領域ＡＡは注目すべき被写体が撮像されているにもかかわらず、重畳する範囲の注目領域は観察が妨げられてしまい問題となる。ここでの重畳する範囲とは、具体的には図１のＡ４に示した注目領域ＡＡのうちのＲ１の領域に対応する。
【００２３】  これに対して、特許文献１〜４等の従来手法では、撮像画像上に表示する情報を制御する手法が開示されている。しかし、従来手法ではアラート画像を非表示とするために、所定の条件を満たす必要があったり、所定の操作を行う必要があった。例えば、注目領域の数やサイズが所定閾値を超えたり、注目領域の検出からの経過時間が所定閾値を超えることがアラート画像消去の条件となっている場合、アラート画像の消去を行うには、ユーザはそのような条件を認識した上で、注目領域の数やサイズが大きくなるような工夫をする、或いは所定時間が経過するまで待つ必要がある。或いは、例えば注目領域やアラート領域の選択操作、表示態様の指定操作といったような、アラート画像を制御するための操作を意図的に行う必要があり、ユーザの操作が煩雑となる場合もある。
【００２４】  特許文献４には、画像上での動き、すなわち撮像部と被写体の相対的な動きに基づいて、表示される情報を変化させる手法が開示されている。この手法であれば、専用の操作を行わなくとも、アラート画像を変化させることは可能である。しかし、特許文献４の手法は、アラート画像による観察状態の改善を想定したものではなく、情報の変化後でも注目領域の観察状態が改善されていることは保証されない。言い換えれば、注目領域の観察状態を改善するための、情報（アラート画像）の変更手法を開示するものではなかった。
【００２５】  そこで本出願人は、ユーザによる煩雑な操作等が行われなかったとしても、注目領域の観察状態を改善するようにアラート画像の表示態様を制御する手法を提案する。具体的には、本実施形態に係る内視鏡装置は、図２に示すように、撮像部（例えば後述する図５における撮像部２００）が被写体を撮像した画像である撮像画像を取得する画像取得部３１０と、撮像画像の画素の特徴量に基づいて、注目領域を検出する注目領域検出部３２０と、撮像画像の少なくとも一部における移動ベクトルを推定する移動ベクトル推定部３４０と、注目領域と移動ベクトルに基づいて、注目領域を強調するアラート画像を、撮像画像に重畳して表示する表示制御部３５０を含む。そして、第１の撮像画像においてアラート画像と注目領域が重畳する領域を第１の画像上領域とし、第１の画像上領域に対応する被写体上での領域を第１の被写体領域とし、第２の撮像画像において、第１の被写体領域に対応する画像上領域とアラート画像とが重畳する領域を第２の画像上領域とし、第２の画像上領域に対応する被写体上での領域を第２の被写体領域とした場合に、表示制御部３５０は、第２の被写体領域が第１の被写体領域に比べて狭い領域となるように、第２の撮像画像におけるアラート画像の表示制御を行う。
【００２６】  ここで、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。注目領域の検出手法については後述する。また、特徴量とは、画素の特徴を表す情報であり、画素値（Ｒ，Ｇ，Ｂの各値の少なくとも１つ）であってもよいし、輝度値や色差、色相等であってもよい。また、特徴量はこれに限定されず、被写体のエッジ情報（輪郭情報）や、エッジによって囲まれる領域の形状情報等、種々の情報を用いることが可能である。また、アラート画像とは、上述したように注目領域の強調に用いられる情報であって、撮像画像上に表示される画像情報である。アラート画像は、図３（Ａ）等に示す矢印形状の画像であってもよいし、図９（Ａ）を用いて後述するように文字情報を含む画像であってもよいし、図１１（Ａ）を用いて後述するように旗形状の画像でもよいし、これ以外の画像であってもよい。本実施形態のアラート画像は、注目領域の位置やサイズ、或いは当該注目領域の性質等を強調し、わかりやすくユーザーに提示できる情報であればよく、その形態は種々の変形実施が可能である。
【００２７】  また、第１の画像上領域とは、上述したように撮像画像上において、注目領域とアラート画像とが重畳する領域であり、図３（Ａ）のように第１の撮像画像において、注目領域ＡＡ１が検出され、当該撮像画像に対して、アラート画像ＡＬ１が重畳表示されたとすれば、第１の画像上領域は図３（Ａ）のＲ１に示した領域となる。そして、第１の被写体領域とは、図３（Ａ）の第１の撮像画像において、第１の画像上領域Ｒ１に撮像された被写体範囲を表す領域である。
【００２８】  また、第２の画像上領域を規定する際には、まず第２の撮像画像で検出された注目領域ＡＡ２のうち、第１の被写体範囲が撮像された領域Ｒ１’を考えるとよい。例えば、第１の撮像画像と第２の撮像画像との間で、図３（Ｂ）に示したように撮像部２００と被写体が相対的に並進移動をした場合、領域Ｒ１’は図３（Ｂ）に示したように、Ｒ１を並進移動させた第２の撮像画像上での領域となる。また、第１の撮像画像と第２の撮像画像との間で、図４（Ａ）、図４（Ｂ）に示したようにズームインが行われた場合、領域Ｒ１’は図４（Ｂ）に示したように、Ｒ１を拡大させた第２の撮像画像上での領域となる。このように、Ｒ１’は撮像された被写体がＲ１に対応（狭義には一致）する領域であるため、画像上での位置、サイズ、形状はＲ１と一致するとは限らないものである。
【００２９】  第２の画像上領域とは、領域Ｒ１’と、第２の撮像画像でのアラート画像ＡＬ２との重畳領域であり、例えば図３（Ｃ）のようにアラート画像ＡＬ２が表示される場合、第２の画像上領域は図３（Ｄ）のＲ２に示した領域となる。そして、第２の被写体領域とは、図３（Ｄ）の第２の撮像画像において、第２の画像上領域Ｒ２に撮像された被写体範囲を表す領域である。
【００３０】  このようにすれば、第１の撮像画像ではアラート画像により遮蔽されていた被写体範囲（第１の被写体領域に対応）のうち、少なくとも一部の領域は第２の撮像画像ではアラート画像により遮蔽されないようなアラート画像の制御が可能になる。つまり、第１の撮像画像で観察が難しかった被写体が、第２の撮像画像では観察できるようになるため、観察状態を適切に改善することが可能になる。その際、アラート画像の表示制御を移動ベクトルに基づいて行うため、ユーザはアラート画像を制御するための煩雑な操作を必要としないという利点がある。
【００３１】  なお、第２の被写体領域が第１の被写体領域に比べて狭い領域となるような、第２の撮像画像におけるアラート画像の具体的な表示制御手法については、図６〜図１５を用いて後述する。
【００３２】  また、以上では第１，第２の被写体領域のサイズ（面積）を用いて説明を行ったが、本実施形態の手法はこれに限定されない。例えば、本実施形態に係る内視鏡装置は、上述した画像取得部３１０と、注目領域検出部３２０と、移動ベクトル推定部３４０と、表示制御部３５０を含み、第１の撮像画像においてアラート画像と注目領域が重畳する領域を第１の画像上領域とし、第２の撮像画像において、第１の画像上領域に対応する領域とアラート画像とが重畳する領域を第２の画像上領域とした場合に、表示制御部３５０は、第２の画像上領域が第１の画像上領域に比べて狭い領域となるように、第２の撮像画像におけるアラート画像の表示制御を行うものであってもよい。ここで、第２の画像上領域が第１の画像上領域に比べて狭い領域となる表示制御とは、第２の画像上領域の面積をＳＩ２とし、第１の画像上領域の面積をＳＩ１とした場合に、ＳＩ２＜ＳＩ１となるような表示制御である。つまり本実施形態の手法は、撮像画像上での領域に基づいて表示制御を行うものであってもよい。
【００３３】  以下、移動ベクトルを用いた検出処理の具体例と、アラート画像の表示制御の具体例を説明する。本発明の手法では、移動ベクトルを用いてどのような動きを検出するか、対象の動きを検出した場合にアラート画像をどのように変化させるか、という組み合わせが種々考えられるため、以下ではまず基本的な組み合わせの例を説明し、その後、変形例について説明する。
【００３４】  ２．基本的な実施形態  本実施形態に係る内視鏡装置（内視鏡システム）について、図５を用いて説明する。本実施形態における内視鏡装置は、体内への挿入部である硬性鏡１００と、硬性鏡１００に接続される撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００と、光源部６００を備えている。
【００３５】  光源部６００は、白色光を発生する白色光源６１０と、白色光源６１０からの出射光を硬性鏡に導光するライトガイドケーブル６２０を備えている。
【００３６】  硬性鏡１００は対物レンズ、リレーレンズ、接眼レンズ等を含んで構成されるレンズ系１１０と、ライトガイドケーブル６２０からの出射光を、硬性鏡先端まで導光するライトガイド部１２０を備えている。
【００３７】  撮像部２００は、レンズ系１１０からの出射光を結像する撮像レンズ系２４０を備える。撮像レンズ系２４０は、合焦物体位置を調整するフォーカスレンズ２２０を含んで構成されている。撮像部２００はさらに、撮像レンズ系２４０で結像された反射光を光電変換して画像を生成する撮像素子２５０と、フォーカスレンズ２２０を駆動するフォーカスレンズ駆動部２３０と、オートフォーカス（以下、ＡＦ）の開始、終了を制御するＡＦ開始／終了ボタン２１０を備えている。
【００３８】  撮像素子２５０は例えば、ＲＧＢのいずれかのカラーフィルタがベイヤ配列で配置されている原色ベイヤ型の撮像素子である。ここでは他にも、補色カラーフィルタを用いた撮像素子や、カラーフィルタを用いずに１つの画素で異なる波長の光を受光可能な積層型の撮像素子、カラーフィルタを用いないモノクロ撮像素子など、被写体を撮像して画像を得られるものであれば、任意の撮像素子を使用できる。フォーカスレンズ駆動部２３０は、例えばボイスコイルモータ（ＶＣＭ）等の任意のアクチュエータである。
【００３９】  処理部３００は、図２を用いて上述したように、画像取得部３１０と、注目領域検出部３２０と、画像保存部（記憶部）３３０と、移動ベクトル推定部３４０と、表示制御部３５０を備えている。
【００４０】  画像取得部３１０は、撮像部２００で撮像された撮像画像を取得する。ここで取得される撮像画像は、狭義には時間的に連続した（時系列的な）画像である。画像取得部３１０は、例えばＡ／Ｄ変換部であってもよく、Ａ／Ｄ変換部は、撮像素子２５０から順次出力されるアナログ信号をデジタルの画像に変換する処理を行う。また、画像取得部３１０（或いは不図示の前処理部）において撮像画像に対する前処理を行ってもよい。ここでの前処理とは、例えばホワイトバランス、補間処理（デモザイキング処理）等の画像処理である。
【００４１】  注目領域検出部３２０は、撮像画像から注目領域を検出する。画像保存部３３０は、撮像画像を記憶（保存）する。移動ベクトル推定部３４０は、処理対象タイミングでの撮像画像と、画像保存部３３０に保存された過去の（狭義には１タイミング前の）撮像画像とに基づいて、移動ベクトルを推定する。表示制御部３５０は、注目領域の検出結果と、推定された移動ベクトルとに基づいて、アラート画像の表示制御を行う。なお、表示制御部３５０では、アラート画像以外の表示制御を行ってもよく、例えば色変換、階調変換、エッジ強調、拡縮処理、ノイズリダクション等の画像処理を行ってもよい。アラート画像の具体的な表示制御については後述する。
【００４２】  表示部４００は例えば液晶モニタであり、表示制御部３５０から順次出力される画像を表示する。
【００４３】  処理部３００（制御部）は外部Ｉ／Ｆ部５００や撮像素子２５０、ＡＦ開始／終了ボタン２１０、光源部６００と相互に接続されており、制御信号の入出力を行う。外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースであり、例えばＡＦ領域の位置やサイズを設定するための設定ボタン、画像処理のパラメータを調整するための調整ボタンなどを含んで構成されている。
【００４４】  なお、図５では腹腔鏡手術等に用いられる硬性鏡を例にとって説明したが、内視鏡装置の構成はこれに限定されず、上部内視鏡や下部内視鏡等の他の内視鏡装置であってもよい。また、内視鏡装置は図５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、図５ではＡＦを行う内視鏡装置を想定したため、フォーカスレンズ２２０等を含むものとしたが、本実施形態の内視鏡装置はＡＦを行わない構成でもよく、これらの構成要素は省略可能である。また、後述するように本実施形態ではズームイン操作が行われてもよく、当該ズームインを撮像レンズ系２４０により実現してもよい。その場合、撮像レンズ系２４０は、図５に不図示のズームレンズを含む構成であってもよい。
【００４５】  次に、注目領域検出部３２０、移動ベクトル推定部３４０、表示制御部３５０での具体的な処理について説明する。
【００４６】  注目領域、特に生体の病変部を検出する手法は種々提案されており、例えば、非特許文献１のような手法を用いてもよいし、特許文献５に開示されているように領域の形状及び色を用いてもよい。特許文献５では、撮像画像から楕円状の形状を抽出し、抽出した楕円内の色と、あらかじめ定義された病変モデルとの色の比較処理に基づいて注目領域を検出する。或いは、狭帯域光観察（ＮＢＩ，Narrow band imaging）を用いてもよい。ＮＢＩでは、通常のＲＧＢに比べて狭い波長帯域の光、例えばＢ２（３９０ｎｍ〜４４５ｎｍ）やＧ２（５３０ｎｍ〜５５０ｎｍ）を用いることで、所与の病変が通常とは異なる色味（例えば赤褐色）で表示される。つまり、狭帯域光を用いた上で被写体の色情報等を判定することでも、注目領域を検出できる。その他、本実施形態では種々の検出手法を広く適用可能である。
【００４７】  注目領域検出部３２０において注目領域が検出された場合には、表示制御部３５０は図１のＡ３に示したように、注目領域ＡＡが検出された位置にアラート画像ＡＬを重畳表示する。この時点では、アラート画像ＡＬに遮蔽された領域は観察することができない。ここで、アラート画像ＡＬは矢印に限定されるものではなく、検出された病変の種類や、患者背景、他のモダリティ（医用画像装置、モダリティ装置）で観察された情報などを、文字、形状、色等で提示する画像であってもよい。
【００４８】  また表示制御部３５０は、時間的に連続した次の画像においても注目領域が検出された場合に、前の画像においてアラート画像ＡＬに遮蔽された領域が観察可能なように、アラート画像の形態を変化させる。
【００４９】  具体的には、移動ベクトル推定部３４０において、画像保存部３３０に保存された過去の画像を用いて、少なくとも一組の対応点に関する移動ベクトルを推定する。具体的には、内視鏡装置は、撮像画像を記憶する記憶部（画像保存部３３０）を含み、移動ベクトル推定部３４０は、処理タイミングでの撮像画像と、記憶部に記憶された処理タイミングよりも過去の撮像画像との比較処理に基づいて、少なくとも一つの対応画素（対応点）を検出し、対応画素に基づいて移動ベクトルを推定すればよい。
【００５０】  画像間の対応点に関する移動ベクトルを推定する手法は、種々提案されており、例えば、特許文献４に開示されている手法を用いてもよい。また、移動ベクトル推定は、画像間の対応点に関する移動ベクトル以外にも、予め取得された３次元データに基づいて、内視鏡先端位置や方向を推定する手法や、外部のセンサを用いて直接内視鏡の動きを検出することによって推定する手法も知られており、本実施形態の移動ベクトル推定ではそれらの手法を広く適用可能である。そして表示制御部３５０は、推定された移動ベクトルによってアラート画像の形態を変化させる。
【００５１】  図６（Ａ）〜図７（Ｂ）に、より具体的な実施の形態を示す。移動ベクトル推定部３４０は、注目領域検出部３２０によって検出された注目領域周辺の少なくとも１つの対応点の移動ベクトルを推定し、表示制御部３５０は、その移動ベクトルに基づいてアラート画像を消失させるかどうかを制御する。つまり本実施形態の第２の撮像画像におけるアラート画像の表示制御とは、第１の撮像画像で表示していたアラート画像を消去する制御であってもよい。
【００５２】  上述してきたように、本実施形態ではアラート画像により観察が妨げられていた被写体の観察状態を改善する。そのため、第２の撮像画像でアラート画像を消去すれば（非表示とすれば）、第２の撮像画像では注目領域がアラート画像により遮蔽されることがない。つまり、上述した第２の画像上領域も第２の被写体領域もサイズ（面積）が０となるため、第２の被写体領域を第１の被写体領域に比べて狭い領域とすることが可能である。
【００５３】  しかし、アラート画像自体は、注目領域の位置やその詳細な情報等をユーザに提示するものであるため、当該アラート画像を消去すれば、ユーザに提示される情報量が少なくなってしまう。例えば、注目領域の視認性が低い状態でアラート画像が消去されてしまうことで、ユーザが注目領域を見失ってしまう可能性や、ユーザは注目領域の詳細情報の閲覧を望んでいる状態で、当該詳細情報が消去されてしまう可能性がある。つまり、アラート画像を消去するのであれば、当該消去制御により問題が発生しない状況であるか否かを考慮することが望ましい。
【００５４】  そのため本実施形態では、移動ベクトルに基づいて、ユーザの観察状態を推定してもよい。具体的には、ユーザが対象としている注目領域を詳細に観察しようとしているか否かを推定するとよい。詳細な観察を行う状況では、アラート画像により注目領域が遮蔽されることで、注目領域の一部を観察できないことは病変の診断漏れ等の問題を生じさせるし、ユーザのストレスも大きい。よって、ユーザが詳細観察を行おうとしていると推定された場合に、アラート画像の消去を行うとよい。
【００５５】  例えば、注目領域のズーミング（ズームイン）が行われた場合には、ユーザは当該注目領域の詳細な観察を望んでいることが推定される。具体的には、図６（Ａ）の過去の画像（第１の撮像画像）で検出された病変部と、図６（Ｂ）の現在の画像（第２の撮像画像）で検出された病変部の周辺の少なくとも２つの対応点に関する移動ベクトルを推定し、その２つの対応点間の距離が増大している場合には、ユーザが内視鏡を病変部へズーミングしていると判断する。そして、ズーミングしていると判断されたため、図６（Ｂ）の第２の撮像画像では、第１の撮像画像で表示していたアラート画像を消失させる。図６（Ｂ）は図４（Ｂ）に対応する状況であるが、アラート画像ＡＬ２が非表示であるため、図４（Ｂ）で示した第１の被写体領域に対応する画像上領域Ｒ１’とアラート画像ＡＬ２とは重畳せず、第２の画像上領域も第２の被写体領域も面積が０となる。
【００５６】  或いは、図７（Ａ）の過去の画像で検出された病変部と、図７（Ｂ）の現在の画像で検出された病変部の周辺の少なくとも１つの対応点に関する移動ベクトルを推定し、移動ベクトルが画像中心に向かっている場合には、ユーザが病変に気がついて詳細観察を開始すると判断してもよい。この場合も、図７（Ｂ）の第２の撮像画像では、第１の撮像画像で表示していたアラート画像を消失させる。図７（Ｂ）は図３（Ｂ）に対応する状況であるが、アラート画像ＡＬ２が非表示であるため、図３（Ｂ）で示した第１の被写体領域に対応する画像上領域Ｒ１’とアラート画像ＡＬ２とは重畳せず、やはり第２の画像上領域も第２の被写体領域も面積が０となる。
【００５７】  なお、図７（Ａ）、図７（Ｂ）では注目領域が画像中心方向へ並進移動をしている例を示したが、これには限定されず回転移動をすることで画像中心方向へ移動している場合に、アラート画像を消失させてもよい。ここでの回転移動は、例えば内視鏡装置の硬性鏡１００（挿入部）を光軸まわりに回転させることで実現される。
【００５８】  以上の本実施形態では、上記第１の被写体領域の面積をＳ１とし、上記第２の被写体領域の面積をＳ２とした場合に、表示制御部３５０は、Ｓ２＜Ｓ１が満たされるように、第２の撮像画像におけるアラート画像の表示制御を行ってもよい。すなわち、第２の被写体領域が第１の被写体領域に比べて狭くなるとは、各被写体領域の面積Ｓ１，Ｓ２を規定し、Ｓ２＜Ｓ１の関係が満たされることであってもよい。ここで、各被写体領域の面積とは、各領域に撮像された被写体の表面積であってもよいし、各被写体を所与の平面（例えば撮像部２００の光軸方向に直交する平面）へ射影した領域（被写体平面）の面積であってもよい。いずれにせよ、本実施形態における被写体領域は、実空間上における被写体のサイズを表すものであるため、画像上でのサイズ（面積）と一致するとは限らないものである。例えば図４（Ａ）、図４（Ｂ）を用いて上述したように、同じ被写体領域であっても、被写体と撮像部２００との距離や、ズーム倍率等の光学系の条件が異なれば、画像上での面積は変化するものである。
【００５９】  また、移動ベクトルに基づいて、第１の撮像画像と第２の撮像画像との間で、撮像部２００の被写体に対するズーミングが行われたと判定された場合に、表示制御部３５０は、第２の被写体領域が第１の被写体領域に比べて狭い領域となるように、第２の撮像画像におけるアラート画像の表示制御を行ってもよい。
【００６０】  或いは、移動ベクトルに基づいて、第１の撮像画像と第２の撮像画像との間で、撮像部２００の被写体に対する相対的な並進移動及び回転移動の少なくとも一方が行われたと判定された場合に、表示制御部３５０は、第２の被写体領域が第１の被写体領域に比べて狭い領域となるように、第２の撮像画像におけるアラート画像の表示制御を行ってもよい。
【００６１】  これにより、移動ベクトルを用いてズーミングや、並進、回転移動を判定し、判定結果に基づいてアラート画像の表示制御を行うことが可能になる。つまり、ユーザはズーミングや、並進、回転移動が行われるような操作を実行すればよい。ズーミングは、例えば撮像レンズ系２４０がズームレンズを有するのであれば、当該ズームレンズの制御（ズーム倍率の制御）を行うことでも実現できるし、撮像部２００と被写体との距離を近づけることでも実現できる。また、並進移動は、撮像部２００（硬性鏡１００）を光軸に交差する方向（狭義には直交する方向）に移動させればよいし、回転移動は撮像部（硬性鏡１００）を光軸まわりに回転させればよい。これらの操作は、内視鏡装置を用いて被写体を観察する際に自然と行われる。例えば、注目領域の探索や、発見した注目領域を見やすくするための位置取りの際に行われる操作である。つまり、アラート画像の表示態様を変更するに当たって、変更専用の煩わしい操作を行う必要がなく、内視鏡観察における自然な操作により表示態様の変更が可能になる。
【００６２】  この際、表示制御部３５０は、第２の撮像画像において、アラート画像を非表示とする制御を行ってもよい。さらに具体的には、上述したように、移動ベクトルに基づいて、第１の撮像画像と第２の撮像画像との間で、注目領域に対するズームインが行われたと判定された場合に、表示制御部３５０は、第２の撮像画像において、アラート画像を非表示とする制御を行ってもよい。或いは、移動ベクトルに基づいて、第１の撮像画像と第２の撮像画像との間で、注目領域が撮像画像の中央部に移動したと判定された場合に、表示制御部３５０は、第２の撮像画像において、アラート画像を非表示とする制御を行ってもよい。
【００６３】  なお、上述したように本実施形態の移動ベクトルとは、撮像画像上での被写体の動きを表す情報であればよく、画像から求められる情報に限定されるものではない。例えば、何らかの動きセンサ（一例としては加速度センサやジャイロセンサ）を硬性鏡１００に搭載し、当該動きセンサからのセンサ情報に基づいて、本実施形態の移動ベクトルを求めてもよい。また、ズームインをズームレンズの制御により実現する場合であれば、当該ズームレンズの制御情報に基づいて移動ベクトルを求め、ズームインが行われたか否かを判定してもよい。また、センサ情報と画像情報の両方から移動ベクトルを求めるといったように、複数の手法を組み合わせて移動ベクトルを求めてもよい。
【００６４】  このようにすれば、注目領域へのズームイン、或いは画像中央方向への注目領域の移動が検出された場合に、アラート画像を消去することが可能になる。これにより、ユーザが注目領域の観察を行おうとしているか否かを判定し、観察を意図していると判定された場合に、アラート画像を消去することができる。ユーザが注目領域の観察を意図している場合、注目領域がアラート画像により遮蔽されることによる弊害が大きいと考えられるため、アラート画像の消去を行う利点が大きい。また、詳細観察を行う場合、位置を示す矢印や詳細な情報等の重要度は相対的に下がるため、アラート画像を消去することによる問題も発生しにくいと言える。例えば、注目領域を注視している以上、位置がわからなくなるということは考えにくいため、矢印が消去されてもよい。また、ズーミング等を行う状況では、ユーザは注目領域の被写体を視覚的に確認することを意図しているはずであり、文字情報等の詳細なアラート画像を同時に見る必要性も低い。
【００６５】  また、本実施形態の内視鏡装置は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣ（application specific integrated circuit）によるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係る内視鏡装置の各部が実現されることになる。ここでのメモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【００６６】  以上のように、本実施形態では操作者が撮像部２００（硬性鏡１００）を移動することによって注目領域につけられたマーク（アラート画像）の変形・表示・非表示を制御できるため、操作者が注目領域につけられたマークを移動したい場合に、特別なスイッチを必要とせず、自然な動作で制御可能である。その際、操作者が注目領域をズーミングする、或いは中心に移動することでマークを非表示にできるため、操作者が注目領域につけられたマークを移動したい場合に特別なスイッチも必要とせず自然な動作で制御可能である。
【００６７】  ３．変形例  本実施形態における移動ベクトルを用いた判定、及びアラート画像の表示制御は上記のものに限定されない。以下、いくつかの変形例を説明する。
【００６８】  ３．１  回転表示  図８（Ａ）、図８（Ｂ）に示すように、表示制御部３５０は、移動ベクトルに基づいて、第１の撮像画像におけるアラート画像を回転移動させて、第２の撮像画像に表示する制御を行ってもよい。以下、具体的に説明する。図８（Ａ）に示した第１の撮像画像を基準とした場合に、図８（Ｂ）に示した第２の撮像画像では、撮像部２００（硬性鏡１００）が相対的に左上方向（ＤＲ１）に移動し、それに伴い撮像画像上では注目領域が右下方向（ＤＲ２）に移動した場合を考える。ここでＤＲ２はＤＲ１の反対方向となる。
【００６９】  移動ベクトルは、ＤＲ１或いはＤＲ２を検出することになるが、ここでは撮像画像に対する画像処理から移動ベクトルを求める場合を想定し、移動ベクトルとしてＤＲ２が検出されたものとして説明を行う。
【００７０】  第１の撮像画像における注目領域ＡＡ１とアラート画像ＡＬ１の相対的な関係を変化させないように、第２の撮像画像にアラート画像を表示するものとした場合、当該アラート画像は図８（Ｂ）のＡＬ１’となる。例えば、アラート画像である矢印の先端位置が、注目領域の所定位置（例えば中心、重心等の位置）となり、矢印の姿勢（角度、方向）が変わらないような配置をすれば、相対位置関係を変化させないと仮定した場合の第２の撮像画像上でのアラート画像ＡＬ１’の位置が決定できる。
【００７１】  本実施形態では、例えばＡＬ１’を基準（回転の始点）として、推定された移動ベクトルの方向ＤＲ２を用いて、ＡＬ１’を回転させて、第２の撮像画像で表示するアラート画像ＡＬ２を決定する。一例としては、アラート画像の所与の位置を中心として、アラート画像の方向を移動ベクトルの方向ＤＲ２の逆方向ＤＲ１と一致させるような回転を行ってもよい。
【００７２】  例えば、アラート画像がシャフトと当該シャフトの一端に矢尻が設けられる矢印画像である場合には、図８（Ｃ）に示したように、回転の中心であるアラート画像の所与の位置として、矢尻の先端（Ｐ０）を用いればよい。また、アラート画像の方向とは、矢尻の先端Ｐ０から、矢印のシャフトのうち矢尻とは異なる側の端点へと向かう方向（ＤＲＡ）を用いればよい。この場合、アラート画像の回転とは、図８（Ｂ）においてＰ０を中心として、ＤＲＡがＤＲ１と一致するような回転となり、回転後のアラート画像はＡＬ２に示したものとなる。
【００７３】  このようにすれば、第１の撮像画像と第２の撮像画像とで、注目領域に対するアラート画像の相対位置が変化する。そのため、図８（Ｄ）に示したように、第１の被写体領域に対応する画像上領域Ｒ１’の少なくとも一部は、第２の撮像画像でのアラート画像ＡＬ２と重複しないことになるため、第１の被写体領域に対応する被写体、すなわち第１の撮像画像では観察が難しかった被写体を、第２の撮像画像では観察しやすくすることが可能になる。特に、図８（Ｂ）、図８（Ｄ）の例では、Ｒ１’とＡＬ２とが重複しない（第２の画像上領域及び第２の被写体領域のサイズ＝０）。もちろん、Ｐ０やＤＲＡ、ＤＲ１の関係によっては、Ｒ１’とＡＬ２が重複する、すなわち第１の撮像画像で観察できず、且つ第２の撮像画像でも観察できない注目領域が生じることはあり得る。しかし、図８（Ａ）〜図８（Ｄ）の手法では、アラート画像が回転移動することで、第２の撮像画像における注目領域ＡＡ２とアラート画像ＡＬ２の相対関係は、第１の撮像画像における注目領域ＡＡ１とアラート画像ＡＬ１の相対関係とは異なるものとなっている。よって、第２の被写体領域は第１の被写体領域に比べて狭い領域となるため、第１の撮像画像で観察できなかった領域の少なくとも一部は第２の撮像画像で観察できる状態となっており、観察状態の改善は実現されている。
【００７４】  なお、図８（Ｂ）からわかるように、本変形例では第２の撮像画像でもアラート画像を消去しないため、第２の撮像画像において注目領域ＡＡ２とアラート画像ＡＬ２とが重複することで、観察が難しい領域（図８（Ｅ）のＲ３）が生じる可能性がある。そして、状況によっては（Ｒ３に対応する被写体領域のサイズ）＞（Ｒ１に対応する第１の被写体領域のサイズ）となることも起こりうる。しかし、本実施形態の手法は、ユーザによる移動操作前には（第１の撮像画像では）観察できなかった被写体を、移動操作後には（第２の撮像画像では）観察しやすくする表示制御を行うものである。そのため、当該表示制御により、それまで観察できていた被写体がアラート画像で遮蔽されることは許容する。仮に第２の撮像画像で注目領域の一部領域（Ｒ３）が観察できなくなったとしても、ユーザがさらにズームインや並進、回転移動を行えば、さらに次の撮像画像（第３の撮像画像）では当該一部領域の観察状態を改善する表示制御が行われるため、この点は大きな問題とならない。
【００７５】  また、本変形例の手法により表示制御が行われるアラート画像は矢印に限定されるものではない。例えば、文字等を含むアラート画像が、図９（Ａ）のように第１の撮像画像において基準位置に対してＤＲＡ側に表示されている場合であって、図９（Ｂ）のように第２の撮像画像との間で注目領域がＤＲ２側へ移動した場合には、第２の撮像画像では基準位置に対してＤＲ１側に文字等を含むアラート画像を表示するといった変形実施を行ってもよい。
【００７６】  また、回転の目標を移動ベクトルの方向ＤＲ１とし、回転量は移動量（移動ベクトルの大きさ）によって決定してもよい。一例としては、移動量が所与の閾値Ｍｔｈ以上の場合には、図８（Ａ）、図８（Ｂ）と同様にＤＲＡをＤＲ１と一致させる回転を行い、移動量がＭ（＜Ｍｔｈ）の場合には、回転量をθ×Ｍ／Ｍｔｈとしてもよい。ここでのθは回転前のＤＲＡとＤＲ１のなす角度である。例えば、移動量Ｍ＝Ｍｔｈ／２であれば、アラート画像の回転量はθ／２となるため、図１０に示した位置にアラート画像ＡＬ２が表示される。このようにすれば、アラート画像を回転移動させる際の移動量（回転量）を、移動ベクトルの大きさ（移動量）により制御することが可能になる。
【００７７】  以上のように、本変形例では、移動ベクトルに基づいて、第１の撮像画像と第２の撮像画像との間で、注目領域が第１の方向（図８（Ｂ）等のＤＲ２に対応）に並進移動したと判定された場合に、表示制御部３５０は、第２の撮像画像における注目領域を基準として、第１の方向の反対方向（ＤＲ１）側へ、アラート画像を回転移動させて、第２の撮像画像に表示する制御を行う。
【００７８】  このようにすれば、ユーザが撮像部２００を移動することによって注目領域につけられたアラート画像（マーク）を回転できるため、操作者がアラート画像の移動を希望した場合に、特別なスイッチも必要とせず自然な動作で制御可能である。その際、回転方向を移動ベクトルの方向に基づいて設定することで、実空間での物理法則に準じたアラート画像の移動が行われるため、直感的な操作を実現することが可能である。図８（Ａ）、図８（Ｂ）等の制御は、例えば旗の竿を持って移動する場合を考えるとわかりやすい。旗を持って所与の方向へ移動した場合、竿の先端に取り付けられた素材（布、紙等）は、移動方向とは逆方向の気流を受けることで、移動方向とは逆方向にたなびくことになる。
【００７９】  図８（Ａ）、図８（Ｂ）の例でも、注目領域をＤＲ２の方向へ移動させることで、アラート画像はその反対方向であるＤＲ１の方向側に位置するような回転が行われる。これは、注目領域がＤＲ２方向に移動しているのに、アラート画像は元の位置に残ろうとしていると考えることも可能である。いずれにせよ、上記の旗の例や、強い慣性がはたらく場合等、移動方向と逆方向に物体が引きずられる（残ろうとする）という物理現象はよく見られるものであるため、撮像画像において、アラート画像を同様の方針で移動させるものとすれば、ユーザによるアラート画像の直感的な制御を実現することが可能になる。その際、回転量を移動ベクトルの大きさに対応付けるものとすれば、さらに実空間での物体の移動にあった制御を実現できるため、よりわかりやすい制御が可能になる。例えば、旗の竿をわずかに動かしただけでは、布のたなびきも小さいものになるのは容易に理解できる現象であり、このような現象に沿ったアラート画像の制御が可能になる。
【００８０】  また、以上では移動ベクトルにより撮像部２００と被写体の相対的な並進移動が検出された場合について説明したが、撮像部２００と被写体の相対的な回転移動が検出された場合に、アラート画像を回転させて表示する制御を行ってもよい。この場合も、アラート画像の回転方向や回転量を、移動ベクトルの方向や大きさに基づいて設定してもよい点は同様である。
【００８１】  また、以上の変形例では、第２の撮像画像でもアラート画像の表示を継続し、且つ、表示される位置姿勢を移動ベクトルに基づいて制御するものであるため、移動ベクトルに基づいて検出される動きは、注目領域の画像中央方向への移動に限定されない。例えば、本変形例であれば、アラート画像の注目領域に対する相対位置姿勢を変更する意図で（観察状態を改善する意図で）、注目領域が画像周縁部方向に移動するような操作を行うことも十分考えられる。
【００８２】  ３．２  パンチルト  また、以上では撮像部２００と被写体との相対的な動きとして、ズーミング、並進移動、回転移動（狭義には光軸まわりでの回転であり、ロールに対応）について説明したが、相対的な動きはこれに限定されない。例えば、撮像部２００の光軸と、当該光軸に直交する２つの軸による直交３軸を規定し、光軸に直交する２つの軸の各軸まわりでの回転を表す動きを移動ベクトルに基づいて検出し、表示制御に用いてもよい。ここでの動きは、具体的にはパン、チルトに対応する動きである。
【００８３】  本変形例では、内視鏡装置（狭義には処理部３００）は、図５等には不図示の注目領域法線推定部を含んでもよい。注目領域法線推定部は、移動ベクトル推定部３４０によって推定された対応点とその移動ベクトルから、注目領域周辺の内視鏡の視線方向に対する３次元的な接平面の法線方向を推定する。内視鏡の視線方向に対する３次元的な接平面の法線方向を推定する手法は、種々提案されており、例えば、非特許文献２に開示された手法を用いてもよい。また、これに限定されず、本実施形態における注目領域法線推定部における法線方向の推定処理は、種々の手法を広く適用することが可能である。
【００８４】  表示制御部３５０では、推定された法線方向に基づいて、アラート画像の形態を変形させて提示する。図１１（Ａ）、図１１（Ｂ）を用いて、より具体的な動作を説明する。図１１（Ａ）の第１の撮像画像のように、注目領域ＡＡの接平面Ｆが推定されており、旗型のアラート画像が、接平面Ｆの法線方向に表示されている場合を想定する。
【００８５】  この場合、観察が難しい第１の画像上領域、第１の被写体領域とは、旗の裏側に相当する領域である。ユーザが旗の裏側の観察を意図して、図１１（Ｂ）の第２の撮像画像のように接平面Ｆに近づけるように撮像部２００（硬性鏡１００）を移動させると、法線方向が変化する。本変形例では、この法線方向の変化に基づいて、旗型のアラート画像の形態を変化させることで、図１１（Ｂ）のように裏側の観察が可能とする。この場合、第１の被写体領域に対応する第２の撮像画像の画像上領域Ｒ１’は図１１（Ｃ）に示した領域となるため、第２の画像上領域Ｒ２はＲ１’と図１１（Ｂ）のＡＬ２との重複領域を考えればよく、明らかにＲ２はＲ１’のうちの少なくとも一部の領域となる。つまり、本変形例においても、第２の被写体領域を第１の被写体領域に比べて狭い領域とすることが可能である。
【００８６】  つまり、以上の本変形例では、移動ベクトルに基づいて、第１の撮像画像と第２の撮像画像との間で、撮像部２００の光軸方向と、被写体の法線方向のなす角度が変化する移動が行われたと判定された場合に、表示制御部３５０は、第２の被写体領域が第１の被写体領域に比べて狭い領域となるように、第２の撮像画像におけるアラート画像の表示制御を行う。
【００８７】  具体的には、アラート画像を３次元空間に存在する仮想的な物体としてとらえ、撮像部２００の位置により決定される仮想的な視点で当該アラート画像を観察した場合の画像を、第２の撮像画像上に表示すればよい。なお、仮想的な３次元空間に物体を配置し、所与の視点から当該物体を観察した２次元画像を生成する手法は、ＣＧ（コンピューターグラフィックス）等で広く知られたものであるため、詳細な説明は省略する。また、図１１（Ｂ）のような旗形状のアラート画像の例であれば、表示制御部３５０は、厳密に３次元物体の２次元画像への射影を演算するのではなく簡易的な演算を行ってもよい。例えば、図１２に示すように、表示制御部３５０は、移動ベクトルから注目領域の面の法線方向を推定し、法線方向での線分の長さを変化させる表示制御を行ってもよい。図１２のＢ１のように、撮像部２００（硬性鏡１００）を接平面側に回り込ませる移動、すなわち撮像部２００の光軸が接平面の面内に含まれる方向に近くなる移動を行った場合には、図１１（Ｂ）に示したように、移動前に比べて法線方向の線分の長さを長くすればよい。また、図１２のＢ２のように、撮像部２００の光軸が接平面の法線方向に近くなる移動を行った場合には、移動前に比べて法線方向の線分の長さを短くすればよい。
【００８８】  このようにすれば、操作者が撮像部２００を移動することによって注目領域につけられたアラート画像（マーク）を変形できるため、操作者がアラート画像の移動を希望した場合に、特別なスイッチも必要とせず自然な動作で制御可能である。さらに、本変形例では、あたかもアラート画像が３次元空間上に存在する物体であるかのように表示されるため、或いはそのような表示を簡易的に実現するため、ユーザからすればアラート画像に遮蔽された（アラート画像の裏側にある）被写体を観察するために、どのように撮像部２００を移動させればよいかを容易に理解することができる。すなわち、直感的にわかりやすい操作により、注目領域の観察状態を改善することが可能である。
【００８９】  また、以上ではパンチルト操作を検出した場合のアラート画像の表示制御として、その形状を変化させるものとしたがこれには限定されない。例えば、パンチルト操作を検出した場合に、アラート画像を消去したり、回転移動させて表示してもよい。この場合の、消去の基準や、回転移動の方向、量については、上述したように移動ベクトルの方向や大きさに基づいて決定すればよい。
【００９０】  ３．３  サイズ変化  また、以上ではアラート画像の変化として、消去、回転移動、形状変化（特に仮想的な３次元物体を２次元画像へ射影する際の射影方向の変化）を説明したが、これ以外の変化を用いてもよい。例えば、表示制御部３５０は、移動ベクトルに基づいて、第１の撮像画像におけるアラート画像のサイズを変更して、第２の撮像画像に表示する制御を行ってもよい。
【００９１】  例えば、移動ベクトルに基づいて、第１の撮像画像と第２の撮像画像との間で、撮像部２００の被写体に対するズームインが行われたと判定された場合に、表示制御部３５０は、第１の撮像画像におけるアラート画像のサイズを縮小して、第２の撮像画像に表示する制御を行う。
【００９２】  具体例を図１３（Ａ）〜図１３（Ｃ）に示す。図１３（Ａ）は、図４（Ａ）等と同様に第１の撮像画像を表す。図１３（Ｂ）に示したように、第２の撮像画像においてズームインが行われた場合、第１の被写体領域に対応する画像上領域Ｒ１’は、第１の画像上領域Ｒ１に比べて拡大された状態となる。この点は、図４（Ｂ）を用いて上述したとおりである。そのため、サイズが第１の撮像画像と同等となるアラート画像を第２の撮像画像に表示すれば、図１３（Ｂ）に示したように当該アラート画像ＡＬ２はＲ１’の一部としか重複しないため、第２の被写体領域が第１の被写体領域よりも狭い領域とできる。
【００９３】  しかし、本変形例ではこのような場合に、アラート画像のサイズを縮小することで、アラート画像のサイズを一定に保った場合に比べて、観察状態をより改善する。具体的には、図１３（Ｃ）に示したように、アラート画像ＡＬ２のサイズを第１の撮像画像でのアラート画像ＡＬ１（図１３（Ｃ）におけるＡＬ１’’に相当）に比べて縮小することで、図１３（Ｂ）よりもさらにＲ１’との重複領域を狭くすることができ、観察状態のさらなる改善が実現可能である。ズームインを行う場合とは、上述したようにユーザは所与の被写体の詳細な観察を希望していることが想定されるため、アラート画像のサイズが小さくなることによる問題は生じにくいと考えることができる。
【００９４】  また、以上ではズーミング（特にズームイン）について説明したが、アラート画像のサイズを変更する際の動きはこれに限定されない。具体的には、撮像部２００と被写体が相対的に並進移動や回転移動をした場合、或いはパンチルト操作が行われた場合等にアラート画像のサイズを変更してもよい。また、以上では説明を省略したが、サイズを変更する際の変倍率を、移動ベクトルの大きさ等により決定してもよい。
【００９５】  ３．４  複数のアラート画像  また、以上では１つの注目領域に対して１つのアラート画像を表示する例を示したがこれには限定されず、１つの注目領域に対して複数のアラート画像を表示してもよい。
【００９６】  具体例を図１４（Ａ）、図１４（Ｂ）に示す。図１４（Ａ）では１つの注目領域に対して４つのアラート画像（矢印）を表示している。例えば、注目領域を囲むように（４つの矢印の先端部の中心が注目領域の所与の位置となるように）アラート画像を表示すればよい。
【００９７】  また、図１４（Ｂ）に示したように、移動ベクトルに基づいて、前記第１の撮像画像と前記第２の撮像画像との間で、前記注目領域に対するズームインが行われたと判定された場合に、表示制御部３５０は、アラート画像を、撮像画像の周縁部へ向かう方向に並進移動させて、第２の撮像画像に表示する制御を行ってもよい。
【００９８】  このようにすれば、ズームイン前（第１の撮像画像）では、複数のアラート画像により示される位置が理解しやすい表示形態とすることができるため、注目領域の位置を容易に理解させること等が可能になる。さらに、ズームイン後（第２の撮像画像）では、アラート画像が相対的に撮像画像の周辺部へ移動されるため、複数のアラート画像の表示を継続しつつも、観察状態の改善を実現することが可能になる。ここでの周縁部への移動とは、例えば、アラート画像の基準位置（矢印の先端等）が、第１の撮像画像での位置に比べて撮像画像の周縁（端部）に近い位置となる表示制御であってもよい。
【００９９】  なお、ここではアラート画像が複数の例を説明したが、上述してきたアラート画像が１つの場合にも、アラート画像を並進移動させる表示制御を行ってもよい。すなわち、表示制御部３５０は、移動ベクトルに基づいて、第１の撮像画像におけるアラート画像を並進移動させて、第２の撮像画像に表示する制御を行ってもよい。
【０１００】  この場合、並進移動の方向は周辺部へ向かう方向に限定されるものではなく、他の方向であってもよい。具体的には、アラート画像の並進移動における移動方向や移動量を、推定された移動ベクトルの方向や大きさにより決定してもよい。また、アラート画像を並進移動させる制御は、ズーミングが行われた場合に限定されず、撮像部２００と被写体の相対的な並進移動、回転移動（ロール）、パン、チルト等と組み合わせてもよい。
【０１０１】  ３．５  段階処理  また、以上では第１の撮像画像と第２の撮像画像との間での移動ベクトルの推定結果に基づいて、第２の撮像画像におけるアラート画像の表示制御を行う例について説明した。しかしこれに限定されず、３つ以上のタイミングでの撮像画像に基づいて表示制御を行ってもよい。
【０１０２】  例えば、移動ベクトルに基づいて、第１の撮像画像と第２の撮像画像との間で、注目領域に対するズーミング、撮像部２００の被写体に対する相対的な並進移動、撮像部２００の被写体に対する相対的な回転移動、及び撮像部２００の光軸方向と被写体の法線方向のなす角度が変化する移動、の少なくとも１つが行われたと判定された場合に、表示制御部３５０は、第２の被写体領域が第１の被写体領域に比べて狭い領域となるアラート画像を、第２の撮像画像に重畳して表示する制御を行い、第２の撮像画像と第３の撮像画像との間で、ズーミング、並進移動、回転移動、及び角度が変化する移動の少なくとも１つが行われたと判定された場合に、表示制御部３５０は、第３の撮像画像において、アラート画像を非表示とする制御を行ってもよい。
【０１０３】  具体的な表示制御の流れを図１５（Ａ）〜図１５（Ｃ）に示す。図１５（Ａ）が第１の撮像画像、図１５（Ｂ）が第２の撮像画像、図１５（Ｃ）が第３の撮像画像を表す。上述してきたように、第２の撮像画像は第１の撮像画像よりも時間的に後の（狭義には次のタイミングの）画像であり、第３の撮像画像は第２の撮像画像よりも時間的に後の（狭義には次のタイミングの）画像である。図１５（Ｂ）では、ズームインが行われたため、観察状態を改善する表示制御として、アラート画像のサイズが縮小される。そして、図１５（Ｃ）ではさらなるズーミングが行われたため、観察状態を改善する表示制御として、アラート画像が消去される。
【０１０４】  このようにすれば、観察状態を改善するための表示制御を、複数の段階に分けて行うことが可能になる。上述したように、ユーザが注目領域の詳細な観察を望んでいる状況ではアラート画像を消去しても問題が生じにくい。しかし、所与のタイミングでズームイン等の操作が行われたとしても、それが誤操作等の可能性があり、ユーザは注目領域の詳細な観察を意図していない場合も考えられる。その場合、アラート画像を消去することで問題が生じる可能性がある。
【０１０５】  よって本変形例では、１回のズームインの検出で即座にアラート画像を消去するのではなく、まず第１段階として、消去とは異なるアラート画像の表示制御（並進移動、回転移動、変形、サイズの変更等）を行う。この場合、アラート画像はその表示形態は変化するものの、表示が継続されるため、ユーザがアラート画像の参照を望んでいる場合であっても問題が生じにくい。その上で、さらにズームインが行われたのであれば、ユーザが注目領域の詳細な観察を希望している可能性が非常に高いと判定できるため、第２段階の処理としてアラート画像の消去を行う。このように、複数の段階で処理を行うことで、ユーザの意図に反するアラート画像の表示制御を行ってしまう可能性を抑止できる。なお、図１５（Ａ）〜図１５（Ｃ）ではズーミングを例に取ったがこれには限定されず、他の移動を検出してもよい。また、第１段階と第２段階で同じ種類の移動を検出するものには限定されない。例えば、第２の撮像画像でズーミングを検出し、第３の撮像画像で撮像画像中央部への注目領域の並進移動を検出するといった変形実施も可能である。
【０１０６】  なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また内視鏡装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。さらに、上述した種々の実施形態はそれぞれを単独で行うものには限定されず、複数の実施形態を自由に組み合わせることが可能である。
【符号の説明】
【０１０７】１００  硬性鏡、１１０  レンズ系、１２０  ライトガイド部、２００  撮像部、２１０  ＡＦ開始／終了ボタン、２２０  フォーカスレンズ、２３０  フォーカスレンズ駆動部、２４０  撮像レンズ系、２５０  撮像素子、３００  処理部、３１０  画像取得部、３２０  注目領域検出部、３３０  画像保存部、３４０  移動ベクトル推定部、３５０  表示制御部、４００  表示部、５００  外部Ｉ／Ｆ部、６００  光源部、６１０  白色光源、６２０  ライトガイドケーブル、ＡＡ  注目領域、ＡＬ  アラート画像、Ｆ  接平面
【図１】
2016199273.tif 000003
【図２】
2016199273.tif 000004
【図３】
2016199273.tif 000005
【図４】
2016199273.tif 000006
【図５】
2016199273.tif 000007
【図６】
2016199273.tif 000008
【図７】
2016199273.tif 000009
【図８】
2016199273.tif 000010
【図９】
2016199273.tif 000011
【図１０】
2016199273.tif 000012
【図１１】
2016199273.tif 000013
【図１２】
2016199273.tif 000014
【図１３】
2016199273.tif 000015
【図１４】
2016199273.tif 000016
【図１５】
2016199273.tif 000017
【国際調査報告】
2016199273.tif 000018
2016199273.tif 000019
2016199273.tif 000020