(57)【要約】  観察画像および参照画像を取得する際の撮影条件の調整を不要として、簡易かつ精度よく、観察者に被写体における異常の発生箇所を知らせるために、被写体を撮影して観察画像を取得する撮影部（２）と、撮影部（２）により取得された観察画像に基づいて、観察画像と比較して画像中の異常を解消した参照画像を生成する参照画像生成部（７）と、生成された参照画像と観察画像とを切り替えて表示する表示部（４）とを備える観察装置（１）を提供する。
2020070777.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して観察画像を取得する撮影部と、
取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成する参照画像生成部と、
生成された前記参照画像と前記観察画像とを切り替えて表示する表示部とを備える観察装置。
【請求項２】
被写体を撮影して観察画像を取得する撮影部と、
取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成する参照画像生成部と、
生成された前記参照画像と前記観察画像との差分画像を生成する差分画像生成部と、
生成された前記差分画像と前記観察画像とを切り替えて表示する表示部とを備える観察装置。
【請求項３】
被写体を撮影して観察画像を取得する撮影部と、
取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成する参照画像生成部と、
生成された前記参照画像と前記観察画像との差分の大きさを算出する差分算出部と、
算出された前記差分の大きさに基づいて、前記参照画像の色の属性または明るさを調整した補正画像を生成する画像補正部と、
生成された前記補正画像と前記観察画像とを切り替えて表示する表示部とを備える観察装置。
【請求項４】
前記撮影部による観察視野の移動状態を検出する視野移動状態検出部と、
検出された前記観察視野の移動状態に基づいて、前記表示部における表示の切替パターンを調節する表示調節部とを備える請求項１から請求項３のいずれかに記載の観察装置。
【請求項５】
前記観察視野の移動状態が、該観察視野の停止、移動速度の変化、または一度観察した前記観察視野に戻る視野戻りである請求項４に記載の観察装置。
【請求項６】
前記切替パターンが、切替速度である請求項４に記載の観察装置。
【請求項７】
前記表示の切り替えが複数回行われ、
前記切替パターンが切替回数である請求項４に記載の観察装置。
【請求項８】
前記参照画像生成部が、教示処理に基づいて前記参照画像を生成する請求項１から請求項３のいずれかに記載の観察装置。
【請求項９】
被写体を撮影して観察画像を取得し、
取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成し、
生成された前記参照画像と前記観察画像とを切り替えて表示する観察方法。
【請求項１０】
被写体を撮影して観察画像を取得し、
取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成し、
生成された前記参照画像と前記観察画像との差分画像を生成し、
生成された前記差分画像と前記観察画像とを切り替えて表示する観察方法。
【請求項１１】
被写体を撮影して観察画像を取得し、
取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成し、
生成された前記参照画像と前記観察画像との差分の大きさを算出し、
算出された前記差分の大きさに基づいて、前記参照画像の色の属性または明るさを調整した補正画像を生成し、
生成された前記補正画像と前記観察画像とを切り替えて表示する観察方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察装置および観察方法に関するものである。
【背景技術】
【０００２】
被写体の検査において、予め記憶しておいた異常を含まない参照画像と、新たに取得された観察画像とを比較することにより、形状の不具合等の異常の有無を調べることが行われている（例えば、特許文献１参照。）。
この特許文献１には、参照画像が取得された際の観察条件を記憶しておくことにより、観察画像の取得時に同一観察条件を再現し、観察画像と参照画像との比較を容易にする方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−０６６３３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、観察画像の取得に先立って、比較対象となる参照画像を取得しておく特許文献１の方法では、観察条件を揃えたとしても、照明装置のランプの劣化やレンズなどの機差による画像の色合いなどの違い、視野内における被写体の設置位置や角度の違いで発生する配置のずれなど、微妙な違いが存在し、撮影条件を完全に一致させることは困難である。
本発明は、観察画像および参照画像を取得する際の撮影条件の調整を不要として、簡易かつ精度よく、観察者に被写体における異常の発生箇所を知らせることができる観察装置および観察方法を提供することを目的としている。
【課題を解決するための手段】
【０００５】
本発明の一態様は、被写体を撮影して観察画像を取得する撮影部と、取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成する参照画像生成部と、生成された前記参照画像と前記観察画像とを切り替えて表示する表示部とを備える観察装置である。
本態様によれば、撮影部により観察画像が取得されると、取得された観察画像に基づいて参照画像生成部により参照画像が生成され、表示部により、参照画像と観察画像とが切り替えて表示される。観察画像に異常が含まれる場合に、観察画像と比較して画像中の異常を含まない参照画像との切替表示によって、残像を利用して異常箇所に観察者を注目させる誘目性を向上することができる。【０００６】
参照画像は、取得された観察画像と比較して画像中の異常を解消した画像であるため、観察対象とは撮影条件が完全に一致しており、比較の際のずれの問題が発生しない。これにより、観察画像および参照画像を取得する際の撮影条件の調整を不要として、簡易かつ精度よく、観察者に被写体における異常の発生箇所を知らせることができる。【０００７】
また、本発明の他の態様は、被写体を撮影して観察画像を取得する撮影部と、取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成する参照画像生成部と、生成された前記参照画像と前記観察画像との差分画像を生成する差分画像生成部と、生成された前記差分画像と前記観察画像とを切り替えて表示する表示部とを備える観察装置である。【０００８】
本態様によれば、撮影部により観察画像が取得されると、取得された観察画像に基づいて参照画像生成部により参照画像が生成され、差分画像生成部により参照画像と観察画像との差分画像が生成され、表示部により、差分画像と観察画像とが切り替えて表示される。観察画像に異常が含まれる場合に、観察画像と比較して異常を含まない参照画像との差分画像により、異常箇所をより明確に顕在化させることができ、切替表示によって、異常箇所に観察者を注目させる誘目性を向上することができる。【０００９】
また、本発明の他の態様は、被写体を撮影して観察画像を取得する撮影部と、取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成する参照画像生成部と、生成された前記参照画像と前記観察画像との差分の大きさを算出する差分算出部と、算出された前記差分の大きさに基づいて、前記参照画像の色の属性または明るさを調整した補正画像を生成する画像補正部と、生成された前記補正画像と前記観察画像とを切り替えて表示する表示部とを備える観察装置である。【００１０】
本態様によれば、撮影部により観察画像が取得されると、取得された観察画像に基づいて参照画像生成部により参照画像が生成され、差分算出部により参照画像と観察画像との差分の大きさが算出される。そして、画像補正部により、差分の大きさに基づいて、参照画像の色の属性または明るさを調整した補正画像が生成され、表示部により、補正画像と観察画像とが切り替えて表示される。差分が小さい場合に、彩度あるいはコントラスト等の色の属性または明るさを調整することにより、異常箇所をより明確に顕在化させることができ、切替表示によって、異常箇所に観察者を注目させる誘目性を向上することができる。【００１１】
また、上記態様においては、前記撮影部による観察視野の移動状態を検出する視野移動状態検出部と、検出された前記観察視野の移動状態に基づいて、前記表示部における表示の切替パターンを調節する表示調節部とを備えていてもよい。
この構成により、観察視野の移動状態に基づいて表示調節部により表示の切替パターンが調節される。すなわち、観察者が観察視野を移動させながら観察画像を観察しているときに、異常箇所の疑いがある観察視野が表示されると、観察視野の移動状態が変化する。したがって、移動状態に基づいて切替パターンを調節することにより、異常箇所に観察者を注目させる誘目性を向上することができる。【００１２】
また、上記態様においては、前記観察視野の移動状態が、該観察視野の停止、移動速度の変化または一度観察した前記観察視野に戻る視野戻りであってもよい。
この構成により、観察視野が停止した場合、移動速度が低下した場合、あるいは一度観察した観察視野に戻る視野戻りをした場合に、異常箇所の疑いがある観察視野が表示されていると判断でき、切替パターンを調節することにより、異常箇所に観察者を注目させる誘目性を向上することができる。【００１３】
また、上記態様においては、前記切替パターンが、切替速度であってもよい。
この構成により、切替速度を速くする程、残像を残り易くして、異常箇所に観察者を注目させる誘目性を向上することができる。
また、上記態様においては、前記表示の切り替えが複数回行われ、前記切替パターンが切替回数であってもよい。【００１４】
また、上記態様においては、前記参照画像生成部が、教示処理に基づいて前記参照画像を生成してもよい。
この構成により、参照画像を簡易に生成することができる。例えば、予め異常ではないパターンのみを学習させることにより、異常ではないパターンを再現可能な特徴量を抽出したネットワークに観察画像を入力することにより、参照画像を生成することができる。【００１５】
また、本発明の他の態様は、被写体を撮影して観察画像を取得し、取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成し、生成された前記参照画像と前記観察画像とを切り替えて表示する観察方法である。【００１６】
また、本発明の他の態様は、被写体を撮影して観察画像を取得し、取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成し、生成された前記参照画像と前記観察画像との差分画像を生成し、生成された前記差分画像と前記観察画像とを切り替えて表示する観察方法である。【００１７】
また、本発明の他の態様は、被写体を撮影して観察画像を取得し、取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成し、生成された前記参照画像と前記観察画像との差分の大きさを算出し、算出された前記差分の大きさに基づいて、前記参照画像の色の属性または明るさを調整した補正画像を生成し、生成された前記補正画像と前記観察画像とを切り替えて表示する観察方法である。
【発明の効果】
【００１８】
本発明によれば、観察画像および参照画像を取得する際の撮影条件の調整を不要として、簡易かつ精度よく、観察者に被写体における異常の発生箇所を知らせることができるという効果を奏する。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る観察装置を示すブロック図である。
【図２】図１の観察装置を用いた観察方法を示すフローチャートである。
【図３】図１の観察装置の第１の変形例を示すブロック図である。
【図４】図１の観察装置の第２の変形例を示すブロック図である。
【図５】本発明の第２の実施形態に係る観察装置を示すブロック図である。
【図６】図５の観察装置を用いた観察方法を示すフローチャートである。
【図７】図６のフローチャートの表示方法決定動作を説明するフローチャートである。
【図８】図６の観察方法の第１の変形例を示すフローチャートである。
【図９】図６の観察方法の第２の変形例の一部を示すフローチャートである。
【図１０】図９のフローチャートに続く部分のフローチャートである。
【図１１】図６の観察方法の第３の変形例を示すフローチャートである。
【図１２】図６のフローチャートの表示方法決定動作を説明するフローチャートである。
【図１３】図６の観察方法の第４の変形例を示すフローチャートである。
【発明を実施するための形態】
【００２０】
本発明の第１の実施形態に係る観察装置１および観察方法について図面を参照して以下に説明する。
本実施形態に係る観察装置１は、図１に示されるように、顕微鏡装置１００により集光された光を撮影して観察画像を取得する画像取得部（撮影部）２と、取得された観察画像を処理する制御部３と、制御部３により処理された画像を表示する表示部４とを備えている。制御部３は、プロセッサおよびメモリにより構成されている。
【００２１】
顕微鏡装置１００は、被写体を搭載するステージを、ユーザの操作によって移動し、所定の撮影条件に基づいて観察視野内の被写体の像を結像する。なお、ステージを有する顕微鏡装置に限定されるものではなく、視野を移動させて被写体を観察し得る任意の構造の顕微鏡装置を適用できる。
画像取得部２は、顕微鏡装置１００に装着されたカメラであって、顕微鏡装置１００により結像された観察視野内の標本の像を撮影してライブ画像または静止画像を観察画像として取得する撮像部５と、取得された観察画像を記憶するメモリ６とを備えている。
【００２２】
制御部３は、参照画像生成部７と、差分画像生成部８と、表示画像生成部９と、記憶部１０と、表示制御部（表示調節部）１１とを備えている。
参照画像生成部７は、予め異常のない被写体のパターン（正解パターン）を学習させ、正解パターンを再現可能なパラメータを抽出したネットワークを備えている。ネットワーク構築にはオートエンコーダを利用している。オートエンコーダにより求められたパラメータは記憶部１０に記憶されている。
【００２３】
オートエンコーダによって正解パターンを学習させたネットワークに傷などの異常が含まれた観察画像が入力された場合には、事前に学習した正解パターンのパラメータを用いて画像復元が行われるため、観察画像と比較して画像中の異常が解消された参照画像が生成される。異常が含まれない観察画像が入力された場合には、観察画像がそのまま参照画像として出力される。
【００２４】
差分画像生成部８は、観察画像と参照画像とが入力されることにより観察画像と参照画像との差分画像を生成する。差分画像はスライディングウィンドウを走査することにより、観察画像および参照画像の平均二乗誤差を算出し画像化したものである。
表示画像生成部９は、差分画像生成部８により求められた平均二乗誤差の総和を算出し、総和が所定の閾値よりも大きい場合には表示画像として参照画像を選択し、総和が所定の閾値以下の場合には表示画像として差分画像を選択する。
【００２５】
表示制御部１１は、撮像部５により取得された観察画像および表示画像生成部９により生成された表示画像が入力され、所定時間間隔で所定回数切り替えて表示部４に出力する。表示部４における表示の切り替えの所定回数としては、１回よりも複数回に設定されることが好ましい。
【００２６】
このように構成された本実施形態に係る観察装置１を用いた観察方法について、以下に説明する。
本実施形態に係る観察方法は、図２に示されるように、顕微鏡装置１００により結像された被写体を画像取得部２により撮影して観察画像を取得し（ステップＳ１）、取得された観察画像に基づいて、参照画像生成部７により観察画像と比較して画像中の異常を解消した参照画像を生成し（ステップＳ２）。
【００２７】
観察画像に基づく参照画像の生成は、予め異常のない被写体の正解パターンを学習させ、正解パターンを再現可能なパラメータを抽出したネットワークに観察画像を入力することにより行われる。
【００２８】
そして、生成された参照画像と観察画像との差分画像を差分画像生成部８により生成し（ステップＳ３）、表示画像生成部９において、差分画像に基づいて差分の大きさを算出し（ステップＳ４）、差分の大きさが所定の閾値よりも大きいか否かを判定する（ステップＳ５）。
判定の結果、差分の大きさが所定の閾値よりも大きい場合には、表示画像として参照画像を選択し（ステップＳ６）、所定の閾値以下の場合には、表示画像として差分画像を選択し（ステップＳ７）、表示制御部１１により所定の時間間隔により観察画像と表示画像とを切り替えて表示する（ステップＳ８）。そして、観察画像と表示画像との切り替えを所定回数実行したか否かを判定し（ステップＳ９）、切り替えが所定回数に満たない場合にはステップＳ１からの工程が繰り返され、切り替えが所定回数実行された場合には処理を終了する。
【００２９】
本実施形態に係る観察装置１および観察方法によれば、観察画像と、予め作成しておいた参照画像との比較により、観察画像中の異常を検出する方法とは異なり、取得された観察画像から観察画像と比較して画像中の異常を解消した参照画像を生成するので、被写体の大きさ、配置、使用する光学系および光源等の撮影条件を全て一致させることができる。すなわち、本実施形態に係る観察装置１および観察方法によれば、観察画像および参照画像を取得する際の撮影条件の調整を不要として、簡易かつ精度よく、観察者に被写体における異常の発生箇所を知らせることができるという利点がある。
【００３０】
観察画像と参照画像との差分が大きい場合には、表示画像として参照画像が選択され、観察画像と参照画像とが切り替えて表示される。差分が大きい場合には、異常の有無のみが相違する観察画像と参照画像とを切り替えて表示することで、残像を利用して、ユーザに異常を容易に認識させることができる。
【００３１】
一方、観察画像と参照画像との差分が小さい場合には、表示画像として差分画像が選択され、観察画像と差分画像とが切り替えて表示される。差分が小さい場合には、異常を見落とす可能性が高いため、差分を直接的に表している差分画像を表示することで、ユーザによる異常の見落としを防止することができる。
また、観察画像と表示画像との切り替えを複数回実行することにより、より正確に異常を認識することができる。
【００３２】
なお、本実施形態においては、制御部３が、差分画像生成部８および表示画像生成部９を備えることとしたが、これに代えて、図３に示されるように、制御部３が、参照画像生成部７、記憶部１０および表示制御部１１を備え、参照画像生成部７により観察画像から参照画像を生成し、表示制御部１１により、観察画像と参照画像とを複数回切り替えて表示部４に出力することにしてもよい。
また、図４に示されるように、表示画像生成部９を備えていなくてもよい。この場合には、表示制御部１１が、観察画像、参照画像および差分画像を定期的に切り替えて表示部４に出力すればよい。
【００３３】
また、予め正解パターンを用いた学習により、正解パターンを再現可能なパラメータを抽出したネットワークを構築したが、繰り返し構造ではない被写体に対しては、領域抽出するパターンマッチングなどの従来の画像処理を用いた前処理を必要に応じて実施してもよい。一般には、学習データに含まれる偏りをなくすことで汎化性能および学習速度の向上が期待できるため、前処理として、正規化、標準化、無相関化あるいは白色かなどの処理が行われるが、これらに限定されるものではない。
【００３４】
また、観察前に予め学習させておいた学習済みのネットワークを利用することとしたが、これに代えて、観察開始直前に観察被写体をユーザが指定して学習を実行することにしてもよい。
【００３５】
また、差分の大きさに基づいて表示画像を選択することとしたが、これに代えて、ユーザインタフェースを用いてユーザに選択させることにしてもよい。
また、画像の切替表示の開始および停止は、ユーザが任意に選択できることにしてもよいし、表示画像を変更できることにしてもよい。
【００３６】
次に、本発明の第２の実施形態に係る観察装置２１について、図面を参照して以下に説明する。
本実施形態の説明において、上述した第１の実施形態に係る観察装置１と構成を共通とする箇所には同一符号を付して説明を省略する。
【００３７】
本実施形態に係る観察装置２１は、図５に示されるように、顕微鏡装置１００に設けられエンコーダ等のセンサにより検出されたステージ位置情報に基づいて、視野の停止および停止時間を監視する視野移動監視部（視野移動状態検出部）２２を備えている。
視野移動監視部２２は、図６に示されるように、観察画像を取得した後（ステップＳ１）、視野移動監視部２２によって視野停止したか否かが判定され（ステップＳ１０）、視野の停止が検出された場合には、停止時間を計数する（ステップＳ１２）とともに、制御部３に対し、参照画像、差分画像および表示画像の生成を開始させ、観察画像と表示画像との切替表示を開始させる。視野の停止が検出されていない状態では、制御部３に対し、観察画像そのものを表示部４に表示させるよう指令して（ステップＳ１１）、ステップＳ１からの工程を実行する。
【００３８】
また、表示制御部１１は視野移動監視部２２からの停止時間の情報を受け取ると、停止時間の大きさに応じて表示方法を決定する（ステップＳ１３）。具体的には、図７に示されるように、停止時間Ｔが第１の閾値ＴＳ以下か否かが判定され（ステップＳ１３１）、停止時間Ｔが第１の閾値ＴＳ以下の場合には、表示制御部１１は、切替速度ＮＳで観察画像と表示画像とを切り替える（ステップＳ１３２）。また、停止時間が第１の閾値ＴＳよりも大きい場合には、停止時間Ｔが第２の閾値ＴＭ以下か否か判定され（ステップＳ１３３）、第２の閾値ＴＭ以下である場合には、表示制御部１１は、切替速度ＮＭで観察画像と表示画像とを切り替える（ステップＳ１３４）。また、停止時間が第２の閾値ＴＭよりも大きい場合には、切替速度ＮＭより高い切替速度ＮＬで観察画像と表示画像とを切り替える（ステップＳ１３５）。
【００３９】
視野の停止時間は、観察視野における被写体の傷などの異常および想定している正解パターンとの違いから受ける違和感に対する判断のし易さに関係しており、停止時間が短い場合には、異常を比較的容易に見つけられる状態、あるいは異常か否かを判断しやすい状態にある。
一方、視野の停止時間が長い場合には、僅かな傷あるいは欠陥である場合、または判断に迷う状態にある。
【００４０】
本実施形態に係る観察装置２１によれば、停止時間が長くなるほど、残像感を残り易くするために、高速に切り替えて表示し、誘目性を向上させることができる。
なお、上述した切替方法は一例であり、例えば、停止時間が長く判断に迷う状態では、最初に高速で表示切替を行った後に、切替速度を一旦低下させるなど、ユーザの使い勝手に合わせた設定にしてもよい。
【００４１】
また、本実施形態においては、第１の実施形態と同様にして、観察画像と参照画像との差分の大きさに応じて表示画像として選択する画像を決定したが、これに代えて、図８に示されるように、視野の停止時間Ｔに応じて決定してもよい（ステップＳ１４）。図８に示す例では、停止時間Ｔが閾値ＴＭ以下の場合に表示画像として参照画像を選択し、閾値ＴＭよりも大きい場合に表示画像として差分画像を選択している。閾値ＴＭよりも大きい場合に表示画像として参照画像および差分画像を選択してもよい。
【００４２】
停止時間が長く判断に迷う状態では、観察画像内に現れる僅かな異常が差分としてどの程度現れているのかを確認することができる。また、正解パターンとの違いを改めて直視することで最終的な判断を下し易くなる。表示画像を選択する閾値は任意でよい。
【００４３】
また、視野移動監視部２２において、視野の停止および停止時間を監視することとしたが、これに加えて、図９および図１０に示されるように、視野戻りの有無を監視してもよい（ステップＳ１５）。予め設定された所定の移動パターンで視野が移動している場合には「視野戻りなし」と認定し（ステップＳ１６）、視野が一度観察した観察視野に戻る場合には「視野戻り発生」と認定する（ステップＳ１７）。
【００４４】
そして、視野戻りが発生していた場合には（ステップＳ１８）、視野戻りが発生していない場合の表示方法とは異なり、最も高速に表示を切り替えることにすればよい（ステップＳ１９）。視野戻りの発生は、判断が難しく迷った状態であるため、停止時間が最も長かった場合の設定と同様にすることで、異常を発見し易くすることができる。
【００４５】
また、視野移動監視部２２において、図１１に示されるように、視野の移動速度を監視してもよい（ステップＳ２０）。移動速度Ｖが所定の閾値Ｖｓ以下か否かを判定し（ステップＳ２０）、移動速度Ｖが所定の閾値Ｖｓ以下の場合には、制御部３に対し、参照画像、差分画像および表示画像の生成を開始させ、観察画像と表示画像との切替表示を開始させる。移動速度Ｖが閾値Ｖｓよりも大きい場合には、制御部３に対し、観察画像そのものを表示部４に表示させるよう指令する（ステップＳ１１）。
【００４６】
また、表示制御部１１は視野移動監視部２２からの移動速度Ｖの情報を受け取ると、移動速度Ｖの大きさに応じて表示方法を決定する（ステップＳ２１）。具体的には、図１２に示されるように、移動速度Ｖが０＜Ｖか否かを判定し（ステップＳ２１１）、移動速度Ｖが０＜Ｖ（詳細には、０＜Ｖ≦Ｖｓ）の場合には、表示制御部１１は、切替速度ＮＳで観察画像と表示画像とを切り替える（ステップＳ２１２）。移動速度Ｖ＝０、すなわち、視野が停止している場合には、表示制御部１１は、切替速度ＮＭで観察画像と表示画像とを切り替える（ステップＳ２１３）。
【００４７】
ステージの移動速度が低下し始める要因として、視野内に通常と異なる像が見つけられた場合を挙げることができる。この場合に、見落としを防止するために観察画像と表示画像とを切り替えて表示することにより、誘目性を向上することができる。
【００４８】
また、表示制御部１１が停止時間に応じて切替速度を変更することに代えて、図１３に示されるように、視野移動監視部２２からの停止時間の情報を受け取ると、表示画像生成部（画像補正部）９が、停止時間の大きさに応じて表示画像である差分画像を補正してもよい。具体的には、図１４に示されるように、停止時間Ｔが閾値ＴＭ以下か否かを判定し（ステップＳ１４）、停止時間Ｔが閾値ＴＭ以下の場合には、表示画像の補正は行わず、停止時間Ｔが閾値ＴＭよりも大きい場合には、表示画像生成部９が、表示画像を補正する（ステップＳ２２）。
【００４９】
表示画像の補正は、例えば、彩度あるいはコントラストに対して行う。彩度あるいはコントラストを高く補正することにより、誘目性を向上することができる。また、表示画像生成部（差分算出部）９が、観察画像と参照画像との差分の大きさを算出し、彩度あるいはコントラストの補正レベルを差分の大きさに基づいて変更してもよい。差分が小さいほど彩度あるいはコントラストを高くすれば、僅かな傷等の異常に対しても誘目性を向上することができる。なお、被写体がモノトーンである場合には、疑似カラーを付与する補正を行うことにしてもよい。また、差分画像を生成することなく参照画像を補正してもよい。
【符号の説明】
【００５０】
１，２１  観察装置
２  画像取得部（撮影部）
４  表示部
７  参照画像生成部
８  差分画像生成部
９  表示画像生成部（画像補正部、差分算出部）
１１  表示制御部（表示調節部）
２２  視野移動監視部（視野移動状態検出部）
【図１】
2020070777.tif 000003
【図２】
2020070777.tif 000004
【図３】
2020070777.tif 000005
【図４】
2020070777.tif 000006
【図５】
2020070777.tif 000007
【図６】
2020070777.tif 000008
【図７】
2020070777.tif 000009
【図８】
2020070777.tif 000010
【図９】
2020070777.tif 000011
【図１０】
2020070777.tif 000012
【図１１】
2020070777.tif 000013
【図１２】
2020070777.tif 000014
【図１３】
2020070777.tif 000015
【手続補正書】
【提出日】令和3年2月26日(2021.2.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を撮影して観察画像を取得する撮影部と、
取得された前記観察画像に対し、該観察画像中の異常を解消する画像処理を行って参照画像を生成する参照画像生成部と、
生成された前記参照画像と前記観察画像とを切り替えて表示する表示部とを備える観察装置。
【請求項２】
被写体を撮影して観察画像を取得する撮影部と、
取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成する参照画像生成部と、
生成された前記参照画像と前記観察画像との差分画像を生成する差分画像生成部と、
生成された前記差分画像と前記観察画像とを切り替えて表示する表示部とを備える観察装置。
【請求項３】
被写体を撮影して観察画像を取得する撮影部と、
取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成する参照画像生成部と、
生成された前記参照画像と前記観察画像との差分の大きさを算出する差分算出部と、
算出された前記差分の大きさに基づいて、前記参照画像の色の属性または明るさを調整した補正画像を生成する画像補正部と、
生成された前記補正画像と前記観察画像とを切り替えて表示する表示部とを備える観察装置。
【請求項４】
前記撮影部による観察視野の移動状態を検出する視野移動状態検出部と、
検出された前記観察視野の移動状態に基づいて、前記表示部における表示の切替パターンを調節する表示調節部とを備える請求項１から請求項３のいずれかに記載の観察装置。
【請求項５】
前記観察視野の移動状態が、該観察視野の停止、移動速度の変化、または一度観察した前記観察視野に戻る視野戻りである請求項４に記載の観察装置。
【請求項６】
前記切替パターンが、切替速度である請求項４に記載の観察装置。
【請求項７】
前記表示の切り替えが複数回行われ、
前記切替パターンが切替回数である請求項４に記載の観察装置。
【請求項８】
前記参照画像生成部が、予め異常ではないパターンのみを学習させて、異常ではないパターンを再現可能な特徴量を抽出したネットワークに前記観察画像を入力することにより前記参照画像を生成する請求項１から請求項３のいずれかに記載の観察装置。
【請求項９】
被写体を撮影して観察画像を取得し、
取得された前記観察画像に対し、該観察画像中の異常を解消する画像処理を行って参照画像を生成し、
生成された前記参照画像と前記観察画像とを切り替えて表示する観察方法。
【請求項１０】
被写体を撮影して観察画像を取得し、
取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成し、
生成された前記参照画像と前記観察画像との差分画像を生成し、
生成された前記差分画像と前記観察画像とを切り替えて表示する観察方法。
【請求項１１】
被写体を撮影して観察画像を取得し、
取得された前記観察画像に基づいて、該観察画像と比較して画像中の異常を解消した参照画像を生成し、
生成された前記参照画像と前記観察画像との差分の大きさを算出し、
算出された前記差分の大きさに基づいて、前記参照画像の色の属性または明るさを調整した補正画像を生成し、
生成された前記補正画像と前記観察画像とを切り替えて表示する観察方法。
【国際調査報告】
2020070777.tif 000016
2020070777.tif 000017