(57)【要約】【課題】  画像処理を規定するパラメータの調整を容易化した拡大観察装置を提供する。【解決手段】  撮像条件が異なる複数の撮影画像を合成し、元の撮影画像とはダイナミックレンジが異なる合成画像を生成する合成画像生成手段と、合成画像をトーンマッピング処理により表示用画像に変換する画像変換手段と、合成画像からトーンマッピング処理を規定する変換パラメータを決定する変換パラメータ決定手段と、変換パラメータを規格化基準値に対応づけて、変換パラメータの調整範囲を表示する調整範囲表示手段と、調整範囲内において規格化基準値に対する相対値を指定する相対値指定手段と、相対値に基づいて、変換パラメータの値を調整する変換パラメータ調整手段とにより構成される。画像変換手段は、調整された変換パラメータの値に基づいて、合成画像を表示用画像に変換する。【選択図】  図５
2018066909.tif 000002
【特許請求の範囲】
【請求項１】
観察対象物を載置するためのステージと、
前記ステージ上の前記観察対象物に照明光を照射する照明手段と、
前記照明光の反射光又は透過光を受光し、受光量を検出して前記観察対象物を撮像するカメラと、
前記カメラから撮像条件が異なる複数の撮影画像を取得する撮影画像取得手段と、
前記複数の撮影画像を合成し、元の撮影画像とはダイナミックレンジが異なる合成画像を生成する合成画像生成手段と、
前記合成画像をトーンマッピング処理により表示用画像に変換する画像変換手段と、
前記表示用画像をモニタ画面に表示する画像表示手段と、
前記合成画像に基づいて、前記トーンマッピング処理を規定する変換パラメータを決定する変換パラメータ決定手段と、
前記変換パラメータを規格化基準値に対応づけて、前記変換パラメータの調整範囲を前記モニタ画面上に表示する調整範囲表示手段と、
前記調整範囲内において前記規格化基準値に対する相対値を指定する相対値指定手段と、
前記相対値に基づいて、前記変換パラメータの値を調整する変換パラメータ調整手段とを備え、
前記画像変換手段は、前記変換パラメータ調整手段により調整された変換パラメータの値に基づいて、前記合成画像を前記表示用画像に変換することを特徴とする拡大観察装置。
【請求項２】
前記調整範囲表示手段は、前記調整範囲をスライダの移動範囲として表示し、前記移動範囲の一端が前記変換パラメータの下限値に対応し、前記移動範囲の他端が前記変換パラメータの上限値に対応し、前記移動範囲の中心が前記規格化基準値を表し、
前記相対値指定手段は、前記移動範囲内における前記スライダの位置に基づいて、前記相対値を指定することを特徴とする請求項１に記載の拡大観察装置。
【請求項３】
前記相対値指定手段により指定された相対値を記憶する相対値記憶手段を更に備え、
前記変換パラメータ調整手段は、前記観察対象物又は前記撮像条件の変更後に、前記変換パラメータ決定手段により決定された変換パラメータと、前記相対値記憶手段に記憶された相対値とから前記変換パラメータの値を求めることを特徴とする請求項１又は２に記載の拡大観察装置。
【請求項４】
前記変換パラメータ決定手段は、前記合成画像が動画像である場合に、画像フレームごとに推定される推定値を直近の複数の画像フレームについて平均して前記変換パラメータを決定することを特徴とする請求項１〜３のいずれかに記載の拡大観察装置。
【請求項５】
観察対象物を載置するためのステージと、
前記ステージ上の前記観察対象物に照明光を照射する照明手段と、
前記照明光の反射光又は透過光を受光し、受光量を検出して前記観察対象物を撮像するカメラと、
前記カメラから撮影画像を取得する撮影画像取得手段と、
前記撮影画像に対して画像処理を行い、処理画像を生成する画像処理手段と、
前記処理画像をモニタ画面に表示する画像表示手段と、
前記撮影画像に基づいて、前記画像処理を規定する変換パラメータを決定する変換パラメータ決定手段と、
前記変換パラメータを規格化基準値に対応づけて、前記変換パラメータの調整範囲を前記モニタ画面上に表示する調整範囲表示手段と、
前記調整範囲内において前記規格化基準値に対する相対値を指定する相対値指定手段と、
前記相対値に基づいて、前記変換パラメータの値を調整する変換パラメータ調整手段とを備え、
前記画像処理手段は、前記変換パラメータ調整手段により調整された変換パラメータの値に基づいて、前記撮影画像から前記処理画像を生成することを特徴とする拡大観察装置。
【請求項６】
前記画像処理手段は、濃淡変換処理、空間フィルタ処理、周波数フィルタ処理、画像復元処理、２値画像処理又は識別処理を前記画像処理として行うことを特徴とする請求項５に記載の拡大観察装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡大観察装置に係り、さらに詳しくは、ステージ上に載置された観察対象物に照明光を照射して観察対象物を撮像する拡大観察装置の改良に関する。
【背景技術】
【０００２】
拡大観察装置は、ステージ上に載置された観察対象物に照明光を照射し、その反射光又は透過光を受光して観察対象物を撮像するデジタル方式のマイクロスコープであり、撮影画像をモニタ画面に表示し、観察対象物の寸法測定、撮影画像の記録等を行う。また、拡大観察装置は、被写界深度を大きくする深度合成機能、複数の撮影画像を連結して視野を広げる画像連結機能、ダイナミックレンジの広い画像を取得するＨＤＲＩ（High Dynamic Range Imaging：ハイダイナミックレンジ合成）機能等を有する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述した拡大観察装置は、様々な観察を行うために、各種の画像処理を利用することができるようになっている。例えば、ＨＤＲＩ機能を利用すると、撮像条件が異なる複数の撮影画像を取得して合成することにより、元の撮影画像よりもダイナミックレンジが広い合成画像が作成される。この合成画像をダイナミックレンジの狭い表示装置により表示する場合、トーンマッピング処理により表示用画像に変換するための画像処理が行われる。ところが、この種の画像処理は、様々なパラメータによって規定され、パラメータの値が観察対象物や撮像条件によって変化することから、熟練者でなければ、適切な値を指定することが困難であるという問題があった。
【０００４】
本発明は、上記の事情に鑑みてなされたものであり、画像処理を規定するパラメータの調整を容易化した拡大観察装置を提供することを目的とする。特に、トーンマッピング処理を規定する変換パラメータの調整を容易化した拡大観察装置を提供することを目的とする。また、観察対象物や撮像条件に影響されることなく、観察対象物を観察することができる拡大観察装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の第１の態様による拡大観察装置は、観察対象物を載置するためのステージと、前記ステージ上の前記観察対象物に照明光を照射する照明手段と、前記照明光の反射光又は透過光を受光し、受光量を検出して前記観察対象物を撮像するカメラと、前記カメラから撮像条件が異なる複数の撮影画像を取得する撮影画像取得手段と、前記複数の撮影画像を合成し、元の撮影画像とはダイナミックレンジが異なる合成画像を生成する合成画像生成手段と、前記合成画像をトーンマッピング処理により表示用画像に変換する画像変換手段と、前記表示用画像をモニタ画面に表示する画像表示手段と、前記合成画像に基づいて、前記トーンマッピング処理を規定する変換パラメータを決定する変換パラメータ決定手段と、前記変換パラメータを規格化基準値に対応づけて、前記変換パラメータの調整範囲を前記モニタ画面上に表示する調整範囲表示手段と、前記調整範囲内において前記規格化基準値に対する相対値を指定する相対値指定手段と、前記相対値に基づいて、前記変換パラメータの値を調整する変換パラメータ調整手段とを備える。前記画像変換手段は、前記変換パラメータ調整手段により調整された変換パラメータの値に基づいて、前記合成画像を前記表示用画像に変換する。
【０００６】
この様な構成によれば、トーンマッピング処理を規定する変換パラメータを決定し、規格化基準値に対応づけて変換パラメータの調整範囲がモニタ画面上に表示されるため、規格化基準値に対する相対値を指定することにより、変換パラメータの値を調整することができる。また、規格化基準値は、観察対象物や撮像条件に影響されないため、熟練者でなくても適切な値を指定することができる。特に、合成画像から決定される変換パラメータに対応する規格化基準値を基準にして相対値を指定すればよいため、変換パラメータの調整を直感的に行うことができる。また、相対値から変換パラメータの値を調整して合成画像が表示用画像に変換されるため、観察対象物や撮像条件に影響されることなく、モニタ画面上の表示用画像によって観察対象物を観察することができる。
【０００７】
本発明の第２の態様による拡大観察装置は、上記構成に加え、前記調整範囲表示手段が、前記調整範囲をスライダの移動範囲として表示し、前記移動範囲の一端が前記変換パラメータの下限値に対応し、前記移動範囲の他端が前記変換パラメータの上限値に対応し、前記移動範囲の中心が前記規格化基準値を表し、前記相対値指定手段が、前記移動範囲内における前記スライダの位置に基づいて、前記相対値を指定するように構成される。この様な構成によれば、スライダを移動させることによって規格化基準値に対する相対値が指定されるため、変換パラメータの微調整を容易化することができる。
【０００８】
本発明の第３の態様による拡大観察装置は、上記構成に加え、前記相対値指定手段により指定された相対値を記憶する相対値記憶手段を更に備え、前記変換パラメータ調整手段が、前記観察対象物又は前記撮像条件の変更後に、前記変換パラメータ決定手段により決定された変換パラメータと、前記相対値記憶手段に記憶された相対値とから前記変換パラメータの値を求めるように構成される。この様な構成によれば、観察対象物又は撮像条件を変更した場合に、変換パラメータの値を調整しなくても、モニタ画面上の表示用画像によって観察対象物を適切に観察することができる。
【０００９】
本発明の第４の態様による拡大観察装置は、上記構成に加え、前記変換パラメータ決定手段が、前記合成画像が動画像である場合に、画像フレームごとに推定される推定値を直近の複数の画像フレームについて平均して前記変換パラメータを決定するように構成される。この様な構成によれば、変換パラメータの変動が抑えられるため、表示用画像のちらつきを抑制することができる。
【００１０】
本発明の第５の態様による拡大観察装置は、観察対象物を載置するためのステージと、前記ステージ上の前記観察対象物に照明光を照射する照明手段と、前記照明光の反射光又は透過光を受光し、受光量を検出して前記観察対象物を撮像するカメラと、前記カメラから撮影画像を取得する撮影画像取得手段と、前記撮影画像に対して画像処理を行い、処理画像を生成する画像処理手段と、前記処理画像をモニタ画面に表示する画像表示手段と、前記撮影画像に基づいて、前記画像処理を規定する変換パラメータを決定する変換パラメータ決定手段と、前記変換パラメータを規格化基準値に対応づけて、前記変換パラメータの調整範囲を前記モニタ画面上に表示する調整範囲表示手段と、前記調整範囲内において前記規格化基準値に対する相対値を指定する相対値指定手段と、前記相対値に基づいて、前記変換パラメータの値を調整する変換パラメータ調整手段とを備える。前記画像処理手段は、前記変換パラメータ調整手段により調整された変換パラメータの値に基づいて、前記撮影画像から前記処理画像を生成する。
【００１１】
この様な構成によれば、画像処理を規定する変換パラメータを決定し、規格化基準値に対応づけて変換パラメータの調整範囲がモニタ画面上に表示されるため、規格化基準値に対する相対値を指定することにより、変換パラメータの値を調整することができる。また、規格化基準値は、観察対象物や撮像条件に影響されないため、熟練者でなくても適切な値を指定することができる。また、相対値から変換パラメータの値を調整して撮影画像から処理画像が生成されるため、観察対象物や撮像条件に影響されることなく、モニタ画面上の処理画像によって観察対象物を観察することができる。
【００１２】
本発明の第６の態様による拡大観察装置は、上記構成に加え、前記画像処理手段が、濃淡変換処理、空間フィルタ処理、周波数フィルタ処理、画像復元処理、２値画像処理又は識別処理を前記画像処理として行うように構成される。
【発明の効果】
【００１３】
本発明によれば、規格化基準値に対する相対値を指定することによって、変換パラメータの値が調整されるため、トーンマッピング処理を規定する変換パラメータの調整を容易化することができる。特に、規格化基準値は、観察対象物や撮像条件に影響されないため、熟練者でなくても適切な値を指定することができる。また、相対値から変換パラメータの値を調整して合成画像が表示用画像に変換されるため、観察対象物や撮像条件に影響されることなく、観察対象物を観察することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態による拡大観察装置１の一構成例を示したシステム図である。
【図２】図１のヘッドユニット２が装着された支持台６の構成例を示した斜視図である。
【図３】図２の支持台６の構成例を示した図である。
【図４】ヘッドユニット２の他の構成例を示した斜視図である。
【図５】図１のコントローラ４内の機能構成の一例を示したブロック図である。
【図６】従来の拡大観察装置の動作を比較例として示した図である。
【図７】図５のコントローラ４における解像度向上機能の利用時の動作の一例を示した図である。
【図８】図５のコントローラ４における解像度向上機能の利用時の動作の一例を示した図である。
【図９】図５のコントローラ４におけるＨＤＲ画像の表示時の動作の一例を示した図である。
【図１０】図５のコントローラ４におけるＨＤＲ画像の表示時の動作の一例を示したフローチャートである。
【発明を実施するための形態】
【００１５】
まず、本発明による拡大観察装置の概略構成について、図１〜図４を用いて以下に説明する。
【００１６】
＜拡大観察装置１＞
図１は、本発明の実施の形態による拡大観察装置１の一構成例を示したシステム図である。拡大観察装置１は、観察対象物Ｓを拡大して観察することができるデジタル方式のマイクロスコープであり、ヘッドユニット２、伝送ケーブル３、コントローラ４、操作部５及び支持台６により構成される。
【００１７】
＜ヘッドユニット２＞
ヘッドユニット２は、観察対象物Ｓに可視光からなる照明光を照射し、観察対象物Ｓにより反射された反射光、又は、観察対象物Ｓを透過した透過光を受光して観察対象物Ｓを撮像する投受光部であり、カメラ２１及びレンズ部２２により構成される。このヘッドユニット２は、伝送ケーブル３を介してコントローラ４に接続され、支持台６に対し、カメラ２１を下方に向けた状態で装着されている。
【００１８】
カメラ２１は、観察対象物Ｓを撮像する撮像装置であり、照明光の反射光又は透過光を受光し、受光量を検出して撮影画像を生成する撮像素子２１１により構成される。撮像素子２１１には、例えば、ＣＣＤ（Charge Coupled Devices：電荷結合素子）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化物半導体）などのイメージセンサが用いられる。
【００１９】
レンズ部２２は、カメラ２１の撮像素子２１１と光学的に結合される複数のレンズからなり、カメラ２１に着脱可能に装着される。レンズ部２２は、例えば、観察対象物Ｓと対向する対物レンズ２２１等を備え、鏡筒部を回転させることにより、撮影倍率を調整することができる。このレンズ部２２には、同軸落射照明部７１及びリング照明部７２が設けられている。
【００２０】
カメラ２１は、受光軸をレンズ部２２の光軸と一致させた状態で、レンズ部２２の光軸を中心として回転可能に配置される。このため、ステージ６５を回転させなくても、観察対象物Ｓを撮像する際の撮像アングルを調整することができる。
【００２１】
同軸落射照明部７１は、観察対象物Ｓに照明光を照射する投光装置であり、伝送ケーブル３を介してコントローラ４から伝送される照明光をカメラ２１の受光軸と同軸にレンズ部２２から出射する。
【００２２】
リング照明部７２は、観察対象物Ｓに照明光を照射する投光装置であり、対物レンズ２２１を取り囲む円環状の投光領域から照明光を出射する。このリング照明部７２は、投光領域の全体を点灯させる全射照明と、観察対象物Ｓの表面の凹凸を強調するために、投光領域の一部のみを点灯させる片射照明とを切り替えることができる。片射照明では、投光領域が４分割〜１６分割され、点灯部位を選択することができる。
【００２３】
＜支持台６＞
支持台６は、観察対象物Ｓを所望の撮像アングルで観察するためにヘッドユニット２を支持するスタンドであり、ベース部６０、支柱部６１、ヘッド取付アーム部６２、Ｚ駆動部６３、レンズ検出部６４、ステージ６５、ＸＹ駆動部６６及びステージ調整部６７により構成される。ここでは、上下方向、すなわち、鉛直方向をＺ軸方向とし、水平面内にＸ軸及びＹ軸が定められるものとする。
【００２４】
ベース部６０には、支柱部６１、ＸＹ駆動部６６及びステージ調整部６７が配置される。支柱部６１は、上下方向に延び、ヘッド取付アーム部６２を介してヘッドユニット２を支持する。
【００２５】
ヘッド取付アーム部６２は、支柱部６１から水平方向に延び、ヘッドユニット２を保持する。ヘッドユニット２は、ヘッド取付アーム部６２に着脱可能に装着される。ヘッドユニット２又はヘッド取付アーム部６２には、ヘッドユニット２がヘッド取付アーム部６２に装着されたことを検出するための図示しないセンサが設けられる。
【００２６】
Ｚ駆動部６３は、ヘッド取付アーム部６２を支柱部６１に沿って上下方向に移動させることにより、カメラ２１を受光軸方向に移動させるカメラ駆動手段である。レンズ検出部６４は、レンズ部２２がカメラ２１に装着されたことを検出し、レンズ部２２から各種のレンズ情報を取得する。取得されるレンズ情報には、例えば、撮影倍率、焦点距離等がある。
【００２７】
ステージ６５は、観察対象物Ｓを載置するための載置面６５ａを有する作業台である。このステージ６５は、水平に配置され、透過照明部７３が設けられている。透過照明部７３は、観察対象物Ｓに照明光を照射する投光装置である。
【００２８】
ＸＹ駆動部６６は、載置面６５ａに平行な方向にステージ６５を移動させるステージ駆動手段である。ステージ調整部６７は、ステージ６５を上下方向（Ｚ軸方向）に移動させ、或いは、上下方向の回転軸を中心としてステージ６５及びＸＹ駆動部６６を回転させる。ステージ６５の昇降及び回転は、例えば、調整つまみ等の操作子を操作することによって行われ、観察対象物Ｓの高さや撮像アングルを調整することができる。
【００２９】
ステージ調整部６７には、ステージ６５のＺ軸方向の位置を検出するための図示しない位置センサと、ステージ６５の回転角度を検出するための図示しない回転角センサとが設けられる。
【００３０】
＜伝送ケーブル３＞
伝送ケーブル３は、制御信号や撮影画像を伝送するための制御用ケーブル３１と、照明光を伝送するための照明光伝送ケーブル３２とからなる。照明光伝送ケーブル３２は、光ファイバからなる。
【００３１】
＜コントローラ４＞
コントローラ４は、カメラ２１、リング照明部７２、透過照明部７３、Ｚ駆動部６３及びＸＹ駆動部６６を制御し、カメラ２１から取得した撮影画像を表示部４１に表示する情報処理端末であり、操作部５が接続されている。このコントローラ４は、電源ボタン４２を操作することにより、主電源がオン状態に切り替えられる。また、コントローラ４には、同軸落射照明用の照明光を生成する光源装置が設けられる。表示部４１は、撮影画像をモニタ画面に表示する表示装置である。
【００３２】
＜操作部５＞
操作部５は、ユーザ操作を受け付ける入力装置であり、キーボード５１、マウス５２及びコンソール５３により構成される。コンソール５３は、ボタンや調整つまみを操作することにより、撮影画像の取り込み、照明の明るさ、カメラ２１のピント合わせを指示することができる。
【００３３】
図２は、図１のヘッドユニット２が装着された支持台６の構成例を示した斜視図である。図３は、図２の支持台６の構成例を示した図である。図中の（ａ）には、支持台６の左側面が示され、（ｂ）には、支持台６を上方から見た場合が示され、（ｃ）には、支持台６の前面が示されている。
【００３４】
支柱部６１は、チルト部６８を介してベース部６０に取り付けられており、左右方向に傾斜させることができる。チルト部６８は、ベース部６０の一部であり、前後方向の水平な回転軸を中心として支柱部６１を回転可能に支持する。チルト部６８の回転軸は、ヘッドユニット２の受光軸と直交し、かつ、ステージ６５の載置面６５ａと平行に延びる。つまり、ヘッド取付アーム部６２に装着されたヘッドユニット２は、この回転軸を中心として回転可能に支持され、受光軸をステージ６５の載置面６５ａに対して傾斜させることができる。
【００３５】
支柱部６１は、例えば、上下方向から右側に９０°程度傾斜させ、或いは、上下方向から左側に６０°程度傾斜させることができる。このため、ステージ６５上の観察対象物Ｓを上方向だけでなく、斜め方向や横方向から観察することができる。ステージ６５は、右方向及び左方向にそれぞれ９０°程度回転させることができる。
【００３６】
支柱部６１又はチルト部６８には、支柱部６１の傾斜角度を検出するための図示しないセンサが設けられる。また、支柱部６１は、チルト部６８には、傾斜角度が０°の位置、すなわち、ヘッドユニット２の受光軸がステージ６５の載置面６５ａと直交する位置で固定するためのロック機構が設けられる。
【００３７】
図４は、ヘッドユニット２の他の構成例を示した斜視図であり、撮影倍率が異なる２つの対物レンズ２２１ａ及び２２１ｂを備えたレンズ部２２が示されている。このレンズ部２２は、撮影倍率が異なる２つの対物レンズ２２１ａ及び２２１ｂを備え、対物レンズ２２１ａ及び２２１ｂを切り替えることにより、撮影倍率を大きく変更することができる。対物レンズ２２１ａ及び２２１ｂは、互いに異なる対物レンズであり、カメラ２１の受光軸上に切替可能に配置される。
【００３８】
対物レンズ２２１ａは、撮影倍率が高い高倍率レンズである。一方、対物レンズ２２１ｂは、対物レンズ２２１ａよりも撮影倍率が低い低倍率レンズである。対物レンズ２２１ａ及び２２１ｂは、左右方向の水平な回転軸２２２を中心として回転させることによって切り替えられ、対物レンズ２２１ａ又は２２１ｂのいずれかがカメラ２１の受光軸上に配置される。
【００３９】
次に、本発明による拡大観察装置１のさらに詳細な構成について、図５〜図１０を用いて以下に説明する。
【００４０】
＜コントローラ４＞
図５は、図１のコントローラ４内の機能構成の一例を示したブロック図である。このコントローラ４は、撮像条件記憶部１０１、撮影画像取得部１０２、撮影画像記憶部１０３、合成画像生成部１０４、パラメータ記憶部１０５、画像処理部１０６、処理画像記憶部１０７、画像表示部１０８、変換パラメータ決定部１０９、調整範囲表示部１１０、相対値指定部１１１、相対値記憶部１１２及び変換パラメータ調整部１１３により構成される。
【００４１】
撮像条件記憶部１０１には、カメラ２１により観察対象物Ｓを撮像する際の撮像条件が保持される。撮像条件には、露光時間、ゲイン、ホワイトバランス等があり、これらの値が予め指定される。
【００４２】
撮影画像取得部１０２は、撮像条件記憶部１０１内の撮像条件に従ってカメラ２１を制御し、カメラ２１から撮像条件等が異なる複数の撮影画像を取得して撮影画像記憶部１０３内に格納する。
【００４３】
合成画像生成部１０４は、深度向上機能や画質向上機能の利用時に、撮影画像記憶部１０３から撮像条件等が異なる複数の撮影画像を読み出し、これらの撮影画像を合成した合成画像を生成する。生成された合成画像は、撮影画像記憶部１０３内に保持される。
【００４４】
画質向上機能には、解像度を向上させるための解像度向上機能と、反射を除去するための反射除去機能とがある。解像度向上機能の利用時には、撮像条件、例えば、露光時間が異なる複数の撮影画像が取得され、これらの撮影画像から、元の撮影画像とはダイナミックレンジが異なる合成画像が生成される。
【００４５】
解像度向上機能を利用することにより、元の撮影画像よりもダイナミックレンジが広くて高階調のＨＤＲ画像や、元の撮影画像よりもダイナミックレンジが狭くて高階調のＬＤＲ（Low Dynamic Range）画像を作成することができる。
【００４６】
反射除去機能の利用時には、照明方法や照明光の照射方向が異なる複数の撮影画像が取得され、これらの撮影画像から、元の撮影画像と比べてハレーションを低減させた合成画像が生成される。
【００４７】
深度合成機能の利用時には、ヘッドユニット２のＺ軸方向の位置が異なる複数の撮影画像が取得され、これらの撮影画像を深度合成することにより、被写界深度を元の撮影画像よりも深くした合成画像が生成される。
【００４８】
画像処理部１０６は、撮影画像記憶部１０３から合成画像を読み出して画像処理を行い、処理画像を生成して処理画像記憶部１０７内に格納する。画像処理は、パラメータ記憶部１０５内のパラメータに基づいて行われる。合成画像に対して行われる画像処理には、トーンマッピング処理、濃淡変換処理、空間フィルタ処理、周波数フィルタ処理、画像復元処理、２値画像処理及び識別処理がある。
【００４９】
トーンマッピング処理は、輝度のヒストグラムにおいて、ヒストグラムが集中している箇所の階調を引き延ばすように非線形に変換することにより、見た目に精細感のある画像を得るための画像処理である。このトーンマッピング処理では、合成画像を表示用画像に変換することにより、表示用画像が処理画像として生成される。合成画像がＨＤＲ画像である場合、表示用画像は、表示装置に合わせてダイナミックレンジを縮小した圧縮画像である。
【００５０】
濃淡変換処理は、コントラストを強調するための画像処理である。空間フィルタ処理及び周波数フィルタ処理は、ノイズを除去し、或いは、エッジを強調するための画像処理である。画像復元処理は、劣化原因を取り除いて原画を復元するための画像処理である。２値画像処理は、背景から観察対象物Ｓを抽出するための画像処理である。識別処理は、観察対象物Ｓを識別するための画像処理である。
【００５１】
画像表示部１０８は、表示部４１を制御し、処理画像記憶部１０７内の処理画像をモニタ画面に表示する。変換パラメータ決定部１０９は、撮影画像記憶部１０３内の合成画像に基づいて、当該合成画像に対して行われる画像処理を規定する変換パラメータを決定する。
【００５２】
例えば、解像度向上機能を利用して得られた合成画像に対してトーンマッピング処理が行われる場合、合成画像から、トーンマッピング処理を規定する変換パラメータの内部基準値が推定される。
【００５３】
ＨＤＲＩの分野で処理画像の明るさを調整する場合、Ｙカーブを指定する必要がある。通常、Ｙカーブを規定するパラメータは、０以上１以下等の範囲内で指定されるが、合成画像から輝度のヒストグラム、平均値、分散、最大値、最小値、上位ｎ番目の輝度値等の統計値を求めれば、この統計値から推定することができる。
【００５４】
また、処理画像のテクスチャを強調する場合、エッジ強調度を指定する必要がある。通常、エッジ強調度は、０以上１以下等の範囲内で指定されるが、Ｙカーブと同様に合成画像から推定することができる。また、処理画像のコントラストを調整する場合、低周波成分を指定する必要がある。通常、低周波成分は、０以上１以下等の範囲内で指定されるが、Ｙカーブと同様に合成画像から推定することができる。
【００５５】
また、処理画像の色彩を調整する場合、色を指定する必要がある。通常、色は、０以上１以下等の範囲内で指定されるが、Ｙカーブと同様に合成画像から推定することができる。この様にトーンマッピング処理を規定する変換パラメータには、Ｙカーブ、エッジ強調度、低周波成分及び色があり、合成画像からその最適値がそれぞれ推定される。
【００５６】
濃淡変換処理の分野でトーンカーブを使用する場合、曲線パラメータを指定する必要がある。通常、曲線パラメータは、０以上１以下等の範囲内で指定されるが、合成画像から輝度のヒストグラム、平均値、分散等の統計値を求めれば、この統計値から最適値を推定することができる。
【００５７】
空間フィルタ処理の分野で平滑化処理又は鮮鋭化処理を使用する場合、度合を指定する必要がある。通常、度合は、０以上１０以下等の範囲内で指定されるが、合成画像から輝度の分散や微分強度を求めれば、これらの値から最適値を推定することができる。
【００５８】
周波数フィルタ処理の分野でローパスフィルタ又はハイパスフィルタを使用する場合、カットオフ周波数を指定する必要がある。通常、カットオフ周波数は、０以上０．５以下等の範囲内で指定されるが、合成画像から輝度の周波数分布を求めれば、この周波数分布から最適値を推定することができる。
【００５９】
画像復元処理の分野でノイズ除去フィルタ又は逆フィルタを使用する場合、ノイズレベルを指定する必要がある。通常、ノイズレベルは、０以上１以下等の範囲内で指定されるが、合成画像から輝度の高周波成分の強さや外れ値の含有量を求めれば、これらの値から最適値を推定することができる。
【００６０】
２値画像処理の分野で２値化処理を使用する場合、閾値を指定する必要がある。通常、閾値は、０以上２５５以下等の範囲内で指定されるが、合成画像から輝度のクラス内分散やクラス間分散を求めれば、これらの値から最適値を推定することができる。また、膨張処理又は収縮処理を使用する場合、段数を指定する必要がある。通常、段数は、１以上１０以下等の範囲内で指定されるが、合成画像から元画像の線幅を求めれば、この線幅から最適値を推定することができる。
【００６１】
また、細線化処理を使用する場合、線幅を指定する必要がある。通常、線幅は、１以上１０以下等の範囲内で指定されるが、合成画像から元画像の線幅を求めれば、この線幅から最適値を推定することができる。また、ベクトル化処理を使用する場合、細かさを指定する必要がある。通常、細かさは、１以上１００以下等の範囲内で指定されるが、合成画像から図形の曲率や複雑さを求めれば、これらの値から最適値を推定することができる。
【００６２】
識別処理の分野で特徴抽出処理を使用する場合、閾値を指定する必要がある。通常、閾値は、０以上１以下等の範囲内で指定されるが、合成画像に対して特徴抽出を繰り返すことにより、最適値を推定することができる。また、領域分割処理を使用する場合、分離度又は距離を指定する必要がある。通常、分離度又は距離は、０以上１以下等の範囲内で指定されるが、合成画像から輝度のクラス内分散やクラス間分散を求めれば、これらの値から最適値を推定することができる。
【００６３】
また、学習処理を使用する場合、パラメータの次元数を指定する必要がある。通常、パラメータの次元数は、１以上１００以下等の範囲内で指定される。例えば、入力データとして用いた合成画像の枚数やパラメータの主成分分析の結果を用いれば、最適値を推定することができる。
【００６４】
調整範囲表示部１１０は、表示部４１を制御し、変換パラメータ決定部１０９により決定された変換パラメータを規格化基準値に対応づけて、変換パラメータの調整範囲をモニタ画面上に表示する。規格化基準値は、内部基準値が中心になるように、内部基準値から下限値までの範囲と内部基準値から上限値までの範囲とを均等に振り分けるための表示用の基準値であり、予め定められる。
【００６５】
相対値指定部１１１は、調整範囲内において規格化基準値に対する相対値を指定し、相対値記憶部１１２内に格納する。相対値は、操作部５からの操作信号に基づいて指定される。相対値記憶部１１２は、相対値指定部１１１により指定された相対値を記憶する。
【００６６】
変換パラメータ調整部１１３は、変換パラメータ決定部１０９により決定された変換パラメータと、相対値記憶部１１２内の相対値とに基づいて、変換パラメータの値を調整し、パラメータ記憶部１０５内の変換パラメータを更新する。例えば、所定の演算を行うことによって、規格化基準値に対する相対値から内部基準値に対する内部相対値を特定することにより、変換パラメータの値が求められる。画像処理部１０６は、変換パラメータ調整部１１３により調整された変換パラメータの値に基づいて、合成画像から処理画像を生成する。
【００６７】
相対値指定部１１１は、ユーザ操作によって新たな相対値を指定するごとに、相対値記憶部１１２内の相対値を更新する。変換パラメータ調整部１１３は、相対値記憶部１１２内の相対値が更新されれば、新たな相対値から変換パラメータの値を求めてパラメータ記憶部１０５内の変換パラメータを更新する。
【００６８】
デフォルト状態では、相対値＝０が指定され、内部基準値で画像処理された処理画像がモニタ画面に表示される。また、ユーザが相対値を変更すれば、変更後の相対値から変換パラメータの値が求められ、モニタ画面上の処理画像に直ちに反映される。
【００６９】
調整範囲表示部１１０は、例えば、変換パラメータの調整範囲をスライダの移動範囲として表示する。移動範囲の一端は変換パラメータの下限値に対応し、移動範囲の他端は変換パラメータの上限値に対応する。また、移動範囲の中心は、規格化基準値を表す。相対値指定部１１１は、移動範囲内におけるスライダの位置に基づいて、相対値を指定する。つまり、スライダを移動させることによって規格化基準値に対する相対値が指定されるため、変換パラメータの微調整を容易化することができる。
【００７０】
変換パラメータ調整部１１３は、観察対象物Ｓ又は撮像条件の変更後に、変換パラメータ決定部１０９により推定された内部基準値と、相対値記憶部１１２に記憶された相対値とから変換パラメータの値を求める。この様に構成することにより、観察対象物Ｓ又は撮像条件を変更した場合に、変換パラメータの値を調整しなくても、モニタ画面上の処理画像によって観察対象物Ｓを適切に観察することができる。
【００７１】
動画観察の場合、撮像条件等の異なる複数の撮影画像を取得することが一定のフレームレートで繰り返され、複数の撮影画像からなる画像セットが更新されるごとに、画像セットから合成画像が作成され、処理画像に変換される。
【００７２】
変換パラメータ決定部１０９は、合成画像が動画像である場合に、画像フレームごとに推定される推定値を直近の複数の画像フレームについて平均して変換パラメータを決定する。この様に構成することにより、変換パラメータの変動が抑えられるため、処理画像のちらつきを抑制することができる。
【００７３】
図６は、従来の拡大観察装置の動作を比較例として示した図であり、ＨＤＲ画像を表示装置に表示する場合が示されている。図中の（ａ）には、明るい観察対象物を撮影して得られた表示用画像と変換パラメータの値とが示されている。この表示用画像は、配線基板上の回路チップが被写体として撮影されたＨＤＲ画像に対してトーンマッピング処理を行うことによって作成される。変換パラメータの値は、Ｙカーブ＝９、エッジ強調度＝１８、低周波成分＝２１、色＝５８となっている。
【００７４】
図中の（ｂ）には、暗い観察対象物を撮影して得られた表示用画像と変換パラメータの値とが示されている。この表示用画像は、配線基板が被写体として撮影されたＨＤＲ画像に対してトーンマッピング処理を行うことによって作成される。変換パラメータの値は、（ａ）の場合と同じである。
【００７５】
従来の拡大観察装置では、観察対象物を変更しても、変換パラメータの値は変わらないため、変換パラメータの値が必ずしも適切な値とはならず、表示用画像が黒く潰れてしまうことがあった。このため、表示用画像によって観察対象物を適切に観察するには、変換パラメータの値を調整しなければならなかった。
【００７６】
図中の（ｃ）には、変換パラメータを調整した後の表示用画像と変換パラメータの値とが示されている。変換パラメータの値は、Ｙカーブ＝５３、エッジ強調度＝１７、低周波成分＝４１、色＝５７となっている。この様な変換パラメータの値は、ＨＤＲ画像から自動的に求めることができる。しかしながら、自動的に求められる変換パラメータの値自体が観察対象物や撮像条件によって変化する。このため、ユーザが望むような見た目の表示用画像を得るには、変換パラメータの値をどの程度変化させればよいのかをユーザ自身が判断することは困難であった。
【００７７】
図７は、図５のコントローラ４における解像度向上機能の利用時の動作の一例を示した図であり、変換パラメータの内部基準値を規格化基準値に対応づける様子が示されている。トーンマッピング処理における変換パラメータは、例えば、０を下限値とし、１００を上限値とする範囲内で任意に調整することができる。
【００７８】
内部基準値は、ＨＤＲ画像から自動的に求められる推定値であり、観察対象物Ｓや撮像条件によって変化する。一方、規格化基準値は、固定値であり、例えば、変換パラメータの上限値と下限値との中間値＝５０により表される。この規格化基準値は、調整範囲８の中央に対応づけられる。内部基準値を固定の規格化基準値に対応づけ、変換パラメータの調整範囲８を表示することにより、観察対象物Ｓや撮像条件に影響されずに変換パラメータの値を調整することができる。
【００７９】
特に、規格化基準値は、観察対象物Ｓや撮像条件によって変化しないため、規格化基準値を基準にして相対値を指定させることにより、ユーザが望むような見た目の表示用画像を容易に得ることができる。なお、変換パラメータが−ｋを下限値とし、＋ｋを上限値とする場合、規格化基準値は、中間値＝０により表されてもよい。
【００８０】
＜モニタ画面３００＞
図８は、図５のコントローラ４における解像度向上機能の利用時の動作の一例を示した図であり、表示部４１に表示されるモニタ画面３００が示されている。モニタ画面３００は、撮影画像を表示し、観察対象物Ｓの寸法測定、撮影画像の記録等を行うための観察設定画面である。
【００８１】
モニタ画面３００には、カメラ２１による撮影画像を表示するための表示領域３０１と、各種操作を行うための操作欄３０２とが設けられている。操作欄３０２には、各種機能を選択させるための複数のメニュータブが配置されたメニュー欄３０３が設けられている。
【００８２】
メニュータブには、簡単モード、照明・明るさ、撮影設定、計測・スケール、深度向上、画質向上、マルチライティング及び画像連結の各機能が割り当てられている。例えば、簡単モードでは、観察、記録及び計測に関する各種設定を簡単に行うことができる。照明・明るさでは、照明の種類や光源の明るさを調整することができる。
【００８３】
また、操作欄３０２には、パラメータ調整欄３１０と、終了ボタン、停止ボタン、撮影ボタン及び倍率表示欄とが設けられている。終了ボタンは、主電源をオフ状態に切り替えるための操作アイコンである。停止ボタンは、画像処理等を一時停止させるための操作アイコンである。撮影ボタンは、撮影画像をメモリ内に取り込むための操作アイコンである。倍率表示欄には、現在の撮影倍率が表示される。
【００８４】
このモニタ画面３００では、画質向上機能が選択され、撮像条件が異なる複数の撮影画像を取得して合成した合成画像から得られる表示用画像が表示領域３０１に表示されている。
【００８５】
パラメータ調整欄３１０は、合成画像を表示用画像に変換する際の変換パラメータの値を指定するための入力欄であり、変換パラメータごとに、スライダ３１１、調整範囲３１２、アップボタン３１４及びダウンボタン３１５が配置されている。この例では、明るさ調整、テクスチャ強調、コントラスト及び色彩調整の４種類の変換パラメータについて、スライダ３１１、調整範囲３１２、アップボタン３１４及びダウンボタン３１５が配置されている。
【００８６】
調整範囲３１２は、変換パラメータの調整可能な範囲を表す図形であり、例えば、水平な線分からなる。調整範囲３１２の右端が変換パラメータの上限値に対応し、調整範囲３１２の左端が変換パラメータの下限値に対応する。規格化基準値３１３は、変換パラメータの上限値と下限値との中間値又は中央値であり、例えば、上限値＝１００、下限値＝０であれば、これらの平均値＝５０からなる。調整範囲３１２には、規格化基準値３１３を表す数値が配置されている。
【００８７】
スライダ３１１は、規格化基準値３１３に対する相対値を指定するための操作オブジェクトであり、所定のシンボルからなる。このスライダ３１１は、デフォルト状態において、調整範囲３１２の中央、すなわち、規格化基準値３１３を表す位置に配置される。マウス５２、アップボタン３１４又はダウンボタン３１５を操作することにより、スライダ３１１を調整範囲３１２上で移動させることができ、内部基準値に対する相対的な変化量を指定することができる。
【００８８】
アップボタン３１４は、スライダ３１１を右方向へ移動させるための操作アイコンである。一方、ダウンボタン３１５は、スライダ３１１を左方向へ移動させるための操作アイコンである。スライダ３１１を規格化基準値３１３よりも右側に移動させることにより、変換パラメータの値を内部基準値よりも増加させることができる。また、スライダ３１１を規格化基準値３１３よりも左側に移動させることにより、変換パラメータの値を内部基準値よりも減少させることができる。
【００８９】
複数の変換パラメータについて、調整範囲３１２や規格化基準値３１３が左右方向の位置を一致させて配置されているため、スライダ３１１を移動させた後であっても、システムにより推定された最適値に容易に戻すことができる。
【００９０】
図９は、図５のコントローラ４におけるＨＤＲ画像の表示時の動作の一例を示した図であり、ＨＤＲ画像を表示部４１に表示する場合が示されている。図中の（ａ）には、モニタ画面３００の表示領域３０１に表示される表示用画像と操作欄３０２に表示されるパラメータ調整欄３１０とが示されている。
【００９１】
この表示用画像は、明るい観察対象物Ｓを撮影して得られた処理画像であり、配線基板上の回路チップが被写体として撮影されたＨＤＲ画像に対してトーンマッピング処理を行うことによって作成される。
【００９２】
図中の（ｂ）には、暗い観察対象物Ｓを撮影して得られた表示用画像と操作欄３０２のパラメータ調整欄３１０とが示されている。この表示用画像は、配線基板が被写体として撮影されたＨＤＲ画像に対してトーンマッピング処理を行うことによって作成される。この様に観察対象物Ｓを変更しても、各変換パラメータの値が自動調整されるため、表示用画像が黒く潰れ、或いは、白飛びすることを防止し、観察対象物Ｓを適切に観察することができる。
【００９３】
また、観察対象物Ｓの変更によって内部基準値が変化しても、規格化基準値３１３やスライダ３１１のデフォルト位置は変化しないため、規格化基準値３１３を基準にして変換パラメータの調整を開始することができる。特に、内部基準値に対し、変換パラメータの値を相対的に増加させるのか、或いは、減少させるのかを指定すればよいため、変換パラメータの調整が直感的に判り易い。
【００９４】
複数の撮影画像を取得してＨＤＲ画像が作成され、表示用画像に変換してモニタ画面３００の表示領域３０１に表示される。この表示用画像は、ＨＤＲ画像から所定のアルゴリズムに従って算出される変換パラメータに基づいて生成される。パラメータ調整欄３１０の規格化基準値３１３には、ＨＤＲ画像から算出される変換パラメータが対応づけられる。ＨＤＲ画像から変換パラメータの最適値を内部基準値として算出することにより、変換パラメータが決定され、その後、上限及び下限を調整し、相対値として表現される。
【００９５】
ユーザは、表示領域３０１に表示中の画像を確認し、変換パラメータを調整したければ、パラメータ調整欄３１０のスライダ３１１を操作することにより、規格化基準値＝５０から相対値を指定すればよい。規格化基準値３１３は、内部基準値に基づいて、変換パラメータの調整範囲を規格化している。すなわち、規格化基準値３１３が中心になるように、変換パラメータの調整範囲を表す指標（尺度）が振り直される。
【００９６】
図１０のステップＳ１０１〜Ｓ１０７は、図５のコントローラ４におけるＨＤＲ画像の表示時の動作の一例を示したフローチャートである。まず、コントローラ４は、ＨＤＲ画像を解析して各種の画像情報、例えば、輝度の平均値や分散を取得し（ステップＳ１０１）、これらの画像情報に基づいて、変換パラメータの内部基準値を推定する（ステップＳ１０２）。コントローラ４は、内部基準値に基づいて、ＨＤＲ画像を表示用画像に変換し（ステップＳ１０３）、表示部４１のモニタ画面３００に表示する（ステップＳ１０４）。
【００９７】
次に、コントローラ４は、規格化基準値３１３に対する相対値の指定があれば（ステップＳ１０５）、内部基準値と相対値とから変換パラメータの値を求める（ステップＳ１０７）。コントローラ４は、求めた変換パラメータの値に基づいて、ＨＤＲ画像を表示用画像に変換し（ステップＳ１０３）、表示部４１のモニタ画面３００に表示する（ステップＳ１０４）。コントローラ４は、パラメータ調整の終了が指示されれば、この処理を終了する（ステップＳ１０６）。
【００９８】
本実施の形態によれば、トーンマッピング処理を規定する変換パラメータの内部基準値を推定し、規格化基準値３１３に対応づけて変換パラメータの調整範囲３１２がモニタ画面３００上に表示されるため、規格化基準値３１３に対する相対値を指定することにより、変換パラメータの値を調整することができる。
【００９９】
また、規格化基準値３１３は、観察対象物Ｓや撮像条件に影響されないため、熟練者でなくても適切な値を指定することができる。特に、内部基準値に対応する規格化基準値３１３を基準にして相対値を指定すればよいため、変換パラメータの調整を直感的に行うことができる。また、内部基準値と相対値とから変換パラメータの値を求めて合成画像が表示用画像に変換されるため、観察対象物Ｓや撮像条件に影響されることなく、モニタ画面３００上の表示用画像によって観察対象物Ｓを観察することができる。
【０１００】
なお、本実施の形態では、スライダ３１１によって規格化基準値３１３に対する相対値が指定される場合の例について説明したが、本発明は、相対値の指定方法をこれに限定するものではない。例えば、規格化基準値３１３に対する相対値を数値で表示し、マウス操作によって当該数値をインクリメントし、或いは、デクリメントするような構成であってもよい。
【０１０１】
また、本実施の形態では、調整範囲３１２が規格化基準値３１３を表す位置に関して左右対称である場合の例について説明したが、モニタ画面３００上に表示される調整範囲３１２は、規格化基準値３１３を表す位置に関して非対称であってもよい。
【符号の説明】
【０１０２】
１  拡大観察装置
２  ヘッドユニット
２１  カメラ
２１１  撮像素子
２２  レンズ部
２２１，２２１ａ，２２１ｂ  対物レンズ
２２２  回転軸
３  伝送ケーブル
３１  制御用ケーブル
３２  照明光伝送ケーブル
４  コントローラ
４１  表示部
４２  電源ボタン
５  操作部
５１  キーボード
５２  マウス
５３  コンソール
６  支持台
６０  ベース部
６１  支柱部
６２  ヘッド取付アーム部
６３  Ｚ駆動部
６４  レンズ検出部
６５  ステージ
６５ａ  載置面
６６  ＸＹ駆動部
６７  ステージ調整部
６８  チルト部
７１  同軸落射照明部
７２  リング照明部
７３  透過照明部
１０１  撮像条件記憶部
１０２  撮影画像取得部
１０３  撮影画像記憶部
１０４  合成画像生成部
１０５  パラメータ記憶部
１０６  画像処理部
１０７  処理画像記憶部
１０８  画像表示部
１０９  変換パラメータ決定部
１１０  調整範囲表示部
１１１  相対値指定部
１１２  相対値記憶部
１１３  変換パラメータ調整部
３００  モニタ画面
３０１  表示領域
３０２  操作欄
３０３  メニュー欄
３１０  パラメータ調整欄
３１１  スライダ
３１２  調整範囲
３１３  規格化基準値
３１４  アップボタン
３１５  ダウンボタン
【図１】
2018066909.tif 000003
【図２】
2018066909.tif 000004
【図３】
2018066909.tif 000005
【図４】
2018066909.tif 000006
【図５】
2018066909.tif 000007
【図６】
2018066909.tif 000008
【図７】
2018066909.tif 000009
【図８】
2018066909.tif 000010
【図９】
2018066909.tif 000011
【図１０】
2018066909.tif 000012