(57)【要約】【課題】重複部分に標本像がなくても全体で確実な顕微鏡画像貼り合せができ、分割撮像時の撮像条件が異なっていても均一な背景の貼り合せ画像を構築する。【解決手段】標本全体を第１の倍率である低い倍率で撮像する低倍率撮像手段１１と、標本全体を一部重複領域を有するように複数の小領域に分割したときの各小領域の位置情報を領域分割情報として記憶する領域分割情報記憶手段１３と、領域分割情報に従って、第１の倍率よりも高い倍率である第２の倍率で各分割領域と略同一の領域を順次撮像する高倍率撮像手段１２と、低倍率撮像手段１１により撮像した低倍率標本画像に基づき、撮像した高倍率画像の位置ずれを検出する位置ずれ検出手段１４と、検出された位置ずれに基づいて各高倍率画像の位置を補正する位置ずれ補正手段１５と、各高倍率画像を順次貼り合わせて標本全体の高倍率画像を作成する画像貼り合せ手段１６とを具備する。【選択図】        図１
2004343222.tif 000002
【特許請求の範囲】
【請求項１】
標本領域全体を第１の倍率である低い倍率で撮像する低倍率撮像手段と、
標本領域全体を一部重複領域を有するように複数の小領域に分割したときの各小領域の位置情報を領域分割情報として記憶する領域分割情報記憶手段と、
前記領域分割情報に従って、前記第１の倍率よりも高い倍率である第２の倍率で各分割領域と略同一の領域を順次撮像する高倍率撮像手段と、
前記低倍率撮像手段により撮像した低倍率標本画像に基づき、前記高倍率撮像手段で撮像した高倍率画像の位置ずれを検出する位置ずれ検出手段と、
前記位置ずれ検出手段により検出された位置ずれに基づいて各高倍率画像の位置を補正する位置ずれ補正手段と、
前記位置ずれ補正手段により位置補正された各高倍率画像を順次貼り合わせて標本領域全体の高倍率画像を作成する画像貼り合せ手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記位置ずれ補正手段により位置補正された各小領域の高倍率画像の画質と、前記低倍率標本画像の前記高倍率画像に対応する部分画像の画質の差異を検出する画質差異検出手段と、
前記画質差異検出手段により検出された画質の差異に基づき、各小領域の高倍率画像の画質を補正する画質差異補正手段と、
を更に有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画質差異は、明るさの違いによるものであることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記画質差異は、明るさの均一性の違いによるものであることを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記画質差異は、幾何特性の違いによるものであることを特徴とする請求項２記載の画像処理装置。
【請求項６】
前記低倍率撮像手段は、標本に対して相対走査することにより標本全体像を撮像するラインセンサを有し、前記高倍率撮像手段は、標本の一部を撮像するエリアセンサを有することを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記低倍率撮像手段により撮像した低倍率画像と、前記高倍率撮像手段により撮像した高倍率画像とを比較することにより、前記低倍率撮像手段と前記高倍率撮像手段との位置関係を検出し、検出した位置関係をもとに、前記領域分割情報を補正することを特徴とする請求項１または請求項６記載の画像処理装置。
【請求項８】
前記位置関係は水平又は垂直移動を考慮して決定されることを特徴とする請求項７の画像処理装置。
【請求項９】
前記位置関係は回転移動を考慮して決定されることを特徴とする請求項７の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置に関し、特に、分割撮像された標本の複数の画像から、広視野且つ高解像な顕微鏡画像を確実に貼り合せする顕微鏡画像貼り合せ装置に関する。
【０００２】
【従来の技術】
顕微鏡を用いて標本を観察する場合、一度に観察できる範囲は主に対物レンズの倍率によって決定されるが、対物レンズが高倍率になると観察範囲は標本のごく一部分に限られてくる。一方で、病理診断においては、診断箇所の見落としを防止するために標本全体像を把握したいという要請がある。また、情報処理技術の発達により上記病理診断においても画像の電子情報化が促進されており、カメラを介して取り込む顕微鏡観察像についても旧来の銀塩フィルム並の高解像度を実現したいという要請がある。
【０００３】
これまで、高解像度または広画角の顕微鏡画像を得るための方法として以下の方法が知られていた。第１の例は、特開平３−２０９４１５号公報に開示されているように、標本を載せるステージと照明を相対的に走査させ、標本を複数の領域に分割して部分画像を取り込み、これらの配置関係通りに相連なる画像をタイルのように合成して、標本全体像を作成する方法である。第２の例は、画像貼り合わせによる標本全体像を再構成する方法に関し、例えば、特開平９−２８１４０５は、標本領域全体を複数のお互いに重複部分を有するような小領域に分割し、顕微鏡を使用して各小領域を撮像し、撮像した各画像の重複部分を比較し、位置ずれを検出して、各小領域の画像の位置を補正してから画像を貼り合せ、標本の広視野・高精細画像を生成する顕微鏡システムを開示している。第３の例は、特開２０００−５９６０６号公報に開示されているように、被写体の全体と、被写体を分割して複数の高精細部分画像を撮像し、全体画像を拡大して、全体画像から高精細に撮像した部分画像の位置を検出し、拡大全体像の対応部分を高精細な部分画像で置き換えていくことにより、高精細な全体像を合成する方法である。
【０００４】
【特許文献１】
特開平３−２０９４１５号公報
【０００５】
【特許文献２】
特開平９−２８１４０５号公報
【０００６】
【特許文献３】
特開２０００−５９６０６号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来例においては、下記のような問題点があった。
【０００８】
第１の例では、分割撮像された部分画像を単純に合成するだけであり、ステージの移動誤差を考慮していないため、各分割画像の撮像領域が正確に連ならない可能性があるので、正確な標本全体像が得られない。一般的にステージの位置再現誤差は数μから数十μである。例えば高倍率な対物レンズを使用して撮像する場合、隣接画像間の位置ずれが数画素から数十画素にもなる可能性がある。
【０００９】
第２の例では、標本を、夫々一部重複領域を有するように複数の小領域に分割撮像し、撮像した画像の重複部分をテンプレートマッチングで比較することにより、隣接画像間の正確な位置関係を検出できるようにした。しかし、領域分割の数や、貼り合せ全体画像を作成する時間を少なくするために、重複領域は一般的に画像サイズの１０％から２０％しかとれない。この限られた重複部分に特徴的な標本像がない場合、重複部分のテンプレートマッチングがうまくいかず、正確な位置ずれを検出できない可能性がある。また、画像貼り合せを順次行っていく場合、１箇所の画像の位置ずれ検出の誤差が、その後の画像の位置誤差に累積されていく。更に、各小領域の画像を撮像するとき、露出条件の違いや、撮像光学系の歪みの影響で、この方法では、複数の画像を良好に合成することが困難である。
【００１０】
第３の例では、被写体の全体像を高精細画像と同じ倍率に拡大し、全体像の拡大画像を記憶する場合に、多数の画像の貼り合せを行おうとすると拡大全体画像を保存するための膨大なメモリが必要となる。このことは、本発明の画像処理装置のような、数百から数千枚の高倍率画像を貼り合せする際には現実的な方法ではない。また、各部分画像を撮像するとき、撮像光学系の歪みの影響による合成画像のつなぎ目の不均一性をなくす技術が開示されていない。
【００１１】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、複数の画像を貼り合せ合成する際に、重複部分に標本像がなくても全体で確実な画像貼り合せができ、分割撮像時の撮像条件が異なっていても均一な背景の貼り合せ画像を構築できる画像処理装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明は画像処理装置であって、標本領域全体を第１の倍率である低い倍率で撮像する低倍率撮像手段と、標本領域全体を一部重複領域を有するように複数の小領域に分割したときの各小領域の位置情報を領域分割情報として記憶する領域分割情報記憶手段と、前記領域分割情報に従って、前記第１の倍率よりも高い倍率である第２の倍率で各分割領域と略同一の領域を順次撮像する高倍率撮像手段と、前記低倍率撮像手段により撮像した低倍率標本画像に基づき、前記高倍率撮像手段で撮像した高倍率画像の位置ずれを検出する位置ずれ検出手段と、前記位置ずれ検出手段により検出された位置ずれに基づいて各高倍率画像の位置を補正する位置ずれ補正手段と、前記位置ずれ補正手段により位置補正された各高倍率画像を順次貼り合わせて標本領域全体の高倍率画像を作成する画像貼り合せ手段とを具備する。
【００１３】
また、第２の発明は、第１の発明の画像処理装置に関し、前記位置ずれ補正手段により位置補正された各小領域の高倍率画像の画質と、前記低倍率標本画像の前記高倍率画像に対応する部分画像の画質の差異を検出する画質差異検出手段と、
前記画質差異検出手段により検出された画質の差異に基づき、各小領域の高倍率画像の画質を補正する画質差異補正手段とを更に有する。
【００１４】
また、第３の発明は、第２の発明の画像処理装置に関し、前記画質差異は、明るさの違いによるものである。
【００１５】
また、第４の発明は、第２の発明の画像処理装置に関し、前記画質差異は、明るさの均一性の違いによるものである。
【００１６】
また、第５の発明は、第２の発明の画像処理装置に関し、前記画質差異は、幾何特性の違いによるものである。
【００１７】
また、第６の発明は、第１の発明の画像処理装置に関し、前記低倍率撮像手段は、標本に対して相対走査することにより標本全体像を撮像するラインセンサを有し、前記高倍率撮像手段は、標本の一部を撮像するエリアセンサを有する。
【００１８】
また、第７の発明は、第１または第６の発明の画像処理装置に関し、前記低倍率撮像手段により撮像した低倍率画像と、前記高倍率撮像手段により撮像した高倍率画像とを比較することにより、前記低倍率撮像手段と前記高倍率撮像手段との位置関係を検出し、検出した位置関係をもとに、前記領域分割情報を補正する。
【００１９】
また、第８の発明は、第７の発明の画像処理装置に関し、前記位置関係は水平又は垂直移動を考慮して決定される。
【００２０】
また、第９の発明は、第７の発明の画像処理装置に関し、前記位置関係は回転移動を考慮して決定される。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２２】
（第１の実施形態）
先ず、本発明による第１の実施形態を説明する。本実施形態の画像処理装置はシステム構成として、不図示の、複数種類の倍率の対物レンズを有する顕微鏡と、標本を顕微鏡の視野下で２次元的に移動させる電動ステージと、顕微鏡画像を撮像するＣＣＤカメラと、上記した各部を制御する制御装置としてのパーソナルコンピュータとを具備している。
【００２３】
図１は、第１の実施形態に係る画像処理装置の機能ブロック図である。標本の高解像・広視野画像を生成するため、まず、低倍率の対物レンズを用いて低倍率撮像手段１１により標本の全体像の低倍率画像を撮像する。撮像素子の画素数と、低倍率撮像手段１１の視野の範囲及び電動ステージの座標から、撮像された画像の画素位置とステージの座標との対応関係を算出する。
【００２４】
次に撮像した低倍率画像領域を、一部重複領域を有するように複数の小領域に分割する。このときに取得した領域分割情報は電動ステージの座標に変換されて領域分割情報記憶手段１３に記憶される。
【００２５】
続いて、対物レンズを高倍率に切り換え、電動ステージを駆動して、前記領域分割情報記憶手段１３に記憶されている座標に標本を移動させる、すると、高倍率の対物レンズの撮像範囲下に所定の小領域が移動されるので、ここで、高倍率撮像手段１２により当該小領域の高倍率画像を撮像する。
【００２６】
ここで順次入力される高倍率画像を正確に貼り合せるために、撮像した高倍率画像の領域分割情報が示す所定の位置からのずれを検出して補正を行わなければならない。そこで位置ずれ検出手段１４では、上記領域分割情報に基づき、低倍率の標本全体の画像から、撮像される高倍率画像に対応する低倍率の部分領域を切り出し、この低倍率部分画像を基準として、高倍率画像とテンプレートマッチングすることで、高倍率画像の位置ずれを検出する。そして、位置ずれ補正手段１５では、検出した位置ずれ情報に従って、高倍率画像の位置を補正する。補正された高倍率画像は画像貼り合せ手段１６に入力される。画像貼り合わせ手段１６は、上記領域分割情報に基づき、当該補正された高倍率画像と１つ前の補正された高倍率画像とを順次繋ぎ合わせることにより高倍率合成画像を逐次完成させていく。
【００２７】
図２は、低倍率標本全体画像Ｌと、４分割された標本領域との関係を示している。図２においてＬ１、Ｌ２、Ｌ３、Ｌ４は一部重複領域を有するように分割された４つの小領域を示す。各小領域Ｌ１、Ｌ２、Ｌ３、Ｌ４の中心の座標が電動ステージの座標系に変換され、それぞれ（ｘ１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）、（ｘ４、ｙ４）となり、この座標情報が領域分割情報記憶手段１３に記憶される。
【００２８】
小領域Ｌ１を高倍率で撮像するときには、電動ステージを駆動してステージ座標（ｘ１、ｙ１）に標本を移動させて高倍率レンズで撮像する。電動ステージの座標再現性が十分正確であれば、目標通りの領域を高倍率で撮像できるため、高倍率画像の位置ずれが生じない。しかし、一般的な電動ステージの座標再現精度は数μから数十μである。Ｌ１の領域を撮像するつもりでも、撮像された高倍率画像は、この座標再現精度分だけ所定の位置からずれる可能性がある。したがって、正確な画像貼り合せを行うためには、低倍率画像、領域分割情報、そして高倍率画像を位置ずれ検出手段１４に入力させて、高倍率画像の所定の領域からの位置ずれを検出しなければならない。
【００２９】
以下に位置ずれ検出手段１４の作用を図３、図４を参照して詳細に説明する。図３（Ａ）に示すＬ１は、領域分割情報に従って低倍率標本画像Ｌから切り出した分割小領域の画像である。Ｌ１の中心のステージ座標は（ｘ１、ｙ１）である。この画像Ｌ１に対応する高倍率で撮像した画像はＨ１（図３（Ｂ））であり、ここではその中心のステージ座標を（ｘｈ１、ｙｈ１）とする。
【００３０】
ステージ座標についての再現誤差がない場合、（ｘ１、ｙ１）＝（ｘｈ１、ｙｈ１）になるが、実際にはずれが生じる。そこでこのずれ（Δｘ、Δｙ）をＬ１とＨ１のテンプレートマッチングにより求める。Ｌ１に対するＨ１の位置ずれを求めるには、まず、この倍率の異なる２枚の画像を同じ倍率の画像に変換しなければならない。低倍率画像Ｌ１の撮像倍率をｂとし、高倍率画像Ｈ１の撮像倍率をａとし、テンプレートマッチングを行うための倍率をｃとする。なお、一般的に、ａ≦ｃ≦ｂの関係がある。
【００３１】
図４（Ａ）に示すＬ１’は線形補間によりＬ１を中間倍率ｃに拡大した画像であり、図４（Ｂ）に示すＨ１’はＨ１を中間倍率ｃに縮小した画像である。テンプレートマッチングを行うために、Ｈ１’の中心付近の領域Ｔ１をテンプレート画像とし、ステージ座標の再現精度を考慮して、Ｌ１’の領域Ｓ１を探索領域とする。探索領域Ｓ１はテンプレート画像Ｔ１よりも大きい。テンプレートマッチングを行うとき、テンプレート画像Ｔ１を検索領域Ｓ１内で走査させながら、評価関数を用いてテンプレートと探索領域における対応ブロックのマッチングの度合いを評価し、最もマッチング度合いの高い位置を検出すれば、その位置と座標（ｘ１、ｙ１）との差が高倍率画像の位置ずれとなる。ここでは評価関数として、テンプレートと対応ブロック間の正規化相関係数を用いてもよいし、各画素において、テンプレートと対応ブロックの輝度差の絶対値の和を用いてもよい。
【００３２】
テンプレートマッチングの成功の確率やマッチングの精度を上げるために、テンプレートとその検索領域をなるべく大きくしなければならないが、これによりマッチング処理に時間がかかる。そこで複数段階のテンプレートマッチングによる高速化を行う。先ず、中間倍率ｄ（ａ＜ｄ＜ｃ）で粗く検索を行い、粗く検出した領域の周辺においてそれから中間倍率ｃで精密な検索を行ってもよい。
【００３３】
本実施形態では電動ステージを使っているため、この位置ずれが垂直又は水平方向の移動しか考慮しないが、回転がある場合には回転角度も含めて検出する。位置検出手段１４で高倍率画像の位置ずれを検出した後、検出データを用いて、高倍率画像の位置ずれ補正を行う。この補正はアフィン変換を用いて行う。
【００３４】
図５は高倍率画像の位置ずれ補正の一例を示している。（Δｘ、Δｙ）は位置ずれ検出手段１４で求めた高倍率画像Ｈ１の位置ずれである。高倍率画像Ｈ１の画像内容を（Δｘ、Δｙ）分移動させると、位置ずれのない高倍率画像Ｈ１”が得られる。なお、移動によって生じた画像周辺の（Δｘ、Δｙ）の空白部分は画像貼り合せ時に重複部分から除外される。
【００３５】
画像貼り合せ手段１６は、上記領域分割情報に従って、入力された位置ずれ補正後の高倍率画像を逐次つなぎ合せて、標本全体の高倍率画像を生成する。領域分割情報から、隣接する高倍率画像間の重複領域の幅が算出できるので、この重複領域の幅の算出を行う際に、高倍率画像の位置ずれ補正によって画像周辺に生じた空白部分を除く。重複領域においては、隣接画像間でブレンディング処理を行って、重複領域の中心がつなぎ目になるように処理を行う。
【００３６】
以下に、上記した本実施形態のアルゴリズムを詳細に説明する。図６は、本実施形態の処理アルゴリズムを示すフローチャートである。貼り合せ処理を開始（ステップＳ５０）させると、制御装置により顕微鏡の対物レンズが低倍率設定され、低倍率で標本の全体像を撮像する（ステップＳ５１）。続いて低倍率画像を所定の小領域に分割し、このときの分割情報及び後で高倍率での撮像を行うときの順番が保存される（ステップＳ５２）。この時、低倍率画像の大まかな範囲を自動的に検出して、自動的に小領域に分割してもよいし、低倍率画像をユーザに提示して、ユーザが領域を選んで小領域に分割してもよい。
【００３７】
続いて、制御装置の指示により、顕微鏡の対物レンズを高倍率に切り替える（ステップＳ５３）。次に、処理順番を示す変数Ｎに初期値として１を与える（ステップＳ５４）。続いて、処理順番に対応する小領域を高倍率で撮像するために、電動ステージで小領域Ｌに対応する標本部分を高倍率撮像手段の撮影視野下に移動させる（ステップＳ５５）。そして、高倍率画像を撮像する（ステップＳ５６）。
【００３８】
続いて電動ステージの位置再現誤差による高倍率画像の位置ずれを検出するために、低倍率画像において、対応する低倍率部分画像を切り出し、所定の中間倍率ｃに画像を拡大し（ステップＳ５７）、同時に高倍率画像を同じ中間倍率ｃに縮小する（ステップＳ５８）。
【００３９】
続いて、高倍率画像の中心部をテンプレートと定義し、低倍率画像の所定の検索範囲で対応するブロックを検出する。このテンプレートマッチングにより、高倍率画像の所定位置（領域分割時の位置）に対する位置ずれが検出される（ステップＳ５９）。検出した位置ずれに基づき、高倍率画像の位置ずれを補正する（ステップＳ６０）。
【００４０】
補正後の高倍率画像を１つ前の高倍率画像と貼り合せし（ステップＳ６１）、順次に標本の高倍率全体画像を作っていく。次の高倍率画像処理に行く前に、分割された領域の処理が全て終わったかどうかを判断する（ステップＳ６２）。ここで終わっていないと判断された場合には、処理順番を示す変数Ｎを１つ増やし（ステップＳ６４）、ステップＳ５５に戻って処理を繰り返す。一方、ステップＳ６２で分割された領域の全ての処理が終わったと判断された場合には、最終的に出来上がった高倍率標本全体像を出力して（ステップＳ６３）、貼り合せ処理全体を終了させる（ステップＳ６５）。
【００４１】
以上の説明では、座標系を全て電動ステージの座標系と想定して説明したが、高倍率時の画素単位に変換しても問題がない。また、ステージが電動式として説明したが、マニュアル操作のステージでもよい。さらに、撮像手段を固定して標本を２次元的に移動させるのではなく、標本を固定して撮像手段を標本に対して２次元的に移動させて分割撮像しても良い。
【００４２】
本実施の形態によれば、分割撮像された高倍率画像を貼り合せするとき、低倍率画像に基づいて位置ずれ補正を行うため、重複領域に標本像がなくても、正確な位置ずれ補正が可能となり、これによって全体で確実な顕微鏡画像貼り合せができる。また、画像処理に必要なメモリ量が少なくて済み、分割画像を撮像するときの露出条件の違いや光学歪みがあってもつなぎ目の目立たない良好な標本全体の高解像画像を生成できる。また、高倍率画像が逐次入力されても、画像貼り合せが逐次に行われるため、撮像動作と同期しての貼り合せにより、全体処理の高速化が実現できる。
【００４３】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図７は、第２の実施形態に係る画像処理装置の機能ブロック図である。図７の構成において、図１に示す要素と同じ参照符号を有する要素は図１のそれと同等の機能を有するのでここでの説明を省略し、以下では異なる部分である、画質差異検出手段１７と画質差異補正手段１８についてのみ詳細に説明する。
【００４４】
図７において高倍率撮像手段１２で標本を分割撮像するとき、第１の実施形態で説明したようなステージ精度による位置ずれ以外に、高倍率画像間に画質上の差異が生じることも貼り合せ画像の画質に影響を与えるものと考えられる。まず、各高倍率画像の露出条件の違いによる高倍率画像間の明るさの違いである。分割撮像する場合、所定の領域を最適な露出条件で撮像するため、各小領域においてＣＣＤカメラのＡＧＣ（Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）をＯＮにして撮像すると、たとえ位置ずれを正確に検出して各高倍率画像が精度良くつながったとしても、貼り合せ画像上では、高倍率画像間の輝度差によってつなぎ目が目立ってしまう。
【００４５】
次に、撮像画像の明るさの特性が光軸付近と周辺とで著しく差のある撮像光学系で撮像した複数の高倍率画像を貼り合せする際、高倍率画像間の平均的な明るさが同じでも、位置ずれがなくても、貼り合せ画像上では、高倍率画像の明るさの不均一性（シェーディング）により、つなぎ目が目立ってしまう。
【００４６】
さらに、撮像系の歪曲収差により、画像の幾何特性が光軸付近と周辺とで異なる場合には、第１の実施形態の方法により高倍率画像の中心部分をテンプレートとして高倍率画像間の位置ずれを正確に求めたとしても、貼り合せ画像上では、つなぎ目付近における隣接高倍率画像の位置がずれることにより、つなぎ目が目立ってしまう。
【００４７】
そこで本実施形態では、図７の位置ずれ補正手段１５によって位置ずれ補正された高倍率画像は、低倍率撮像手段１１からの対応する低倍率画像とともに、画質差異検出手段１７に入力される。画質差異検出手段１７は入力された高倍率画像と低倍率画像とを比較して、高倍率画像の画質を低倍率画像に合わせるための画質差異補正データを生成する。画質差異補正手段１８では、この画質差異補正データに基づき、当該高倍率画像の画質を補正してから、画像貼り合せ手段１６に出力する。
【００４８】
以下に、画質差異検出手段１７において、低倍率画像に対する高倍率画像の明るさの違い、または明るさの不均一性、または歪曲収差の違いを検出し、補正データを求める手順を詳しく説明する。低倍率画像に対する高倍率画像の画質差異を求めるには、位置ずれを求める方法と同様に、まず、この倍率の異なる２枚の画像を同じ倍率の画像に変換しなければならない。基準となる倍率を低倍率と高倍率の中間倍率としても良いし低倍率としてもよい。ここでは、後の高倍率画像に対する補正を考慮して、補正データの計算は高倍率を基準とする。
【００４９】
図８（Ａ）〜（Ｄ）は、高倍率画像Ｈ１、Ｈ２とそれらに対応する低倍率部分画像Ｌ１、Ｌ２の明るさの違いを示している。低倍率部分画像Ｌ１、Ｌ２は領域分割情報に基づき、標本全体像の低倍率画像から切り出した部分画像を高倍率に拡大したものである。標本全体像の低倍率画像は一枚の画像として撮像されたものであるため、そこから分割された部分画像が同じ露出条件で撮像された画像と同じである。一方、高倍率画像Ｈ１、Ｈ２を撮像する時の露出条件が異なるため、高倍率画像の明るさを、Ｈ１からＬ１に及びＨ２からＬ２に夫々補正しなければならない。
【００５０】
図９（Ａ）、（Ｂ）は、低倍率画像、高倍率画像Ｈ１、高倍率画像Ｈ２それぞれを撮像するときの入出力特性を示す図である。図９（Ａ）において、ｌ（エル）ｖ、ｈｖ１、ｈｖ２を低倍率画像、高倍率画像Ｈ１、高倍率画像Ｈ２それぞれに対応する入出力特性曲線と仮定すると、高倍率画像Ｈ１の平均明るさを低倍率部分画像Ｌ１と同じに補正するために、高倍率画像Ｈ１の各画素値に補正値Ｖ１を加算すればよい。
【００５１】
Ｖ１  ＝  ＶＬ１  −  ＶＨ１
ここでＶＬ１、ＶＨ１は、それぞれ画像Ｌ１、Ｈ１の画素値の平均値である。同様に、画像Ｈ２の平均明るさをＬ２と同じに補正するために、Ｈ２の各画素値に補正値Ｖ２を加算すればよい。
【００５２】
Ｖ２  ＝  ＶＬ２  −  ＶＨ２
ここでＶＬ２、ＶＨ２は、それぞれ画像Ｌ２、Ｈ２の画素値の平均値である。しかし、一般的に撮像素子の入出力特性は図９（Ａ）に示すような単純な直線とはならない。図９（Ｂ）のように、入出力特性が曲線である場合、高倍率画像の各画素において、入力画素値に応じて入出力補正を行う必要がある。この場合、予め測定しておいた低倍率画像と高倍率画像の入出力特性から、画素値に対応した補正テーブルを求めて補正データとして使用する。
【００５３】
図１０は、高倍率画像Ｈ１（図１０（Ｂ））とそれらに対応する低倍率部分画像Ｌ１（図１０（Ａ））の幾何変形の違いを検出する手順を説明するための図である。高倍率撮像手段の場合と同様に、低倍率撮像手段で撮像した低倍率画像にも光学系による歪曲収差が存在する。しかし、本発明は、低倍率画像を基準にして高倍率画像の貼り合せを行うことを目的としているため、貼り合せ全体像に収差があっても、つなぎ目部分に位置ずれがなければ良い。また、低倍率部分画像Ｌ１が低倍率全体像の１つの小領域であるため、歪曲収差が無視できるものと考えられる。以降、低倍率部分画像Ｌ１がレンズ光学系による歪曲収差がすでに補正されたか、または歪曲収差がないものと仮定して、高倍率撮像手段の光学系による歪曲収差の補正データを算出する方法を説明する。
【００５４】
まず、図１０（Ａ）に示す低倍率部分画像Ｌ１の中から複数の特徴点５０を抽出する。特徴点５０は周辺画素を含むブロックのコントラストが高い画素とする。続いて低倍率画像の特徴点５０それぞれの対応点５１を高倍率画像の中から検出する。対応点５１の検出方法としてテンプレートマッチングを用いる。これにより、複数の特徴点５０と対応点５１の座標データが得られる。特徴点５０の座標を（ｘｉ，ｙｉ）、対応点５１の座標を（ｘｉ’，ｙｉ’）とすると、高倍率画像の歪曲収差を補正するためには、補正後の高倍率画像の各画素の画素値を下記の式により求めればよい。
【００５５】
（ｘ”，ｙ”）  ＝（ｘ，ｙ）
ａｖ［ｘ”，ｙ”］  ＝  ｈｖ［ｘ’，ｙ’］
ここで、ａｖ［］は補正後の高倍率画像の各画素の画素値で、ｈｖ［］は補正前の高倍率画像の各画素の画素値である。特徴点５０とその対応点５１を求めたことで、特徴点５０となる位置の画素の対応点５１の座標が分かるが、それ以外の位置の対応点の座標はわからない。低倍率画像の全画素の高倍率画像における対応画素の位置を求めるには、注目画素の近傍の複数の特徴点５０とその対応点５１の座標から線形補間によって求められる。勿論、標準的な歪曲収差を表す数式の係数を複数組の特徴点と対応点から推定して、低倍率部分画像の全画素の高倍率画像における対応画素の位置を求めても良い。
【００５６】
図１１は、高倍率画像Ｈ１（図１１（Ｂ））と対応する低倍率部分画像Ｌ１（図１１（Ａ））の明るさの均一性の違いを検出する手順を説明するための図である。撮像レンズのシェーディングや、標本に対する照明の違いによって低倍率画像に対する高倍率画像の明るさの不均一が存在する。以下では、低倍率部分画像Ｌ１に合わせて高倍率画像Ｈ１のシェーディングを補正するデータを求める方法を説明する。なお、図１１（Ｂ）において、高倍率画像Ｈ１は位置ずれ補正、明るさ補正、歪曲収差補正の必要な補正が行われた後の画像であることを想定する。
【００５７】
高倍率画像のシェーディングを補正するには、低倍率部分画像Ｌ１の中から複数の特徴点を抽出する。図１０（Ａ）に示すように、所定の位置の画素を特徴点５２としてもよいが、周辺画素を含むブロックのコントラストが低い位置の画素を使用することがより好ましい。これは万一、特徴点５２と対応点５３に微小なずれがあったときでも、より正確なシェーディングデータを得るためである。
【００５８】
位置ずれ補正、明るさ補正、歪曲収差補正を含む必要な補正が行われた高倍率画像では、高倍率画像と低倍率部分画像の各画素の位置が完全に一致するため、高倍率画像の中の同じ位置の画素が特徴点５２の対応点５３となる。（ｘｉ，ｙｉ）を特徴点５２（対応点５３の）座標とし、特徴点５２の画素値と対応点５３の画素値の比ｋ［ｘｉ，ｙｉ］が求められる。この画素値の比を高倍率画像のシェーディングデータとなる。補正後の高倍率画像の各画素の画素値を下記式により求めればよい。
【００５９】
ａｖ［ｘｉ，ｙｉ］  ＝  ｈｖ［ｘｉ，ｙｉ］＊ｋ［ｘｉ，ｙｉ］
但し、ａｖ［］は補正後の高倍率画像の各画素の画素値で、ｈｖ［］は補正前の高倍率画像の各画素の画素値である。特徴点５２と対応点５３における補正データが求められたが、それ以外の位置の補正データがわからない。対応点５３以外の高倍率画像の全画素における補正データを求めるには、注目画素の近傍の複数の補正データから線形補間によって求められる。勿論、標準的なシェーディングを表す数式の係数を、複数組の特徴点５２と対応点５３の画素値の比から推定して、高倍率画像の全画素の補正データを求めてもよい。
【００６０】
これまで高倍率画像毎に画質差異を検出して補正することを仮定して説明してきたが、勿論所定の小領域の高倍率画像において求めた画質差異を、その他の小領域の高倍率画像の処理に使ってもよい。
【００６１】
以上説明したように、本実施の形態によれば、高倍率画像を撮像するときに、撮像条件による高倍率画像の低倍率画像に対する画質の差異を検出し、それぞれ補正することで、高倍率画像の露出条件が異なった場合でも、高倍率画像撮像手段に歪曲収差があっても、高倍率画像撮像手段による明るさが不均一であっても、つなぎ目が目立たないような高倍率標本全体像を生成できる。
【００６２】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。これまでの実施形態において、低倍率画像は低倍率レンズを使用して撮像し、高倍率画像は高倍率レンズを使用して撮像し、低倍率撮像手段と高倍率撮像手段とは同じ種類の撮像素子を用いることを想定して説明してきた。しかし、顕微鏡の低倍率レンズの撮影視野には限界がある。通常、標本全体は低倍率レンズの視野より広い。標本全体像を撮像するために、低倍率撮像手段と高倍率撮像手段とを別々に設けて、低倍率画像は標本範囲をカバーできるラインセンサで撮像し、高倍率撮像は従来のエリアセンサで撮像する。
【００６３】
図１２はこの実施形態に係る画像処理装置の構成を示す図である。先ず、低倍率画像を撮像するとき、電動ステージ１２４をＸ方向に移動させながら、低倍率撮像素子であるライン型ＣＣＤ１２２で標本１２３の全体を撮像する。次に、撮像した低倍率標本の全体像に基づき、標本領域を複数の小領域に分割する。高倍率画像を撮像するとき、分割された小領域をステージ１２４で高倍率撮像手段であるエリア型ＣＣＤの視野下に移動させて順次高倍率画像を撮像する。以降の処理は従来実施形態と同じであるため省略する。
【００６４】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。電動ステージを移動せずに、低倍率レンズと高倍率レンズを切り換えて撮像したとき、撮影視野に、図１３に示すようなレンズ光軸のずれによる芯ずれと、図１４に示すような芯回転による角度ずれとが存在する。
【００６５】
本発明では、まず、低倍率画像を参照して標本全体を複数の小領域に分割し、各小領域の位置情報に従ってステージを移動させ、次に高倍率画像の撮像を行い、各小領域の高倍率画像と、対応する低倍率画像の部分画像との位置ずれを検出し、次に高倍率画像の位置ずれ補正を行ってから、高倍率画像同士を貼り合せすることを特徴としている。したがって、低倍率と高倍率の芯ずれ又は芯回転が大きい場合、低倍率画像に基づいて標本全体を領域分割し、このときの領域分割情報に従ってステージの移動量を指示しても、所望の位置の高倍率画像が撮像できない。そこで、予め低倍率レンズと高倍率レンズの切り替えによる芯ずれと芯回転がどの程度あるのかを検出しなければならない。
【００６６】
芯ずれの検出方法として、ステージの位置を移動せず、全く同じ位置で低倍率画像と高倍率画像を撮像し、高倍率画像をテンプレートとして、低倍率画像のなかからマッチング位置を検出すれば、マッチング位置と画像の中心とのずれが芯ずれとして検出できる。
【００６７】
一方、芯回転の検出方法として、まず、芯ずれの検出方法と同様に、ステージの位置を移動せず、全く同じ位置で低倍率画像と高倍率画像を撮像し、高倍率画像と低倍率画像のマッチング位置を求め、次に、マッチング位置において、テンプレートを少しずつ回転させながら、最も相関係数が最大となる角度を求めることで、芯回転の角度が求められる。
【００６８】
その他の方法として、低倍率画像と撮像位置の異なる２つ以上の高倍率画像を用いて、高倍率画像の夫々が低倍率画像における位置を検出し、それらの位置から、高倍率と低倍率撮像手段の回転角度ずれが求められる。
【００６９】
上記のように検出した低倍率と高倍率の芯ずれを用いて、低倍率画像に基づいて標本全体を分割する領域分割情報を補正する。領域分割情報を各分割領域の中心のステージ座標である（ｘｉ、ｙｉ）（ｉは各分割領域の番号を表す）で表し、検出した芯ずれを（Δｘ、Δｙ）としたとき、領域分割情報は（ｘｉ＋Δｘ、ｙｉ＋Δｙ）と補正される。補正された値は記憶手段（例えば図１の領域分割情報記憶手段１３）に記憶される。
【００７０】
勿論、芯ずれがなくなるようにレンズ位置のマニュアル調整を行ってもよい。一方、低倍率レンズに対する高倍率レンズの芯回転角度をαとした場合、芯回転を補正する方法として、低倍率画像をα度だけ回転させて新たな低倍率画像とし、高倍率画像をそのままとすることが好ましい。勿論、低倍率画像をそのままにして各高倍率画像を−α度だけ回転させてもよいし、回転がないように低倍率レンズ又は高倍率レンズの回転角度を調整してもよい。
【００７１】
【発明の効果】
本発明によれば、複数の画像を貼り合せ合成する際に、重複部分に標本像がなくても全体で確実な画像貼り合せができ、分割撮像時の撮像条件が異なっていても均一な背景の貼り合せ画像を構築できる画像処理装置を提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の機能ブロック図である。
【図２】低倍率標本全体画像Ｌと、４分割された標本領域との関係を示す図である。
【図３】位置ずれ検出手段１４の作用を説明するための図（その１）である。
【図４】位置ずれ検出手段１４の作用を説明するための図（その２）である。
【図５】高倍率画像の位置ずれ補正の一例を示す図である。
【図６】本実施形態の処理アルゴリズムを示すフローチャートである。
【図７】本発明の第２の実施形態に係る画像処理装置の機能ブロック図である。
【図８】高倍率画像Ｈ１、Ｈ２とそれらに対応する低倍率部分画像Ｌ１、Ｌ２の明るさの違いを示す図である。
【図９】低倍率画像、高倍率画像Ｈ１、高倍率画像Ｈ２それぞれを撮像するときの入出力特性を示す図である。
【図１０】高倍率画像Ｈ１とそれらに対応する低倍率部分画像Ｌ１の幾何変形の違いを検出する手順を説明するための図である。
【図１１】高倍率画像Ｈ１と対応する低倍率部分画像Ｌ１の明るさの均一性の違いを検出する手順を説明するための図である。
【図１２】本発明の第３の実施形態に係る画像処理装置の構成を示す図である。
【図１３】本発明の第４の実施形態に関して、高倍率レンズと低倍率レンズの光軸のずれによる芯ずれを示す図である。
【図１４】本発明の第４の実施形態に関して、芯回転による角度ずれを示す図である。
【符号の説明】
１１…低倍率撮像手段、１２…高倍率撮像手段、１３…領域分割情報記憶手段、１４…位置ずれ検出手段、１５…位置ずれ補正手段、１６…画像貼り合わせ手段、１７…画質差異検出手段、１８…画質差異補正手段。
【図１】
2004343222.tif 000003
【図２】
2004343222.tif 000004
【図３】
2004343222.tif 000005
【図４】
2004343222.tif 000006
【図５】
2004343222.tif 000007
【図６】
2004343222.tif 000008
【図７】
2004343222.tif 000009
【図８】
2004343222.tif 000010
【図９】
2004343222.tif 000011
【図１０】
2004343222.tif 000012
【図１１】
2004343222.tif 000013
【図１２】
2004343222.tif 000014
【図１３】
2004343222.tif 000015
【図１４】
2004343222.tif 000016