(57)【特許請求の範囲】
【請求項１】
ある条件下で撮影された画像データと前記画像データの対象物の同一条件下での測色値を取得し、前記取得した画像データと測色値を使用して、輝度値が非線形に変化する非線形色空間における画像信号を色変換する変換マトリックスを決定する変換マトリックス決定方法であって、
前記画像データの非線形色空間である第１の色空間における画像信号を取得し、
前記第１の色空間における画像信号を非線形変換により輝度値に対し線形に変化する線形色空間である第２の色空間の画像信号に変換し、
前記第２の色空間における画像信号を線形色空間である第３の色空間における画像信号へ色変換する仮変換マトリックスを決定し、
前記決定した仮変換マトリックスを使用して、前記第２の色空間における画像信号を前記第３の色空間における画像信号へ色変換し、
前記第３の色空間における画像信号を非線形変換により非線形色空間である第４の色空間における画像信号に変換し、
前記第１の色空間における画像信号を変換マトリックスを使用して色変換した画像信号と前記第４の色空間における画像信号との色差が最小になるように、当該変換マトリックスを決定する変換マトリックス決定方法。
【請求項２】
請求項１に記載の変換マトリックス決定方法において、
前記ある条件は、前記対象物と、前記画像データの撮影に使用する撮像装置もしくは前記測色値取得に使用する測定器との間の光学系に対する条件である変換マトリックス決定方法。
【請求項３】
請求項１または２に記載の変換マトリックス決定方法において、
前記仮変換マトリックスは、前記画像データの撮影時における視環境と前記画像データの再生時の視環境の違いを考慮して決定された変換マトリックスである変換マトリックス決定方法。
【請求項４】
請求項３に記載の変換マトリックス決定方法において、
前記画像データの撮影時における視環境で、前記対象物を測色し、
前記測色した測色値から、前記視環境の違いによる色順応を考慮して、前記測色した色の前記第３の色空間における色を予測し、
前記第２の色空間における画像データと前記第３の色空間での予測した色とに基づき、前記仮変換マトリックスを決定する変換マトリックス決定方法。
【請求項５】
請求項１から４のいずれかに記載の変換マトリックス決定方法において、
前記第１の色空間から前記第２の色空間への非線形変換は、前記第４の色空間から前記第３の色空間への非線形変換と同等である変換マトリックス決定方法。
【請求項６】
撮影画像の色変換処理において使用する変換マトリックスを決定する変換マトリックス決定方法であって、
非線形色空間である第１の色空間における画像信号を取得し、
前記第１の色空間における画像信号を非線形変換により輝度値に対し線形に変化する線形色空間である第２の色空間における画像信号に変換し、
前記第２の色空間における画像信号を線形色空間である第３の色空間における画像信号へ色変換する第１の変換マトリックスを決定し、
前記決定した第１の変換マトリックスを使用して、前記第２の色空間における画像信号を前記第３の色空間における画像信号へ色変換し、
前記第３の色空間における画像信号を非線形変換により非線形色空間である第４の色空間における画像信号に変換し、
前記第１の色空間における画像信号を変換マトリックスを使用して色変換した画像信号と前記第４の色空間における画像信号との色差が最小になるように、当該変換マトリックスを決定する変換マトリックス決定方法。
【請求項７】
請求項１から６のいずれかに記載の変換マトリックス決定方法をコンピュータに実行させる画像処理プログラム。
【請求項８】
請求項７に記載の画像処理プログラムを搭載する画像処理装置。
【請求項９】
請求項１から６のいずれかに記載の変換マトリックス決定方法によって決定した変換マトリックスを使用する画像処理プログラムを搭載する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の色変換のための変換マトリックスを決定する変換マトリックス決定方法、画像処理装置、画像処理プログラム、および、決定した変換マトリックスを搭載する撮像装置に関する。
【背景技術】
【０００２】
光の３原色の各々の強度信号に対して非線形な色空間で表現された画像データをいったん光の３原色の各々の強度信号に対して線形な色空間で表現された画像データに変換し、線形な色空間で表現された画像データをマトリックス変換による色変換処理を行い、その後再度非線形な色空間で表現された画像データに戻す技術が知られている（例えば、特許文献１参照）。【０００３】
【特許文献１】特開２００２−１１６７５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、線形色空間での色変換は、色再現性は向上するが、画像の入出力空間として一般的なｓRGB色空間は、モニタのγ特性（入力−発光特性）に合わせてγ＝2.2という非線形な色空間に定義されているため、画像の入出力の際、非線形変換処理が必要になり処理が重たくなるという問題が生じる。
【課題を解決するための手段】
【０００５】
請求項１に記載の変換マトリックス決定方法は、ある条件下で撮影された画像データと前記画像データの対象物の同一条件下での測色値を取得し、前記取得した画像データと測色値を使用して、輝度値が非線形に変化する非線形色空間における画像信号を色変換する変換マトリックスを決定する変換マトリックス決定方法であって、前記画像データの非線形色空間である第１の色空間における画像信号を取得し、前記第１の色空間における画像信号を非線形変換により輝度値に対し線形に変化する線形色空間である第２の色空間の画像信号に変換し、前記第２の色空間における画像信号を線形色空間である第３の色空間における画像信号へ色変換する仮変換マトリックスを決定し、前記決定した仮変換マトリックスを使用して、前記第２の色空間における画像信号を前記第３の色空間における画像信号へ色変換し、前記第３の色空間における画像信号を非線形変換により非線形色空間である第４の色空間における画像信号に変換し、前記第１の色空間における画像信号を変換マトリックスを使用して色変換した画像信号と前記第４の色空間における画像信号との色差が最小になるように、当該変換マトリックスを決定することを特徴とする。
請求項２に記載の変換マトリックス決定方法は、請求項１に記載の変換マトリックス決定方法において、前記ある条件は、前記対象物と、前記画像データの撮影に使用する撮像装置もしくは前記測色値取得に使用する測定器との間の光学系に対する条件であることを特徴とする。
請求項３に記載の変換マトリックス決定方法は、請求項１または２に記載の変換マトリックス決定方法において、前記仮変換マトリックスは、前記画像データの撮影時における視環境と前記画像データの再生時の視環境の違いを考慮して決定された変換マトリックスであることを特徴とする。
請求項４に記載の変換マトリックス決定方法は、請求項３に記載の変換マトリックス決定方法において、前記画像データの撮影時における視環境で、前記対象物を測色し、前記測色した測色値から、前記視環境の違いによる色順応を考慮して、前記測色した色の前記第３の色空間における色を予測し、前記第２の色空間における画像データと前記第３の色空間での予測した色とに基づき、前記仮変換マトリックスを決定することを特徴とする。
請求項５に記載の変換マトリックス決定方法は、請求項１から４のいずれかに記載の変換マトリックス決定方法において、前記第１の色空間から前記第２の色空間への非線形変換は、前記第４の色空間から前記第３の色空間への非線形変換と同等であることを特徴とする。
請求項６に記載の変換マトリックス決定方法は、撮影画像の色変換処理において使用する変換マトリックスを決定する変換マトリックス決定方法であって、非線形色空間である第１の色空間における画像信号を取得し、前記第１の色空間における画像信号を非線形変換により輝度値に対し線形に変化する線形色空間である第２の色空間における画像信号に変換し、前記第２の色空間における画像信号を線形色空間である第３の色空間における画像信号へ色変換する第１の変換マトリックスを決定し、前記決定した第１の変換マトリックスを使用して、前記第２の色空間における画像信号を前記第３の色空間における画像信号へ色変換し、前記第３の色空間における画像信号を非線形変換により非線形色空間である第４の色空間における画像信号に変換し、前記第１の色空間における画像信号を変換マトリックスを使用して色変換した画像信号と前記第４の色空間における画像信号との色差が最小になるように、当該変換マトリックスを決定することを特徴とする。
請求項７に記載の画像処理プログラムは、請求項１から６のいずれかに記載の変換マトリックス決定方法をコンピュータに実行させることを特徴とする。
請求項８に記載の画像処理装置は、請求項７に記載の画像処理プログラムを搭載することを特徴とする。
請求項９に記載の撮像装置は、請求項１から６のいずれかに記載の変換マトリックス決定方法によって決定した変換マトリックスを使用する画像処理プログラムを搭載することを特徴とする。
【発明の効果】
【０００６】
本発明は、以上説明したように構成しているので、色再現性を精度よく行いながら高速な処理が可能となる。
【図面の簡単な説明】
【０００７】
【図１】顕微鏡１と顕微鏡用デジタルカメラ２とモニタ３とからなる顕微鏡観察システムを示す図である。
【図２】一般的なデジタルカメラでの画像処理の流れを示す図である。
【図３】デジタルカメラ２での画像処理の流れを示す図である。
【図４】Matrix1を決定するために使用されるパーソナルコンピュータ２１を示す図である。
【図５】Matrix1を決定するためにパーソナルコンピュータ２１内で処理される画像処理プログラムのフローを示す図である。
【図６】Matrix1を決定するための処理の流れを説明するための図である。
【図７】パーソナルコンピュータ２１とデジタルカメラ２２と分光測色計２３と顕微鏡１との関係を示す図である。
【図８】パーソナルコンピュータ２１が画像処理プログラムの提供を受ける様子を示す図である。
【発明を実施するための最良の形態】
【０００８】
本実施の形態では、顕微鏡像（顕微鏡によって拡大された像のことを言う）をカメラで撮影した撮影画像が、実際に肉眼で見た顕微鏡観察像と近い見えになるようにする方法について説明する。具体的には、カメラによって撮影した画像をカメラ内部で色変換処理するときに使用する変換マトリックスを決定する方法について説明する。【０００９】
−顕微鏡観察システム−
図１は、顕微鏡１と顕微鏡用デジタルカメラ（以下単にデジタルカメラとも言う）２とモニタ３とからなる顕微鏡観察システムを示す図である。デジタルカメラ２とモニタ３は、ケーブル４により接続される。顕微鏡１では、照明用の光源１１により標本１２が照明され、対物レンズ１３と接眼レンズ１４により拡大された標本像が観察できる。図１に示すように、顕微鏡１の上部にはデジタルカメラ２が取り付けられている。デジタルカメラ２は、撮影した画像をデジタルカメラ２に接続されたモニタ３にリアルタイムで表示することができる。【００１０】
顕微鏡１は、視野切り替えスイッチ１５を有し、接眼レンズ１４側とデジタルカメラ２側とに視野を切り替える。これにより、接眼レンズ１４を通して目視で標本１２を直接観察したり、デジタルカメラ２で撮影した顕微鏡像の画像がモニタ３に表示され、モニタ３上で標本１２を観察したりすることができる。視野切り替えスイッチ１５は、完全に接眼レンズ１４側とデジタルカメラ２側に切り替えるだけでなく、光を半分に分けることも可能である。これにより、接眼レンズ１４側からとモニタ３側からと同時に観察することも可能となる。【００１１】
本実施の形態では、顕微鏡１の接眼レンズ１４を介して直接観察した時の顕微鏡像と、デジタルカメラ２で撮影しモニタ３で表示した顕微鏡像の画像の見えが近くなるようにデジタルカメラ２内で所定の色変換処理が行われる。【００１２】
顕微鏡１とモニタ３の表示画像の見えに影響を及ぼす要因として、主に、光源１１とモニタ３の色温度の違い、光源１１とモニタ３の照明輝度の違い、接眼レンズ１４を通して顕微鏡像を観察する時とモニタ３観察時の周囲照明の違いなどがある。モニタ３の色温度は、標準視環境であればD65と決まっているが、顕微鏡照明の色温度は、光源１１に用いているランプの特性で決まり、3000K〜5000K程度とモニタより低い色温度の場合が多い。従って、照明用の光源１１とモニタ３の色温度の違いを考慮してモニタ３に表示しないと、接眼レンズ１４により肉眼で直接見る顕微鏡観察像と色が異なって見えることになる。【００１３】
また、モニタ３の場合、輝度も標準視環境では80Cd/m2と決まっており、よく使われるLCDの場合最大でも200Cd/m2程度までしか設定できない。実際には、最大輝度に設定していても経年劣化で輝度が落ちてくるので200Cd/m2以下で使用することが多い。一方、顕微鏡１を接眼レンズ１４を介して観察している場合、輝度は300Cd/m2以上で観察していることが多く、場合によっては1000Cd/m2以上とモニタ観察時より一桁近く高い輝度で観察している条件もある。【００１４】
また、周囲照明による影響も異なっている。接眼レンズ１４による顕微鏡観察時は、顕微鏡像しか見えない為、周囲の影響（周囲が明るいのか暗いのか）は余り受けていない。しかし、モニタ３による観察時は、通常明るい実験室で使用している場合が多い。従って、接眼レンズ１４で直接観察している場合に比べ、モニタ表示画像はコントラストが低く見える。また、モニタ３の色温度と周囲照明の色温度が違う場合には、視覚は周囲照明の色温度にも影響を受けるため、周囲照明の色温度の考慮も必要になる。【００１５】
本実施の形態では、この様な視環境の違いを考慮して、接眼レンズ１４を通した直接観察の場合とモニタ３を介した間接観察の場合とで、標本１２の顕微鏡観察像の見えが近くなる様にデジタルカメラ２内部で以下に説明する画像処理を行う。また、デジタルカメラ２は、モニタ３において標本１２の顕微鏡観察像をリアルタイムに表示するため、高速な処理が要求される。従って、デジタルカメラ２内部では以下に説明するような高速な画像処理を実現している。【００１６】
−一般的なデジタルカメラ−
次に、本実施の形態の顕微鏡用デジタルカメラ２での画像処理について説明する前に、風景や人物などを撮影する一般的なデジタルカメラの画像処理について説明する。図２は、一般的なデジタルカメラでの画像処理の流れを示す図である。撮影された画像は、補間処理や色変換処理など幾つかの画像処理を経て、出力画像が作成される。【００１７】
まず、STEP1では、デジタルカメラで撮影した色空間の入力画像(R0G0B0)（画像信号）は、補間処理に適した色空間で処理するため、補間用γを用いて光の３原色のそれぞれの強度に対して非線形的に表現されるRGB値が変わるように非線形変換がなされる。STEP2では、非線形色空間の画像(R1G1B1)に対して補間処理が行われ、補間処理された画像(R2G2B2)が生成される。STEP3では、STEP2での補間処理後、色変換処理に適した線形色空間へ戻すため、再度非線形処理（逆γ変換）を行い、線形色空間の画像(R3G3B3)へ戻す。STEP4では、この線形色空間の画像(R3G3B3)を、撮影時とモニタ表示の視環境の違いを考慮して、撮影時と色の見えが近いもしくは好ましい色再現をした画像(R4G4B4)へ3×3のMatrix3により色変換する。Matrix3による変換は線形変換である。出力目標とする色空間は、例えばsRGBの様な標準の色空間である。【００１８】
STEP5では、線形な色空間の画像(R4G4B4)を、入力値に対するモニタの出力特性に応じて決定された出力用の階調補正特性γに合わせて非線形変換（例えばsRGB定義のγ=2.2や画作りに合わせたγ特性等）を行い、非線形な色空間の画像(R5G5B5)を生成する。この色空間の画像(R5G5B5)は、モニタの表示などに使用される。【００１９】
画像信号の出力をJPEG圧縮ファイルとして出力する場合には、輝度／色差信号に分離する必要がある。STEP6では、STEP5の処理後、3×3のMatrix2によりRGBからYCbCrに変換する。最後に、STEP7でJPEG圧縮を行い、画像信号が出力される。すなわち、JPEG圧縮された画像データファイルが出力される。【００２０】
一般的なデジタルカメラの場合、風景写真やポートレートなど様々な色、輝度の被写体を撮影する可能性があり、どの様な色、階調についても正確な表現が必要である。従って、図２に示す様に、一度線形色空間に戻してから、線形色空間から線形色空間へ変換マトリックスによる色変換を行い、その後出力（モニタ等）に適した階調になるよう非線形変換を行う。これは、非線形色空間でマトリックス変換を行った場合、特定の輝度の色に対して色の見えが近くなる様に変換マトリックスを調整しても、調整に用いた色と大きく異なる輝度や色相の色に対しては、変換後の色相が回転したり、階調が正しく表現できなかったりするからである。【００２１】
−顕微鏡用デジタルカメラ−
しかし、風景写真を撮影する様な一般的なデジタルカメラと違って、本願のような顕微鏡用デジタルカメラ２の場合は被写体が限られている。生物顕微鏡であれば染色の種類により表示される被写体の色は限られた色が主であり、風景写真の様にあらゆる色や階調の再現を１枚の画像でする必要はない。また生物標本の場合、赤いか、青いかなど色の区別（試料の部位の違い）や濃淡の区別が重要視される場合が多い。【００２２】
非線形色空間でマトリックス演算をした場合、マトリックス作成時に考慮しなかった色に付いては色相が多少回転する可能性はあるが、適切に調整していれば逆転（例えば赤が青に、青が赤に）することはなく、また濃淡が逆転することもない。従って、観察試料の特徴に合わせて適切に調整した変換マトリックスを用いれば、顕微鏡用デジタルカメラ２の場合、非線形色空間でマトリックス演算しても従来と遜色のない見えの再現が可能である。また、非線形色空間でマトリックス演算すれば、非線形変換を一般的なデジタルカメラに比べ２回省略することが可能であり、カメラ内でのより高速処理が可能となる。【００２３】
そこで、本実施の形態のデジタルカメラ２では、図３に示すような画像処理を行う。図３は、デジタルカメラ２での画像処理の流れを示す図である。【００２４】
まず、STEP11には、図２のSTEP1と同様に、デジタルカメラで撮影した色空間の入力画像（画像信号）(R0G0B0)が入力される。そして、STEP11において、色空間の入力画像(R0G0B0)をユーザ階調補正特性γを用いて非線形変換される。ユーザ階調補正特性γは、図２の補間用階調補正特性γではなく、補間処理および出力時の画作りも考慮した階調補正特性γである。例えば、S字カーブの様な特性を持ったγである。従って、STEP11では、補間処理および出力に適した非線形な色空間の画像(R1G1B1)が生成される。【００２５】
STEP12では、非線形な色空間の画像(R1G1B1)に対して補間処理が行われ、補間処理された画像(R2G2B2)が生成される。STEP14では、補間処理された非線形色空間の画像(R2G2B2)から画像信号出力用色空間の画像(R5G5B5)へ3×3のMatrix1により色変換する。画像信号出力用色空間(R5G5B5)は、出力目標とする色空間であり、例えばsRGBの様な標準の色空間に相当する空間である。Matrix1による変換は線形変換である。STEP14で生成される色空間の画像(R5G5B5)は、図２のSTEP5で非線形変換して生成された非線形な色空間(R5G5B5)の画像と同等の画像である。【００２６】
画像信号の出力をJPEG圧縮ファイルとして出力する場合には、輝度／色差信号に分離する必要がある。従って、STEP16で、図２のSTEP6と同様に、3×3のMatrix2によりRGBからYCbCrに変換する。STEP17では、図２のSTEP7と同様に、JPEG圧縮を行い画像信号が出力される。すなわち、JPEG圧縮された画像データファイルが出力される。【００２７】
このように、本実施の形態の顕微鏡用デジタルカメラ２では、非線形色空間の画像(R2G2B2)を線形変換Matrix1によりマトリックス変換し非線形な色空間の画像(R5G5B5)を生成する。これにより、図２の一般的なデジタルカメラの画像処理に対して、非線形変換を２回省略し、デジタルカメラ２内での高速な処理を実現している。【００２８】
このように非線形色空間で色変換する場合、STEP14で用いるMatrix1は、観察対象となる試料に合わせて適切に調整したマトリックスである必要が有る。以下、Matrix1の調整、すなわち、Matrix1の決定方法について説明する。【００２９】
−Matrix1の決定−
図４は、Matrix1を決定するために使用されるパーソナルコンピュータ２１を示す図である。パーソナルコンピュータ２１には、デジタルカメラ２２と分光測色計２３とモニタ２４が接続されている。図７は、パーソナルコンピュータ２１とデジタルカメラ２２と分光測色計２３と顕微鏡１との関係を示す図である。【００３０】
デジタルカメラ２２は、図７に示すように顕微鏡１に搭載され、撮影した顕微鏡像の画像をパーソナルコンピュータ２１に出力する。デジタルカメラ２２から出力される画像は、画像処理が施されていないＲａｗデータであり、前述した色空間の画像(R0G0B0)である。分光測色計２３も、デジタルカメラ２２と同様に顕微鏡１に搭載することができる。分光測色計２３とデジタルカメラ２２は、それらの光軸と顕微鏡１の対物レンズ１３および接眼レンズ１４の光軸とが一致するように顕微鏡１に搭載されており、視野切り替えスイッチ１５を用いて顕微鏡像の光軸上の２度視野範囲を測色し、取得した測色値をパーソナルコンピュータ２１に出力する。測色値は、CIE1931XYZ表色系で表されている。【００３１】
分光測色計２３とデジタルカメラ２２、並びに、顕微鏡１の対物レンズ１３、接眼レンズ１４の光軸が一致しているため、顕微鏡１の接眼レンズ１４を覗いて画面中心に測色や撮影を行いたい部分を置き、分光測色計２３で測色し、デジタルカメラ２２で画像撮影を行えば、撮影画像中心の半径ｒ画素範囲内の平均画素値に対応する測色値を、分光測色計２３で測色できる。なお、撮影画像の相当する半径ｒは、対物レンズ１３の倍率、および分光測色計２３の測定角により変化するため、分光測色計２３にある測定範囲観察用窓２５からの観察と撮影画像との比較からｒを決定する。モニタ２４は、図１のモニタ３と色温度など同等の特性を持ったモニタである。【００３２】
図５は、Matrix1を決定するためにパーソナルコンピュータ２１内で処理される画像処理プログラムのフローを示す図である。図６は、Matrix1を決定するための処理の流れを説明するための図である。図６の処理の流れは、前述した一般的なデジタルカメラでの画像処理の流れを示した図２に対応させた図である。【００３３】
パーソナルコンピュータ２１が実行する画像処理プログラムは、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由し提供され、パーソナルコンピュータ２１内にインストールされる。パーソナルコンピュータ２１は、ＣＰＵ（不図示）およびその周辺回路（不図示）から構成され、ＣＰＵがインストールされたプログラムを実行する。【００３４】
図８は、パーソナルコンピュータ２１が画像処理プログラムの提供を受ける様子を示す図である。パーソナルコンピュータ２１は、ＣＤ−ＲＯＭ１０４を介してプログラムの提供を受ける。また、パーソナルコンピュータ２１は通信回線１０１との接続機能を有する。コンピュータ１０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク１０３などの記録媒体にプログラムを格納する。通信回線１０１は、インターネットなどの通信回線、あるいは専用通信回線などである。コンピュータ１０２はハードディスク１０３を使用してプログラムを読み出し、通信回線１０１を介してプログラムをパーソナルコンピュータ２１に送信する。すなわち、プログラムをデータ信号として搬送波に乗せて、通信回線１０１を介して送信する。このように、プログラムは、記録媒体やデータ信号やデータ信号が乗った搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。【００３５】
図５に戻って説明を続けると、まず、図５のステップＳ１からステップＳ３により、N色の色パッチの撮影および測色を行う。ステップＳ１では、観察者により視野切り替えスイッチ１５がデジタルカメラ２２側に切り替えられ、デジタルカメラ２２でｉ番目(i=1,2,…N)の色パッチが撮影され、パーソナルコンピュータ２１はデジタルカメラ２２から出力される顕微鏡像の撮影画像（以下、顕微鏡画像とも言う）を取得する。観察者は、顕微鏡１のステージ（不図示）を移動させて標本１２の中である色を呈している（発色している）部分を光軸上に設定し、その色を呈している部分をｉ番目の色パッチとする。【００３６】
ステップＳ２では、観察者により視野切り替えスイッチ１５が分光測色計２３側に切り替えられ、分光測色計２３で測色し、パーソナルコンピュータ２１は分光測色計２３から出力される測色値(XYZ)を取得する。分光測色計２３とデジタルカメラ２２と顕微鏡１の対物レンズ１３および接眼レンズ１４とは、それらの光軸が一致するように設けられているので、分光測色計２３は、ステップＳ１でデジタルカメラ２２が撮影した顕微鏡照明下のｉ番目の色パッチを測色することができる。すなわち、標本１２とデジタルカメラ２２間、および、標本１２とデジタルカメラ２２間に存在する光学系に対する照明やセッティングなどの条件は同一とされる。【００３７】
ステップＳ３では、N色の色パッチの撮影と測色が完了したかどうかを判断する。N色の色パッチの撮影と測色が完了していない場合はステップＳ１に戻り処理を繰り返し、完了している場合はステップＳ４に進む。ステップＳ１とステップＳ２の処理は、同一色パッチに対して続けて行われるので、撮影画像中心と測色範囲中心のずれを最小限にすることができる。ある色パッチに対する撮影（Ｓ１）および測色（Ｓ２）が終了したら、次の色パッチについて撮影（Ｓ１）および測色（Ｓ２）を行い、Ｎパッチ分繰り返す。【００３８】
ステップＳ４では、ステップＳ１で取得したN色の色パッチの顕微鏡画像から測色範囲に相当する画素範囲の平均画素値をN色の色パッチの画像信号R0G0B0(i)(i=1,2,…N)として抽出する。N色の色パッチは、顕微鏡画像の白に相当するプレパラートを透過した部分と、実際に観察する実サンプルの特徴ある色を示している部分から抽出して用いる。すなわち、N色の色パッチは、顕微鏡の観察像に頻出する色である。言い換えれば、目的とする撮影システムにおいて、撮影画像に頻出する色である。【００３９】
ステップＳ５では、図６に示すSTEP21〜STEP23を行い、N色の画像信号R0G0B0(i)(i=1,2,…N)をR3G3B3(i)(i=1,2,…N)に変換する。図６のSTEP21〜STEP23は、図２のSTEP1〜STEP3と同様な処理であるが、STEP21、STEP23で用いる階調補正特性γは、図２の補間用の階調補正特性γではなく、図３のSTEP11で使用するユーザー階調補正特性γを用いる。【００４０】
ステップＳ６では、N色の画像信号R3G3B3(i)(i=1,2,…N)の出力目標値R4'G4'B4'(i)(i=1,2,…N)を決定する。出力目標値R4'G4'B4'(i)(i=1,2,…N)は、ステップＳ２で取得したN色のパッチを取得した部分の測色値XYZ(i)(i=1,2,…N)と視環境の条件パラメータに基づいて決定する。以下、出力目標値R4'G4'B4'(i)(i=1,2,…N)の決定について詳細に説明する。【００４１】
前述のように、顕微鏡像を目視で観察する場合とモニタを通じて観察する場合とでは、光源の色温度が異なる。色温度の異なる照明下での色変換は、以下のvon Kriesの式1を用いて予測することができる。そこで、von Kriesの式1を用いて出力目標値R4'G4'B4'(i)(i=1,2,…N)を決定する。なぜなら、顕微鏡照明下の被写体三刺激値(Xori,Yori,Zori)は、色順応を考慮して、三刺激値(Xest,Yest,Zest)となるようモニタに再現すれば、接眼レンズを介した肉眼による顕微鏡観察とモニタによる顕微鏡観察の色の見えを近くすることができるからである。すなわち、顕微鏡照明下で観察するときの視環境と、モニタを見るときの視環境の違いを考慮した色の見え再現が可能となる。
【数１】
0004807412.tif 000002
【００４２】
ここで、Ａは三刺激値を錐体応答LMSに変換するマトリックスであり、例えばCAT02変換行列等を用いることができる。また、Li,Mi,Si(i=est_w, ori_w)は、それぞれ顕微鏡観察時(i=ori_w)、及びモニタ観察時(i=est_w)に順応している白のLMS応答である。モニタ観察時に順応している白は、モニタの白だけではなく周囲照明（例えば実験室内の照明）の白にも影響されるので、両者の白の混合として考慮する。【００４３】
また、一般に完全順応するまでに２分程度かかるといわれ、顕微鏡とモニタを見比べている場合には、顕微鏡とモニタの白の影響も考慮し、対象の白色点にどの程度順応しているか（順応係数）も考慮する必要が有る。このような順応係数と以上３つの照明（顕微鏡、モニタ、モニタ観察時の周囲）の混合比を調整して顕微鏡とモニタの見えが最も近くなる様な順応白色点を決定し、上記式1を用いて、N色のパッチの測色値XYZorg(i) (i=1,2,…N)からモニタに表示するべき測色値XYZext(i) (i=1,2,…N)を算出する。【００４４】
sRGBでモニタに表示する場合には、RGBの信号値とXYZ値の関係は定義式で決まっているので、XYZext(i) (i=1,2,…N)が算出できれば、これから目標画像信号R4'G4'B4'(i)(i=1,2,…N)が算出できる。このように目標画像信号R4'G4'B4'(i)(i=1,2,…N)を算出すると、ステップＳ７に進む。【００４５】
ステップＳ７では、以下の式2で変換した画像信号R4G4B4(i)(i=1,2,…N)と出力目標画像信号R4'G4'B4'(i)(i=1,2,…N)の色差が小さくなるよう最小二乗法等でMatrix3を最適化する。式2での変換は、図６のSTEP24に相当する。すなわち、ステップＳ５で求めたR3G3B3(i)(i=1,2,…N)に、Matrix3の値を掛けてR4G4B4(i)(i=1,2,…N)を求め、R4G4B4(i)(i=1,2,…N)とR4'G4'B4'(i)(i=1,2,…N)の色差を求め、Matrix3を順次調整しながらこれを繰り返し行い、色差が最も小さくなるような最適なMatrix3を求める。Matrix3は、最終的にMatrix1を求めるための変換マトリックスであるので、一時的あるいは仮変換マトリックスとも言える。
【数２】
0004807412.tif 000003
【００４６】
ステップＳ８では、R3G3B3(i)(i=1,2,…N)に、ステップＳ７で求まったMatrix3をかけてR4G4B4(i)(i=1,2,…N)を算出する。ステップＳ８は、図６のSTEP24に相当する。ステップＳ９では、算出したR4G4B4(i)(i=1,2,…N)に対し、出力用γ変換をしR5G5B5(i)(i=1,2,…N)の画像信号を生成する。ステップＳ９は、図６のSTEP25に相当する。ステップＳ１０では、R5G5B5(i)(i=1,2,…N)の信号からなる画像をモニタ２４に表示する。【００４７】
ステップＳ１１では、モニタに表示された画像と顕微鏡を実際に観察した像の色の見えが近いかどうかを観察者が判断し、近いと判断しその旨をパーソナルコンピュータ２１に入力すると、処理はステップＳ１３へ進む。近くないと判断しその旨をパーソナルコンピュータ２１に入力すると、処理はステップＳ１２へ進む。ステップＳ１２では、Matrix3作成で用いた順応係数と３つの照明（顕微鏡、モニタ、モニタ観察時の周囲）の混合比が適切でないので、これらのパラメータを変更しステップＳ６に戻り処理を繰り返す。【００４８】
ステップＳ１３では、出力用階調補正特性γの最適化を行う。前述した様に、モニタ観察時と顕微鏡観察時ではデバイス輝度（モニタと顕微鏡）の違いや周囲輝度の影響の差もあって、標本のコントラスト感が異なって感じる場合が有る。その場合には、モニタに表示されるコントラストが顕微鏡で見えるコントラストに近くなるように、またモニタ表示画像が好ましいコントラスト表現になるように、出力用階調補正特性γを変更してコントラスト感を調整する。【００４９】
このようにして、試料の色の見えが近くなるまで、若しくは好ましい色再現になるように繰り返し、Matrix3を決定する。色の見えの細かい調整は、一般的なデジタルカメラと同様に線形空間で行うことで、Matrix3の調整は精度良く行うことが出来る。【００５０】
次に、最適化したMatrix3と出力用階調補正特性γを用いて、図３のフローに従った場合のMatrix1を作成する。【００５１】
ステップＳ１４では、ステップＳ５において求めたR3G3B3(i)(i=1,2,…N)を、先に最適化したMatrix3で変換し(図６のSTEP24)、ステップＳ１３で調整した出力用階調補正特性γを用いた非線形変換を行い(図６のSTEP25)、目標画像信号であるR5'G5'B5'(i)(i=1,2,…N)を算出する。【００５２】
ステップＳ１５では、ステップＳ５において処理をしたSTEP21〜STEP23のうち、STEP22の時点で出力したN色の色パッチに対する補間後の画像信号R2G2B2(i)(i=1,2,…N)を利用する。以下の式3で変換した画像信号R5G5B5(i)(i=1,2,…N)とステップＳ１４で求めた目標画像信号R5'G5'B5'(i)(i=1,2,…N)の色差が小さくなるよう最小二乗法等でMatrix1を最適化する。式3での変換は、図３のSTEP14に相当する。すなわち、ステップＳ５の途中で求めたR2G2B2(i)(i=1,2,…N)に、Matrix1の値を掛けてR5G5B5(i)(i=1,2,…N)を求め、
R5G5B5(i)(i=1,2,…N)と目標画像信号R5'G5'B5'(i)(i=1,2,…N)の色差を求め、Matrix1を順次調整しながらこれを繰り返し行い、色差が最も小さくなるような最適なMatrix1を求める。
【数３】
0004807412.tif 000004
【００５３】
このようにして決定したMatrix1は、図３に示す画像処理を行うデジタルカメラ２の画像処理プログラムに組み込まれる。【００５４】
以上のようにして決定する変換マトリックス決定方法や、このようにして決定した変換マトリックスを使用して色変換を行うデジタルカメラは、次のようなや効果や長所を有する。【００５５】
（１）デジタルカメラ２では、非線形色空間の画像信号(R2G2B2)を最適に調整された線形変換Matrix1によりマトリックス変換し出力用画像信号色空間の画像信号(R5G5B5)を生成している。これにより、色再現性を良好に維持しながら、高速な処理を実現している。すなわち、肉眼で見る顕微鏡の観察像と色の見えが近い画像を、リアルタイムにモニタ上に表示することができる。特に、非線形変換が一般的なデジタルカメラと比べて２回も省略できるので、高速な処理が可能となる。【００５６】
（２）Matrix1を使用する場合、特定の色について色再現性がよい。しかし、顕微鏡観察の場合、Matrix1が観察試料の特徴に合わせて適切に調整されていれば、モニタ上での色の見えになんら問題が生じない。すなわち、観察像に頻出する色の再現性は適切に行われるので、顕微鏡観察において問題は生じない。【００５７】
（３）Matrix1を決定する場合、まず、線形空間での色変換に使用するMatrix3を線形空間上で適切に調整するようにしている。これにより、色の見えの細かい調整は、一般的なデジタルカメラと同様に線形空間で行うので、Matrix3の調整は精度良く行うことが出来る。このように精度良く調整されたMatrix3を使用して最終的なMatrix1を調整するので、精度のよい最適なMatrix1を求めることができる。【００５８】
（４）Matrix3を決定する場合、視環境の違いによる色順応を考慮して行うので、精度のよい適切なMatrix3を決定することができる。特に、測色値を利用して公知な色順応式を利用するので、簡単にかつ精度のよいMatrix3を決定することができる。【００５９】
（５）観察者が、肉眼による顕微鏡観察像とモニタに表示される画像とを実際に比較して見えが近づいたかどうかを判断し、見えが近づいていないと判断する場合はパラメータを設定し直すので、観察者（人間）にとって実際に見えが近づく状態でMatrix3やMatrix1が決定される。従って、確実に見えが近づくためのMatrix1を決定することができる。【００６０】
（６）モニタに表示されるコントラストが顕微鏡で見えるコントラストに近くなるように、またモニタ表示画像が好ましいコントラスト表現になるように、出力用階調補正特性γを適宜変更してコントラスト感を調整するので、より見えが近づくようになる。【００６１】
−変形例−
（１）図６のSTEP21、STEP23で用いるユーザー階調補正特性γ特性とSTEP25で用いる出力用階調補正特性γとをなるべく近い特性にしておけば、非線形色空間でマトリックス演算による色変換を行っても、マトリックス作成に用いたN色については、更に良好な色再現が可能である。これは、例えば、補間用階調補正特性γ＝出力用階調補正特性γ＝2.0とすると、(R2,G2,B2)に対して輝度が２倍の(2R2,2G2,2B2)を変換した場合であっても、線形色空間で色変換した結果（図６のSTEP23〜STEP25の結果）（R5,G5,B5）と非線形色空間で色変換した結果（図３のSTEP14の結果）（R5,G5,B5）が同じになる為である。【００６２】
（２）モニタに表示する為には、図３に示すように、R5G5B5(i) (i=1,2,…N)まで求めればよい。しかし、JPEG圧縮してファイル出力する場合には、STEP14、STEP16とマトリックス演算を続けて２回行うことになるので、Matrix1×Matrix2を予め算出しておいてもよい。【００６３】
（３）上記実施の形態では、顕微鏡用デジタルカメラ２の例で説明したが、必ずしも顕微鏡用デジタルカメラ２に限定する必要はない。上記のようにして求めたMatrix1を搭載することが可能なあらゆる撮像装置に適用することができる。特に、色を限定あるいは特定した被写体（標本、試料等）を撮像する撮像装置に有効に働く。【００６４】
（４）図３のSTEP11、図６のSTEP21の階調補正特性γをユーザ用階調補正特性γとしたが、図２のSTEP1と同じ補間用γであってもよい。【００６５】
（５）顕微鏡の見えを再現するための上記の実施の形態では、色再現の目標色を決めるために、図５のステップＳ２で測色している。しかし、必ずしも測色値から目標を決定する必要はなく、予め分光感度特性の分かっているデジタルカメラで撮影すれば、分光感度と顕微鏡の光源の特性を用いて、撮影画像のRGB値から対応する測色値XYZへの変換が可能である。従って、予めカメラRGBから測色値XYZへの変換の分かっているカメラを本実施の形態の分光測色計の代わりに用いてもよい。【００６６】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。【００６７】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００６年第２０２３１２号（２００６年７月２５日出願）
【図１】
0004807412.tif 000005
【図２】
0004807412.tif 000006
【図３】
0004807412.tif 000007
【図４】
0004807412.tif 000008
【図５】
0004807412.tif 000009
【図６】
0004807412.tif 000010
【図７】
0004807412.tif 000011
【図８】
0004807412.tif 000012