(57)【要約】【課題】撮影中に撮影条件等が変動した場合においても、被写体の画像データを精度よく補正する。【解決手段】撮像装置１による被写体の撮影時における撮像装置１の温度と、被写体の撮影前および撮影後における色票の撮影時における撮像装置１の温度と、被写体の撮影前および撮影後における色票の撮影により取得された色票画像データとに基づいて、被写体の撮影前の色票の撮影時における撮像装置１の温度から被写体の撮影後の色票の撮影時における撮像装置１の温度までの温度の内、被写体の撮影時の温度により近い温度における色票画像データをキャリブレーションデータとして設定するキャリブレーションデータ設定部１２３と、該キャリブレーションデータ設定部１２３において設定されたキャリブレーションデータを用いて、被写体の撮影により取得された被写体の画像データを補正する画像補正部７１とを備える画像処理装置３を提供する。【選択図】図４
2010081057.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置による被写体の撮影時における前記撮像装置の温度と、前記被写体の撮影前および撮影後における色票の撮影時における前記撮像装置の温度と、前記被写体の撮影前および撮影後における前記色票の撮影により取得された色票画像データとに基づいて、前記被写体の撮影前の色票の撮影時における前記撮像装置の温度から前記被写体の撮影後の色票の撮影時における前記撮像装置の温度までの温度の内、被写体の撮影時の温度により近い温度における色票画像データをキャリブレーションデータとして設定するキャリブレーションデータ設定部と、
該キャリブレーションデータ設定部において設定されたキャリブレーションデータを用いて、前記被写体の撮影により取得された被写体の画像データを補正する画像補正部とを備える画像処理装置。
【請求項２】
前記キャリブレーションデータ設定部が、前記被写体の撮影前および撮影後において取得された色票画像データを、前記被写体の撮影前および撮影後における色票の撮影時における前記撮像装置の温度によって補間することにより、被写体の撮影時の温度における色票画像データを生成し、これをキャリブレーションデータとして設定する請求項１に記載の画像処理装置。
【請求項３】
前記キャリブレーションデータ設定部が、前記被写体の撮影時における前記撮像装置の温度と、前記被写体の撮影前および撮影後における色票の撮影時における前記撮像装置の温度とを対比し、前記被写体の撮影時における前記撮像装置の温度により近い温度に対応するいずれかの色票画像データをキャリブレーションデータとして設定する請求項１に記載の画像処理装置。
【請求項４】
前記キャリブレーションデータ設定部は、前記被写体の撮影前および撮影後における色票の撮影時における前記撮像装置の温度が所定の閾値を超えて変動している場合には、中間の温度における色票画像データを生成し、前記被写体の撮影時における前記撮像装置の温度により近い温度に対応する色票画像データをキャリブレーションデータとして設定する請求項１に記載の画像処理装置。
【請求項５】
撮像装置による被写体の撮影時における前記撮像装置の温度と、前記被写体の撮影前および撮影後における色票の撮影時における前記撮像装置の温度と、前記被写体の撮影前および撮影後における前記色票の撮影により取得された色票画像データとに基づいて、被写体の撮影時の温度に近い温度における色票画像データをキャリブレーションデータとして設定し、
設定されたキャリブレーションデータを用いて、前記被写体の撮影により取得された被写体の画像データを補正する画像処理方法。
【請求項６】
被写体および色票を撮影する撮像部と、撮影時における撮像部の温度を測定する温度測定部とを備える撮像装置と、
該撮像装置により取得された画像データを処理する請求項１から請求項４のいずれかに記載の画像処理装置とを備える測色システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および測色システムに関するものである。
【背景技術】
【０００２】
従来、キャリブレーションデータに装置温度等の印刷条件を対応づけて事前に記憶しておき、印刷の際には、印刷時とキャリブレーション時の温度近似性を判定して、近似性の高いキャリブレーションデータを用いて印刷画像データのキャリブレーションを行うキャリブレーション装置が知られている（例えば、特許文献１参照。）。
【０００３】
【特許文献１】特開２００７−２２１７０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、予めキャリブレーションデータを取得しておく従来の装置では、撮影中における撮影条件の変動や撮像装置の状態の変動を考慮した印刷画像データのキャリブレーションを行うことができず、補正の精度が低下するという不都合がある。
【０００５】
本発明は上述した事情に鑑みてなされたものであって、撮影中に撮影条件等が変動した場合においても、被写体の画像データを精度よく補正することができる画像処理装置、画像処理方法および測色システムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、撮像装置による被写体の撮影時における前記撮像装置の温度と、前記被写体の撮影前および撮影後における色票の撮影時における前記撮像装置の温度と、前記被写体の撮影前および撮影後における前記色票の撮影により取得された色票画像データとに基づいて、前記被写体の撮影前の色票の撮影時における前記撮像装置の温度から前記被写体の撮影後の色票の撮影時における前記撮像装置の温度までの温度の内、被写体の撮影時の温度により近い温度における色票画像データをキャリブレーションデータとして設定するキャリブレーションデータ設定部と、該キャリブレーションデータ設定部において設定されたキャリブレーションデータを用いて、前記被写体の撮影により取得された被写体の画像データを補正する画像補正部とを備える画像処理装置を提供する。
【０００７】
本発明によれば、撮像装置により取得された被写体および色票の画像データ、これらの画像データの取得時における撮像装置の温度とが入力されると、キャリブレーションデータ設定部において、被写体の撮影時の温度近い温度における色票画像データがキャリブレーションデータとして設定され、設定されたキャリブレーションデータを用いて、画像補正部により被写体の画像データが補正される。色票画像データが、被写体の撮影の前後両方において取得されているので、それらの撮影時の温度が変化している場合、その温度変化に応じて撮影条件や撮像装置の状態が変動しており、被写体の画像データを補正するのに適したキャリブレーションデータも、被写体の撮影前後に取得された２つの色票画像データの間で変化していることが推定できる。したがって、前記被写体の撮影前の色票の撮影時における前記撮像装置の温度から前記被写体の撮影後の色票の撮影時における前記撮像装置の温度までの温度の内、被写体の撮影時の温度により近い温度における色票画像データをキャリブレーションデータとして設定することにより、撮影中の撮影条件等の変動に関わらず、精度よく補正された被写体の画像データを得ることができる。
【０００８】
上記発明においては、前記キャリブレーションデータ設定部が、前記被写体の撮影前および撮影後において取得された色票画像データを、前記被写体の撮影前および撮影後における色票の撮影時における前記撮像装置の温度によって補間することにより、被写体の撮影時の温度における色票画像データを生成し、これをキャリブレーションデータとして設定することとしてもよい。
このようにすることで、撮影中に撮影条件等が変動しても、最適なキャリブレーションデータを得ることができ、被写体の画像データを精度よく補正することができる。
【０００９】
また、上記発明においては、前記キャリブレーションデータ設定部が、前記被写体の撮影時における前記撮像装置の温度と、前記被写体の撮影前および撮影後における色票の撮影時における前記撮像装置の温度とを対比し、前記被写体の撮影時における前記撮像装置の温度により近い温度に対応する色票画像データをキャリブレーションデータとして設定することとしてもよい。
このようにすることで、簡易な処理で、被写体の画像データの補正に適したキャリブレーションデータを設定し、これを精度よく補正することができる。
【００１０】
また、上記発明においては、前記キャリブレーションデータ設定部は、前記被写体の撮影前および撮影後における色票の撮影時における前記撮像装置の温度が所定の閾値を超えて変動している場合には、中間の温度における色票画像データを生成し、前記被写体の撮影時における前記撮像装置の温度により近い温度に対応する色票画像データをキャリブレーションデータとして設定することとしてもよい。
【００１１】
このようにすることで、被写体の撮影前後において温度が所定の閾値を超えて大きく変動している場合には、その前後において取得される色票画像データにも大きな差が発生するため、キャリブレーションデータ設定部において中間の色票画像データを生成することにより、色票画像データ間の差を小さくして、被写体の撮影条件等に合わせてキャリブレーションデータをより細かく設定することが可能となる。
【００１２】
また、本発明は、撮像装置による被写体の撮影時における前記撮像装置の温度と、前記被写体の撮影前および撮影後における色票の撮影時における前記撮像装置の温度と、前記被写体の撮影前および撮影後における前記色票の撮影により取得された色票画像データとに基づいて、被写体の撮影時の温度に近い温度における色票データをキャリブレーションデータとして設定し、設定されたキャリブレーションデータを用いて、前記被写体の撮影により取得された被写体の画像データを補正する画像処理方法を提供する。
【００１３】
また、本発明は、被写体および色票を撮影する撮像部と、撮影時における撮像部の温度を測定する温度測定部とを備える撮像装置と、該撮像装置により取得された画像データを処理する請求項１から請求項４のいずれかに記載の画像処理装置とを備える測色システムを提供する。
【発明の効果】
【００１４】
本発明によれば、撮影中に撮影条件等が変動した場合においても、被写体の画像データを精度よく補正することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施形態に係る画像処理装置および測色システムについて、図面を参照して説明する。
本実施形態に係る測色システムは、歯科用測色システムであって、図１および図４に示すように、撮像装置１、クレードル２、歯科用測色装置（画像処理装置）３、モニタ４および入力装置５を備えている。
【００１６】
撮像装置１は、図１に示すように、光源１０、撮像部２０、撮像制御部３０、表示部４０および操作部５０を備えている。
光源１０は、撮影装置１の先端部付近に配置され、被写体を照明するための互いに異なる４つ以上の波長帯域を有する照明光を発するようになっている。
【００１７】
例えば、光源１０は、互いに異なる波長帯域の光を発する７つの光源１０ａ〜１０ｇを備えている。各光源１０ａ〜１０ｇは、それぞれ４つのＬＥＤを備えている。各光源１０ａ〜１０ｇの中心波長は、図２に示すように、光源１０ａ（λ１）は約４５０ｎｍ、光源１０ｂ（λ２）は約４６５ｎｍ、光源１０ｃ（λ３）は約５０５ｎｍ、光源１０ｄ（λ４）は約５２５ｎｍ、光源１０ｅ（λ５）は約５７５ｎｍ、光源１０ｆ（λ６）は約６０５ｎｍ、光源１０ｇ（λ７）は約６３０ｎｍとなっている。このＬＥＤの発光スペクトル情報は、ＬＥＤメモリ１１に記憶され、後述する歯科用測色装置３にて用いられる。
【００１８】
これら光源１０ａ〜１０ｇのＬＥＤは、例えば、複数のグループにそれぞれ分けられている。各グループは、撮像部２０に関して対向する位置に配置されている。配列は、特に限定されず、例えば、波長の短い順にＬＥＤを４つずつ配置してもよいし、逆順あるいはランダム配置等でもよい。また、ＬＥＤを複数のグループに分けるような配置のほか、全てのＬＥＤで撮像部２０を取り囲む１つのリングを形成するように配置してもよい。なお、ＬＥＤの配置は、後述する撮像部２０による撮像に支障をきたすことのない限りは、直線状配置、リング状配置、十字状配置、矩形状配置、ランダム配置等の適宜の配置を採用することが可能である。なお、光源１０の発光素子としては、ＬＥＤに限られず、例えば、ＬＤ（レーザダイオード）等の半導体レーザやその他の発光素子を用いることも可能である。
【００１９】
撮像装置１において、上記光源１０の被写体側には、光源１０からの照明光を略均一に被写体面に照射するための照明光学系が設けられている。また、上記光源１０の近傍には、ＬＥＤの温度を検出する温度センサ（温度測定部）１３が設けられている。
【００２０】
撮像部２０は、撮像レンズ２１、ＲＧＢ撮像素子２２、信号処理部２３およびＡ／Ｄ変換器２４を備えている。撮像レンズ２１は、光源１０からの照明光が照射された被写体像を結像する。ＲＧＢ撮像素子２２は、撮像レンズ２１により結像された被写体像を撮影して画像信号を出力する。このＲＧＢ撮像素子２２は、例えば、ＣＣＤにより構成されており、そのセンサ感度は、可視光域を略カバーするようなものとなっている。このＣＣＤは、モノクロタイプのものでもよいし、カラータイプのものでもよい。また、ＲＧＢ撮像素子２２は、ＣＣＤに限られず、ＣＭＯＳタイプやその他の各種の撮像素子を広く使用することが可能である。
【００２１】
信号処理部２３は、ＲＧＢ撮像素子２２から出力されるアナログ信号に、ゲイン補正やオフセット補正等を施す。Ａ／Ｄ変換器２４は、信号処理部２３から出力されるアナログ信号をデジタル信号に変換する。上記撮像レンズ２１には、フォーカスを調整するフォーカスレバー２５が接続されている。このフォーカスレバー２５は、マニュアルにてフォーカスを調整するためのものである。また、フォーカスレバー２５の位置を検出するための位置検出部２６が設けられている。
【００２２】
撮像制御部３０は、ＣＰＵ３１、ＬＥＤドライバ３２、データＩ／Ｆ３３、通信Ｉ／Ｆコントローラ３４、画像メモリ３５および操作部Ｉ／Ｆ３６を備えている。これら各部は、ローカルバス３７に接続されており、ローカルバス３７を介してデータの授受が可能な構成となっている。
【００２３】
ＣＰＵ３１は、撮像部２０の制御を行うとともに、撮像部２０により取得され処理された被写体分光画像をローカルバス３７を介して画像メモリ３５に記録するとともに、後述するＬＣＤコントローラ４１に出力する。
ＬＥＤドライバ３２は、光源１０が備える各種ＬＥＤの発光を制御する。
データＩ／Ｆ３３は、光源１０が備えるＬＥＤメモリ１１の内容や温度センサ１３の情報を受信するためのインターフェースである。
【００２４】
通信Ｉ／Ｆコントローラ３４は、外部との接続点となる通信Ｉ／Ｆ接点６１と接続されており、例えば、ＵＳＢ２．０に準拠した通信を実現させるための機能を備えている。
画像メモリ３５は、撮像部２０にて撮影された画像データを一時的に記録する。本実施形態では、画像メモリ３５は、最低でも７枚の分光画像と一枚のＲＧＢカラー画像を記録できるメモリ容量を有している。
操作部Ｉ／Ｆ３６は、後述する操作部５０が備える各種操作ボタンと接続されており、操作部５０を介して入力された入力指示をローカルバス３７を介してＣＰＵ３１へ転送するインターフェースとして機能する。
【００２５】
表示部４０は、ＬＣＤコントローラ４１とＬＣＤ（liquid crystal display）４２とを備えている。
ＬＣＤコントローラ４１は、ＣＰＵ３１から転送されてくる画像信号に基づく画像、例えば、現在、撮像部２０により撮影されている画像、あるいは、撮影済みの画像をＬＣＤ４２に表示させる。
【００２６】
このとき、必要に応じて、オーバーレイメモリ４３に記憶されている画像パターンをＣＰＵ３１から取得した画像に重畳させてＬＣＤ４２に表示させるようにしてもよい。ここで、オーバーレイメモリ４３に記録されている画像パターンとは、例えば、歯全体を水平に撮影するような水平ラインや、これに交差するクロスライン、撮影モード、撮影する歯の識別番号等である。
【００２７】
操作部５０は、ユーザが分光画像撮影動作の開始を指示入力したり、動画像撮影動作の開始や終了を指示入力したりするための各種の操作スイッチや操作ボタンを備えている。具体的には、撮影モード切替スイッチ５１、シャッタボタン５２、ビューア制御ボタン５３等を備えている。撮影モード切替スイッチ５１は、通常のＲＧＢの撮影と、マルチバンドの撮影とを切り替えるためのスイッチである。ビューア制御ボタン５３は、ＬＣＤ４２に表示される画像の変更等の操作をするためのスイッチである。
【００２８】
また、撮像装置１は、蓄電池としてのリチウムバッテリ６０を搭載している。このリチウムバッテリ６０は、撮像装置１が備える各部に電源供給を行うためのものであり、充電のための接点である充電接点６２に接続されている。また、撮像装置１には、このリチウムバッテリ６０の充電状態を通知するためのバッテリＬＥＤ６３、カメラの状態を知らせるためのパワーＬＥＤ６４、撮影時の危険を知らせるためのアラームブザー６５が設けられている。
【００２９】
バッテリＬＥＤ６３は、例えば、赤、黄、緑の３つのＬＥＤを備えており、緑色点灯によりリチウムバッテリ６０の充電容量が十分である旨を通知し、黄色点灯によりバッテリ容量が少ない旨、換言すると、充電の必要がある旨を通知し、赤色点灯によりバッテリ容量が極めて少ない旨、換言すると、至急充電の必要がある旨を通知する。
パワーＬＥＤ６４は、例えば、赤と緑とからなる２つのＬＥＤを備えており、緑色点灯により撮影準備が完了した旨を通知し、緑色点滅により撮影準備中（初期ウォーミング等）である旨を通知し、赤色点灯によりバッテリ充電中である旨を通知する。
アラームブザー６５は、警鐘することにより撮影した画像データが無効である旨を通知する。
【００３０】
上述の撮像装置１を支持するクレードル２は、撮像部２０のキャリブレーションを行うための色票１００と、撮像装置１が正常な位置に装着されたか否かを確認するためのマイクロスイッチ１０１と、電源のオン／オフを行うための電源スイッチ１０２、電源スイッチ１０２のオン／オフに連動して点灯／消灯する電源ランプ１０３、マイクロスイッチ１０１に連動して点灯／消灯することにより、撮像装置１が正常位置に装着されたか否かを通知する装着ランプ１０４を備えている。
【００３１】
装着ランプ１０４は、例えば、撮像装置１が正常位置に装着された場合には、緑色が点灯し、装着されていない場合には、赤色が点灯する。また、このクレードル２には、電源接続コネクタ１０５が設けられており、ＡＣアダプタ１０６が接続されるようになっている。そして、撮像装置１が備えるリチウムバッテリ６０の充電容量が減少し、バッテリＬＥＤ６３の黄色や赤が点灯している状態では、撮像装置１がクレードル２に装着された場合にリチウムバッテリ６０の充電が開始されるように構成されている。
【００３２】
このように構成された測色システムの撮像装置１では、４種類以上の波長帯域の照明光（４原色以上の照明光）を被写体に順次照射して、照明光の波長帯域の数と同じ枚数の被写体分光画像を静止画として取り込むマルチバンド撮像のほかに、ＲＧＢ画像の取り込みも可能である。ＲＧＢ画像の取り込みの方法の一つとしては、通常のデジタルカメラと同様に、７原色の照明光はなしで、自然光、あるいは室内光により照明された被写体を本装置が有するＲＧＢカラーＣＣＤを利用して撮像を行うものである。また、７原色の照明光から１以上の照明光を各選択してＲＧＢの３色の照明光とし、これらを順次に照射することにより面順次式の静止画として取り込むこともできるようになっている。
【００３３】
これら撮影モードのうち、ＲＧＢ撮像は、患者の顔全体を撮影する場合、顎全体を撮影する場合など、広域の部位を撮影する場合に用いられる。一方、マルチバンド撮影は、患者の歯１〜２本の色を正確に計測する場合、つまり歯の測色を行う場合に用いられる。
以下、マルチバンド撮影による歯の測色処理について説明する。
【００３４】
〔マルチバンド撮影〕
まず、撮像装置１による被写体の撮影に先立って、色票画像データの取得が行われる。
色票画像データの取得は、後述するマルチバンド撮影と同様の手順により、クレードル２に設置された状態の撮像装置１により色票１００を撮影するものである。これにより、色票１００のマルチバンド画像データが第１の色票画像データとして、該色票画像データを取得した際に温度センサ１３により検出された温度データとともに画像メモリ３５に記録される。
【００３５】
次いで、医師により撮像装置１がクレードル２から取り上げられ、撮像装置１の筐体の投射口側に設けられている取付口（図示略）にコンタクトキャップが取り付けられる。このコンタクトキャップは、柔軟性を有する素材により略筒状に形成されている。
【００３６】
続いて、医師により撮影モードが「測色モード」に設定されると、被写体像が動画としてＬＣＤ４２に表示される。医師は、このＬＣＤ４２に表示される画像を確認しながら、測定対象となる患者の歯牙が撮影範囲の適切な位置に配置されるように位置決めを行い、フォーカスレバー２５を用いてピント調整を行う。このとき、コンタクトキャップが、測定対象である歯牙を適切な撮影位置に導くような形状に形成されていることにより、位置決めを容易に行うことが可能となる。
【００３７】
位置決め、ピント調整がなされた状態で、医師によりシャッタボタン５２が押下されると、その旨の信号が操作部Ｉ／Ｆ３６を介してＣＰＵ３１へ転送され、ＣＰＵ３１の制御の下、マルチバンド撮影が実行される。マルチバンド撮影が実行される際には、温度センサ１３により各マルチバンド撮影時の温度が検出される。
【００３８】
マルチバンド撮影では、ＬＥＤドライバ３２が光源１０ａ〜１０ｇを順次駆動することにより、波長帯域の異なるＬＥＤ照射光が被写体に順次照射される。被写体の反射光は、撮像部２０のＲＧＢ撮像素子２２の表面に結像され、ＲＧＢ画像として取り込まれる。取り込まれたＲＧＢ画像は、信号処理部２３に転送される。
【００３９】
信号処理部２３は、入力されたＲＧＢ画像信号に対して所定の画像処理を施すとともに、ＲＧＢ画像信号から各光源１０ａ〜１０ｇの波長帯域に応じた所定の１色の画像データを選択する。具体的には、信号処理部２３は、光源１０ａ，１０ｂに対応する画像信号からはＢ画像データを選択し、光源１０ｃ〜１０ｅに対応する画像信号からはＧ画像データを選択し、光源１０ｆ，１０ｇに対応する画像信号からはＲ画像データを選択する。このように、信号処理部２３は、照射光の中心波長と略一致する波長の画像データを選択する。
【００４０】
信号処理部２３により選択された画像データは、Ａ／Ｄ変換器２４へ転送され、ＣＰＵ３１を介して画像メモリ３５に記録される。このとき、温度センサ１３からデータＩ／Ｆ３３およびローカルバス３７を介して転送されてきた撮影時の温度データも、画像データとともに画像メモリ３５に記録される。
【００４１】
この結果、画像メモリ３５には、ＬＥＤの中心波長に対応してＲＧＢ画像から選択された色の画像がマルチバンド画像データとして、温度データとともに記録されることとなる。すなわち、マルチバンド画像データは、光源１０からの照明光に含まれる各原色の中心波長に対応した色の画像を、複数の原色それぞれについて取り込んだデータである。なお、撮影の際に、それぞれの波長の撮影が適正露光になるように、ＬＥＤの照射時間、照射強度、撮像素子の電子シャッタ速度等がＣＰＵ３１により制御され、また、この撮影時に温度変化が激しい場合にはアラームブザー６５が鳴り警告を発する。
なお、ＬＥＤからの照明光を照射しないで歯牙の画像を更に撮影し、外光画像データとして画像メモリ３５に記録してもよい。
【００４２】
続いて、撮影が終了し、医師により撮像装置１がクレードル２に置かれると、再度、色票画像データの取得が行われる。
これにより、色票１００のマルチバンド画像データが第２の色票画像データとして、該色票画像データの取得時の温度データとともに画像メモリ３５に記録される。
【００４３】
続いて、ＬＥＤが全く点灯しない状態（暗黒下）で色票１００の撮影が行われ、この画像データが暗電流画像データとして画像メモリ３５に記録される。なお、この暗電流画像データは、撮影を複数回行い、これら画像データを平均化した画像データを用いるようにしてもよい。
【００４４】
続いて、画像メモリ３５に記録された上記外光画像データ、暗電流画像データを用いた信号補正がマルチバンド画像データおよび色票画像データのそれぞれに対して行われる。マルチバンド画像データに対する信号補正は、例えば、マルチバンド画像データの各画像データに対して画素毎に外光画像データの信号値を減算することによって行われ、撮影時の外光の影響を除去することができる。同様に、色票画像データに対する信号補正は、例えば、色票画像データの各画像データに対して画素毎に暗電流画像データの信号値を減算することによって行われ、温度によって変化するＣＣＤの暗電流ノイズ除去を行うことができる。
【００４５】
図３は、色票画像データに対する信号補正結果の一例を示したものである。図３において、縦軸はセンサ信号値を、横軸は入力光強度を示しており、実線は補正前の原信号、破線は信号補正後の信号を示している。
このようにして信号補正が行われた後のマルチバンド画像データおよび色票画像データは、各画像データの撮影時における温度センサ１３により検出された温度データと対応づけられた後、ローカルバス３７、通信Ｉ／Ｆコントローラ３４、通信／Ｉ／Ｆ接点６１を介して歯科用測色装置３へ送信され、図４に示す歯科用測色装置３内のマルチバンド画像メモリ１１０に記録される。また、画像データと対応づけられた温度データは、データＩＦ３３、ローカルバス３７、通信Ｉ／Ｆコントローラ３４、通信／Ｉ／Ｆ接点６１を介して歯科用測色装置３へ送信される。
画像データと温度データとの対応づけは、例えば、シリアル番号等の識別子を付することにより行うことができる。
【００４６】
なお、上記色票１００のマルチバンド画像データおよび暗電流画像データは、撮像装置１内の画像メモリ３５に記録されることなく、ローカルバス３７、通信Ｉ／Ｆコントローラ３４、通信／Ｉ／Ｆ接点６１を介して、歯科用測色装置３へ直接送信され、歯科用測色装置３内のマルチバンド画像メモリ１１０に記録されるような構成としてもよい。この場合、上述した信号補正は、歯科用測色装置３内で行われることとなる。
【００４７】
〔歯科用測色装置〕
本実施形態に係る歯科用測色装置３は、図４に示されるように、例えば、パーソナルコンピュータ等からなり、上記撮像装置１の通信Ｉ／Ｆ接点６１を介して出力されるマルチバンド画像データ、色票画像データおよび温度データを受信し、このマルチバンド画像データに種々の処理を施すことにより、被写体である歯の高度な色再現がなされた画像データを作成するとともに、患者の歯牙に適したシェードガイド番号を選択し、これらの情報をモニタ４に表示する。
【００４８】
また、歯科用測色装置３は、入力装置５に接続されている。入力装置５は、ユーザがシェードガイド番号や治療支援情報を入力する。入力装置５を介して入力されたシェードガイド番号や治療支援情報は、色見本選択部８０を介して色見本情報記憶部に記憶されるようになっている。歯科用測色装置３は、入力装置５を介してユーザにより入力されたシェードガイド番号や治療支援情報から、患者の歯牙に適したものを選択してモニタ４に表示する。
【００４９】
治療支援情報としては、医師が患者の歯牙に形成された窩洞に対して歯科用充填材を充填する際に必要となる種々の情報をいい、窩洞の深さ、位置および級情報のような窩洞の情報や、歯科用充填材の層数、層の有無、各層の材質や厚さ等の歯科用充填材の情報等が挙げられる。
【００５０】
歯科用測色装置３は、撮像装置１から入力されたＲＧＢカラー画像データを記録するＲＧＢ画像メモリ１１１と、マルチバンド画像データおよび色票画像データを記憶するマルチバンド画像メモリ１１０と、温度データを記憶する温度メモリ１２１とを備えている。また、歯科用測色装置３は、マルチバンド画像メモリ１１０内の画像データを受け取って、色票画像データと被写体のマルチバンド画像データとに識別する画像識別部１２２と、該画像識別部１２２により識別された色票画像データと温度メモリ１２１に記憶されている温度データとに基づいて、キャリブレーション画像データを生成するキャリブレーション画像生成部（キャリブレーションデータ設定部）１２３と、画像識別部１２２により識別された歯牙のマルチバンド画像データとキャリブレーション画像生成部１２３により生成されたキャリブレーション画像データとに基づいてマルチバンド画像データの色度を算出する色度算出部７０とを備えている。
【００５１】
また、歯科用測色装置３は、シェードガイド情報が記憶されている色見本情報記憶部１１４、色見本情報記憶部１１４に記憶されているシェードガイド情報に基づいて患者の歯牙の色に適したシェードガイド番号を選択する色見本選択部８０、モニタ４の表示内容を制御する画像表示制御部１１５、色度算出部７０からの信号に基づいてカラー画像データを作成するカラー画像作成処理部１１２、およびＲＧＢ画像メモリ１１１およびカラー画像作成処理部１１２から画像表示制御部１１５に送られるＲＧＢカラー画像データを記憶する画像ファイリング部１１３を備えている。
【００５２】
キャリブレーション画像生成部１２３は、歯牙の撮影の前後に取得した第１，第２の２つの色票画像データを温度によって補間することによりキャリブレーション画像データを生成するようになっている。すなわち、複数回にわたる歯牙の撮影を挟んで取得された２つの色票画像データを撮影したときの温度をｔｓ１，ｔｓ２、色票画像データをｇｓ１，ｇｓ２とすると、その間で、温度ｔｎで撮影された歯牙のマルチバンド画像データｇｎを補正するためのキャリブレーション画像データｃは、下式により算出される。
ｃ＝（｜ｔｓ２−ｔｎ｜×ｇｓ１＋｜ｔｓ１−ｔｎ｜×ｇｓ２）／｜ｔｓ１−ｔｓ２｜
【００５３】
色度算出部７０は、スペクトル推定演算部（画像補正部）７１、観察スペクトル演算部７２、および色度値演算部７３を備えている。
スペクトル推定演算部７１は、図５に示されるように、変換テーブル作成部７１１、変換テーブル７１２、入力γ補正部７１３、画素補間演算部７１４、面内ムラ補正部７１５、マトリクス演算部７１６、およびスペクトル推定マトリクス作成部７１７を備えている。入力γ補正部７１３および画素補間演算部７１４は、マルチバンド画像データおよびキャリブレーション画像データのそれぞれに対して個別に設けられており、マルチバンド画像データに対して入力γ補正部７１３ａ、画素補間演算部７１４ａが設けられ、キャリブレーション画像データに対して入力γ補正部７１３ｂ、画素補間演算部７１４ｂが設けられている。
【００５４】
スペクトル推定演算部７１においては、まず、マルチバンド画像データおよびキャリブレーション画像データは、それぞれ個別に設けられている入力γ補正部７１３ａ，７１３ｂに転送され、入力γ補正が行われた後、各画素補間演算部７１４ａ，７１４ｂにより画像補間演算処理が施される。これら処理後の信号は、面内ムラ補正部７１５に転送され、ここでキャリブレーション画像データを用いたマルチバンド画像データの面内ムラ補正処理（キャリブレーション）が行われる。その後、マルチバンド画像データは、マトリクス演算部７１６に転送され、スペクトル推定マトリクス作成部７１７により作成されたマトリクスを用いて分光反射率が算出される。
【００５５】
以下、各部において行われる各画像処理について具体的に説明する。
まず、入力γ補正の前段階として、変換テーブル作成部７１１により変換テーブル７１２が作成される。具体的には、変換テーブル作成部７１１は、入力光強度とセンサ信号値とを対応付けたデータを有しており、これらデータに基づいて変換テーブル７１２を作成する。この変換テーブル７１２は、入力光強度と出力信号値の関係から作成されるものであり、例えば、図６（ａ）に実線で示すように、入力光強度とセンサ信号値とが略比例関係となるように作成される。
【００５６】
各入力γ補正部７１３ａ，７１３ｂは、この変換テーブル７１２を参照することによりマルチバンド画像データ、キャリブレーション画像データに対してそれぞれ入力γ補正を行う。この変換テーブルは、現時点におけるセンサ値Ａに対応する入力光強度Ｄを求め、この入力光強度Ｄに対応する出力センサ値Ｂが出力されるように作成され、結果的に図６（ｂ）のようになる。このようにして、マルチバンド画像データ、キャリブレーション画像データに対し入力γ補正がなされると、補正後の各画像データはそれぞれ画素補間演算部７１４ａ，７１４ｂへ転送される。
【００５７】
画素補間演算部７１４ａ，７１４ｂでは、入力γ補正後のマルチバンド画像データおよびキャリブレーション画像データのそれぞれに対して、画素補間のためのローパスフィルタをかけることにより画素補間演算が行われる。図７は、Ｒ信号、Ｂ信号に適用されるローパスフィルタの一例を示している。図８は、Ｇ信号に適用されるローパスフィルタを示している。このような画素補間のためのローパスフィルタを各マルチバンド画像データに乗算することにより、例えば、１４４画素×１４４画素の画像を２８８画素×２８８画素の画像にする。
【００５８】
画像補間演算が行われた画像データｇk（ｘ，ｙ）は、面内ムラ補正部７１５へ転送される。
面内ムラ補正部７１５は、以下の（１）式を用いて、マルチバンド画像データの画面中心の輝度を補正する。
【００５９】
【数１】
2010081057.tif 000003
【００６０】
上記（１）式において、ｃｋ（ｘ，ｙ）はキャリブレーション画像データ、ｇｋ（ｘ，ｙ）は入力γ補正後のマルチバンド画像データ、（ｘ０，ｙ０）は中央の画素位置、δ（＝５）はエリア平均サイズ、ｇ´ｋ（ｘ，ｙ）は面内ムラ補正後の画像データである（ただしｋ＝１，・・・、Ｎ（バンド数））。
上記面内ムラ補正は、マルチバンド画像データの各画像データに対して行われる。
【００６１】
面内ムラ補正後のマルチバンド画像データｇ´ｋ（ｘ，ｙ）は、マトリクス演算部７１６へ転送される。マトリクス演算部７１６は、面内ムラ補正部７１５からのマルチバンド画像データｇ´ｋ（ｘ，ｙ）を用いてスペクトル（本実施形態においては、分光反射率）推定処理を行う。このスペクトル推定処理では、３８０ｎｍから７８０ｎｍまでの波長帯域において、１ｎｍ間隔で分光反射率の推定を行う。つまり、本実施形態では、４０１次元の分光反射率を推定する。
【００６２】
一般的に、１波長毎の分光反射率を求めるためには重厚で高価な分光計測器などが用いられるが、本実施形態では被写体が歯に限定されていることから、その被写体が有する一定の特徴を利用することにより、少ないバンドで４０１次元の分光反射率を推定する。
具体的には、マルチバンド画像データｇ´ｋ（ｘ，ｙ）とスペクトル推定マトリクスＭｓｐｅとを用いてマトリクス演算を行うことにより、４０１次元のスペクトル信号を算出する。
【００６３】
上記スペクトル推定マトリクスＭｓｐｅは、カメラの分光感度データ、ＬＥＤスペクトルデータ、被写体（歯）の統計データに基づきスペクトル推定マトリクス作成部７１７にて作成される。このスペクトル推定マトリクスの作成については特に限定されることなく、周知の手法を用いることが可能である。例えば、その一例が、S.K.Park and F.O.Huck “Estimation of spectral reflectance curves from multispectrum image data”, Applied Optics, 16,pp3107-3114(1977)に詳述されている。
【００６４】
なお、上記カメラの分光感度データ、ＬＥＤスペクトルデータ、被写体（歯）の統計データ等は図４に示した画像ファイリング部１１３に予め格納されている。また、カメラの分光感度がセンサの位置により変わる場合には、位置に応じて分光感度のデータを取得することとしてもよいし、中央の位置に対して適当に補正をして用いることとしてもよい。
【００６５】
スペクトル推定演算部７１において算出された分光反射率のスペクトルは、観察スペクトル演算部７２に入力される。
観察スペクトル演算部７２は、スペクトル推定演算部７１により算出された歯牙のスペクトルに対して観察に使用する照明光のスペクトルＳ（λ）を乗算することにより、観察に使用する照明光下での被写体のスペク卜ルを求める。この照明光のスペクトルＳ（λ）は、Ｄ６５やＤ５５光源、蛍光灯光源等、歯牙の色を観察する場合に使用される光源からの照明光のスペクトルであり、図示しない色再現特性記憶部に予め格納されている。
【００６６】
色度値演算部７３は、観察に使用する照明光下での被写体のスペクトルＧ（ｘ，ｙ，λ）から色度値Ｌ＊，ａ＊，ｂ＊を算出する。具体的には、色度値演算部７３は、歯牙の部位毎に色度値Ｌ＊，ａ＊，ｂ＊を平均化して、画像表示制御部１１５および色見本選択部８０に出力する。
【００６７】
一方、観察に使用する照明光下での被写体のスペクトルＧ（ｘ，ｙ，λ）は、カラー画像作成処理部１１２および画像ファイリング部１１３に送られる。カラー画像作成処理部１１２は、モニタ４上に表示するためのカラー画像データＲＧＢ２（ｘ，ｙ）を作成し、画像表示制御部１１５に出力する。なお、カラー画像作成処理部１１２は、輪郭強調等の画像処理を実施してもよい。
【００６８】
色見本情報記憶部１１４には、例えば、色見本が一列に配置されているシェードガイドを作製するメーカー毎に、そのメーカーにより作製されたシェードガイドの撮影画像データがシェードガイド番号に対応付けられて格納されているほか、これらシェードガイドの所定エリアの分光スペクトル（具体的には、分光反射率スペクトル）や歯肉付きシェードガイド画像が格納されている。更に、色見本情報記憶部１１４には、シェードガイドの撮影画像データに基づいて得られた測色情報（例えば、ＲＧＢ値、Ｌ*ａ*ｂ*値、ＣＭＹＫ値、ＸＹＺ値、Ｙｕｖ値、Ｌ*Ｃ*ｈ値等）が撮影画像データの画素毎に格納されている。
【００６９】
色見本選択部８０は、色度算出部７０から転送されてきた平均色度値Ｌ＊，ａ＊，ｂ＊と、カラー画像作成処理部１１２から入力されたＲＧＢカラー画像データと、入力装置５から入力されたシェードガイド番号および治療支援情報とを対応づけて当該シェードガイドに関する１組の色見本情報を作成し、これを色見本情報記憶部１１４に記憶する。
【００７０】
また、色見本選択部８０は、色度算出部７０の色度値演算部７３から出力された平均色度値に対応するシェードガイド番号および治療支援情報を色見本情報記憶部１１４から選択する。
選択された治療支援情報は、そのシェードガイドのＲＧＢカラー画像とともに画像表示制御部１１５に出力される。
画像表示制御部１１５は、各部から入力された情報をモニタ４に表示させる。
【００７１】
以上、説明してきたように本実施形態に係る測色システムによれば、スペクトル推定演算部７１において分光反射率のスペクトルを算出する際に、撮影の前に取得した色票画像データのみによって補正するのではなく、撮影の前後に取得された２つの色票画像データを温度データによって補間したキャリブレーション画像データを用いるので、色票画像データの撮影から歯牙の撮影までの間における撮影条件等の変化にかかわらず、マルチバンド画像データを精度良く補正することができる。これにより、簡易な方法で、装置温度特性等の撮影条件に依存することなく高精度の色再現を実現することができるという利点がある。
【００７２】
なお、本実施形態においては、歯牙の撮影の前後に取得した色票画像データを温度データによって補間して、歯牙の撮影時の温度における色票画像データを生成し、これをキャリブレーション画像としたが、これに代えて、歯牙のマルチバンド画像データ取得時の温度と色票画像データ取得時の温度との近似性を判定し、撮影前後の色票画像データのいずれか近い方をマルチバンド画像データのキャリブレーション画像データとして採用してもよい。これにより、補間演算を行うことなく、さらに簡易かつ迅速にマルチバンド画像データを補正することができる。
【００７３】
また、歯牙の撮影の前後に取得した色票画像データから、これらの色票画像データの中間温度での色票画像データを生成し、温度の近似性によって、３つの色票画像データの内のいずれかをキャリブレーション画像データとして採用することにしてもよい。このようにすることで、歯牙の撮影前後に色票画像データを撮影した際の温度差が大きい場合においても、その中間温度において作成した色票画像データによってその温度差を低減し、より近い温度に対応するキャリブレーション画像データを得て、マルチバンド画像データをより精度良く補正することができる。
【００７４】
この場合において、中間温度における色票画像データの生成は、歯牙の撮影の前後の色票画像データの取得時における温度データの差が所定の閾値を越えて大きく変動している場合に行うこととしてもよい。このようにすることで、温度差が小さい場合には中間の色票画像データを生成する必要がないので、演算を行うことなく２つの色票画像データから簡易にキャリブレーションを行うことができ、温度差が大きい場合には、歯牙の撮影時の撮影条件に近いキャリブレーション画像データを生成して、マルチバンド画像データを精度良く補正することができる。
【００７５】
ここで、中間温度は１つでも複数でも構わない。数を増やすことで、より細かく補正することができる反面、計算数が多くなるので、補正の精度と計算量を比較考量して適宜決定することにすればよい。
【００７６】
なお、本実施形態では、平均色度値に基づいて患者の歯牙の色に近い平均色度値を有するシェードガイドの情報を選択することとしたが、上記例は一例であり、他の測色情報に基づいて選択することとしてもよい。例えば、上記平均色度値に代えて、色度算出部７０で得られるスペクトル（本実施形態では、分光反射率）に基づいて治療支援情報を選択することとしてもよい。
この場合、色見本情報記憶部１１４には、上記平均色度値に代えてスペクトル推定演算部７１（図４参照）により取得された分光反射率が記憶されることとなる。
また、治療支援情報の選択については、例えば、以下の（２）式に基づいてスペクトル判定値Ｊｖａｌｕｅを求め、このスペクトル判定値Ｊｖａｌｕｅに基づいて行われる。
【００７７】
【数２】
2010081057.tif 000004
【００７８】
上記（２）式において、Ｊｖａｌｕｅは、スペクトル判定値、Ｃは正規化係数、ｎは統計個数（計算に使用したλの個数）、λは波長、ｆ１（λ）は患者の歯牙の分光感度スペクトル値、ｆ２（λ）はシェードガイドの情報における分光感度スペクトル値、Ｅ（λ）は判定感度補正値である。なお、本実施形態では、Ｅ（λ）によって、λに応じた分光感度に関する重み付けを行っている。
【００７９】
このようにして、各シェードガイドの分光反射率を上記（２）式のｆ２（λ）に代入し、それぞれのスペクトル判定値Ｊｖａｌｕｅを算出する。そして、最も小さいスペクトル判定値Ｊｖａｌｕｅを示したときのシェードガイドの情報を選択することとしてもよい。また、選択するシェードガイドの数は、１つに限られず予め設定された数あるいは差分が一定の範囲内にある情報を全て選択することとしてもよい。
【００８０】
また、本実施形態においては、各部位の平均色度値を測色情報として用いていたが、平均ではなく部位の中心位置の色度値を測色情報として採用することとしてもよい。また、測色情報を得る色空間はＬ＊ａ＊ｂ＊色空間に限られず、例えば、ＶＣＨ空間における輝度、彩度、色相を用いてもよく、また、ＸＹＺ空間におけるＸ，Ｙ，Ｚ値を用いることとしてもよい。
【００８１】
また、シェードガイドは、前歯、臼歯、犬歯等に更に分類されていてもよいし、子供、成人、老人等の年齢に応じて分類されていてもよい。これらによっても層構造、特に、層の厚さが異なるからである。
また、本実施形態では、シェードガイドを撮像装置１で撮影することによりシェードガイドの各部位の色度値を取得することとしていたが、シェードガイドの色度値の取得方法についてはこの例に限定されない。例えば、分光器によりシェードガイドの色度値を部位ごとに測定して、各部位における平均色度値を色見本選択部８０に転送することとしてもよい。
【図面の簡単な説明】
【００８２】
【図１】本発明の一実施形態に係る測色システムの撮像装置およびクレードルの概略構成を示すブロック図である。
【図２】図１に示した光源のスペクトルを示す図である。
【図３】信号補正を説明する図である。
【図４】本発明の一実施形態に係る測色システムの歯科用測色装置の概略構成を示すブロック図である。
【図５】図４の歯科用測色装置に備えられるスペクトル推定演算部を示すブロック図である。
【図６】入力γ補正を説明する図である。
【図７】画素補間演算において、Ｒ信号およびＢ信号に適用されるローパスフィルタの一例を示す図である。
【図８】画素補間演算において、Ｇ信号に適用されるローパスフィルタの一例を示す図である。
【符号の説明】
【００８３】
１  撮像装置
３  歯科用測色装置（画像処理装置）
１３  温度センサ（温度測定部）
７１  スペクトル推定演算部（画像補正部）
１００  色票
１２３  キャリブレーション画像生成部（キャリブレーションデータ設定部）
【図１】
2010081057.tif 000005
【図２】
2010081057.tif 000006
【図３】
2010081057.tif 000007
【図４】
2010081057.tif 000008
【図５】
2010081057.tif 000009
【図６】
2010081057.tif 000010
【図７】
2010081057.tif 000011
【図８】
2010081057.tif 000012