(57)【要約】      （修正有）【課題】色の補間処理を行うことなく色変換テーブルを生成することができ、撮影時の照明環境によって色変換結果が変わってしまうことのない色変換処理を実現する色変換テーブル作成装置、色変換装置、色変換システム及びプログラムを提供する。【解決手段】変換前色値群算出手段４２が、第１の照明環境の光源情報に基づいて、色変換テーブルにおける変換前色値群を算出する。分光反射率推定手段４４が、第１の照明環境の光源情報と、撮影対象の分光反射率とに基づいて、変換前色値群に含まれる各色値について、撮影対象における各色値の分光反射率を推定する。変換後色値算出手段４６が、変換前色値群に含まれる各色値について、推定された各色値の分光反射率と、第２の照明環境の光源情報とに基づいて、各色値に対応する第２の照明環境で撮影された場合の色値を変換後色値として算出し、テーブル作成手段４８が、そこから色変換テーブルを作成する。【選択図】図３
2018046510.tif 000002
【特許請求の範囲】
【請求項１】
第１の照明環境で撮影された画像の色値を、前記第１の照明環境とは異なる第２の照明環境で撮影された場合の色値に変換するための色変換テーブルを作成する色変換テーブル作成装置であって、
予め求められた前記第１の照明環境の光源情報に基づいて、前記色変換テーブルにおける、前記第１の照明環境で撮影された画像の色値からなる変換前色値群を算出する変換前色値群算出手段と、
前記第１の照明環境の光源情報と、予め求められた撮影対象の分光反射率とに基づいて、前記変換前色値群に含まれる各色値について、前記撮影対象における当該各色値の分光反射率を推定する分光反射率推定手段と、
前記変換前色値群に含まれる各色値について、前記推定された当該各色値の分光反射率と、予め求められた前記第２の照明環境の光源情報とに基づいて、当該各色値に対応する前記第２の照明環境で撮影された場合の色値を変換後色値として算出する変換後色値算出手段と、
前記変換前色値群に対応する前記変換後色値の各々を少なくとも格納した前記色変換テーブルを作成するテーブル作成手段と、
を含む色変換テーブル作成装置。
【請求項２】
前記変換前色値群算出手段は、前記変換前色値群が、前記第１の照明環境における色空間の色値の次元毎に等間隔に配置されるように、前記変換前色値群を算出する請求項１記載の色変換テーブル作成装置。
【請求項３】
前記第１の照明環境で撮影された画像を取得する画像取得手段と、
請求項１又は２に記載の色変換テーブル作成装置によって作成された色変換テーブルを用いて、前記第１の照明環境で撮影された画像の各画素について、前記画素の色値を、前記第２の照明環境で撮影された場合の色値に変換する色変換手段と、
を含む色変換装置。
【請求項４】
遠隔地毎に、前記遠隔地の照明環境を、前記第１の照明環境として、請求項１又は２に記載の色変換テーブル作成装置によって作成された色変換テーブルを記憶する色変換テーブル記憶手段と、
前記遠隔地において撮影された画像を、ネットワークを介して受信する通信手段と、
前記通信手段によって受信した画像の前記遠隔地に対応する前記色変換テーブルを用いて、前記通信手段によって受信した画像の各画素について、前記画素の色値を、前記第２の照明環境で撮影された場合の色値に変換する色変換手段と、
前記色変換手段によって各画素の色値が変換された前記画像を表示する表示手段と、
を含む色変換システム。
【請求項５】
コンピュータに、第１の照明環境で撮影された画像の色値を、前記第１の照明環境とは異なる第２の照明環境で撮影された場合の色値に変換するための色変換テーブルを作成させるためのプログラムであって、
コンピュータに、
予め求められた前記第１の照明環境の光源情報に基づいて、前記色変換テーブルにおける、前記第１の照明環境で撮影された画像の色値からなる変換前色値群を算出するステップと、
前記第１の照明環境の光源情報と、予め求められた撮影対象の分光反射率とに基づいて、前記変換前色値群に含まれる各色値について、前記撮影対象における当該各色値の分光反射率を推定するステップと、
前記変換前色値群に含まれる各色値について、前記推定された前記当該各色値の分光反射率と、予め求められた前記第２の照明環境の光源情報とに基づいて、当該各色値に対応する前記第２の照明環境で撮影された場合の色値を変換後色値として算出するステップと、
前記変換前色値群に対応する前記変換後色値の各々を少なくとも格納した前記色変換テーブルを作成するステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像の色値を、その撮影時とは異なる照明環境で撮影された場合の画像の色値に変換するための色変換テーブル作成装置、色変換装置、色変換システム、及びプログラムに関する。
【背景技術】
【０００２】
遠隔診療や訪問診療においては、患者宅で撮影した患者の顔や患部等の画像を遠隔地の病院端末に送信・表示して、医師がそれらの画像を確認して診察を行うことがある。
【０００３】
このとき、患者宅ごとに照明環境は異なるし、同じ患者宅であっても撮影時における照明環境が常に同じになるとは限らない。すなわち、撮影ごとに照明環境は異なる。
【０００４】
そして、カメラで撮影された画像や映像は、撮影時の照明環境が異なると、同じ物体でも異なる色に映る。
【０００５】
このため、患者宅で撮影された顔画像や患部の画像をそのまま病院端末に表示させても、医師は、「照明環境による色の変化」と「患者の症状による色の変化」を区別することが難しい。
【０００６】
したがって、医師が患者の肌の色や患部の色、それらの変化を正確に把握できるようにするためには、多様な照明環境で撮影された画像の色を、共通の照明環境（例えば、標準光源環境）で撮影された画像の色に近づける色変換処理を行う必要がある。
【０００７】
このような色変換処理には、色変換テーブルが用いられる。
【０００８】
例えば、特許文献１には、デジタルカメラで色票（カラーチャート）を撮影し、そのＲＧＢ値が色票の各色について設定された理想ＲＧＢ値に近似するように三次元の色変換テーブルを生成し、その三次元色変換テーブルに基づいて画像の色変換処理を行う技術が開示されている。
【０００９】
特許文献１のように、色票に基づいて色変換テーブルを生成する場合、色票の色数は限られている一方で、色変換テーブルには多数の色が必要となる。
【００１０】
特に、患者宅において撮影される色票は、利便性やカメラの画角などを考慮して小さいサイズのもの（例えば、２４色の色票など）であることが望ましい。
【００１１】
このため、従来は、不足している色を補間処理によって補うことで、十分な色数の色変換テーブルを生成していた。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００２−３１５０１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述したように、撮影ごとに照明環境は異なる。そして、照明環境が異なれば、それぞれの環境における撮像系の色空間が異なる。さらに、色空間によっては、その色空間から任意の照明環境（例えば、標準光源環境）における撮像系の色空間に変換するために複雑な変換処理が必要になることがある。
【００１４】
このとき、患者宅の照明環境がこのような複雑な変換処理が必要な環境であった場合、色変換テーブルを生成するために行われる補間処理の精度は、複雑な変換処理が不要な照明環境の場合よりも低下する。すなわち、撮影時の照明環境によっては、補間処理の誤差が出やすいものがある。
【００１５】
その結果、照明環境ごとの補間処理精度の違いによって、同じ標準光源環境に色変換した画像であるにもかかわらず、変換結果の色が異なるものになってしまうという問題があった。
【００１６】
図１は、撮影時の照明環境によって補間処理の精度に差が生じる例を模式的に示した図である。
【００１７】
図１において、●は標準光源環境における色の真の値である。図１（ａ）に示す実線は、撮像系の色空間で色をｇ１からｇ２に変化させた際の標準光源環境におけるｇ１´からｇ２´への色変化の真の値を示したものである。図１（ｂ）に示す実線は、撮像系の色空間で色をｇ３からｇ４に変化させた際の標準光源環境におけるｇ３´からｇ４´への色変化の真の値を示したものである。○は、基準の色（色票の色）である。■は、基準の色に基づいて補間処理して求めた色（色変換テーブルに格納される色）である。
【００１８】
図１（ａ）は、照明環境Ａから標準光源環境への色変換テーブルを生成する例である。図１（ａ）の例では、色票の色を元に、色変換テーブルに必要な色を補間処理で計算しているが、色変換テーブルに格納すべき真の色からは、ずれが生じていることがわかる。
【００１９】
一方、図１（ｂ）は、照明環境Ｂから標準光源環境への色変換テーブルを生成する例である。図１（ｂ）の例では、色票の色を元に補間した色が、真の色と一致していることがわかる。
【００２０】
図１において、照明環境Ａにおける画像上の色を標準光源環境における画像上の色に変換する場合は、照明環境Ｂにおける画像上の色から標準光源環境における画像上の色に変換する場合に比べて、色空間が複雑に変形している。このため、補間処理において変曲点付近で推定誤差が発生しやすい。すなわち、撮影時の照明環境が照明環境Ａである場合、撮影時の照明環境が照明環境Ｂの場合よりも補間処理の誤差が出やすい。
【００２１】
したがって、このように補間処理の精度の差を含んで生成された色変換テーブルをそれぞれ用いると、照明環境Ａで撮影された画像と照明環境Ｂで撮影された画像を、ともに標準光源環境における画像上の色に変換した場合に、両画像には色の差が生じてしまう。
【００２２】
例えば、病院端末にこれらの画像を表示すると、医師は両画像とも共通の標準光源環境の色に変換されている画像として顔色や患部の色を判断するため、色の状態や色の変化を患者の症状に起因したものであると誤って判断してしまう可能性がある。
【００２３】
また、この問題は、遠隔診療や訪問診療に限るものではない。例えば、照明環境の異なる各所に設置された監視カメラ間で監視画像の色を統一する場合においても、「監視画像中の物体に生じた色の状態や変化」と、「監視カメラごとの照明環境の違いによる色の差」と区別して、正確に認識することが難しくなるという問題が生じる。
【００２４】
本発明は、上記課題を鑑みてなされたものであり、色の補間処理を行うことなく色変換テーブルを生成することができ、撮影時の照明環境によって色変換結果が変わってしまうことのない色変換処理を実現することができる色変換テーブル作成装置、色変換装置、色変換システム、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２５】
上記の目的を達成するために本発明に係る色変換テーブル作成装置は、第１の照明環境で撮影された画像の色値を、前記第１の照明環境とは異なる第２の照明環境で撮影された場合の色値に変換するための色変換テーブルを作成する色変換テーブル作成装置であって、予め求められた前記第１の照明環境の光源情報に基づいて、前記色変換テーブルにおける、前記第１の照明環境で撮影された画像の色値からなる変換前色値群を算出する変換前色値群算出手段と、前記第１の照明環境の光源情報と、予め求められた撮影対象の分光反射率とに基づいて、前記変換前色値群に含まれる各色値について、前記撮影対象における当該各色値の分光反射率を推定する分光反射率推定手段と、前記変換前色値群に含まれる各色値について、前記推定された当該各色値の分光反射率と、予め求められた前記第２の照明環境の光源情報とに基づいて、当該各色値に対応する前記第２の照明環境で撮影された場合の色値を変換後色値として算出する変換後色値算出手段と、前記変換前色値群に対応する前記変換後色値の各々を少なくとも格納した前記色変換テーブルを作成するテーブル作成手段と、を含んで構成されている。
【００２６】
本発明に係る前記変換前色値群算出手段は、前記変換前色値群が、前記第１の照明環境における色空間の色値の次元毎に等間隔に配置されるように、前記変換前色値群を算出する。
【００２７】
本発明に係る色変換装置は、前記第１の照明環境で撮影された画像を取得する画像取得手段と、上記の色変換テーブル作成装置によって作成された色変換テーブルを用いて、前記第１の照明環境で撮影された画像の各画素について、前記画素の色値を、前記第２の照明環境で撮影された場合の色値に変換する色変換手段と、を含んで構成されている。
【００２８】
本発明に係る色変換システムは、遠隔地毎に、前記遠隔地の照明環境を、前記第１の照明環境として、上記の色変換テーブル作成装置によって作成された色変換テーブルを記憶する色変換テーブル記憶手段と、前記遠隔地において撮影された画像を、ネットワークを介して受信する通信手段と、前記通信手段によって受信した画像の前記遠隔地に対応する前記色変換テーブルを用いて、前記通信手段によって受信した画像の各画素について、前記画素の色値を、前記第２の照明環境で撮影された場合の色値に変換する色変換手段と、前記色変換手段によって各画素の色値が変換された前記画像を表示する表示手段と、を含んで構成されている。
【００２９】
本発明に係るプログラムは、コンピュータに、第１の照明環境で撮影された画像の色値を、前記第１の照明環境とは異なる第２の照明環境で撮影された場合の色値に変換するための色変換テーブルを作成させるためのプログラムであって、コンピュータに、予め求められた前記第１の照明環境の光源情報に基づいて、前記色変換テーブルにおける、前記第１の照明環境で撮影された画像の色値からなる変換前色値群を算出するステップと、前記第１の照明環境の光源情報と、予め求められた撮影対象の分光反射率とに基づいて、前記変換前色値群に含まれる各色値について、前記撮影対象における当該各色値の分光反射率を推定するステップと、前記変換前色値群に含まれる各色値について、前記推定された前記当該各色値の分光反射率と、予め求められた前記第２の照明環境の光源情報とに基づいて、当該各色値に対応する前記第２の照明環境で撮影された場合の色値を変換後色値として算出するステップと、前記変換前色値群に対応する前記変換後色値の各々を少なくとも格納した前記色変換テーブルを作成するステップと、を実行させることを特徴とする。
【発明の効果】
【００３０】
以上説明したように、本発明の色変換テーブル作成装置、色変換装置、色変換システム、及びプログラムによれば、色の補間処理を行うことなく色変換テーブルを生成することができ、撮影時の照明環境によって色変換結果が変わってしまうことのない色変換処理を実現することができる、という効果が得られる。
【図面の簡単な説明】
【００３１】
【図１】撮影時の照明環境によって補間処理の精度に差が生じる例を模式的に示した図である。
【図２】本発明の実施の形態に係る遠隔診療システムの構成を示す概略図である。
【図３】本発明の実施の形態に係る色変換装置の構成を示すブロック図である。
【図４】撮影画像の画素のＲＧＢ値より選択された近傍のレコードを模式的に示した図である。
【図５】本発明の実施の形態に係る色変換装置による色変換処理の動作を示すフローチャートである。
【図６】本発明の実施の形態に係る色変換装置による色変換テーブルを作成する処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００３２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、遠隔診療システムに本発明を適用した場合を例に説明する。
【００３３】
＜システム構成＞
以下、本発明を適用した遠隔診療システム１００の概略構成を示した図２を参照し、本発明の実施の形態の構成を説明する。
【００３４】
（遠隔診療システム１００）
遠隔診療システム１００は、複数の患者端末（図示省略）、病院端末２０、および色変換装置３０を有する。複数の患者端末、病院端末２０、および色変換装置３０は、通信ネットワーク５０を介して接続されている。
【００３５】
患者端末は、それぞれ患者宅（例えば、患者宅Ａ、Ｂ）に設置され、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro−Processing Unit）、周辺回路、端子、及び各種メモリなどから構成される。患者端末は、患者端末に接続されたデジタルカメラ１２で撮影された患者の顔画像や患部の画像を、遠隔地の病院に設置された病院端末２０に送信し、遠隔診療を実現する。
【００３６】
このとき、医師が患者の肌の色および患部の色、それらの変化を正確に把握できるようにするために、患者端末は、色変換装置３０を介して、病院端末２０に送信する。
【００３７】
色変換装置３０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro−Processing Unit）、周辺回路、端子、及び各種メモリなどから構成される。色変換装置３０は、患者端末から画像を受信すると、患者宅の多様な照明環境で撮影された画像の色を、共通の照明環境で撮影された画像の色に近づける色変換処理を施し、色変換された画像を病院端末２０に送信する。
【００３８】
具体的には、本実施の形態における遠隔診療システム１００では、患者宅においてデジタルカメラ１２を用いて撮影された患者の顔画像や患部の画像が、患者端末から通信ネットワーク５０を介して色変換装置３０に送信される。
【００３９】
そして、本実施の形態における色変換装置３０は、色変換処理を施したそれらの画像を、通信ネットワーク５０を介して病院端末２０に送信する。
【００４０】
病院端末２０は、病院内に設置され、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro−Processing Unit）、周辺回路、端子、及び各種メモリなどから構成される。病院端末２０は、色変換装置３０から受信した画像をモニター２２に表示する。これにより、医師は、病院端末２０に送信され、かつ、モニター２２に表示されたそれらの画像を閲覧し、患者を診察する。
【００４１】
図２においては、患者宅Ａでデジタルカメラ１２により撮影された画像Ａ１およびＡ２、患者宅Ｂでデジタルカメラ１２により撮影された画像Ｂが、色変換装置３０にて、それぞれ画像Ａ１´、画像Ａ２´、画像Ｂ´に変換される。そして、その後、画像Ａ１´、画像Ａ２´、画像Ｂ´が病院端末２０に送信される。
【００４２】
画像Ａ１および画像Ａ２は、同じ患者宅Ａで同じ患者を撮影した画像であるが、撮影された時間帯や撮影の際に点灯させた照明装置が異なるため、撮影時の照明環境が異なる画像となる。また、患者宅Ａと患者宅Ｂも照明環境が異なる。すなわち、画像Ａ１、Ａ２、画像Ｂはいずれも、撮影時の照明環境が異なる画像である。
【００４３】
本発明の実施の形態に係る色変換装置３０によれば、撮影時の照明環境が異なるこれらの画像（画像Ａ１、画像Ａ２、画像Ｂ）を共通の照明環境で撮影された場合の色に精度良く変換することができるため、撮影時の照明環境の影響を排除して、画像に写った対象の色の状態を正確に把握したり、色の比較を正確に行ったりすることができる。
【００４４】
（色変換装置３０）
色変換装置３０は、色変換テーブルを作成し、作成された色変換テーブルに基づいて、ある照明環境で撮影された画像の色を、他の照明環境で撮影された場合の画像の色に変換する。
【００４５】
本実施の形態では、デジタルカメラ１２を用いて患者宅の照明環境で撮影された患者の顔や患部等の画像を取得し、それらの画像の色を標準光源環境で撮影された画像の色に変換する。
【００４６】
図３は、本実施の形態における色変換装置３０の構成を示した図である。
【００４７】
本実施の形態における色変換装置３０は、記憶部３２、光源スペクトル取得部３４、色変換テーブル作成部３６、色変換処理部３８、及び出力部４０を含んで構成される。各部についての説明は後述する。なお、色変換処理部３８は、画像取得手段及び色変換手段の一例である。
【００４８】
（デジタルカメラ１２）
デジタルカメラ１２は、撮影対象を撮影するための撮像デバイスである。デジタルカメラ１２は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子などの撮像素子、Ａ／Ｄ変換器などを含んで構成される。
【００４９】
デジタルカメラ１２は、撮影したデータをＡ／Ｄ変換し、デジタル画像（以下、撮影画像）を作成する。ここで作成される撮影画像のＲＧＢ値は、撮像素子への入射光量と線形関係である。
【００５０】
本実施の形態では、デジタルカメラ１２で撮影された撮影画像は、患者端末により、通信ネットワーク５０を介して、色変換装置３０に送信され、色変換装置３０の記憶部３２に記憶される。
【００５１】
撮影画像を送信する手段は、特に限定しない。例えば、色変換装置３０とデジタルカメラ１２を一体化させてもよいし、デジタルカメラ１２から送信するようにしてもよい。
【００５２】
なお、後述する色変換装置３０の色変換処理部３８は、記憶部３２を介して撮影画像を入力するが、これに限らず、撮影画像は、記憶部３２を介さずに色変換処理部３８に入力されるようにしてもよい。
【００５３】
また、後述する光源スペクトル取得部３４にて、色票の画像を用いて撮影時の光源スペクトルを推定する場合、色票を撮影した画像（色票画像）についても、前述した撮影画像と同様に処理し、通信ネットワーク５０を介して色変換装置３０に送信される。そして、記憶部３２を介して、色変換装置３０の光源スペクトル取得部３４に入力される。
【００５４】
なお、患者の顔や患部等の撮影画像は、患者を識別する患者ＩＤと対応付けて送信すればよい。また、色票画像についても、患者の顔や患部等の撮影画像を撮影した時の照明環境と同じ照明環境で撮影されたものが、その撮影画像と対応付けられて送信されるものとする（撮影ＩＤ等を付与して対応付ければよい）。
【００５５】
（モニター２２）
モニター２２は、ディスプレイおよび表示制御手段等を含んで構成される。本実施の形態では、モニター２２は、遠隔地の病院に設置された病院端末２０に備えられている。
【００５６】
医師等は、病院端末２０を操作して色変換装置３０から取得した色変換後の撮影画像をモニター２２に表示させる。
【００５７】
なお、モニター２２の色管理設定は、使用するモニター２２のメーカーが提供、もしくはカラーマネジメントツールで作成したモニタープロファイルが指定され、モニター２２はそのモニター特性に合わせて、正確な色の表示ができるようになっているものとする。
【００５８】
以下に、色変換装置３０の構成について詳しく説明する。
【００５９】
（記憶部３２）
記憶部３２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ、ハードディスクなどのメモリ装置で構成される。
【００６０】
本実施の形態における記憶部３２は、予め、デジタルカメラ１２の分光感度、撮影対象の分光反射率データベース、変換先光源スペクトルデータ、等色関数データを記憶する。
【００６１】
デジタルカメラ１２の分光感度は、撮影で用いるデジタルカメラ１２のＲＧＢの各色の撮像素子について、光の波長ごとの感度を表した情報である。
【００６２】
撮影対象の分光反射率データベースは、撮影の対象とする物体が持つ様々な色の分光反射率の情報である。本実施形態では、人の肌を撮影の対象とし、人の肌の多数の色の分光反射率を予め多数入手し記憶部３２に記憶しておく。
【００６３】
撮影対象がその他である場合は、同様に、その撮影対象に含まれる様々な色の分光反射率を記憶部３２に予め記憶しておけばよい。
【００６４】
変換先光源スペクトルデータは、色変換先の照明環境に関する光源スペクトルのデータ（光源の波長ごとの分光強度の情報）である。なお、光源スペクトルは、光源情報の一例である。
【００６５】
例えば、本実施の形態では、記憶部３２は、変換先光源スペクトルデータとして、標準光源環境における光源スペクトルを記憶する。国際照明委員会（ＣＩＥ）の定める標準光源には、Ｄ６５やＤ５０などいくつかの種類が存在するが、医師等が所望する光源のスペクトルデータを記憶部３２に記憶しておけばよい。
【００６６】
このとき、変換先光源スペクトルデータは、標準光源以外のものでも構わない。例えば、診察室と同じ照明環境を変換先の照明環境としたい場合は、その診察室の光源スペクトルデータを記憶しておけばよい。
【００６７】
等色関数データは、人の目の分光感度を表した情報である。本実施例では、国際照明委員会（ＣＩＥ）が定めたデータを用いる。
【００６８】
上述した４種類の情報のフォーマットは、３９０ｎｍから８００ｎｍの間の波長において１ｎｍ刻みの４１１次元に揃えている。
【００６９】
記憶部３２は、これら以外にも、各処理を実行するのに必要なプログラムやパラメータなどの各種情報を記憶する。
【００７０】
記憶部３２は、色変換装置３０を構成する各部などからアクセス可能である。
【００７１】
（光源スペクトル取得部３４）
光源スペクトル取得部３４は、撮影時の照明環境における光源スペクトルを取得する。なお、光源スペクトルは、光源情報の一例である。
【００７２】
本実施の形態では、光源スペクトル取得部３４は、予め分光反射率が既知のパッチをもつ色票を用いて、撮影時の照明環境における光源スペクトルを推定する。
【００７３】
なお、色票の各パッチの分光反射率は予め記憶部３２に記憶しておく。
【００７４】
また、精度よく光源スペクトルを推定するために、患者宅で用いられる照明や太陽光の光源スペクトルを、サンプル光源スペクトルデータとして予め記憶部３２に記憶しておく。
【００７５】
光源スペクトルを推定する際、まず、撮影時の照明環境下において、デジタルカメラ１２で色票を撮影し、色票画像から各パッチの色値を抽出し、記憶部３２に記憶する。そして、光源スペクトル取得部３４は、記憶部３２に記憶している色票の各パッチの色値及び分光反射率と、カメラ分光感度と、サンプル光源スペクトルデータとを用いて、撮影時の照明環境の光源スペクトルを推定する。推定した光源スペクトルは記憶部３２に記憶される。このとき、推定された光源スペクトルは、推定に用いられた色票画像と同じ照明環境下において撮影された撮影画像と撮影ＩＤ等で対応付けられて記憶される。
【００７６】
なお、分光測定器を撮影環境に持ち込むことが可能であるならば、前述した光源スペクトルの推定を行うことなく、分光測定器で撮影時の照明環境の光源スペクトルを計測し、これを記憶部３２に記憶してもよい。この場合、色票を撮影することや、色票の各パッチの分光反射率、サンプル光源スペクトルデータを記憶する必要はない。
【００７７】
また、分光測定器で撮影時の照明環境の光源スペクトルを計測した場合、前述した色票画像と同様に、患者の顔や患部等の撮影画像を撮影した時の照明環境と同じ照明環境で計測されたものが、その撮影画像と撮影ＩＤ等で対応付けられて色変換装置３０に送信され、記憶部３２に記憶される。
【００７８】
以下に、本実施形態における光源スペクトルの推定について詳しく説明する。なお、推定方法はこれに限らず、既存の方法を用いればよい。
【００７９】
[光源スペクトルの推定]
光源スペクトル取得部３４は、以下のように撮影時の照明環境における光源スペクトル（本実施形態では波長域３９０−８００ｎｍにおける１ｎｍ間隔で４１１次元のもの）を推定する。
【００８０】
分光反射率ｒが既知の色票を撮影し、以下の分光情報とデジタルカメラ１２が出力する色の関係式（１）を用いて光源スペクトルを推定する。
【００８１】
【数１】
2018046510.tif 000003
【００８２】
ただし、ｇrgbは、デジタルカメラ１２が出力する色値のＲとＧとＢを表す３×１の列ベクトルである。Ｓは、ＲとＧとＢの３つのカメラ分光感度特性を表す４１１×３の行列である。ｒは、色票のパッチの分光反射率を表す４１１×１の列ベクトルで、ｄｉａｇ（ｒ）は、ベクトルｒを対角要素とする対角行列である。ｌは、光源スペクトルを表す４１１×１の列ベクトルである。
【００８３】
カメラ分光感度Ｓは、記憶部３２に予め記憶している分光感度を用いる。式（１）から、光源スペクトルｌを推定するには、光源スペクトルｌを直接求めるのではなく、式（２）に示すように、ｌを基底ベクトルｌbasisの線形和で置き換え、線形和の重み係数ａを求める。
【００８４】
【数２】
2018046510.tif 000004
【００８５】
ｌestは、光源スペクトルの推定値を表す４１１×１の列ベクトルである。ｌbasisは、ｍ個の基底ベクトルを表す４１１×ｍの行列である。ａは、ｍ個の基底ベクトルにかかる重み係数を表すｍ×１の列ベクトルである。
【００８６】
係数ａを求めるためには、一般的に、記憶部３２に予め記憶している複数のサンプル光源スペクトルからその主成分ベクトルを求め、その主成分ベクトルを式（２）の基底ベクトルとして用い、複数のパッチのＲＧＢ値を入力データとして、最小二乗法で係数を推定する。
【００８７】
また、サンプル光源スペクトルを用いて、ウィナー推定によって推定するようにしてもよい。
【００８８】
しかし、実環境で光源スペクトルを推定する場合、撮影した色票の画像のＲＧＢ値は誤差を含むため、光源スペクトルの推定精度は低くなるケースがある。本実施例では、光源スペクトル推定の精度を向上させるため、基底ベクトルに、ｍ個のサンプル光源をそのまま用い、さらに、線形和係数の推定に非負値最小二乗法を用いる。基底ベクトルと線形和係数を共に非負とすることで、４１１次元の光源スペクトルは推定可能な範囲が限定され、実環境であっても光源スペクトルを安定して推定可能となる。ｎ色のカラーチャートを用いる場合、線形和係数ａとパッチ色値ｇの関係式（３）より、線形和係数ａを非負値最小二乗法により求める。
【００８９】
【数３】
2018046510.tif 000005
【００９０】
ただし、ｇr1は、カメラ応答の中で、ｎ個あるパッチの１番目のパッチのＲの値である。ｒ1は、色票の1番目のパッチの分光反射率を表す４１１×１の列ベクトルである。ｓrは、カメラのＲの分光感度を表す４１１×１の列ベクトルで、ｄｉａｇ（ｓr）は、ベクトルｓrを対角要素とする４１１×４１１の対角行列である。Ｌbasisは、ｍ個のサンプル光源スペクトルを基底ベクトルにした４１１×ｍの行列である。ａ1は、１番目の基底ベクトルにかける係数である。
【００９１】
そして、係数ａに基づいて、上記式（２）に従って、光源スペクトルの推定値ｌestを求める。
【００９２】
（色変換テーブル作成部３６）
色変換テーブル作成部３６は、補間処理を行うことなく色変換テーブルを作成する。
【００９３】
作成した色変換テーブルは、記憶部３２に記憶される。このとき、色変換テーブルは、作成に使用された光源スペクトルと同じ照明環境で撮影された撮影画像に対応付けて記憶される。
【００９４】
色変換テーブルは、変換前のある色が変換後にはどの色になるのかの変換前後の色対応関係を定めるレコードを、多数格納したテーブルである。
【００９５】
本実施形態で用いる色変換テーブルは、色変換処理で色再現精度が下がらないようにするために、３３×３３×３３個という多数の色変換前後の色の対応関係を示すレコードから構成される三次元ルックアップテーブルを用いる。
【００９６】
なお、三次元ルックアップテーブルを用いて、正確な色変換を高速に行うためには、色変換前の色空間内（患者宅の照明環境における撮像系の色空間内）で等間隔に配置されている必要がある。
【００９７】
本実施の形態における色変換テーブル作成部３６は、変換前色値算出手段４２、分光反射率推定手段４４、変換後色値算出手段４６、及びテーブル作成手段４８を含んで構成される。
【００９８】
以下に、色変換テーブル作成部３６を構成する各手段について詳しく説明する。
【００９９】
（変換前色値算出手段４２）
変換前色値算出手段４２は、色変換テーブルが必要とする変換前色値を、撮像系の色空間に基づいて算出する。そして、全レコード分の変換前色値からなる変換前色値群を記憶部３２に記憶する。
【０１００】
本実施の形態では、以下のように変換前色値を算出する。なお、変換前色値の算出方法は、以下の方法に限らず、撮影時の照明環境に応じた変換前色値を算出できるものであればよい。例えば、撮像系の色空間の白色点を撮影画像から抽出するようにしてもよい。
【０１０１】
[変換前色値の算出]
三次元ルックアップテーブルを用いた色変換テーブルは、変換前の色空間と変換後の色空間の色の対応関係がＮ×Ｎ×Ｎ個のレコードとして記述されており、さらに、色変換処理部３８において画像の色変換が高速に実行されるために、変換前の色は、変換前の三次元色空間にて次元毎に等間隔に配置された色が用いられる。本実施形態では、Ｎ＝３３としている。
【０１０２】
変換前の色空間は、光源スペクトル取得部３４で取得された光源スペクトルｌと、記憶部３２に予め記憶してあるカメラ分光感度Ｓにより決定される。
【０１０３】
具体的には、式（４）により撮像系の色空間の白色点ｇwを求め、その白色点を三次元空間の頂点として各次元を等間隔に３２分割し、３３×３３×３３個の色を算出し、変換前色値群とする。
【０１０４】
【数４】
2018046510.tif 000006
【０１０５】
このように、光源スペクトル取得部３４で取得された光源スペクトルｌに応じた色空間の頂点を用いて、変換前色値群を求めることができる。
【０１０６】
なお、求めた白色点を三次元空間の頂点として各次元を等間隔に分割する場合を例に説明したが、これに限定されるものではなく、求めた白色点の各次元の値を所定割合だけ下げた点を、三次元空間の頂点として各次元を等間隔に分割するようにしてもよい。
【０１０７】
（分光反射率推定手段４４）
分光反射率推定手段４４は、変換前色値算出手段４２で算出した色変換テーブルの全レコード分の変換前色値の各々について、撮影対象における当該変換前色値の分光反射率を推定する。
【０１０８】
撮影対象における変換前色値の分光反射率の推定には、記憶部３２に記憶されている撮影時の照明環境における光源スペクトル、撮影に使用したデジタルカメラ１２の分光感度、及び撮影対象の分光反射率データベースを用いる。
【０１０９】
そして、分光反射率推定手段４４は、推定した各色変換前色値の分光反射率を記憶部３２に記憶する。
【０１１０】
本実施の形態における分光反射率推定手段４４は、以下のように分光反射率を推定する。なお、分光反射率の推定方法はこれに限らず、既存の方法を用いればよい。
【０１１１】
[分光反射率の推定]
分光反射率推定手段４４は、光源スペクトル取得部３４が取得した撮影時の照明環境における光源スペクトルを用いて、色変換テーブルの変換前色値の各色の分光反射率を推定する。
【０１１２】
ここで、世の中に存在するあらゆる物体の色を対象として分光反射率を推定する場合には、１色のＲＧＢ値から正確に求めることは困難であるため、撮影対象の種類に応じてその推定方法を選択する必要がある。
【０１１３】
そこで、本実施の形態では、人の肌を撮影対象とする。
【０１１４】
具体的には、撮影対象が人の肌の場合、記憶部３２に予め記憶してある複数の肌の分光反射率のサンプルデータを用いて、主成分分析を用いた手法、もしくはウィナー推定によって、分光反射率を推定することが出来る。
【０１１５】
なお、人の肌以外を撮影対象とする場合は、その撮影対象の分光反射率をサンプルデータとして用意し、分光反射率の推定を行う。
【０１１６】
主成分分析を用いる場合の推定方法を以下に説明する。
【０１１７】
式（６）によって、推定する分光反射率ｒlutを３つの基底ベクトルの線形和で置き換え、その線形和の係数ａlutを算出する。
【０１１８】
【数５】
2018046510.tif 000007
【０１１９】
式（７）は、変換前色値ｇinと基底ベクトルＲbasisとの線形和で表した分光反射率の関係式である。
【０１２０】
【数６】
2018046510.tif 000008
【０１２１】
ただし、ｇinは、変換前色値のＲとＧとＢを表す３×１の列ベクトルである。ｌは、推定した撮影環境の光源スペクトルを表す４１１×１の列ベクトルであり、ｄｉａｇ（ｌ）は、ベクトルｌを対角要素とする４１１×４１１の対角行列である。Ｒbasisは、３個の基底ベクトルに表す４１１×３の行列である。３個の基底ベクトルは、撮影対象の分光反射率のサンプルデータに対して主成分分析を行った結果から得られる、上位３個の主成分ベクトルである。ａlutは、基底ベクトルＲbasisにかかる重み係数を表す３×１の列ベクトルである。
【０１２２】
式（７）より算出した係数ａlutと基底ベクトルＲbasisより、前述した式（６）から分光反射率ｒlutを求める。
【０１２３】
（変換後色値算出手段４６）
変換後色値算出手段４６は、分光反射率推定手段４４で推定した変換前色値の各々の分光反射率を用いて、各分光反射率の標準光源環境下での色を算出する。
【０１２４】
その際、記憶部３２に記憶されている変換先光源スペクトルデータ、人の目の分光感度である等色関数データを取得し、色の算出に用いる。そして、算出した全ての標準光源環境下における色を色変換テーブルの変換後色値として記憶部３２に記憶する。
【０１２５】
具体的には、以下のように変換後色値を算出する。
【０１２６】
変換後色値算出手段４６は、３３×３３×３３個の変換前色値の各々について、当該変換前色値の分光反射率ｒlutを用いて、式（８）に従って、色変換テーブルの変換後色値ｇoutを算出する。計算には、記憶部３２に予め記憶してある標準光源の光源スペクトルデータｌS、人間の視覚の分光感度特性である等色関数Ｓhを用いる。
【０１２７】
【数７】
2018046510.tif 000009
【０１２８】
ただし、ｇoutは、変換後色値のＸとＹとＺを表す３×１の列ベクトルである。Ｓhは、国際照明委員会（ＣＩＥ）が規定した人間の分光感度を表す４１１×３の行列である。ＩSは、画像閲覧に用いる標準光源のスペクトルを表す４１１×１の列ベクトルであり、ｄｉａｇ（ｌS）は、ベクトルｌSを対角要素とする４１１×４１１の対角行列である。ｒlutは、色変換テーブルに用いられる変換前色値の、撮影対象における分光反射率を表す４１１×１の列ベクトルである。
【０１２９】
（テーブル作成手段４８）
テーブル作成手段４８は、変換前色値算出手段４２にて算出された変換前色値と、変換後色値算出手段４６で算出した変換後色値を取得し、変換前色値と変換後色値を対応させてそのまま格納することで補間処理することなく色変換テーブルを作成する。
【０１３０】
色変換テーブルのフォーマットをＩＣＣ（International Color Consortium）プロファイルに合わせた場合、後述する色変換処理部３８において、ＩＣＣプロファイルに対応したカラーマネジメントシステムが利用可能となる。
【０１３１】
作成した色変換テーブルは、記憶部３２に記憶される。このとき、前述したように撮影画像と対応付けられる。
【０１３２】
（色変換処理部３８）
色変換処理部３８は、色変換テーブルを用いて、撮影画像の色が目的の照明環境下で撮影された場合の画像上の色になるように変換する。
【０１３３】
本実施の形態では、色変換処理部３８は、記憶部３２に記憶されている撮影画像を取得し、その撮影画像に対応付けられている色変換テーブルを記憶部３２から取得して、撮影画像の色が標準光源環境下で撮影された画像の色になるように変換する。
【０１３４】
具体的には、本実施の形態における色変換処理部３８は、撮影画像の各画素のＲＧＢ値を、３３×３３×３３個の変換前後の色の対応関係を示すレコードが格納されている色変換テーブルを用いて、標準光源環境下の色値に変換する。色変換処理部３８は、この処理を撮影画像の全画素について行う。
【０１３５】
さらに詳細に説明すると、色変換処理部３８は、３３×３３×３３個のレコードの中から、変換前の色空間内で、撮影画像の画素のＲＧＢ値の近傍に位置するレコードを選択し、そのレコードに記憶されている変換後色値を取得する（図４参照）。その複数の変換後色値から、線形補間などの補間処理によって最終的に変換後の各画素の色値を算出する。
【０１３６】
図４は、撮影画像の画素のＲＧＢ値より選択された近傍のレコードを模式的に示した図である。
【０１３７】
なお、図４では、レコード数を４×４×４個に簡略化して記載している。
【０１３８】
図４に示すように、レコードの変換前色値を等間隔にすることで、上述した近傍のレコードを選択する際に、画素のＲＧＢ値と変換前色値の大小比較が不要となるため、高速に近傍レコードを選択することができるようになっている。
【０１３９】
色変換処理部３８は、色変換した撮影画像（以下、変換画像）を記憶部３２に記憶する。このとき、変換元となった撮影画像と同じ患者ＩＤが付与される。
【０１４０】
（出力部４０）
出力部４０は、色変換処理部３８が生成した変換画像を出力する。
【０１４１】
本実施の形態では、色変換装置３０と病院端末２０は通信ネットワーク５０などで接続され、出力部４０は、記憶部３２に記憶されている変換画像を病院端末２０に対して出力する。
【０１４２】
出力された変換画像を病院端末２０のモニター２２に表示することで、医師や看護士は、患者宅の光源が、設置照明の種類や、時間や天候によって異なったとしても、常に同じ光源下で患者を観察するのと同様のことが可能となる。
【０１４３】
＜遠隔診療システムの動作＞
以下、図５、図６に示したフローチャートを参照しつつ、本発明を適用した遠隔診療システム１００による色変換処理の動作を説明する。なお、各患者宅の照明環境毎に、デジタルカメラ１２で撮影された色票画像から抽出された、各パッチの色値が予め取得され、記憶部３２に記憶されており、その他の処理に必要な各種の情報が記憶部３２に記憶されている場合を例に説明する。
【０１４４】
図５に示すフローチャートは、記憶部３２にまだ色変換がされていない撮影画像がある場合や、ユーザーの指示等によって開始される。
【０１４５】
最初に、色変換装置３０の光源スペクトル取得部３４は、色変換対象の撮影画像と同じ患者宅の照明環境について、記憶部３２に記憶されているパッチの色値と、色票の各パッチの分光反射率と、サンプル光源スペクトルデータとに基づいて、上記（３）式に従って、線形和係数を非負値最小二乗法により求め、求められた線形和係数に基づいて、上記（２）式に従って、色変換対象の撮影画像の撮影時の照明環境における光源スペクトルを推定する（ステップＳ１）。なお、光源スペクトルを推定せずに分光測定器で計測する場合、ステップＳ１を省略することができる。
【０１４６】
そして、色変換テーブル作成部３６は、色変換対象の撮影画像について、ステップＳ１で推定された撮影時の照明環境における光源スペクトルに基づいて、色変換テーブルを作成して、記憶部３２に格納する（ステップＳ２）。
【０１４７】
次に、色変換処理部３８は、色変換対象の撮影画像を、記憶部３２から取得する（ステップＳ３）。
【０１４８】
そして、色変換処理部３８は、上記ステップＳ２で色変換対象の撮影画像について作成された色変換テーブルを、記憶部３２から取得し、色変換テーブルを用いて、撮影画像の各画素のＲＧＢ値を標準光源環境下の色値に変換した変換画像を生成し、記憶部３２に格納する（ステップＳ４）。
【０１４９】
次に、出力部４０は、ステップＳ４で生成された変換画像を、病院端末２０に対して出力し（ステップＳ５）、一連のステップを終了する。
【０１５０】
上記ステップＳ２は、図６に示す処理ルーチンにより実現される。
【０１５１】
まず、変換前色値算出手段４２が、色変換対象の撮影画像について上記ステップＳ１で推定された光源スペクトルと、記憶部３２に予め記憶してあるカメラ分光感度とにより、撮像系の色空間の白色点を求め、その白色点を三次元空間の頂点として各次元を等間隔に分割して、変換前色値を算出する（ステップＳ２１）。
【０１５２】
そして、分光反射率推定手段４４は、色変換対象の撮影画像について上記ステップＳ１で推定された光源スペクトルと、記憶部３２に予め記憶してあるカメラ分光感度と、撮影対象の分光反射率データベースとに基づいて、上記ステップＳ２１で算出した色変換テーブルの全レコード分の変換前色値の各々について、撮影時の照明環境下で生じる分光反射率を推定する（ステップＳ２２）。
【０１５３】
そして、変換後色値算出手段４６は、色変換テーブルの全レコード分の変換前色値の各々について、上記ステップＳ２２で推定した分光反射率と、記憶部３２に記憶されている変換先光源スペクトルデータと、人の目の分光感度である等色関数データとに基づいて、上記式（８）に従って、変換後色値を算出する（ステップＳ２３）。
【０１５４】
次に、テーブル作成手段４８は、上記ステップＳ２１にて算出された変換前色値と、上記ステップＳ２３で算出した変換後色値を取得し、補間処理することなく色変換テーブルを作成して、記憶部３２に記憶し（ステップＳ２４）、当該処理ルーチンを終了する。
【０１５５】
以上説明してきたように、本発明の実施の形態に係る遠隔診療システムの色変換装置は、撮影時の照明環境の光源スペクトルに基づいて、先に色変換テーブルの変換前色値群を算出し、撮影対象の分光反射率に基づいて、変換前色値群に含まれる各色値について、撮影対象における色値の分光反射率を推定し、変換したい照明環境（例えば、標準光源環境）下の光源スペクトルに基づいて、色値に対応する、変換したい照明環境下で撮影された画像の色値を算出することにより、色の補間処理を行うことなく色変換テーブルを生成することができ、撮影時の照明環境によって色変換結果が変わってしまうことのない安定した色変換処理を実現することができる。
【０１５６】
また、従来手法のように色票に基づいて色変換テーブルを生成すると、色数が少ないため補間処理が必要だったが、単純に、色票を用いずに、予め多数の分光反射率のサンプルをデータとして用意して色数を増やしたとしても補間処理は必要となる。それは、撮影時の照明環境によって等間隔になる色は異なるため、予め分光反射率を撮影時の照明環境において等間隔な色になるように用意しておくことが難しいからである。例えば、仮に、ある照明環境下（例えば、白熱灯下）で等間隔な色になるように分光反射率のサンプルを予め用意できたとしても、そのサンプルは、他の光源下においては等間隔な色になるようなものではないため、色変換テーブルを生成するための補間処理はなくならない。本発明の実施の形態によれば、補間処理を行うことなく、照明環境における等間隔に配置した色変換テーブルを生成できるため、高速、かつ正確な色変換を実現できる。
【０１５７】
＜変形例＞
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、色変換装置が、色変換テーブルの作成と、色変換処理とを行う場合を例に説明したが、これに限定されるものではない。例えば、色変換処理を行う装置と色変換テーブルを作成する装置とを別の装置にしてもよい。
【０１５８】
また、上記の実施の形態では、色変換装置を遠隔診療システムに適用した例を説明したが、他の用途に使用してもよく、診療以外の目的で、遠隔地の画像を監視するための遠隔監視システムに本発明を適用してもよい。例えば、照明環境の異なる各所に設置された監視カメラで撮影された監視画像を表示する遠隔監視システムにおいて、監視カメラ間で監視画像の色を統一することに用いてもよい。
【０１５９】
また、変換前色値と、変換後色値とを対応させて格納した色変換テーブルを作成する場合を例に説明したが、これに限定されるものではなく、変換前色値を格納せずに、変換後色値を格納した色変換テーブルを作成するようにしてもよい。
【０１６０】
また、上記の実施の形態では、通信ネットワーク５０を介して、各種の画像を送受信しているが、これに限らない。例えば、色変換装置３０とデジタルカメラ１２を一体にしてもよいし、患者宅に設置された患者端末や、患者宅に持ち込むスマートフォン・タブレットＰＣなどのモバイル端末を色変換装置３０として、デジタルカメラ１２から画像を直接入力してもよい。また、色変換装置３０をサーバー上に設けてもよいし、病院端末２０側に設けるようにしてもよい。また、患者端末を設けずに、デジタルカメラ１２から、通信ネットワーク５０を介して、色変換装置３０へ送信するようにしてもよい。
【０１６１】
また、モニター２２は、病院端末２０のモニター２２だけでなく、訪問看護ステーションにある端末や、医師、看護士が持ち歩くモバイル端末のモニターでもよい。
【０１６２】
また、遠隔診療システム１００を構成する、患者宅の数や病院の数、色変換装置３０の数も、図２の例に限るものではない。
【０１６３】
以上のように、当業者は本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【０１６４】
１２   デジタルカメラ
２０   病院端末
２２   モニター
３０   色変換装置
３２   記憶部
３４   光源スペクトル取得部
３６   色変換テーブル作成部
３８   色変換処理部
４０   出力部
４２   変換前色値算出手段
４４   分光反射率推定手段
４６   変換後色値算出手段
４８   テーブル作成手段
５０   通信ネットワーク
１００ 遠隔診療システム
【図１】
2018046510.tif 000010
【図２】
2018046510.tif 000011
【図３】
2018046510.tif 000012
【図４】
2018046510.tif 000013
【図５】
2018046510.tif 000014
【図６】
2018046510.tif 000015