(57)【要約】  対象物の情報を管理する情報管理装置であって、１つまたは複数のカテゴリに分類され、対象物のスペクトルに関する基底データを記憶する基底記憶部と、対象物のスペクトル測定データ及びカテゴリに関する情報を取得するデータ取得部と、データ取得部が取得したデータに基づいて、基底記憶部が記憶している基底データを更新する基底更新部とを備える情報管理装置を提供する。
2019159565.tif 000002
【特許請求の範囲】
【請求項１】
対象物の情報を管理する情報管理装置であって、
１つまたは複数のカテゴリに分類され、前記対象物のスペクトルに関する基底データを記憶する基底記憶部と、
前記対象物のスペクトル測定データ及び前記カテゴリに関する情報を取得するデータ取得部と、
前記データ取得部が取得したデータに基づいて、前記基底記憶部が記憶している前記基底データを更新する基底更新部と
を備える情報管理装置。
【請求項２】
前記データ取得部は、前記スペクトル測定データを生成した際の照明の光線空間を示す光線空間データを取得し、
前記基底更新部は、前記光線空間データを用いて前記基底データを更新する
請求項１に記載の情報管理装置。
【請求項３】
前記データ取得部は、ネットワークを介して複数の端末から前記スペクトル測定データ及び前記カテゴリに関する情報を取得する
請求項１または２に記載の情報管理装置。
【請求項４】
前記複数の端末のうちのいずれかの端末からの要求に応じて、前記基底記憶部が記憶した前記基底データを、前記端末に送信するデータ送信部を更に備える
請求項３に記載の情報管理装置。
【請求項５】
前記データ送信部は、前記端末から指定された前記対象物が属するカテゴリに対応する前記基底データを前記端末に送信する
請求項４に記載の情報管理装置。
【請求項６】
前記データ取得部は、前記対象物を撮像した撮像画像を前記端末から取得し、
前記撮像画像と前記基底データとに基づいて前記対象物のスペクトルを推定するスペクトル推定部を備え、
前記データ送信部は、推定したスペクトルに関する情報を前記端末に送信する
請求項４または５に記載の情報管理装置。
【請求項７】
請求項４または５に記載の情報管理装置と接続可能な端末であって、
前記対象物を撮像した撮像画像を取得する画像取得部と、
前記情報管理装置から前記基底データを取得する端末側データ取得部と、
前記撮像画像と前記基底データとに基づいて前記対象物の分光画像を生成する画像生成部と
を備える端末。
【請求項８】
請求項６に記載の情報管理装置と接続可能な端末であって、
前記対象物を撮像した撮像画像を取得する画像取得部と、
前記情報管理装置に対して、前記撮像画像を送信する端末側データ送信部と、
前記情報管理装置から前記対象物のスペクトルに関する情報を取得する端末側データ取得部と、
を備える端末。
【請求項９】
請求項４または５に記載の情報管理装置と、
請求項７に記載の端末と
を備える情報管理システム。
【請求項１０】
請求項６に記載の情報管理装置と、
請求項８に記載の端末と
を備える情報管理システム。
【請求項１１】
コンピュータを、請求項１から６のいずれか一項に記載の情報管理装置として機能させるためのプログラム。
【請求項１２】
コンピュータを、請求項７または８に記載の端末として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報管理装置、端末、情報管理システムおよびプログラムに関する。
【背景技術】
【０００２】
従来、被写体の分光スペクトルについて、基底関数を用いてスペクトル推定する技術が知られている（例えば特許文献１参照）。
特許文献１  特開２０１０−１２２０８０号公報【０００３】
スペクトル推定の精度を上げるべく、より適切な基底関数を用いることが好ましい。
【発明の概要】
【０００４】
上記課題を解決するために、本発明の第１の態様においては、対象物の情報を管理する情報管理装置を提供する。情報管理装置は、１つまたは複数のカテゴリに分類され、対象物のスペクトルに関する基底データを記憶する基底記憶部と、対象物のスペクトル測定データ及びカテゴリに関する情報を取得するデータ取得部と、データ取得部が取得したデータに基づいて、基底記憶部が記憶している基底データを更新する基底更新部とを備える。
【０００５】
本発明の第２の態様においては、情報管理装置と接続可能な端末を提供する。端末は、対象物を撮像した撮像画像を取得する画像取得部と、情報管理装置から基底データを取得する端末側データ取得部と、撮像画像と基底データとに基づいて対象物の分光画像を生成する画像生成部を備える。
【０００６】
本発明の第３の態様においては、情報管理装置と接続可能な端末を提供する。端末は、対象物を撮像した撮像画像を取得する画像取得部と、情報管理装置に対して、撮像画像を送信する端末側データ送信部と、情報管理装置から対象物のスペクトルに関する情報を取得する端末側データ取得部とを備える。
【０００７】
本発明の第４の態様においては、いずれかの態様の情報管理装置と、いずれかの態様の端末とを備える情報管理システムを提供する。
【０００８】
本発明の第５の態様においては、コンピュータを、情報管理装置または端末として機能させるためのプログラムを提供する。
【０００９】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一つ実施形態に係る情報管理システム２５０の一例を示すブロック図である。
【図２】画像生成装置２０７の一例を示すブロック図である。
【図３】撮像画像１２の一例を示す図である。
【図４】基底関数２２の一例を示す図である。
【図５】スペクトル係数４２の一例を示す図である。
【図６】仮想分光フィルタ３２の特性の一例を示す図である。
【図７】分光関数３６の一例を示す図である。
【図８】画像生成装置２０７の動作例を示すフローチャートである。
【図９】画像生成装置２０７の他の例を示す図である。
【図１０】スペクトル画像８０６の一例を示す図である。
【図１１】スペクトル測定データを測定した際の、対象物３００への照明の光線空間を示す光線空間データを説明する図である。
【図１２】情報管理装置１００の他の例を示す図である。
【図１３】本発明の複数の態様が全体的又は部分的に具現化されうるコンピュータ１２００の例を示す。
【発明を実施するための形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、本発明の一つ実施形態に係る情報管理システム２５０の一例を示すブロック図である。情報管理システム２５０は、端末２００と情報管理装置１００とを備える。例えば端末２００は、ユーザー等により管理されるコンピュータである。例えば情報管理装置１００は、ネットワーク２５２を介して１つまたは複数の端末２００に接続されるサーバーである。ネットワーク２５２はインターネットであってよく、ローカルネットワークであってもよい。
【００１３】
情報管理装置１００は、対象物の情報を管理する。対象物とは、例えばユーザー等により画像が撮像される物である。対象物の情報とは、対象物の画像、対象物のスペクトル等を含む。対象物はりんご、ミカン等の果物であり、対象物の情報とは対象物を撮像した画像およびスペクトルである。なお、対象物は、果物以外の作物、食肉、加工食品でもよく、生体やその組織でもよい。
【００１４】
情報管理装置１００は、管理装置側データ送信部１０２、管理装置側データ取得部１０４、基底更新部１０６および基底記憶部１０８を備える。管理装置側データ送信部１０２は、ネットワーク２５２を介してそれぞれの端末２００にデータを送信する。管理装置側データ取得部１０４は、ネットワーク２５２を介してそれぞれの端末２００からデータを取得する。
【００１５】
基底記憶部１０８は、対象物のスペクトルに関する基底データを記憶する。基底データには、後述する複数の基底関数が含まれている。基底記憶部１０８は、基底データを１つまたは複数のカテゴリに分類して記憶する。基底データに含まれる基底関数は、カテゴリに属する対象物３００（図３等参照）毎に複数のスペクトルデータを取得して、これらのデータを主成分分析等によって統計処理することで算出されている。当該カテゴリは、対象物のカテゴリに対応する。対応するカテゴリの基底データを用いて対象物のスペクトルを推定することで、スペクトルをより精度よく推定できる。対象物のカテゴリは、例えばりんご、ミカン等の果物の種類を用いることができる。また、対象物３００のカテゴリは、異なる観点からなる複数の項目（収穫時期、栽培方法、成分等）や、階層構造（品種、産地、生産者等）で区分けされてもよい。後述する基底取得部２０は、ユーザーが指定したカテゴリに応じた基底データを取得してもよい。
【００１６】
管理装置側データ取得部１０４は、対象物のスペクトル測定データ及び対象物のカテゴリに関する情報を取得する。スペクトル測定データは、例えば対象物の表面を測定して得られる分光反射率等のスペクトルデータである。スペクトル測定データには、算出しようとする基底関数の帯域を含むスペクトルデータが含まれていてよい。管理装置側データ取得部１０４は、複数の端末２００から情報を取得する。
【００１７】
基底更新部１０６は、管理装置側データ取得部１０４が取得したスペクトル測定データおよびカテゴリ情報に基づいて、基底記憶部１０８が記憶している基底データを更新する。例えば基底更新部１０６は、基底記憶部１０８が現在記憶している基底データを算出するのに用いたスペクトル測定データを保存している。基底更新部１０６は、保存していたスペクトル測定データに、新たに取得したスペクトル測定データを加えて、新たに基底データを生成してよい。基底更新部１０６は、基底データに含まれる基底関数の線形和と、それぞれのスペクトル測定データとの誤差が最も小さくできるような基底関数を生成する。基底更新部１０６は、収集したスペクトル測定データを、主成分分析等の方法で複数の基底関数に分解してよい。基底更新部１０６は、基底データに含まれる基底関数の数を変化させてもよい。
【００１８】
基底更新部１０６は、スペクトル測定データを取得する毎に基底データを更新してよく、一定期間の間に取得したスペクトル測定データを蓄積しておき、当該期間毎に基底データを更新してもよい。基底更新部１０６は、新たなスペクトル測定データを追加する場合、既存のスペクトル測定データの一部を破棄してもよい。
【００１９】
基底更新部１０６は、スペクトル測定データを、当該データが測定された時期に応じて分類してもよい。例えば基底更新部１０６は、月毎にスペクトル測定データを分類する。この場合、基底記憶部１０８は、スペクトル測定データが測定された時期毎に、基底データを記憶してよい。これにより、例えば農作物等のように時期によって状態や色が変化する対象物に対して、適切な基底データを管理できる。
【００２０】
基底更新部１０６は、スペクトル測定データを、時期以外の他のパラメータで分類してもよい。例えばスペクトル測定データが測定された場所（緯度、経度等）、温度、湿度等のパラメータで分類できる。これらの環境パラメータは、スペクトル測定データに付されていることが好ましい。基底更新部１０６は、後述する光線空間データに応じてスペクトル測定データを分類してもよい。
【００２１】
端末２００−１は、端末側データ送信部２０２、端末側データ取得部２０４およびスペクトル取得部２０６を備える。端末側データ取得部２０４は、ネットワーク２５２を介して情報管理装置１００からデータを取得する。端末側データ送信部２０２は、ネットワーク２５２を介して情報管理装置１００にデータを送信する。
【００２２】
スペクトル取得部２０６は、対象物のスペクトル測定データを取得する。スペクトル測定データは、例えば分光測定器等で測定できる。分光測定器は、農作物等の検査ラインに設けられてよい。
【００２３】
端末側データ送信部２０２は、スペクトル取得部２０６が取得したスペクトル測定データを、対象物のカテゴリ情報を付して情報管理装置１００に送信する。端末側データ送信部２０２は、スペクトル測定データの測定時における対象物への照明の光線空間を示す光線空間データを、スペクトル測定データに付して送信してもよい。
【００２４】
このように、ネットワーク２５２を介して複数の端末２００から送られるスペクトル測定データおよびカテゴリ情報を情報管理装置１００に集約することで、より精度の高い基底関数を生成できる。管理装置側データ送信部１０２は、基底記憶部１０８に記憶している基底データに基づく情報を、端末２００に送信してよい。これにより、端末２００は、精度の高い基底関数を用いて、対象物のスペクトルを精度よく推定できる。
【００２５】
図１の例では、情報管理装置１００は、端末２００−２に基底関数に送信する。端末２００−２は、画像生成装置２０７を備える。なお、同一の端末２００にスペクトル取得部２０６と画像生成装置２０７が設けられていてもよい。
【００２６】
端末２００−２の端末側データ送信部２０２は、対象物が属するカテゴリを指定して、情報管理装置１００に基底データを要求する。端末側データ送信部２０２は、基底データに対応付けられている時期等のパラメータを更に指定してもよい。管理装置側データ送信部１０２は、当該要求に応じて、基底記憶部１０８が記憶している基底データのうち、指定されたカテゴリの基底データを抽出して端末２００−２に送信する。画像生成装置２０７は、端末側データ取得部２０４が取得した基底データに基づいて、対象物の分光画像を生成する。
【００２７】
図２は、画像生成装置２０７の一例を示すブロック図である。なお、画像生成装置２０７の構造は本例に限定されない。本例の画像生成装置２０７は、画像生成装置２０７は、画像取得部１０、基底取得部２０、関数設定部３０、スペクトル係数算出部４０および画像生成部５０を備える。
【００２８】
画像取得部１０は、対象物の少なくとも一部を撮像した撮像画像データを取得する。撮像画像は２次元画像であってよい。撮像画像データを撮像した撮像装置は、予め定められた波長帯域に感度を有する。撮像装置は、可視帯域の波長の光に感度を有してよく、可視帯域外の波長の光に感度を有してもよい。撮像装置は、対象物の静止画像を取得してよく、動画像を取得してもよい。
【００２９】
画像生成装置２０７は、撮像装置から取得した撮像画像データに基づいて、任意の分光特性を対象物に適用した場合の分光画像を生成する。当該分光特性を調整することで、例えば、対象物に照射する照明光の特性、または、撮像装置の分光フィルタの特性を変化させた場合の分光画像を生成できる。
【００３０】
撮像画像データには、複数の波長における各画素の値が含まれている。一例として撮像画像データには、赤、青および緑の３色に対応する波長における、各画素の値が含まれる。他の例として撮像画像データには、赤外帯域の３つの波長における、各画素の値が含まれてもよい。なお、本明細書においてスペクトルは光の波長ごとの強度の分布を示すが、その波長分解能は、予め定められた閾値よりも高いものとする。例えば、異なる波長（または波長帯域）で複数撮像した撮像画像データの波長分解能（画像間の波長間隔）を閾値として設定した場合、スペクトルは、撮像画像データの波長分解能（複数の波長間隔）よりも高い分解能を有するものとする。本例では、撮像画像データは３つの波長における値を含むので、スペクトルは少なくとも４つ以上の波長における値を含む。スペクトルの波長分解能は１０ｎｍ以下であってよく、例えば１ｎｍである。
【００３１】
基底取得部２０は、対象物のスペクトルに関する基底データを取得する。本例では、情報管理装置１００から端末側データ取得部２０４が受け取った基底データが、基底取得部２０に入力される。基底データには、複数の基底関数のデータが含まれる。それぞれの基底関数に所定の重み付け係数を乗じて加算することで、任意のスペクトルが表現される。基底データに含まれる基底関数の数が多いほど、任意のスペクトルに対する誤差を小さくできる。
【００３２】
基底取得部２０は、対象物のカテゴリに応じた基底データを取得する。撮像画像データに対応する対象物のカテゴリは、撮像装置から取得する撮像画像データに付されたカテゴリ情報から判定してよく、撮像画像データに基づいて基底取得部２０が判定してもよい。例えば基底取得部２０は、撮像画像データに含まれる対象物の画像と、予め設定されたテンプレート画像とを比較して、対象物のカテゴリを判定できる。
【００３３】
関数設定部３０は、基底取得部２０から取得した基底データを用いて、任意の分光特性を有する仮想分光フィルタを介した分光画像を生成するための分光関数を設定する。分光特性は、画像生成装置２０７のユーザー等により設定されてよい。関数設定部３０は、基底データで示されるそれぞれの基底関数に分光特性を乗算することで分光関数を算出してよい。
【００３４】
スペクトル係数算出部４０は、撮像画像において対象物を示す各画素について、基底データに含まれるそれぞれの基底関数の重み付け係数を示すスペクトル係数を撮像画像から算出する。上述したように、複数の基底関数の線形和により任意のスペクトルが表現される。スペクトル係数は、撮像画像データに含まれる各波長（または色）の値を最もよく近似できる複数の基底関数の重み付け係数の組み合わせである。本例においてスペクトル係数は、撮像画像の画素毎に定められる。他の例においてスペクトル係数は、複数の画素を含む画素ブロック毎に定められてもよい。
【００３５】
画像生成部５０は、関数設定部３０が設定した分光関数と、スペクトル係数算出部４０が算出したスペクトル係数とに基づいて、対象物３００の分光画像を生成する。当該分光画像は、ユーザー等により設定された分光特性に対応する画像である。このような構成により、少ない演算量で任意の分光特性に対応する分光画像を生成できる。
【００３６】
図３は、撮像画像１２の一例を示す図である。本例の画像取得部１０は、３つの波長（または色）に対応する３つの撮像画像１２−１、１２−２、１２−３を取得する。本例では、撮像画像１２および波長（または色）が一対一に対応している。それぞれの撮像画像１２は、二次元に配列された複数の画素を有する。撮像画像１２を示す撮像画像データは、撮像装置が受光した各波長（または色）の光の強度を画素毎に示すデータである。
【００３７】
図４は、基底データに含まれる基底関数２２の一例を示す図である。本例では３つの基底関数２２−１、２２−２、２２−３を示しているが、基底データに含まれる基底関数２２の数は３つに限定されない。基底データには、より多くの基底関数２２が含まれてよい。図３および図４の例では、基底関数２２と撮像画像１２の数が一致しているが、基底関数２２の数と撮像画像１２の数は一致していなくてもよい。
【００３８】
図４に示すように、それぞれの基底関数２２の形状は異なる。例えば、それぞれの基底関数２２は、極大値または極小値となる波長が異なっている。このような基底関数２２に、それぞれ適切な重み係数を乗算して加算することで、多様なスペクトルを表現できる。ただし、基底関数２２の形状によっては、精度よく表現できる場合と、精度よく表現できない場合がある。例えば図４の例では、長波長の帯域２３においては、それぞれの基底関数２２の形状は類似しているので、長波長において変化するようなスペクトルについては、再現精度が高くならない場合がある。上述したように基底取得部２０は、対象物３００のカテゴリに応じた基底データを取得できる。例えば、「青森県産のりんご」というカテゴリに対して複数の基底関数２２が用意されており、そこから、少なくとも撮像画像１２で撮像した波長数と同じ数の基底関数２２を含む基底データを取得する。これにより、対象物３００のスペクトル推定の精度を向上できる。
【００３９】
図５は、スペクトル係数４２の一例を示す図である。スペクトル係数算出部４０は、基底関数２２と一対一に対応するスペクトル係数４２を算出する。本例において各スペクトル係数４２は、撮像画像１２の画素と一対一に対応するビット４４を有する。他の例では、各スペクトル係数４２は、撮像画像１２の複数の画素を含む画素ブロック毎にビット４４を有してもよい。図５においては、各ビット４４を２次元に配列したスペクトル係数画像を示している。図５における領域４８は、スペクトル係数画像における一部の領域４６を拡大した領域である。
【００４０】
それぞれのスペクトル係数４２における各ビット４４の値は、当該ビット４４に対応する画素に対する、当該スペクトル係数４２に対応する基底関数２２の重み付け係数である。図５においては、各ビット４４の値をハッチングの濃淡で示している。
【００４１】
スペクトル係数算出部４０は、算出したスペクトル係数４２の組み合わせを記憶してよい。スペクトル係数算出部４０は、スペクトル係数４２と、基底データとを対応付けて記憶してもよい。スペクトル係数４２と基底データとから、対象物３００の各画素におけるスペクトルを推定できる。
【００４２】
図６は、仮想分光フィルタ３２の特性の一例を示す図である。上述したように仮想分光フィルタ３２は、ユーザー等により任意の特性に設定できる。通常の分光フィルタは、分光特性が定められているため、分光特性を変更するには分光フィルタを交換する必要があるが、本例の仮想分光フィルタ３２は、演算に用いる仮想的な分光フィルタなので、分光特性を自由に設定可能である。仮想分光フィルタ３２は、複数個設定できる。例えば関数設定部３０には、分光画像の各画素における各波長（または色）に対応する仮想分光フィルタ３２を設定できる。より具体的には、分光画像の各画素が赤、青および緑の画素値で表現される場合、関数設定部３０には、赤、青および緑のそれぞれの波長（または色）に対応する仮想分光フィルタ３２が設定されてよい。
【００４３】
関数設定部３０は、ユーザー等から仮想分光フィルタ３２の特性自体を指定されてよい。関数設定部３０は、ユーザー等から仮想的な撮像装置の種類等を指定されてもよい。関数設定部３０は、ユーザー等から指定される情報に対応する仮想分光フィルタ３２の特性を用いてもよい。関数設定部３０には、予め複数種類の仮想分光フィルタ３２の特性が登録されていてよい。
【００４４】
図７は、分光関数３６の一例を示す図である。関数設定部３０は、基底データに含まれるそれぞれの基底関数２２と、仮想分光フィルタ３２の分光特性とを乗算して、分光関数３６を設定する。つまり関数設定部３０は、それぞれの波長において、基底関数２２の値と、仮想分光フィルタ３２の分光特性の値とを乗算する。関数設定部３０は、基底関数２２毎に、それぞれの仮想分光フィルタ３２に対する分光関数３６を設定する。
【００４５】
図７の例では、基底関数２２−１および仮想分光フィルタ３２−１に対応する分光関数３６−１−１を示している。関数設定部３０は、基底関数２２−１と、他の仮想分光フィルタ３２−２、３２−３とに対応する分光関数３６−１−２、３６−１−３も算出する。また、関数設定部３０は、他の基底関数２２についても同様に、それぞれの仮想分光フィルタ３２と乗算した分光関数３６を設定する。
【００４６】
関数設定部３０は、分光関数３６を記憶してよい。関数設定部３０は、分光関数３６と、対象物３００を識別する情報と、仮想分光フィルタ３２を識別する情報とを対応付けて記憶してよい。
【００４７】
画像生成部５０は、分光関数３６とスペクトル係数４２とに基づいて、対象物３００の分光画像を生成する。画像生成部５０は、同一の基底関数２２に対応する分光関数３６およびスペクトル係数４２の組み合わせをそれぞれ乗算した後に、乗算結果を加算する。
【００４８】
本例の画像生成部５０は、スペクトル係数４２−１と複数の分光関数３６、スペクトル係数４２−２と複数の分光関数３６、スペクトル係数４２−３と複数の分光関数３６をそれぞれ乗算する。画像生成部５０は、スペクトル係数４２のビット４４毎に、分光関数３６と、スペクトル係数４２とを乗算する。画像生成部５０は、同一のビット４４に対する、同一の分光関数３６と各スペクトル係数４２との乗算結果を加算する。これにより各ビット４４の各波長（または色）の画素値を算出できる。画像生成部５０は、加算して得られた各ビット４４の画素値を、分光画像の各画素の画素値とする。
【００４９】
図８は、画像生成装置２０７の動作例を示すフローチャートである。基底取得部２０は、ｕ個の基底関数２２を含む基底データを取得する（Ｓ７０２）。ｕは２以上の整数である。ｕは撮像画像１２を撮像する際の波長数以上の整数であることが好ましい。関数設定部３０は、それぞれの基底関数２２−ｎおよび仮想分光フィルタ３２−ｓに対する分光関数３６−ｎ−ｓを設定する（Ｓ７０４）。ｎは１以上、ｕ以下の整数であり、ｓは１以上の整数である。
【００５０】
画像取得部１０は、撮像画像１２を取得する（Ｓ７０６）。スペクトル係数算出部４０は、スペクトル係数４２を算出する（Ｓ７０８）。Ｓ７０２からＳ７０８の処理は、図８に示した順番に限定されない。例えば、Ｓ７０２の前にＳ７０６の処理があってもよい。
【００５１】
一例としてスペクトル係数４２は、以下のように算出できる。撮像画像１２における各画素の画素値Ｉｍは、下式でモデル化できる。
【数１】
2019159565.tif 000003
ただし、ｓ（λ）は対象物３００の分光反射率のスペクトル、ｃｍ（λ）は撮像装置の感度特性のスペクトル、ｐ（λ）は照明光のスペクトルである。なおｃｍ（λ）およびｐ（λ）は既知とする。ｍは、撮像画像１２の数に対応する。例えば、赤、青、緑のように３つの波長成分についてそれぞれ撮像画像１２を取得した場合、ｍは１、２、３のように３つの整数で表される。ｃｍ（λ）は、撮像装置における各波長成分の感度特性（例えばフィルタの特性）に対応する。
【００５２】
また、対象物３００のスペクトルｓ（λ）は、下式で示される。
【数２】
2019159565.tif 000004
ただし、σ（ｎ）はスペクトル係数であり、ｂｎ（λ）はスペクトル係数４２−ｎに対応する基底関数であり、ｕは用いる基底関数の数である。それぞれの基底関数ｂｎ（λ）は既知とする。
【００５３】
数１に数２を代入すると、下式が得られる。
【数３】
2019159565.tif 000005
数３により、それぞれの画素値Ｉｍを、既知成分ｂｎ（λ）ｃｍ（λ）ｐ（λ）と、未知のスペクトル係数σ（ｎ）で表すことができる。
【００５４】
次に、数３における既知成分ｂｎ（λ）ｃｍ（λ）ｐ（λ）を所定の係数に置き換える。より具体的には、ｍおよびｎの各組み合わせについて、既知成分ｂｎ（λ）ｃｍ（λ）ｐ（λ）を所定の係数に置き換える。一例として基底関数の数が３、撮像画像１２の数が３の場合を考える。つまり、ｕ＝３、ｍ＝１、２、３である。
【００５５】
ｍ＝１の場合について、既知成分を係数Ａｎを用いて下式のように置き換える。
【数４】
2019159565.tif 000006
ｍ＝２、３の場合も、既知成分を係数Ｂｎ、Ｃｎを用いて下式のように置き換える。
【数５】
2019159565.tif 000007
【００５６】
数３、４、５から、下式が得られる。
【数６】
2019159565.tif 000008
画素値Ｉｍは撮像画像１２から既知であるので、数６の連立方程式を解くことで、スペクトル係数σ（１）、σ（２）、σ（３）を算出できる。なお、ノイズの影響や、スペクトルを推定するうえでの多項式の上位項のみを用いることの影響で、算出したスペクトル係数を用いた対象物のスペクトルが負の値を含むことがある。そこで、対象物のスペクトルが必ず正となるように数６の連立方程式を解いてもよい。具体的には、制約つきの最小二乗法を用いることが考えられる。
【００５７】
画像生成部５０は、分光画像を生成する（Ｓ７１０）。画像生成部５０が算出する各画素における波長成分毎の画素値Ｒｔは、以下で示される。ｔは１以上、ｓ以下の整数であり、各波長成分に対応する。
【数７】
2019159565.tif 000009
ただし、ｒｔ（ｎ）は分光関数３６−ｎ−ｔである。
【００５８】
つまり、σ（ｎ）とｒｔ（ｎ）をｕ回乗算した結果を加算することで、各画素の画素値Ｒｔを算出できる。このため、少ない演算量で画素値Ｒｔを算出できる。
【００５９】
図９は、画像生成装置２０７の他の例を示す図である。本例の画像生成装置２０７は、分光関数３６を算出しない。本例の画像生成装置２０７は、画像取得部１０、スペクトル係数算出部４０、スペクトル画像生成部８０２および画像生成部８０４を備える。画像取得部１０およびスペクトル係数算出部４０は、図２に示した画像取得部１０およびスペクトル係数算出部４０と同様である。
【００６０】
スペクトル画像生成部８０２は、スペクトル係数４２に対して、対応する基底関数２２を乗算する。これにより、所定の波長分解能を有するスペクトル画像を生成する。画像生成部８０４は、スペクトル画像に対して、仮想分光フィルタ３２の分光特性を乗算することで、分光画像を生成する。
【００６１】
図１０は、スペクトル画像８０６の一例を示す図である。スペクトル画像生成部８０２は、それぞれの波長に対応するスペクトル画像８０６を生成する。例えば注目帯域が６００ｎｍから１０００ｎｍであり波長分解能が１ｎｍの場合、スペクトル画像生成部８０２は、４００個程度のスペクトル画像８０６を生成する。
【００６２】
それぞれのスペクトル画像８０６の各画素は、当該波長における各画素値を示している。それぞれのスペクトル画像８０６は、対応するスペクトル係数４２と基底関数２２とを乗算して、それぞれの乗算結果を波長毎に加算することで算出できる。
【００６３】
画像生成部８０４は、設定される仮想分光フィルタ３２の分光特性と、スペクトル画像８０６に基づいて分光画像を生成する。具体的には、画像生成部８０４は下式に基づいて、分光画像の各画素値Ｒｔを算出する。
【数８】
2019159565.tif 000010
ただし、ｆ（λ）は波長λにおけるスペクトル画像８０６の画素値であり、ｖｔ（λ）は分光特性ｔの波長λにおける値である。つまり、本例の画像生成装置１００においては、各画素値Ｒｔを算出するのに、ｆ（λ）とｖｔ（λ）を４００回程度（波長分解能が１ｎｍで、注目帯域が６００ｎｍから１０００ｎｍの場合）乗算した結果を加算する。
【００６４】
上述したように、図２に示した画像生成装置２０７によれば、各画素値Ｒｔを算出するのに、ｕ回（基底関数２２の数）の乗算と１回の加算だけでよい。このため、非常に少ない演算量で、任意の仮想分光フィルタ３２に対する分光画像を生成できる。また、スペクトル係数４２を記憶しておき、情報管理装置１００から基底データを取得することで、任意の仮想分光特性の分光画像を容易に作成できる。
【００６５】
また、ｕ回（基底関数の数）またはそれ以下の撮像画像１２から対象物３００の分光画像を生成するので、短い撮像時間ですむ。このため、対象物３００に照明を当てる時間を短くでき、対象物３００へのダメージを低減できる。また、動画の撮像画像１２から、動画の分光画像を容易に生成できる。
【００６６】
また、基底データの波長分解能で、分光画像が生成できる。このため、高い波長分解能の分光画像を容易に生成できる。更に、波長分解能を高くしても、演算に用いるデータ量はそれほど増加しない。
【００６７】
図１１は、スペクトル測定データを測定した際の、対象物３００への照明の光線空間を示す光線空間データを説明する図である。図１１の例においては、対象物３００に照明光を照射する照明部４１０を示している。光線空間データは、対象物３００に照明光を照射する光源４１２の位置、種類および数、ならびに、照射光の強度、スペクトル、照射角度および偏光の少なくともいずれかを示すデータである。
【００６８】
光線空間データに示される照明条件が変化すると、スペクトル測定データが変化する場合がある。例えば分光測定装置は、対象物３００の測定領域における、表面反射光、表面散乱光および内部散乱光を測定する。内部散乱光は、対象物３００の内部において入射光が散乱して出射した成分である。光の入射角度等の照明条件が変化すると、分光測定装置に入射される表面反射光、表面散乱光および内部散乱光が変化する場合がある。このため、照明条件を考慮せずにスペクトル測定データから基底関数を更新すると、スペクトル推定の精度が高くならない場合がある。
【００６９】
基底更新部１０６は、スペクトル測定データおよび光線空間データに基づいて、基底関数を算出してよい。例えば基底更新部１０６は、スペクトル測定データに付された光線空間データと、予め定められた基準条件との差異に基づいて、スペクトル測定データを補正してから基底関数を算出する。光線空間データの各パラメータの基準値との差異が、スペクトル測定データに与える影響は、予め測定されてよい。基底更新部１０６には、光線空間データの各パラメータに対して、基準値との差異に応じたスペクトル測定データの補正量を算出するための補正テーブルまたは補正関数が予め設定されてよい。他の例では、基底更新部１０６は、光線空間データに応じて分類された基底関数を、対応するスペクトル測定データを用いて更新してもよい。
【００７０】
光源４１２の位置とは、対象物３００に対する３次元の相対位置（ｘ、ｙ、ｚ）である。光源４１２の位置は、対象物３００の測定領域に対する相対位置であってよい。光源４１２が複数存在する場合、光線空間データには、それぞれの光源４１２の位置を示すデータが含まれてよい。
【００７１】
光源４１２の種類とは、光を生成する手段に関する情報であってよい。一例として光源４１２の種類とは、光源４１２がハロゲンランプ、キセノンランプ、ＬＥＤ等のいずれの光源であるかを示す情報である。照明部４１０は、複数の種類の光源を有してよい。
【００７２】
光源４１２の数とは、スペクトルデータの測定時において対象物３００に光を照射している光源４１２の数を指す。光源４１２が照射する光の波長は、当該光において最も強度が大きい主成分の波長であってよく、所定の波長範囲に渡るスペクトルであってもよい。
【００７３】
光源４１２が照射する光の照射角度は、当該光の光軸４４０の角度θａが含まれてよい。光軸４４０とは、光源４１２が照射する光の中心軸である。当該角度θａは、対象物３００の表面３０２に対する角度であってよく、所定の基準面に対する角度であってもよい。対象物３００の表面３０２が傾斜を有する場合、分光測定装置は測定領域における傾斜の角度を測定してもよい。光線空間データには、対象物３００の表面３０２の測定領域における傾斜角が含まれてよい。
【００７４】
照明部４１０が集光系照明である場合、光源４１２が照射する光の照射角度には、表面３０２において光が集光する集光角度Φが含まれてもよい。照明部４１０が集光レンズ４３８を有する場合、集光角度Φは、集光レンズ４３８の特性から定められる。光源４１２が照射する光の照射角度には、光源４１２から光が発散する発散角度φが含まれてもよい。
【００７５】
光源４１２が照射する光の偏光状態とは、光の偏光の有無、偏光の方向等が含まれる。光線空間データには、光の照射角度が少なくとも含まれてよく、光源４１２の位置、種類、数、光源４１２が照射する光のスペクトル、強度、照射角度、偏光状態の一部または全部が含まれてもよい。
【００７６】
このような光線空間データに基づいて基底関数を更新することで、照明条件によるスペクトル測定データへの影響を考慮して、基底関数を更新できる。このため、基底関数を精度よく更新できる。
【００７７】
図１２は、情報管理装置１００の他の例を示す図である。本例の情報管理装置１００は、図１に示した構成に加えてスペクトル推定部２０８を更に備える。図１２においては、画像生成装置２０７を合わせて示しており、端末２００の画像生成装置２０７以外の構造を省略している。
【００７８】
本例の画像生成装置２０７は、画像取得部１０が取得した撮像画像１２のデータを付して、情報管理装置１００に基底データを要求する。管理装置側データ取得部１０４は、撮像画像１２のデータを取得する。スペクトル推定部２０８は、撮像画像データと、基底記憶部１０８から取得した基底データとに基づいて、撮像画像１２に含まれる対象物３００のスペクトルを推定する。具体的には、スペクトル推定部２０８は、対象物のスペクトル係数４２を算出する。スペクトル推定部２０８は、図２に示したスペクトル係数算出部４０と同一または同様の処理を行ってよい。管理装置側データ送信部１０２は、基底データに加えて、スペクトル推定部２０８が生成したスペクトルに関する情報（すなわち、スペクトル係数４２）を端末２００に送信する。
【００７９】
画像生成装置２０７の画像生成部５０は、関数設定部３０が設定した分光関数３６と、情報管理装置１００から取得したスペクトル係数４２とに基づいて、分光画像を生成する。この場合、端末２００におけるデータ処理の負荷を更に低減できる。
【００８０】
図１３は、本発明の複数の態様が全体的又は部分的に具現化されうるコンピュータ１２００の例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられるオペレーション又は当該装置の１又は複数の「部」として機能させ、又は当該オペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。このようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。当該機能は、ＦＰＧＡで実装してもよい。一例としてプログラムは、コンピュータ１２００を、情報管理装置１００、端末２００および画像生成装置２０７のうちのいずれかとして機能させる。
【００８１】
本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、グラフィックコントローラ１２１６、及びディスプレイデバイス１２１８を含み、これらはホストコントローラ１２１０によって相互に接続される。コンピュータ１２００はまた、通信インターフェース１２２２、ハードディスクドライブ１２２４、ＤＶＤ−ＲＯＭドライブ１２２６、及びＩＣカードドライブのような入出力ユニットを含み、これらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続される。コンピュータはまた、ＲＯＭ１２３０及びキーボード１２４２のようなレガシの入出力ユニットを含み、これらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続される。
【００８２】
ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、これにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又は当該グラフィックコントローラ１２１６自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示させる。
【００８３】
通信インターフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤ−ＲＯＭドライブ１２２６は、プログラム又はデータをＤＶＤ−ＲＯＭ１２０１から読み取り、ハードディスクドライブ１２２４にＲＡＭ１２１４を介してプログラム又はデータを提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。
【００８４】
ＲＯＭ１２３０は、内部に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。
【００８５】
プログラムが、ＤＶＤ−ＲＯＭ１２０１又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもあるハードディスクドライブ１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
【００８６】
例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェース１２２２に対し、通信処理を命令してよい。通信インターフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、ハードディスクドライブ１２２４、ＤＶＤ−ＲＯＭ１２０１、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【００８７】
また、ＣＰＵ１２１２は、ハードディスクドライブ１２２４、ＤＶＤ−ＲＯＭドライブ１２２６（ＤＶＤ−ＲＯＭ１２０１）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【００８８】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような、様々なタイプの情報が、情報処理されるべく、記録媒体に格納されてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、これにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【００８９】
以上の説明によるプログラム又はソフトウェアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、これにより、プログラムをコンピュータ１２００にネットワークを介して提供する。
【００９０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
【００９１】
請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９２】
１０・・・画像取得部、１２・・・撮像画像、２２・・・基底関数、２３・・・帯域、２０・・・基底取得部、３０・・・関数設定部、３２・・・仮想分光フィルタ、３６・・・分光関数、４０・・・スペクトル係数算出部、４２・・・スペクトル係数、４４・・・ビット、４６・・・領域、４８・・・領域、５０・・・画像生成部、１００・・・情報管理装置、１０２・・・管理装置側データ送信部、１０４・・・管理装置側データ取得部、１０６・・・基底更新部、１０８・・・基底記憶部、２００・・・端末、２０２・・・端末側データ送信部、２０４・・・端末側データ取得部、２０６・・・スペクトル取得部、２０７・・・画像生成装置、２０８・・・スペクトル推定部、２５０・・・情報管理システム、２５２・・・ネットワーク、３００・・・対象物、３０２・・・表面、４１０・・・照明部、４１２・・・光源、４３８・・・レンズ、４４０・・・光軸、８０２・・・スペクトル画像生成部、８０４・・・画像生成部、８０６・・・スペクトル画像、１２００・・・コンピュータ、１２０１・・・ＤＶＤ−ＲＯＭ、１２１０・・・ホストコントローラ、１２１２・・・ＣＰＵ、１２１４・・・ＲＡＭ、１２１６・・・グラフィックコントローラ、１２１８・・・ディスプレイデバイス、１２２０・・・入出力コントローラ、１２２２・・・通信インターフェース、１２２４・・・ハードディスクドライブ、１２２６・・・ＤＶＤ−ＲＯＭドライブ、１２３０・・・ＲＯＭ、１２４０・・・入出力チップ、１２４２・・・キーボード
【図１】
2019159565.tif 000011
【図２】
2019159565.tif 000012
【図３】
2019159565.tif 000013
【図４】
2019159565.tif 000014
【図５】
2019159565.tif 000015
【図６】
2019159565.tif 000016
【図７】
2019159565.tif 000017
【図８】
2019159565.tif 000018
【図９】
2019159565.tif 000019
【図１０】
2019159565.tif 000020
【図１１】
2019159565.tif 000021
【図１２】
2019159565.tif 000022
【図１３】
2019159565.tif 000023
【国際調査報告】
2019159565.tif 000024
2019159565.tif 000025
2019159565.tif 000026
2019159565.tif 000027