(57)【特許請求の範囲】
【請求項１】
相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成装置であって、
波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子と、
波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有し、縦方向にＮ１個、横方向にＮ２個の画素の画像データを含む撮像信号を出力する第２の撮像素子と、
前記第１の撮像素子から出力された撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成手段と、
前記第２の撮像素子から出力された撮像信号に含まれる画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成手段により生成されたスペクトルデータから生成するマトリクス生成手段と、
前記マトリクス生成手段により生成された各マトリクスを前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成手段と、
前記分光画像生成手段により生成された分光画像を出力する分光画像出力手段と
を備えたことを特徴とする分光画像生成装置。
【請求項２】
前記スペクトルデータ生成手段は、前記第１の撮像素子から出力された撮像信号に含まれる画像データを構成する要素毎に、当該画像データ内の要素毎に含まれる光の波長毎の強度分布を示すスペクトルデータを生成し、
前記マトリクス生成手段は、前記スペクトルデータ生成手段により生成された要素毎のスペクトルデータから、前記第1の撮像素子から出力された映像信号に含まれる画像データを構成する領域毎のマトリクスを生成し、
前記分光画像生成手段は、前記マトリクス生成手段により生成されたマトリクスのうち、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域に対して生成されたマトリクスを前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域に対応する第３領域の画像データに作用させて第３領域の第１の分光情報を算出する第１の分光情報算出手段と、
前記マトリクス生成手段により生成されたマトリクスのうち、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域の周縁に存在する第２領域に対して生成されたマトリクスを前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域に対応する第３領域に存在する画像データに作用させて第３領域に存在する第２の分光情報を算出する第２の分光情報算出手段と、
前記第１の分光情報算出手段により算出された第１の分光情報と、前記第２の分光情報算出手段により算出された第２の分光情報との加重平均を前記第２の撮像素子から出力された撮像信号に含まれる画像データの全領域に関して、領域毎に算出する加重平均算出手段と、
前記加重平均算出手段により算出された領域毎の分光情報の加重平均から前記空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する画像生成手段とを含むことを特徴とする請求項１に記載の分光画像生成装置。
【請求項３】
前記マトリクス生成手段は、
前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域の中心位置と、前記スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定のデータとの差異が最小となるように定められたマトリクスを生成する対象領域マトリクス生成手段と、
前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域の周縁に存在する第２領域に含まれる各領域の中心位置と、前記スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定のデータとの差異が最小となるように定められたマトリクスを生成する周縁領域マトリクス生成手段と
を含むことを特徴とする請求項２に記載の分光画像生成装置。
【請求項４】
前記加重平均算出手段は、前記第１領域及び前記第２の領域が含まれる第４の領域内の要素数で規定される重み付け関数を用いて、前記第１の分光情報算出手段により算出された第１の分光情報と、前記第２の分光情報算出手段により算出された第２の分光情報との加重平均を、前記第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる全領域に関して算出することを特徴とする請求項２に記載の分光画像生成装置。
【請求項５】
前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の要素の数と、前記第1の撮像素子から出力された撮像信号に含まれる画像データ内の領域の数と、前記第２の撮像素子から出力された撮像信号に含まれる画像データ内の領域の数とは、略同一の数であることを特徴とする請求項１乃至請求項４の何れか１項に記載の分光画像生成装置。
【請求項６】
相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成装置であって、
第１のフレームレートを有する撮像信号を出力し、かつ、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子と、
前記第１のフレームレートよりも高い第２のフレームレートを有する撮像信号を出力し、波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有し、縦方向にＮ１個、横方向にＮ２個の画素の画像データを含む撮像信号を出力する第２の撮像素子と、
前記第１の撮像素子から出力された撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成手段と、
前記第２の撮像素子から出力された撮像信号に含まれる画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成手段により生成されたスペクトルデータから生成するマトリクス生成手段と、
前記マトリクス生成手段により生成された各マトリクスを前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成手段と、
前記分光画像生成手段により生成された分光画像を出力する分光画像出力手段と
を備えたことを特徴とする分光画像生成装置。
【請求項７】
前記スペクトルデータ生成手段は、前記第１の撮像素子から出力された撮像信号に含まれる画像データを構成する要素毎に、当該画像データ内の要素毎に含まれる光の波長毎の強度分布を示す時系列スペクトルデータを生成し、
前記マトリクス生成手段は、前記スペクトルデータ生成手段により生成された時系列スペクトルデータから、前記第１の撮像素子から出力された撮像信号に含まれる画像データを構成する時空間領域毎のマトリクスを生成し、
前記分光画像生成手段は、
前記第１の撮像素子から出力された撮像信号に含まれる画像データの第１の時空間領域に対して生成されたマトリクスを、前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の時空間領域に対応する第３の時空間領域の画像データに作用させて第３の時空間領域の第１の分光情報を算出する第１の分光情報算出手段と、
前記第１の時空間領域の周縁に存在する第２の時空間領域に対して生成されたマトリクスを前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の時空間領域に対応する第３の時空間領域に存在する画像データに作用させて第３の時空間領域の第２の分光情報を算出する第２の分光情報算出手段と、
前記第１の分光情報算出手段により算出された第１の分光情報と、前記第２の分光情報算出手段により算出された第２の分光情報との加重平均を前記第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる全時空間領域に関して、時空間領域毎に算出する加重平均算出手段と、
前記加重平均算出手段により算出された時空間領域毎の分光情報の加重平均から前記空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する画像生成手段とを含むことを特徴とする請求項６に記載の分光画像生成装置。
【請求項８】
前記マトリクス生成手段は、
前記第１の時空間領域の中心位置と、前記時系列スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定のデータとの差異が最小となるように定められたマトリクスを生成する対象領域マトリクス生成手段と、
前記第１の時空間領域の周縁の第２の時空間領域に含まれる各時空間領域の中心位置と、前記時系列スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定の分光反射率のデータとの差異が最小となるように定められたマトリクスを生成する時空間領域マトリクス生成手段と
を含むことを特徴とする請求項７に記載の分光画像生成装置。
【請求項９】
前記加重平均算出手段は、前記第１の分光情報算出手段により算出された第１の分光情報と、前記第２の分光情報算出手段により算出された第２の分光情報との加重平均を、前記第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる全時空間領域に関して、時空間領域に含まれる要素毎に算出することを特徴とする請求項７に記載の分光画像生成装置。
【請求項１０】
相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成方法であって、
波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから、縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成工程と、
波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成工程により生成されたスペクトルデータから生成するマトリクス生成工程と、
前記マトリクス生成工程により生成された各マトリクスを前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成工程と、
前記分光画像生成工程により生成された分光画像を出力する分光画像出力工程と
を含むことを特徴とする分光画像生成方法。
【請求項１１】
前記マトリクス生成工程では、前記第１の撮像素子から出力された撮像信号に含まれる画像データを構成する要素毎に、当該画像データ内の要素毎に含まれる光の波長毎の強度分布を示すスペクトルデータを生成し、
前記マトリクス生成工程では、前記スペクトルデータ生成工程により生成された要素毎のスペクトルデータから、前記第1の撮像素子から出力された映像信号に含まれる画像データを構成する領域毎のマトリクスを生成し、
前記分光画像生成工程は、
前記マトリクス生成工程により生成されたマトリクスのうち、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域に対して生成されたマトリクスを前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域に対応する第３領域の画像データに作用させて第３領域の第１の分光情報を算出する第１の分光情報算出工程と、
前記マトリクス生成工程により生成されたマトリクスのうち、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域の周縁に存在する第２領域に対して生成されたマトリクスを前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域に対応する第３領域に存在する画像データに作用させて第３領域に存在する第２の分光情報を算出する第２の分光情報算出工程と、
前記第１の分光情報算出工程により算出された第１の分光情報と、前記第２の分光情報算出工程により算出された第２の分光情報との加重平均を前記第２の撮像素子から出力された撮像信号に含まれる画像データの全領域に関して、領域毎に算出する加重平均算出工程と、
前記加重平均算出工程により算出された領域毎の分光情報の加重平均から前記空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する画像生成工程とを含むことを特徴とする請求項１０に記載の分光画像生成方法。
【請求項１２】
前記マトリクス生成工程は、
前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域の中心位置と、前記スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定のデータとの差異が最小となるように定められたマトリクスを生成する対象領域マトリクス生成工程と、
前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域の周縁に存在する第２領域に含まれる各領域の中心位置と、前記スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定のデータとの差異が最小となるように定められたマトリクスを生成する周縁領域マトリクス生成工程と
を含むことを特徴とする請求項１０に記載の分光画像生成方法。
【請求項１３】
前記加重平均算出工程では、前記第１領域及び前記第２の領域が含まれる第４の領域内の要素数で規定される重み付け関数を用いて、前記第１の分光情報算出工程により算出された第１の分光情報と、前記第２の分光情報算出工程により算出された第２の分光情報との加重平均を、前記第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる全領域に関して算出することを特徴とする請求項１１に記載の分光画像生成方法。
【請求項１４】
前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の要素の数と、前記第1の撮像素子から出力された撮像信号に含まれる画像データ内の領域の数と、前記第２の撮像素子から出力された撮像信号に含まれる画像データ内の領域の数とは、略同一の数であることを特徴とする請求項１０乃至請求項１３の何れか１項に記載の分光画像生成方法。
【請求項１５】
相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成方法であって、
波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された第１のフレームレートを有する撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成工程と、
波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された前記第１のフレームレートよりも高い第２のフレームレートを有する撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成工程により生成されたスペクトルデータから生成するマトリクス生成工程と、
前記マトリクス生成工程により生成された各マトリクスを、前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成工程と、
前記分光画像生成工程により生成された分光画像を出力する分光画像出力工程と
を含むことを特徴とする分光画像生成方法。
【請求項１６】
前記マトリクス生成工程では、前記第１の撮像素子から出力された撮像信号に含まれる画像データを構成する要素毎に、当該画像データ内の要素毎に含まれる光の波長毎の強度分布を示す時系列スペクトルデータを生成し、
前記マトリクス生成工程では、前記スペクトルデータ生成工程により生成された時系列スペクトルデータから、前記第１の撮像素子から出力された撮像信号に含まれる画像データを構成する時空間領域毎のマトリクスを生成し、
前記分光画像生成工程は、
前記第１の撮像素子から出力された撮像信号に含まれる画像データの第１の時空間領域に対して生成されたマトリクスを、前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の時空間領域に対応する第３の時空間領域の画像データに作用させて第３の時空間領域の第１の分光情報を算出する第１の分光情報算出工程と、
前記第１の時空間領域の周縁に存在する第２の時空間領域に対して生成されたマトリクスを前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の時空間領域に対応する第３の時空間領域に存在する画像データに作用させて第３の時空間領域の第２の分光情報を算出する第２の分光情報算出工程と、
前記第１の分光情報算出工程により算出された第１の分光情報と、前記第２の分光情報算出手段により算出された第２の分光情報との加重平均を前記第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる全時空間領域に関して、時空間領域毎に算出する加重平均算出工程と、
前記加重平均算出工程により算出された時空間領域毎の分光情報の加重平均から前記空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する画像生成工程とを含むことを特徴とする請求項１５に記載の分光画像生成方法。
【請求項１７】
前記マトリクス生成工程は、
前記第１の時空間領域の中心位置と、前記時系列スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定のデータとの差異が最小となるように定められたマトリクスを生成する対象領域マトリクス生成工程と、
前記第１の時空間領域の周縁の第２の時空間領域に含まれる各時空間領域の中心位置と、前記時系列スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定の分光反射率のデータとの差異が最小となるように定められたマトリクスを生成する時空間領域マトリクス生成工程と
を含むことを特徴とする請求項１６に記載の分光画像生成方法。
【請求項１８】
前記加重平均算出工程では、前記第１の分光情報算出工程により算出された第１の分光情報と、前記第２の分光情報算出工程により算出された第２の分光情報との加重平均を、前記第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる全時空間領域に関して、時空間領域に含まれる要素毎に算出することを特徴とする請求項１６に記載の分光画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、波長解像度及び空間解像度の両方が高い分光画像を生成することを可能にする分光画像生成装置及び分光画像生成方法に関する。
【背景技術】
【０００２】
従来、分光画像を生成する分光画像生成装置としては、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから生成されたスペクトルデータに基づいて生成されたマトリクスを、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる各要素に対して、前述した同一のマトリクスを乗算することによって、第２の撮像素子から出力された撮像信号に含まれる画像データから分光画像を生成する分光画像生成装置が知られている（特許文献１参照）。
【０００３】
また、分光画像を生成する他の分光画像生成装置としては、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから生成されたスペクトルデータをクラス分類した後、当該分類したクラス毎にマトリクスを生成し、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる各クラスに対して、前述した分類したクラス毎に生成したマトリクスを乗算することによって、第２の撮像素子から出力された撮像信号に含まれる画像データからクラス毎の複数の分光画像のデータを生成し、第１の撮像素子から出力された撮像信号に含まれる画像データから生成されたスペクトルデータのクラス分類に関するデータと、第２の撮像素子から出力された撮像信号に含まれる画像データとから生成した重み係数を用いて、前述したクラス毎の複数の分光画像のデータを加重平均して分光画像を取得する分光画像生成装置が知られている（非特許文献１参照）。
【０００４】
更に、分光画像を生成する他の分光画像生成装置としては、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから生成されたスペクトルデータに基づいて生成されたマトリクスを、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる各要素に対して、前述した同一のマトリクスを乗算することによって、第２の撮像素子から出力された撮像信号に含まれる画像データから第１の分光画像を生成すると共に、前述した第２の撮像素子から出力された撮像信号に含まれる画像データから画像データの空間的補間を行うための補間マトリクスを生成し、第１の撮像素子から出力された撮像信号に含まれる画像データから生成されたスペクトルデータに前述した補間マトリクスを乗算することによって第２の分光画像を生成し、前述した第１の分光画像のデータと前述した第２の分光画像のデータとを合成することによって、単一の分光画像を生成する分光画像生成装置が知られている（非特許文献２参照）。
【０００５】
【特許文献１】特開２００６−２５５３２４号公報
【非特許文献１】Yuri Murakami, Takashi Obi, Masahiro Yamaguchi, and Nagaaki Ohyama, “Nonlinear estimation of spectral reflectance based on Gaussian mixture distribution for color image reproduction,” Applied Optics, Optical Society of America, 10, August 2002, vol. 41, No. 23, p.4840-p.4847
【非特許文献２】Yuri Murakami, Kunihiro Ietomi, Masahiro Yamaguchi, and Nagaaki Ohyama, “Maximum a posteriori estimation of spectral reflectance from color image and multipoint spectral measurements,” Applied Optics, Optical Society of America, 1, October 2007, vol.46, No.28, p.7068-p.7082
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に開示された分光画像生成装置では、空間解像度が高く、波長解像度の低い画像データから、信号処理によって分光画像を生成する際、画像全体に対して１つのマトリクスを使用するため、高い精度を得ることが出来なかった。
【０００７】
一方、非特許文献１及び非特許文献２に開示された分光画像生成装置では、空間解像度が高く、波長解像度の低い画像データから、信号処理によって空間解像度が高く、波長解像度の低い画像データを得ることは可能ではあるが、計算精度を高めようとすると、スペクトルデータをクラス分類したりする処理や、空間的に画像データを補間したりする処理を実行しなければならないため、これらの処理を実行する場合には、計算量が膨大な量になってしまう可能性がある。
【０００８】
本発明者の分光画像に関する詳細なる考察によれば、例えば医療分野、リモートセンシング等の高い色再現性を要する分野で、分光画像生成装置全体の小型化を図る観点から、信号処理に要する計算量を抑制することが可能で、かつ、波長解像度及び空間解像度の両方が高い分光画像を生成することを可能にする分光画像生成装置及び分光画像生成方法に対する産業界の要望が高まっている。
【０００９】
そこで、本発明は、信号処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することを可能にする分光画像生成装置及び分光画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の骨子は、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる画像データから分光画像を生成するための複数のマトリクスを生成し、第２の撮像素子から出力された撮像信号に含まれる画像データに対して生成された各マトリクスを作用させることによって、分光画像を生成する構成により、信号処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することを可能にするという本願に特有の顕著な効果を達成することにある。
【００１１】
なお、本明細書では、「分光情報」とは、「空間上のある一点、又は空間上の所定の領域から放射されて画像センサに入射する光の波長毎の強度のこと」を意味する。
【００１２】
さて、以上のような本発明の骨子は、具体的には以下のような手段を講じることにより達成される。
【００１３】
第１の発明は、相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成装置であって、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子と、波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有し、縦方向にＮ１個、横方向にＮ２個の画素の画像データを含む撮像信号を出力する第２の撮像素子と、前記第１の撮像素子から出力された撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成手段と、前記第２の撮像素子から出力された撮像信号に含まれる画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成手段により生成されたスペクトルデータから生成するマトリクス生成手段と、前記マトリクス生成手段により生成された各マトリクスを前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成手段と、前記分光画像生成手段により生成された分光画像を出力する分光画像出力手段とを備えたことを特徴とする。
【００１４】
このように、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから、縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータをスペクトルデータ生成手段により生成し、波長方向のチャネル数が少なくとも３以下で、かつ、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスをマトリクス生成手段によって前記スペクトルデータから生成し、生成された各マトリクスを第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を分光画像生成手段により生成し、生成された分光画像を分光画像出力手段によって出力するので、信号処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することが可能になる。
【００１５】
第２の発明は、相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成装置であって、第１のフレームレートを有する撮像信号を出力し、かつ、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子と、前記第１のフレームレートよりも高い第２のフレームレートを有する撮像信号を出力し、波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有し、縦方向にＮ１個、横方向にＮ２個の画素の画像データを含む撮像信号を出力する第２の撮像素子と、前記第１の撮像素子から出力された撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成手段と、前記第２の撮像素子から出力された撮像信号に含まれる画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成手段により生成されたスペクトルデータから生成するマトリクス生成手段と、前記マトリクス生成手段により生成された各マトリクスを前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成手段と、前記分光画像生成手段により生成された分光画像を出力する分光画像出力手段とを備えたことを特徴とする。
【００１６】
このように、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された第１のフレームレートを有する撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータをスペクトルデータ生成手段により生成し、波長方向のチャネル数が少なくとも３以下で、かつ、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された第１のフレームレートよりも高い第２のフレームレートを有する撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスをマトリクス生成手段によって前記スペクトルデータから生成し、生成された各マトリクスを、第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を分光画像生成手段によって生成し、生成された分光画像を分光画像出力手段によって出力するので、信号処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することが可能になる。
【００１７】
第３の発明は、相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成方法であって、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから、縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成工程と、波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成工程により生成されたスペクトルデータから生成するマトリクス生成工程と、前記マトリクス生成工程により生成された各マトリクスを前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成工程と、前記分光画像生成工程により生成された分光画像を出力する分光画像出力工程とを含むことを特徴とする。
【００１８】
このように、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから、縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成し、波長方向のチャネル数が少なくとも３以下で、かつ、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータから生成し、生成された各マトリクスを第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成し、生成された分光画像を出力するので、信号処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することが可能になる。
【００１９】
第４の発明は、相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成方法であって、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された第１のフレームレートを有する撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成工程と、波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された前記第１のフレームレートよりも高い第２のフレームレートを有する撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成工程により生成されたスペクトルデータから生成するマトリクス生成工程と、前記マトリクス生成工程により生成された各マトリクスを、前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成工程と、前記分光画像生成工程により生成された分光画像を出力する分光画像出力工程とを含むことを特徴とする。
【００２０】
このように、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された第１のフレームレートを有する撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成し、波長方向のチャネル数が少なくとも３以下で、かつ、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された第１のフレームレートよりも高い第２のフレームレートを有する撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータから生成し、生成された各マトリクスを、第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成し、生成された分光画像を出力するので、信号処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することが可能になる。
【００２１】
なお、ここでは、説明の簡略化を図る観点から、本発明のうち「分光画像生成装置」、及び「分光画像生成方法」として表現された発明のみに関して説明を行ったが、これに限らず、本発明の要旨を変更しない範囲内で「プログラム」及び「記録媒体」等の任意のカテゴリーとして表現してもよいことは言うまでもない。
【００２２】
また、前記発明を「画像処理プログラム」として表現する場合には、前記「方法」の発明の説明中における「分光画像生成方法であって、」という文言を「分光画像生成装置のコンピュータにインストールされた画像処理プログラムであって、前記分光画像生成装置のコンピュータに」という文言に、「行程」という文言を「手順」と言う文言に、「を含むことを特徴とする分光画像生成方法。」という文言を「を実行させるための画像処理プログラム。」という文言にそれぞれ読み替えるものとする。
【００２３】
更に、前記発明を「記録媒体」として表現する場合には、前記「プログラム」の発明の説明中の「プログラム」という文言を「プログラムを記録したコンピュータ読み取り可能な記録媒体」という文言に読み替えるものとする。
【発明の効果】
【００２４】
本発明によれば、信号処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することを可能になる。
【発明を実施するための最良の形態】
【００２５】
（第１の実施の形態）
以下、本発明の最良の形態に関し、図面を参照して説明する。
【００２６】
図１は、本発明の第１の実施の形態に係る分光画像生成装置１の構成の一例を示す機能ブロック図である。
【００２７】
本実施の形態に係る分光画像生成装置１は、相異なる特性を有する複数の画像センサのうちの一方の画像センサから出力された撮像信号に含まれる静止画の画像データから生成されたスペクトルデータから、予め定められた領域毎に相異なる複数のマトリクスのデータを生成し、生成した領域毎のマトリクスを他方の画像センサから出力された撮像信号に含まれる画像データの対応する領域に作用させることによって、静止画である分光画像を生成して、生成した分光画像を表示部１ｊの表示画面に表示する装置である。
【００２８】
具体的には、本実施の形態に係る分光画像生成装置１は、図２に示すように、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成された空間方向にＭ１×Ｍ２個の要素を、波長方向にＬ個の要素をそれぞれ有するスペクトルデータと、波長方向のチャネル数が少なくとも３以下で、かつ、前述した第１の画像センサ１ａの有する空間解像度よりも高い第２の空間解像度と、前述した第１の画像センサ１ａの有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の画像センサ１ｂから出力されたＮ１×Ｎ２個の画素を有する３枚の静止画のデータとから、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有し、前述した第１の波長解像度と前述した第２の空間解像度とを有する、換言すれば波長解像度及び空間解像度の両方が高い静止画の分光画像を生成する装置である。
【００２９】
本実施の形態に係る分光画像生成装置１は、図１に示すように、第１の画像センサ１ａと、第２の画像センサ１ｂと、スペクトルデータ生成部１ｃと、マトリクス生成部１ｄと、領域分割部１ｅと、領域データ記憶メモリ１ｆと、マトリクス乗算部１ｇと、加重平均算出部１ｈと、領域合成部１ｉと、表示部１ｊとを備えている。
【００３０】
なお、本実施の形態に係る分光画像生成装置１は、製造時に図示しない内蔵メモリにプログラムが書き込まれた、又は記録媒体もしくは通信ネットワークを介してプログラムがインストールされたコンピュータによって実現される。
【００３１】
また、本実施の形態に係る分光画像生成装置１を構成する各部は、ソフトウェアもしくはハードウェア又はハードウェアとソフトウェアとの組み合わせの何れから構成されていてもよいことは言うまでもない。
【００３２】
第１の画像センサ１ａは、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する撮像素子であり、撮像した撮像信号をスペクトルデータ生成部１ｃに出力する。
【００３３】
第２の画像センサ１ｂは、波長方向のチャネル数が少なくとも３以下で、かつ、前述した第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前述した第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する撮像素子であり、撮像した撮像信号を領域分割部１ｅに出力する。
【００３４】
スペクトルデータ生成部１ｃは、第１の画像センサ１ａから出力された撮像信号を受け取り、受け取った撮像信号の要素毎に、撮像信号からスペクトルデータへと変換する処理を行うことにより、当該第１の画像センサ１ａから出力された撮像信号の要素毎のスペクトルデータを生成して、生成したスペクトルデータをマトリクス生成部１ｄに出力する。
【００３５】
具体的には、本実施の形態に係るスペクトルデータ生成部１ｃは、前述した図２に示すように、第１の画像センサ１ａから受け取った撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成して、生成したスペクトルデータをマトリクス生成部１ｄに出力する。
【００３６】
マトリクス生成部１ｄは、第１の画像センサ１ａによって計測されたスペクトルデータの各要素を重み付けした結果、得られた特定の分光情報群、換言すればマトリクスを生成するためのサンプルデータを用いて、このサンプルデータに対する誤差を最小とするように、第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）毎に対応付けられるマトリクスを生成し、生成したスペクトルデータの空間方向に定義される領域（ａ，ｂ）毎のマトリクスのデータと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に関するデータとの組をマトリクス乗算部１ｇに出力する。
【００３７】
具体的には、本実施の形態に係るマトリクス生成部１ｄは、スペクトルデータ生成部１ｃから出力された縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを受け取り、受け取ったスペクトルデータから下記の式（１）によって、スペクトルデータの空間方向に定義される領域（ａ，ｂ）毎のマトリクスを、全領域に関して生成し、生成した領域毎のマトリクスのデータと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に関するデータとの組をマトリクス乗算部１ｇに出力する。
【００３８】
ただし、スペクトルデータの空間方向に定義される領域の数は、スペクトルデータの要素の数と同一とする。つまり、ａは、０＜ａ≦Ｍ１を満たす自然数である。また、ｂは、０＜ｂ≦Ｍ２を満たす自然数である。更に、Ｍ１は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の縦方向における要素の数を意味する。また、Ｍ２は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の横方向における要素の数を意味する。
【００３９】
【数１】
0004981730.tif 000002
【００４０】
ここで、「Ａａ，ｂ」は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）毎に定められたマトリクスを意味する。
【００４１】
また、「Ｓ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行Ｍ列の行列を意味する。
【００４２】
更に「Ｈ」は、オリジナルの分光情報ｆ（ｉ，ｊ）と、それに対応する画像データｇ（ｉ，ｊ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の下記式（２）で示す入出力関係を規定する３行Ｌ列の行列を意味する。  
【００４３】
【数２】
0004981730.tif 000003
【００４４】
また、Ｗａ，ｂは、下記式（３）で示されるＭ行Ｍ列の対角行列である。
【００４５】
【数３】
0004981730.tif 000004
【００４６】
ここで、d(ａ,ｂ,ｐ,ｑ)は、第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される位置（ｐ，ｑ）と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の中心位置との間のユークリッド距離を意味する。
【００４７】
ただし、ａは、０＜ａ≦Ｍ１を満たす自然数である。また、ｂは、０＜ｂ≦Ｍ２を満たす自然数である。更に、Ｍ１は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の縦方向における要素の数を意味する。また、Ｍ２は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の横方向における要素の数を意味する。
【００４８】
更に、「ｗａ，ｂ，ｐ，ｑ」は、第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される位置毎に個別に定められる重み付け係数であり、前述したｄ(ａ,ｂ,ｐ,ｑ)との間に下記式（４）で示される関係を有している。
【００４９】
【数４】
0004981730.tif 000005
【００５０】
ここで、「ρ」は、重み付け係数の減少の程度を決定しているパラメータであり、例えば領域の大きさをＤ１＝Ｄ２＝Ｄとしたとき、この領域の大きさをＤ１＝Ｄ２＝Ｄに応じて、ρの値をρ４．５Ｄ＝０．０１として、換言すれば４．５Ｄ要素（つまり、４．５領域分）離れた点で、重み係数が０．０１となるように設定することが本実施の形態では、より好ましい。
【００５１】
なお、このように、重み付け係数を設定すると、０．０１以下の重みが乗算されたスペクトルデータは、マトリクスの生成にほとんど寄与しないと考えることが出来るので、第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）に対応付けられるマトリクスＡａ，ｂは、この領域（ａ，ｂ）を中心とする範囲の９Ｄ×９Ｄ、換言すれば９×９＝８１個のスペクトルデータを用いてマトリクスの生成を行っていることになる。
【００５２】
ここで、重み付け係数は、例えば図３に示すように、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向に定義される位置（ｐ，ｑ）と、第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）の中心位置との間のユークリッド距離ｄ(ａ,ｂ,ｐ,ｑ)が０であるとき、換言すれば第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向に定義される位置（ｐ，ｑ）が第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）の中心に存在する場合には、「１」になり、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向に定義される位置（ｐ，ｑ）と、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）の中心との間のユークリッド距離d(ａ,ｂ,ｐ,ｑ)が大きくなればなるほど値が小さくなるように設定されている。
【００５３】
なお、本実施の形態に係る分光画像生成装置１に関しては、パラメータρの設定手法、及び重み付けの計算手法は、本実施の形態に係る分光画像生成装置１で実行している手法に限定されないことは言うまでもない。
【００５４】
「ＳＴ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行Ｍ列の行列「Ｓ」の転置行列を意味する。
【００５５】
「ＨＴ」は、前述したオリジナルの分光情報ｆ（ｉ，ｊ）と、それに対応する画像データｇ（ｉ，ｊ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の前述した式（２）で示す入出力関係を規定する３行Ｌ列の行列Ｈの転置行列を意味する。
【００５６】
また、「Ｃ」は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データに含まれるノイズの共分散行列を意味する。
【００５７】
領域分割部１ｅは、第２の画像センサ１ｂから出力された撮像信号を受け取り、当該撮像信号に含まれる画像データを複数の領域に分割して、分割した各画像データをマトリクス乗算部１ｇに出力する。
【００５８】
具体的には、本実施の形態に係る領域分割部１ｅは、第２の画像センサ１ｂから受け取った撮像信号内の画像データを（Ｍ１×Ｍ２）個の複数の領域（α，β）に分割して、分割した各画像データと、画像データ上で定義された領域（α，β）に関するデータとの組をマトリクス乗算部１ｇに出力する。ここで、αは０＜α≦M１を満たす自然数である。また、βは０＜ｊ≦M２を満たす自然数である。
【００５９】
領域データ記憶メモリ１ｆは、操作者の操作によって入力されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）に関するデータと、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データ内で定義される領域（α，β）に関するデータとが各々対応して記憶された領域データ記憶テーブルを有している。
【００６０】
マトリクス乗算部１ｇは、スペクトルデータの空間方向に定義される領域（ａ，ｂ）毎のマトリクスと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に関するデータとの組をマトリクス生成部１ｄから受け取ると、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に関するデータに対応付けられた画像データ上で定義された領域（α，β）に関するデータを領域データ記憶メモリ１ｆから読み出し、下記式（５）〜式（１３）に示すように、当該画像データの領域（α，β）に対応するペクトルデータの空間方向に定義される領域（ａ，ｂ）に対して生成されたマトリクスＡａ，ｂと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ−１，ｂ＋１）に対して生成されたマトリクスＡａ−１，ｂ＋１と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ，ｂ＋１）に対して生成されたマトリクスＡａ，ｂ＋１と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ＋１，ｂ＋１）に対して生成されたマトリクスＡａ＋１，ｂ＋１と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ−１，ｂ）に対して生成されたマトリクスＡａ−１，ｂと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ＋１，ｂ）に対して生成されたマトリクスＡａ＋１，ｂと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ−１，ｂ−１）に対して生成されたマトリクスＡａ−１，ｂ−１と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ，ｂ−１）に対して生成されたマトリクスＡａ，ｂ−１と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ＋１，ｂ−１）の領域に対して生成されたマトリクスＡａ＋１，ｂ−１とを読み出した画像データ上で定義された領域（α，β）に関するデータに対応する画像データの領域（α，β）のデータに各々乗算して、複数の分光情報のデータを得た後、得られた分光情報のデータと、画像データの領域（α，β）に関するデータとの組を加重平均算出部１ｈに出力する。
【００６１】
例えば、本実施の形態に係る分光画像生成装置１のマトリクス乗算部１ｇは、図４に示すように、スペクトルデータの空間方向に定義される領域（３，３）と画像データの領域（３，３）とが対応している場合には、マトリクス生成部１ｄから受け取ったスペクトルデータの空間方向に定義される領域（３，３）に対して生成されたマトリクスＡ３，３と、この領域（３，３）の領域の周縁に存在する領域（２，２）に対して生成されたマトリクスＡ２，２と、領域（３，３）の領域の周縁に存在する領域（２，３）に対して生成されたマトリクスＡ２，３と、領域（３，３）の領域の周縁に存在する領域（２，４）に対して生成されたマトリクスＡ２，４と、領域（３，３）の領域の周縁に存在する領域（３，２）に対して生成されたマトリクスＡ３，２と、領域（３，３）の領域の周縁に存在する領域（３，４）に対して生成されたマトリクスＡ３，４と、領域（３，３）の領域の周縁に存在する領域（４，２）に対して生成されたマトリクスＡ４，２と、領域（３，３）の領域の周縁に存在する領域（４，３）に対して生成されたマトリクスＡ４，３と、領域（３，３）の領域の周縁に存在する領域（４，４）に対して生成されたマトリクスＡ４，４とを画像データ上で定義された領域（３，３）のデータにそれぞれ乗算して、得られた９個の分光情報のデータと、画像データ（３，３）に関するデータとの組を加重平均算出部１ｈに出力する。
【００６２】
【数５】
0004981730.tif 000006
【００６３】
【数６】
0004981730.tif 000007
【００６４】
【数７】
0004981730.tif 000008
【００６５】
【数８】
0004981730.tif 000009
【００６６】
【数９】
0004981730.tif 000010
【００６７】
【数１０】
0004981730.tif 000011
【００６８】
【数１１】
0004981730.tif 000012
【００６９】
【数１２】
0004981730.tif 000013
【００７０】
【数１３】
0004981730.tif 000014
【００７１】
ここで、ｇ（ｉ，ｊ）は、画像データ上で定義された領域（α，β）に含まれる画素の中で（ｉ，ｊ）で指定される画素を、Ａａｂは、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に対して生成されたＬ行３列の行列を、ｆ＾ａ，ｂ（ｉ，ｊ）は、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に対して生成されたＬ行３列の行列Ａａｂを画像データ上で定義された領域（α，β）に含まれる画素の中で（ｉ，ｊ）で指定される画素に対して作用させて得られ、かつ、Ｌ次元の列ベクトルで示される分光情報をそれぞれ意味する。ここで、ｉは０＜α≦N１を満たす自然数である。また、ｊは０＜ｊ≦N２を満たす自然数である。
【００７２】
本実施の形態に係るマトリクス乗算部１ｇは、第２の画像センサ１ｂによって得られた画像データ上で定義される複数の領域のデータに相異なるマトリクスを作用させることによって得られる複数の分光画像の間で生じる境界を除去する観点から、画像データ上で定義された領域（α，β）に関するデータに対応付けられたスペクトルデータの空間方向に定義される領域（ａ，ｂ）に対して生成されたマトリクスＡａ，ｂのみではなく、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する８つの領域（ａ−１，ｂ＋１）、（ａ，ｂ＋１）、（ａ＋１，ｂ＋１）、（ａ−１，ｂ）、（ａ＋１，ｂ）、（ａ−１，ｂ−１）、（ａ，ｂ−１）、及び（ａ＋１，ｂ−１）を含めた９つの領域に対して生成されたマトリクスＡａ−１，ｂ＋１、Ａａ，ｂ＋１，Ａａ＋１，ｂ＋１、Ａａ−１，ｂ、Ａａ，ｂ、Ａａ＋１，ｂ、Ａａ―１，ｂ−１、Ａａ，ｂ−１、Ａａ＋１，ｂ−１を画像データ上で定義された領域（α，β）に存在する画像データｇ（ｉ，ｊ）に対して、各々乗算して得られた分光情報ｆ＾ａ−１，ｂ＋１（ｉ，ｊ）、ｆ＾ａ，ｂ＋１（ｉ，ｊ），ｆ＾ａ＋１，ｂ＋１（ｉ，ｊ）、ｆ＾ａ−１，ｂ（ｉ，ｊ）、ｆ＾ａ，ｂ（ｉ，ｊ）、ｆ＾ａ＋１，ｂ（ｉ，ｊ）、ｆ＾ａ―１，ｂ−１（ｉ，ｊ）、ｆ＾ａ，ｂ−１（ｉ，ｊ）、ｆ＾ａ＋１，ｂ−１（ｉ，ｊ）と画像データの領域（α，β）に関するデータとの組を加重平均算出部１ｈに出力している。
【００７３】
加重平均算出部１ｈは、マトリクス乗算部１ｇから出力された分光情報ｆ＾ａ−１，ｂ＋１（ｉ，ｊ）、ｆ＾ａ，ｂ＋１（ｉ，ｊ），ｆ＾ａ＋１，ｂ＋１（ｉ，ｊ）、ｆ＾ａ−１，ｂ（ｉ，ｊ）、ｆ＾ａ，ｂ（ｉ，ｊ）、ｆ＾ａ＋１，ｂ（ｉ，ｊ）、ｆ＾ａ―１，ｂ−１（ｉ，ｊ）、ｆ＾ａ，ｂ−１（ｉ，ｊ）、ｆ＾ａ＋１，ｂ−１（ｉ，ｊ）と画像データの領域（α，β）に関するデータとの組を受け取り、下記式（１４）に示すように、これら９個のデータの加重平均を算出し、算出した画像データの領域（α，β）に含まれる要素（ｉ，ｊ）毎の分光情報の加重平均のデータと画像データの領域（α，β）に関するデータとの組を領域合成部１ｉに出力する。
【００７４】
例えば、本実施の形態に係る分光画像生成装置１の加重平均算出部１ｈは、図４に示すように、スペクトルデータの空間方向に定義される領域（３，３）と画像データの領域（３，３）とが対応している場合には、マトリクス乗算部１ｇから受け取ったスペクトルデータの空間方向に定義される領域（３，３）に対して生成されたマトリクスＡ３，３を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、領域（３，３）の領域の周縁に存在する領域（２，２）に対して生成されたマトリクスＡ２，２を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、領域（３，３）の領域の周縁に存在する領域（２，３）に対して生成されたマトリクスＡ２，３を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、領域（３，３）の領域の周縁に存在する領域（２，４）に対して生成されたマトリクスＡ２，４を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、領域（３，３）の領域の周縁に存在する領域（３，２）に対して生成されたマトリクスＡ３，２を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、領域（３，３）の領域の周縁に存在する領域（３，４）に対して生成されたマトリクスＡ３，４を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、領域（３，３）の領域の周縁に存在する領域（４，２）に対して生成されたマトリクスＡ４，２を画像データ上で定義された領域（３，３）のデータに乗じてえられた分光情報、領域（３，３）の領域の周縁に存在する領域（４，３）に対して生成されたマトリクスＡ４，３を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、領域（３，３）の領域の周縁に存在する領域（４，４）に対して生成されたマトリクスＡ４，４を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、それぞれの分光情報のデータに対する重み付けを行って、これら９つの分光情報の加重平均を算出した後、分光情報の加重平均のデータと画像データの領域（３，３）に関するデータとの組を領域合成部１ｉに出力する。
【００７５】
【数１４】
0004981730.tif 000015
【００７６】
ここで、ｕａ，ｂ（ｉ，ｊ）は、分光情報ｆ＾ａ，ｂ（ｉ，ｊ）に対する重み付け関数を意味し、例えば下記式（１５）で示す2次元のｓｅｐａｒａｂｌｅ Ｈａｍｍｉｎｇ ｗｉｎｄｏｗを用いることも出来る。
【００７７】
【数１５】
0004981730.tif 000016
【００７８】
ここでν１（ｉ）は、下記式（１６）で示される関数である。
【００７９】
【数１６】
0004981730.tif 000017
【００８０】
また、ν２（ｊ）は、下記式（１７）で示される関数である。
【００８１】
【数１７】
0004981730.tif 000018
【００８２】
ここで、Ｄ１は、領域の縦の要素数を意味し、Ｄ１＝Ｎ１／Ｍ１で定義される値である。ここで、「／」は、除算を意味する。
【００８３】
また、Ｄ２は、領域の横の要素数を意味し、Ｄ２＝Ｎ２／Ｍ２で定義される値である。ここで、「／」は、除算を意味する。
【００８４】
例えば図５に示すようなｓｅｐａｒａｂｌｅ Ｈａｍｍｉｎｇ Ｗｉｎｄｏｗ ν１（ｉ）（Ｄｘ＝８の場合）では、１つのｗｉｎｄｏｗ関数は、その中心から±8目盛りで0となっているので、自分自身の領域（8メモリ分）を超えて±4目盛りまで重み付け関数ｕａ，ｂ（ｉ，ｊ）は値を有することになる。よって、当該領域で定義された重み付け関数ｕａ，ｂ（ｉ，ｊ）は隣の領域の半分まで影響を及ぼすことになる。その結果、例えば図６及び図７で示す領域（ａ，ｂ）の左上の斜線の領域のデータに関して加重平均を算出する場合には、図６及び図７で示す領域（ａ，ｂ）の左上の斜線の領域のデータに関して加重平均を算出することは、図６及び図７に示すように、（ａ，ｂ）、（ａ−１，ｂ−１）、（ａ，ｂ−１）、（ａ−１，ｂ）の４つの領域に対応した結果のみを足し合わせることと同一になる。同様に、何れの要素に関して加重平均を算出する場合であっても、何れの要素に関して加重平均を算出することは、実質は4つの結果を足し合わせることと同一になる。
【００８５】
領域合成部１ｉは、加重平均算出部１ｈから出力された算出済みの画像データの領域（α，β）毎の分光情報の加重平均のデータと、画像データの領域（α，β）に関するデータとの組を受け取り、受け取った画像データの領域（α，β）毎の分光情報の加重平均のデータを、画像データ上で定義されたようにソートすることによって、画像データの領域（ｉ，ｊ）毎の分光情報の加重平均のデータの組み合わせからなる分光画像のデータを生成し、生成した分光画像のデータを表示部１ｊの表示画面に表示させる。
【００８６】
表示部１ｊは、領域合成部１ｉで生成された分光画像が表示される図示しない表示画面を有している。
【００８７】
次に、以上のように構成された分光画像生成装置１の実行する実行処理に関し、図面を参照して説明する。
【００８８】
図８は、本実施の形態に係る分光画像生成装置１の実行する実行処理に関して説明するためのフローチャートである。
【００８９】
なお、本実施の形態に係る分光画像生成装置では、第１の画像センサ１ａから入力された画像データから、縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータが生成され、かつ、第２の画像センサ１ｂからＮ１要素×Ｎ２要素の大きさを有する画像データ３枚が入力された場合に関して説明する。
【００９０】
始めに、スペクトル生成部は、第１の画像センサ１ａから受け取った撮像信号に含まれる画像データ内の画素毎にスペクトルデータへの変換を行い、縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成する（工程Ａ１）。
【００９１】
次に、マトリクス生成部１ｄは、スペクトルデータ生成部１ｃから出力された縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを受け取り、受け取ったスペクトルデータから下記の式（１８）によって、スペクトルデータの空間方向に定義される領域（ａ，ｂ）毎のマトリクスを、スペクトルデータの空間方向に定義される全ての領域に関して生成する（工程Ａ２）。
【００９２】
ただし、スペクトルデータの空間方向に定義される領域の数を、スペクトルデータの要素の数と同一としているため、ａは、０＜ａ≦Ｍ１を満たす自然数である。また、ｂは、０＜ｂ≦Ｍ２を満たす自然数である。更に、Ｍ１は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の縦方向における要素の数を意味する。また、Ｍ２は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の横方向における要素の数を意味する。
【００９３】
【数１８】
0004981730.tif 000019
【００９４】
ここで、「Ａａ，ｂ」は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）毎に定められたマトリクスを意味する。
【００９５】
また、「Ｍ」は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向における要素の数、換言すればＭ１×Ｍ２で定まるスペクトルデータの数を意味する。
【００９６】
更に、「Ｓ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行Ｍ列の行列を意味する。
【００９７】
更に「Ｈ」は、オリジナルの分光情報ｆ（ｉ，ｊ）と、それに対応する画像データｇ（ｉ，ｊ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の下記式（１９）で示す入出力関係を規定する３行Ｌ列の行列を意味する。
【００９８】
【数１９】
0004981730.tif 000020
【００９９】
また、Ｗａ，ｂは、下記式（２０）で示されるＭ行Ｍ列の対角行列である。
【０１００】
【数２０】
0004981730.tif 000021
【０１０１】
ここで、ｄ(ａ,ｂ,ｐ,ｑ)は、第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される位置（ｐ，ｑ）と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の中心位置との間のユークリッド距離を意味する。
【０１０２】
ただし、ａは、０＜ａ≦Ｍ１を満たす自然数である。また、ｂは、０＜ｂ≦Ｍ２を満たす自然数である。更に、Ｍ１は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の縦方向における要素の数を意味する。また、Ｍ２は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の横方向における要素の数を意味する。
【０１０３】
更に、「ｗａ，ｂ，ｐ，ｑ」は、第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される位置毎に個別に定められる重み付け係数であり、前述したｄ(ａ,ｂ,ｐ,ｑ)との間に下記式（２１）で示される関係を有している。
【０１０４】
【数２１】
0004981730.tif 000022
【０１０５】
工程Ａ３では、領域分割部１ｅは、領域分割部１ｅは、第２の画像センサ１ｂから受け取った撮像信号内の画像データを（Ｍ１×Ｍ２）個の複数の領域（α，β）に分割する。
ここで、αは０＜α≦Ｍ１を満たす自然数である。また、βは０＜β≦Ｍ２を満たす自然数である。
【０１０６】
工程Ａ４では、マトリクス乗算部１ｇは、スペクトルデータの空間方向に定義される領域（ａ，ｂ）毎のマトリクスと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に関するデータとの組をマトリクス生成部１ｄから受け取ると、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に関するデータに対応付けられた画像データ上で定義された領域（α，β）に関するデータを領域データ記憶メモリ１ｆから読み出し、下記式（２２）〜式（３０）に示すように、当該画像データの領域（α，β）に対応するペクトルデータの空間方向に定義される領域（ａ，ｂ）に対して生成されたマトリクスＡａ，ｂと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ−１，ｂ＋１）に対して生成されたマトリクスＡａ−１，ｂ＋１と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ，ｂ＋１）に対して生成されたマトリクスＡａ，ｂ＋１と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ＋１，ｂ＋１）に対して生成されたマトリクスＡａ＋１，ｂ＋１と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ−１，ｂ）に対して生成されたマトリクスＡａ−１，ｂと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ＋１，ｂ）に対して生成されたマトリクスＡａ＋１，ｂと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ−１，ｂ−１）に対して生成されたマトリクスＡａ−１，ｂ−１と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ，ｂ−１）に対して生成されたマトリクスＡａ，ｂ−１と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ＋１，ｂ−１）の領域に対して生成されたマトリクスＡａ＋１，ｂ−１とを読み出した画像データ上で定義された領域（α，β）に関するデータに対応する画像データの領域（α，β）のデータに各々乗算して、複数の分光情報のデータを得る。
【０１０７】
【数２２】
0004981730.tif 000023
【０１０８】
【数２３】
0004981730.tif 000024
【０１０９】
【数２４】
0004981730.tif 000025
【０１１０】
【数２５】
0004981730.tif 000026
【０１１１】
【数２６】
0004981730.tif 000027
【０１１２】
【数２７】
0004981730.tif 000028
【０１１３】
【数２８】
0004981730.tif 000029
【０１１４】
【数２９】
0004981730.tif 000030
【０１１５】
【数３０】
0004981730.tif 000031
【０１１６】
工程Ａ５では、加重平均算出部１ｈは、マトリクス乗算部１ｇから出力された分光情報ｆ＾ａ−１，ｂ＋１（ｉ，ｊ）、ｆ＾ａ，ｂ＋１（ｉ，ｊ），ｆ＾ａ＋１，ｂ＋１（ｉ，ｊ）、ｆ＾ａ−１，ｂ（ｉ，ｊ）、ｆ＾ａ，ｂ（ｉ，ｊ）、ｆ＾ａ＋１，ｂ（ｉ，ｊ）、ｆ＾ａ―１，ｂ−１（ｉ，ｊ）、ｆ＾ａ，ｂ−１（ｉ，ｊ）、ｆ＾ａ＋１，ｂ−１（ｉ，ｊ）と画像データの領域（ｉ，ｊ）に関するデータとの組を受け取り、下記式（３１）に示すように、これら９個のデータの加重平均を算出する。
【０１１７】
【数３１】
0004981730.tif 000032
【０１１８】
ここで、ｕａ，ｂ（ｉ，ｊ）は、分光情報ｆ＾ａ，ｂ（ｉ，ｊ）に対する重み付け関数を意味し、例えば下記式（３２）で示す2次元のｓｅｐａｒａｂｌｅ Ｈａｍｍｉｎｇ ｗｉｎｄｏｗを用いることも出来る。  
【０１１９】
【数３２】
0004981730.tif 000033
【０１２０】
ここでν１（ｉ）は、下記式（３３）で示される関数である。
【０１２１】
【数３３】
0004981730.tif 000034
【０１２２】
また、ν２（ｊ）は、下記式（３４）で示される関数である。
【０１２３】
【数３４】
0004981730.tif 000035
【０１２４】
ここで、Ｄ１は、領域の縦の要素数を意味し、Ｄ１＝Ｎ１／Ｍ１で定義される値である。ここで、「／」は、除算を意味する。
【０１２５】
また、Ｄ２は、領域の横の要素数を意味し、Ｄ２＝Ｎ２／Ｍ２で定義される値である。ここで、「／」は、除算を意味する。
【０１２６】
工程Ａ６では、領域合成部１ｉは、加重平均算出部１ｈから出力された算出済みの画像データの領域（α，β）毎の分光情報の加重平均のデータと、画像データの領域（α，β）に関するデータとの組を受け取り、受け取った画像データの領域（α，β）毎の分光情報の加重平均のデータを、画像データ上で定義されたようにソートすることによって、画像データの領域（α，β）毎の分光情報の加重平均のデータの組み合わせからなる分光画像のデータを生成する。
【０１２７】
これにより、本実施の形態に係る分光画像生成装置１によれば、画素数、換言すれば空間解像度は、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データと同一の空間解像度で、かつ、波長方向の要素数、換言すれば波長解像度は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データと同一の波長解像度であるような分光画像、すなわち波長解像度及び空間解像度の両方が高い分光画像が生成される。
【０１２８】
工程Ａ７では、領域合成部１ｉは、生成した分光画像のデータを表示部１ｊの表示画面に表示させる。
【０１２９】
以上のような一連の処理により、本実施の形態に係る分光画像生成装置１は、全ての実行処理を終了する。
【０１３０】
（計算量及び計算精度に関する検証）
本発明者らは、本実施の形態に係る分光画像装置１と、従来から知られている３つの手法を用いた分光画像生成装置とに関してモデルを設定し、当該モデルを用いた本実施の形態に係る分光画像生成装置と、従来から知られている３つの手法を用いた分光画像生成装置とに関するシミュレーションを行い、本実施の形態に係る分光画像生成装置と従来から知られている３つの手法を用いた分光画像生成装置との精度と計算量とに対して検証を行った。
【０１３１】
まず、本実施の形態に係る分光画像生成装置１に対する比較例となる各分光画像生成装置に関して簡単に説明する。
【０１３２】
（比較例１）
本実施の形態の分光画像生成装置に対する第１の比較例の分光画像生成装置は、図９に示すように第１の空間解像度と第１の波長解像度とを有する第１の画像センサ１ａと、波長方向のチャネル数が少なくとも３以下で、かつ、第１の画像センサ１ａの有する空間解像度よりも高い第２の空間解像度と、第１の画像センサ１ａの有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の画像センサ１ｂと、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータに基づいて、特定のサンプルデータに対して、誤差を最小とするように下記式（３５）に示すような周知のＷｉｅｎｅｒ推定マトリクスを生成するマトリクス生成部１ｄ’’と、第１の画像センサ１ａの有する空間解像度よりも高い第２の空間解像度と第１の画像センサ１ａの有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の画像センサ１ｂから出力された撮像信号に含まれる画像データに含まれる各画素に対して、前述した同一の周知のＷｉｅｎｅｒ推定マトリクスを乗算することによって、第２の撮像素子から出力された撮像信号に含まれる画像データから分光画像を生成するマトリクス乗算部１ｇ’’と、マトリクス乗算部１ｇ’’により生成された分光画像を表示する表示部１ｊ’’とを備えた分光画像生成装置である。なお、比較例１の分光画像生成装置は、前述した特許文献１により詳細に記載されている。
【０１３３】
【数３５】
0004981730.tif 000036
【０１３４】
ここで、「Ａｗ」は、特定のサンプルデータに対して、誤差を最小とするようなＷｉｅｎｅｒ推定マトリクスを意味する。
【０１３５】
また、「Ｍ」は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向における要素の数、換言すればＭ１×Ｍ２で定まるスペクトルデータの数を意味する。
【０１３６】
更に、「Ｓ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行Ｍ列の行列を意味する。
【０１３７】
更に「Ｈ」は、オリジナルの分光情報ｆ（ｉ，ｊ）と、それに対応する第２の画像センサ１ｂから出力された撮像信号に含まれる画像データｇ（ｉ，ｊ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の下記式（３６）で示す入出力関係を規定する３行Ｌ列の行列を意味する。
【０１３８】
【数３６】
0004981730.tif 000037
【０１３９】
「ＳＴ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行Ｍ列の行列「Ｓ」の転置行列を意味する。
【０１４０】
「ＨＴ」は、前述したオリジナルの分光情報ｆ（ｉ，ｊ）と、それに対応する第２の画像センサ１ｂから出力された撮像信号に含まれる画像データｇ（ｉ，ｊ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の前述した式（３６）で示す入出力関係を規定する３行Ｌ列の行列Ｈの転置行列を意味する。
【０１４１】
また、「Ｃ」は、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データに含まれるノイズの共分散行列を意味する。
【０１４２】
（比較例２）
本実施の形態の分光画像生成装置に対する第２の比較例の分光画像生成装置は、図１０に示すように第１の空間解像度と第１の波長解像度とを有する第１の画像センサ１ａと、波長方向のチャネル数が少なくとも３以下で、かつ、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の画像センサ１ｂと、第１の画像センサ１ａから出力された撮像信号に含まれる画像データを複数のクラスにクラス分類するクラス分類部１ｎと、クラス分類部１ｎによってクラス分類されたクラス毎にＷｉｅｎｅｒ推定マトリクスＡｋを生成するマトリクス生成部１ｄ’’’と、クラス毎に生成されたＷｉｅｎｅｒ推定マトリクスＡｋを第２の画像センサ１ｂから出力された撮像信号に含まれる画像データに対して下記式（３７）に示すように乗算するマトリクス乗算部１ｇ’’’と、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データと、クラス分類部１ｎによりクラス分類されたクラス分類結果とから分光情報の確率密度を示す式（３８）に示すような混合ガウス分布ｐ（ｆ）に基づいて、下記式（３９）〜式（４２）に示すように、重み付け係数ｍｋを算出する重み係数生成部１ｏと、マトリクス乗算部１ｇ’’’により得られた分光情報と、重み係数生成部１ｏから出力された重み付け係数ｍｋとを用いて、下記式（４３）に示すように各クラスの分光情報を加重平均して、分光画像を生成する加重平均算出部１ｈ’’’と、加重平均算出部１ｈ’’’により算出された分光画像を表示する表示部１ｊ’’’とを備えた分光画像生成装置である。なお、比較例２の分光画像生成装置は、前述した非特許文献１により詳細に記載されている。
【０１４３】
【数３７】
0004981730.tif 000038
【０１４４】
【数３８】
0004981730.tif 000039
【０１４５】
【数３９】
0004981730.tif 000040
【０１４６】
【数４０】
0004981730.tif 000041
【０１４７】
（比較例３）
本実施の形態の分光画像生成装置に対する第３の比較例の分光画像生成装置は、図１１に示すように第１の空間解像度と第１の波長解像度とを有する第１の画像センサ１ａと、波長方向のチャネル数が少なくとも３以下で、かつ、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の画像センサ１ｂと、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータに基づいて、特定のサンプルデータに対して、誤差を最小とするように下記式（４４）に示すような周知のＷｉｅｎｅｒ推定マトリクスを生成するマトリクス生成部１ｄ’’’’と、第１の画像センサ１ａの有する空間解像度よりも高い第２の空間解像度と第１の画像センサ１ａの有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の画像センサ１ｂから出力された撮像信号に含まれる画像データに含まれる各画素に対して、前述した同一の周知のＷｉｅｎｅｒ推定マトリクスを乗算することによって、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データから分光画像を生成するマトリクス乗算部１ｇ’’’’と、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データから下記式（４６）〜下記式（４８）に基づいて、補間マトリクスＭＰを生成する補間マトリクス生成部１ｑと、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータと、補間マトリクス生成部１ｑにより生成された補間マトリクスとに基づいて下記式（４９）のようにスペクトルデータの補間処理を実行するデータ補間部１ｐと、マトリクス乗算部１ｇ’’’’により得られた分光画像のデータと、データ補間部１ｐにより補間処理が施された分光画像のデータとを下記式（５０）のように合成して分光画像を生成する合成部１ｒと、合成部１ｒにより生成された分光画像を表示する表示部１ｊ’’’’とを備えた分光画像生成装置である。なお、比較例３の分光画像生成装置は、前述した非特許文献２により詳細に記載されている。
【０１４８】
【数４１】
0004981730.tif 000042
【０１４９】
ここで、「Ａｗ」は、特定のサンプルデータに対して、誤差を最小とするようなＷｉｅｎｅｒ推定マトリクスを意味する。
【０１５０】
また、「Ｍ」は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向における要素の数、換言すればＭ１×Ｍ２で定まるスペクトルデータの数を意味する。
【０１５１】
更に、「Ｓ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行Ｍ列の行列を意味する。
【０１５２】
更に「Ｈ」は、オリジナルの分光情報ｆ（ｉ，ｊ）と、それに対応する第２の画像センサ１ｂから出力された撮像信号に含まれる画像データｇ（ｉ，ｊ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の下記式（４５）で示す入出力関係を規定する３行Ｌ列の行列を意味する。
【０１５３】
【数４２】
0004981730.tif 000043
【０１５４】
「ＳＴ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行Ｍ列の行列「Ｓ」の転置行列を意味する。
【０１５５】
「ＨＴ」は、前述したオリジナルの分光情報ｆ（ｉ，ｊ）と、それに対応する第２の画像センサ１ｂから出力された撮像信号に含まれる画像データｇ（ｉ，ｊ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の前述した式（４５）で示す入出力関係を規定する３行Ｌ列の行列Ｈの転置行列を意味する。
【０１５６】
また、「Ｃ」は、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データに含まれるノイズの共分散行列を意味する。
【０１５７】
【数４３】
0004981730.tif 000044
【０１５８】
ただし、Ｈｐは、Ｎ本の分光情報ベクトルｆ（ｉ，ｊ）を行ベクトルとして並べたＮ行Ｌ列の行行列をＦとしたとき、この行列Ｆとスペクトルデータ行列Ｓとの間で下記式（４７）の関係を有するＭ行Ｎ列の行列である。
【０１５９】
【数４４】
0004981730.tif 000045
【０１６０】
また、Σｐは、空間方向の相関行列を表すＮ行Ｎ列の正方行列であり、画像データｇ（ｉ，ｊ）⇒ｇ（α）に基づいて生成する。具体的には、Σｐの（α，β）要素は下記式（４８）で与えられる。
【０１６１】
【数４５】
0004981730.tif 000046
【０１６２】
【数４６】
0004981730.tif 000047
【０１６３】
【数４７】
0004981730.tif 000048
【０１６４】
次に、本実施の形態に係る分光画像生成装置１と前述した各比較例とをシミュレーションによって検証した検証結果に関して説明する。
【０１６５】
（前提条件）
本発明者らは、２種類の分光画像ＴｏｙとＳｃａｒｆ（空間方向５１２×５１２画素、波長方向６５要素）をオリジナルの分光画像とし、シミュレーションにより３バンドの画像データ（５１２×５１２画素、３バンド）とスペクトルデータ（空間方向Ｍ１×Ｍ２画素、波長方向６５要素）とを生成するように各装置のパラメータを設定した。
【０１６６】
この際、画像データにのみ、ＰＳＮＲ(ｐｅａｋ ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ)=５０ｄＢのランダムホワイトノイズを加算し、Ｍ１＝Ｍ２は８,１６,３２,６４,１２８,２５６,５１２の何れかとなるように設定した。この２種類の観測データに基づいて、本実施の形態に係る分光画像生成装置により出力した分光画像とオリジナルの分光画像とを比較して、各分光画像生成装置が生成した分光画像のデータの精度を評価した。
【０１６７】
この精度評価の際に、撮影したときの照明光スペクトルで分光画像を割り算して得られる分光反射率画像に対して、分光反射率の誤差（ＮＲＭＳＥ：ｎｏｒｍａｌｉｚｅｄ ｒｏｏｔ ｍｅａｎ ｓｑｕａｒｅｄ ｅｒｒｏｒ）を計算して、各分光画像生成装置が生成した分光画像のデータの精度評価に用いた。
【０１６８】
（本実施の形態に係る分光画像生成装置１のスペクトルデータの数及び分光画像を分割する領域の数と、出力された分光画像の精度とに関する検証）
まず、本実施の形態に係る分光画像生成装置１における第１の画像センサ１ａから出力された分光画像Ｔｏｙから生成されたスペクトルデータの数及び第２の画像センサ１ｂから出力された分光画像Ｔｏｙを分割する領域の数と、本実施の形態に係る分光画像生成装置１から出力された分光画像の精度との関係に関して検証する。
【０１６９】
図１２は、本実施の形態に係る分光画像生成装置１の第１の画像センサ１ａから出力された分光画像Ｔｏｙから生成されたスペクトルデータの数及び第２の画像センサ１ｂから出力された分光画像Ｔｏｙを分割する領域の数と、出力された分光画像から求めた分光反射率画像の誤差を表す分光反射率の誤差（ＮＲＭＳＥ）との関係の一例を示す図である。
【０１７０】
図１２からわかるように、本実施の形態に係る分光画像生成装置１では、領域の数を増やすと、分光反射率の誤差（ＮＲＭＳＥ）が減少しているが、スペクトルデータの要素数と同じ数の領域数以上（矢印で示す点）に領域数を増やしても、分光反射率の誤差（ＮＲＭＳＥ）が減少しないことがわかる。
【０１７１】
以上の結果から、本実施の形態に係る分光画像生成装置１では、第１の画像センサ１ａから出力された分光画像Ｔｏｙから生成されたスペクトルデータの要素数と、第２の画像センサ１ｂから出力された分光画像Ｔｏｙを分割する場合における領域の数とは、同じ程度の数にすることで、効率的に精度を高めることが可能であることがわかる。
【０１７２】
（出力した分光画像の精度に関する検証）
次に、本実施の形態に係る分光画像生成装置１と、前述した各比較例の分光画像生成装置とに関し、分光画像から生成されたスペクトルデータの数と、本実施の形態に係る分光画像生成装置１及び各比較例に係る分光画像生成装置から出力された分光画像の精度との関係に関して検証する。
【０１７３】
図１３は、本実施の形態に係る分光画像生成装置１と、前述した各比較例の分光画像生成装置とに関し、第１の画像センサ１ａから出力された分光画像Ｔｏｙから生成されたスペクトルデータの数と、本実施の形態に係る分光画像生成装置１と、前述した各比較例の分光画像生成装置とによってそれぞれ出力された分光画像から求めた分光反射率画像の誤差を表す分光反射率の誤差（ＮＲＭＳＥ）との関係の一例を示す図である。
【０１７４】
また、図１４は、本実施の形態に係る分光画像生成装置１と、前述した各比較例の分光画像生成装置とに関し、第１の画像センサ１ａから出力された分光画像Ｓｃａｒｆから生成されたスペクトルデータの数と、本実施の形態に係る分光画像生成装置１と前述した各比較例の分光画像生成装置とによってそれぞれ出力された分光画像から求めた分光反射率画像の誤差を表す分光反射率の誤差（ＮＲＭＳＥ）との関係の一例を示す図である。
【０１７５】
図１３及び図１４では、横軸は第１の画像センサ１ａから出力された分光画像Ｔｏｙ、分光画像Ｓｃａｒｆから生成されたスペクトルデータの数、すなわち前述したＭ１×Ｍ２＝Ｍに該当し、このスペクトルデータの数が大きくなるほど、スペクトルデータの解像度が高いことを意味している。
【０１７６】
また、図１３及び図１４では、縦軸は、出力した分光画像の誤差を示す分光反射率の誤差（ＮＲＭＳＥ）に該当し、この分光反射率の誤差（ＮＲＭＳＥ）の値が小さいほど、各分光画像生成装置から出力された分光画像の精度が高いことを意味している。
【０１７７】
図１３及び図１４からわかるように、本実施の形態に係る分光画像生成装置１から出力された分光画像の精度は、前述した比較例１及び前述した比較例２の分光画像生成装置から出力された分光画像の精度よりも高く、前述した比較例３の分光画像生成装置から出力された分光画像の精度と同等である。
【０１７８】
（計算量に関する検証）
次に、本実施の形態に係る分光画像生成装置１が分光画像Ｔｏｙ、分光画像Ｓｃａｒｆから分光画像を生成して出力するための計算量と、前述した各比較例の分光画像生成装置が分光画像Ｔｏｙ、分光画像Ｓｃａｒｆから分光画像を生成して出力するための計算量とに関して検証する。
【０１７９】
本発明者らは、１フレームの画像データの処理に必要となる乗算の回数を概算することによって、本実施の形態に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量と、各比較例に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量とを比較した。
【０１８０】
図１５は、本実施の形態に係る分光画像生成装置１がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量と、各比較例に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量との関係の一例を示す図である。
【０１８１】
また、図１６は、オリジナルの分光画像を分割する領域の数をＮ＝Ｎ１×Ｎ２＝５１２×５１２とした場合に、本実施の形態に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量、及び比較例２、３に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量を示す乗算回数と、第１の画像センサ１ａの画素数との関係の一例を示す図である。
【０１８２】
図１５及び図１６からわかるように、比較例３の分光画像生成装置における計算量は、オリジナルの分光画像から生成されたスペクトルの数であるＭ＝Ｍ1×Ｍ２の２乗に比例して計算量が増加するので、スペクトルデータの解像度が高い場合には、比較例３の分光画像生成装置は、オリジナルの分光画像から出力する分光画像を生成するために必要な計算量が非常に膨大となって、実装が困難となる。
【０１８３】
また、比較例３の分光画像生成装置における計算量は何れのスペクトルデータの解像度の場合でも、比較例１、比較例２、及び本実施の形態に係る分光画像生成装置における計算量と比較して多いので、比較例３の分光画像生成装置は、分光画像を生成する処理に時間を要する。
【０１８４】
更に、比較例１の分光画像生成装置における計算量は、一番少ないが、前述した図１３及び図１４からもわかるとおり、比較例１の分光画像生成装置は、出力する分光画像の精度が劣る。
【０１８５】
本実施の形態に係る分光画像生成装置１及び比較例２の分光画像生成装置の計算量は、Ｎ／Ｍ＞＞４０を満たす現実的な範囲で比較例１の分光画像生成装置における計算量の４〜６倍程度の計算量に抑えられた。
【０１８６】
以上の検証結果からわかるように、本実施の形態に係る分光画像生成装置１は、画像センサの画素が多い場合であっても比較例３の分光画像生成装置のように実装困難になることなく、出力する分光画像の精度の高い比較例３と同等の精度を、当該比較例３の分光画像生成装置の計算量よりも小さく抑えた状態で実現することが出来る。
【０１８７】
上述したように、本実施の形態に係る分光画像生成装置１によれば、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の画像センサ１ａから出力された撮像信号に含まれる画像データを構成する要素毎に、当該画像データ内の要素毎に含まれる光の波長毎の強度分布を示すスペクトルデータがスペクトルデータ生成部１ｃによって生成され、スペクトルデータ生成部１ｃにより生成された要素毎のスペクトルデータから、画像センサ１ａから出力された撮像信号に含まれる画像データを構成する領域毎のマトリクスがマトリクス生成部１ｄにより生成され、マトリクス生成部１ｄにより生成されたマトリクスのうち、第１の画像センサ１ａから出力された撮像信号に含まれる画像データ内の第１領域に対して生成されたマトリクスが第２の画像センサ１ｂから出力された撮像信号に含まれ、かつ、第１の画像センサ１ａから出力された撮像信号に含まれる画像データ内の第１領域に対応する第3領域の画像データに乗じられて第３領域の分光情報がマトリクス乗算部１ｇによって算出され、マトリクス生成部１ｄにより生成されたマトリクスのうち、第１の画像センサ１ａから出力された撮像信号に含まれる画像データ内の第１領域の周縁に存在する第２領域に対して生成されたマトリクスが第２の画像データから出力された撮像信号に含まれる第３領域の画像データに乗じられて第３領域の分光情報がマトリクス乗算部１ｇによって算出され、マトリクス乗算部１ｇにより算出された第３領域の分光情報と、第１の画像センサ１ａから出力された撮像信号に含まれる画像データ内の第１領域の周縁に存在する第２領域に対して生成されたマトリクスを第３領域に乗じることにより算出された第３領域の分光情報との加重平均が加重平均算出部１ｈによって領域毎に算出され、加重平均算出部１ｈにより算出された領域毎の分光情報の加重平均から第１の波長解像度と第２の空間解像度とを有する分光画像が領域合成部１ｉにより生成され、生成された分光画像が表示部１ｊに表示されるので、処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することが可能になる。
【０１８８】
なお、本実施の形態に係る分光画像生成装置では、第１の画像センサ１ａ及びスペクトルデータ生成部１ｃを、シーン中の多点を計測できるスペクトルセンサに置換した構成としてもよい。
【０１８９】
この場合には、スペクトルセンサは、スペクトルデータを計測した位置の位置情報を各点で計測したスペクトルデータに付加して、計測したスペクトルデータとスペクトルデータを計測した位置の位置情報との組をマトリクス生成部１ｄに出力する構成とする。
【０１９０】
（第２の実施の形態）
次に、本発明の第２の実施の形態に係る分光画像生成装置１’に関して説明する。
【０１９１】
図１７は、本発明の第２の実施の形態に係る分光画像生成装置１’の一例を示す模式図である。
【０１９２】
本実施の形態に係る分光画像生成装置１’は、相異なる特性を有する複数の画像センサのうちの一方の画像センサから出力された撮像信号に含まれる動画の画像データから生成されたスペクトルデータから予め定められた時空間領域毎に相異なる複数のマトリクスのデータを生成し、生成した時空間領域毎のマトリクスを他方の画像センサから出力された撮像信号に含まれる画像データの対応する時空間領域のデータに作用させることによって、動画である分光画像を生成して、生成した分光画像を表示部１ｊ’の表示画面に表示する装置である。
【０１９３】
具体的には、本実施の形態に係る分光画像生成装置１’は、図１８に示すように、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の画像センサ１ａ’から出力された第１のフレームレートを有する撮像信号に含まれる画像データから生成された空間方向にＭ１×Ｍ２個の要素を、波長方向にＬ個の要素をそれぞれ有するスペクトルデータと、波長方向のチャネル数が少なくとも３以下で、かつ、前述した第１の画像センサ１ａ’の有する空間解像度よりも高い第２の空間解像度と、前述した第１の画像センサ１ａ’の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の画像センサとしての３バンドのカラービデオカメラ（第２の画像センサ）１ｂ’から出力されたＮ１×Ｎ２個の画素とを有し、かつ、１フレームが３枚の画像データからなる前述した第１の画像センサ１ａ’から出力された撮像信号の有する第１のフレームレートよりも高い第２のフレームレートを有する動画のデータとから、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有し、前述した第１の波長解像度と前述した第２のフレームレートと前述した第２の空間解像度とを有する分光画像、換言すれば波長解像度及び空間解像度の両方が高い動画の分光画像を生成し、生成した分光画像を表示画面に表示する装置である。
【０１９４】
本実施の形態に係る分光画像生成装置１’は、図１７に示すように、第１の画像センサ１ａ’と、第１のデータバッファ１ｋと、３バンドのカラービデオカメラ（第２の画像センサ）１ｂ’と、第２のデータバッファ１ｌと、スペクトルデータ生成部１ｃ’と、マトリクス生成部１ｄ’と、領域分割部１ｅ’と、時空間領域データ記憶メモリ１ｆ’と、マトリクス乗算部１ｇ’と、加重平均算出部１ｈ’と、第３のデータバッファ１ｍと、領域合成部１ｉ’と、表示部１ｊ’とを備えている。
【０１９５】
なお、本実施の形態に係る分光画像生成装置１’は、製造時に図示しない内蔵メモリにプログラムが書き込まれた、又は記録媒体もしくは通信ネットワークを介してプログラムがインストールされたコンピュータによって実現される。
【０１９６】
また、本実施の形態に係る分光画像生成装置１’を構成する各部は、ソフトウェアもしくはハードウェア又はハードウェアとソフトウェアとの組み合わせの何れから構成されていてもよいことは言うまでもない。
【０１９７】
第１の画像センサ１ａ’は、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する撮像素子であり、第１のフレームレートを有する撮像した撮像信号を第１のデータバッファ１ｋに出力する。
【０１９８】
第１のデータバッファ１ｋは、第１の画像センサ１ａ’から入力された動画のデータを一時的に記憶するバッファであり、記憶した動画のデータをスペクトルデータ生成部１ｃ’に出力する。
【０１９９】
３バンドのカラービデオカメラ（第２の画像センサ）１ｂ’は、波長方向のチャネル数が少なくとも３以下で、かつ、前述した第１の画像センサ１ａ’の有する空間解像度よりも高い第２の空間解像度と、前述した第１の画像センサ１ａ’の有する第１の波長解像度よりも低い第２の波長解像度とを有する撮像素子であり、前述した第１の画像センサ１ａ’から出力された撮像信号の有する第１のフレームレートよりも高い第２のフレームレートを有する撮像した撮像信号を第２のデータバッファ１ｌに出力する。
【０２００】
第２のデータバッファ１ｌは、３バンドのカラービデオカメラ１ｂ’から入力された動画のデータを一時的に記憶するバッファであり、記憶した動画のデータを領域分割部１ｅに出力する。
【０２０１】
スペクトルデータ生成部１ｃ’は、第１のデータバッファ１ｋから出力された撮像信号を受け取り、受け取った撮像信号の要素毎にスペクトルデータを生成して、生成した要素毎のスペクトルデータをマトリクス生成部１ｄ’に出力する。
【０２０２】
ここで、スペクトルデータの「要素」とは、第１の画像センサの時間方向1フレーム、および第1の画像センサの空間方向1画素に対応するL個1組のデータを意味する。
【０２０３】
マトリクス生成部１ｄ’は、第１の画像センサ１ａ’によって計測されたスペクトルデータの各要素を重み付けした結果、得られた特定の分光反射率データ郡、換言すればマトリクスを生成するためのサンプルデータを用いて、このサンプルデータに対する誤差を最小とするように、第１の画像センサ１ａ’から出力された撮像信号内の画像データから生成されたスペクトルデータの時空間方向に定義される時空間領域（ａ，ｂ，ｔ）毎に対応付けられるマトリクスを生成し、生成したスペクトルデータの時空間方向に定義される時空間領域（ａ，ｂ，ｔ）毎のマトリクスのデータと、スペクトルデータの時空間方向に定義される時空間領域（ａ，ｂ，ｔ）に関するデータとの組をマトリクス乗算部１ｇ’に出力する。
【０２０４】
なお、本明細書において、「時空間領域」とは、画像センサ１もしくは画像センサ２により取得される動画像上に定義される領域で、時間方向のある一定期間に含まれ、かつ、空間方向のある一定領域に含まれる閉区間を意味する。
【０２０５】
具体的には、本実施の形態に係るマトリクス生成部１ｄ’は、スペクトルデータ生成部１ｃ’から出力された縦方向にＭ１個、横方向にＭ２個、時間方向にV個の要素に対応する、波長方向にＬ個のデータから構成されるスペクトルデータを受け取り、受け取ったスペクトルデータから下記の式（５１）によって、スペクトルデータの時空間方向に定義される時空間領域（ａ，ｂ，ｔ）毎のマトリクスを、スペクトルデータの時空間方向に定義される全時空間領域に関して生成し、生成した時空間領域毎のマトリクスのデータと、スペクトルデータの時空間方向に定義される領域（ａ，ｂ，ｔ）に関するデータとの組をマトリクス乗算部１ｇ’に出力する。
【０２０６】
ただし、スペクトルデータの時空間方向に定義される時空間領域の数は、スペクトルデータの要素の数と同一とする。つまり、ａは、０＜ａ≦Ｍ１を満たす自然数である。また、ｂは、０＜ｂ≦Ｍ２を満たす自然数である。また、ｔは、０＜ｔ≦Vを満たす自然数である。更に、Ｍ１は、スペクトルデータ生成部１ｃ’によって生成されたスペクトルデータの空間方向の縦方向における要素の数を意味する。また、Ｍ２は、スペクトルデータ生成部１ｃ’によって生成されたスペクトルデータの空間方向の横方向における要素の数を意味する。また、Vは、スペクトルデータ生成部１ｃ’によって生成されたスペクトルデータの時間方向における要素の数を意味する。
【０２０７】
【数４８】
0004981730.tif 000049
【０２０８】
ここで、「Ａａ，ｂ，ｔ」は、第１の画像センサ１ａ’から出力された撮像信号に含まれる画像データ上の時空間領域（ａ，ｂ，ｔ）に対して定められたマトリクスを意味する。
【０２０９】
更に、「Ｓ」は、前述した（Ｍ×V）個のスペクトルデータを列ベクトルとして配列したＬ行（Ｍ×V）列の行列を意味する。
【０２１０】
また、「V」は、スペクトルデータ生成部１ｃ’によって生成されたスペクトルデータの時間方向における要素の数である。
【０２１１】
更に「Ｈ」は、オリジナルの分光情報ｆ（ｉ，ｊ，ｔ）と、それに対応する第２の画像センサ１ｂ‘から出力された撮像信号に含まれる画像データｇ（ｉ，ｊ，ｔ）と、画像データに含まれるノイズを示す3次元列ベクトルｎとの間の下記式（５２）で示す入出力関係を規定する３行Ｌ列の行列を意味する。
【０２１２】
【数４９】
0004981730.tif 000050
【０２１３】
また、Ｗａ，ｂ，ｔは、下記式（５３）で示される（Ｍ×V）行（Ｍ×V）列の対角行列である。
【０２１４】
【数５０】
0004981730.tif 000051
【０２１５】
ここで、d(ａ,ｂ,ｐ,ｑ)は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの（ｐ，ｑ，τ）要素の空間方向の位置と、画像データ上の（ａ，ｂ，ｔ）の時空間領域の空間方向の中心との間のユークリッド距離を意味する。
【０２１６】
なお、本明細書において、「時空間領域の空間方向の中心」とは、時空間領域のうちの空間方向の領域の中心位置を意味する。
【０２１７】
また、「ｗａ,ｂ,ｔ;ｐ,ｑ,τ」は、第1の画像センサから出力された撮像信号から生成されたスペクトルデータの要素毎に個別に定められる重み付け係数であり、前述したd(ａ,ｂ;ｐ,ｑ)およびd'(t,τ)との間に下記式（５４）で示される関係を有している。
【０２１８】
【数５１】
0004981730.tif 000052
【０２１９】
ここで、「ρ」は、重み付け係数の減少の程度を決定しているパラメータであり、例えば画像データ内で決定された時空間領域の空間方向の大きさＤ１＝Ｄ２＝Ｄに応じて、ρの値をρ４．５Ｄ＝０．０１として、換言すれば４．５Ｄ要素（つまり、４．５領域分）離れた点で、重み係数が０．０１となるように設定することが出来る。
【０２２０】
また、「ρ’」は、重み付け係数の減少の程度を決定しているパラメータであり、フレーム周期をＴとしてρ’１．５Ｔ＝０．０１換言すれば１．５Ｔ要素（つまり、フレーム周期の１．５倍）離れた点で、重み係数が０．０１となるように設定することが出来る。
【０２２１】
なお、本実施の形態に係る分光画像生成装置１’におけるパラメータ「ρ」、及び「ρ’」を設定する手法に関しては、本実施の形態に係る分光画像生成装置１’で用いた手法に限定されないことは言うまでもない。
【０２２２】
「ＳＴ」は、前述した（Ｍ×V）個のスペクトルデータを列ベクトルとして配列したＬ行（Ｍ×V）列の行列「Ｓ」の転置行列を意味する。
【０２２３】
「ＨＴ」は、前述したオリジナルの分光情報ｆ（ｉ，ｊ，ｔ）と、それに対応する第２の画像センサ１ｂ‘から出力された撮像信号に含まれる画像データｇ（ｉ，ｊ，ｔ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の前述した式（５２）で示す入出力関係を規定する３行Ｌ列の行列Ｈの転置行列を意味する。
【０２２４】
また、「Ｃ」は、第２の画像センサ１ｂ’から出力された撮像信号に含まれる画像データに含まれるノイズの共分散行列を意味する。
【０２２５】
領域分割部１ｅ’は、第２のデータバッファ１ｌから出力された撮像信号を受け取り、当該撮像信号に含まれる画像データを、空間方向にＭ１個×Ｍ２個からなる複数の矩形領域に分割すると共に、時間方向にもＴフレーム毎に分割することによって、画像データを複数の時空間領域に分割し、分割した画像データと、時空間領域に関するデータとの組をマトリクス乗算部１ｇ’に出力する。
【０２２６】
時空間領域データ記憶メモリ１ｆ’は、操作者の操作によって入力されたスペクトルデータの空間方向に定義される時空間領域（ａ，ｂ，ｔ）に関するデータと、第２の画像センサ１ｂ’から出力された撮像信号に含まれる画像データ内で定義される時空間領域（α，β，γ）に関するデータとが各々対応して記憶された時空間領域データ記憶テーブルを有している。
【０２２７】
マトリクス乗算部１ｇ’は、領域分割部１ｅ’から受け取った分割した画像データに、マトリクス生成部１ｄ’から受け取ったマトリクスを下記式（５５）に示すように乗算することによって、時空間領域毎の分光画像のデータを得た後、得られた分光画像のデータを加重平均算出部１ｈ’に出力する。
【０２２８】
具体的には、本実施の形態に係る分光画像生成装置１’のマトリクス乗算部１ｇ’は、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）毎のマトリクスと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）に関するデータとの組をマトリクス生成部１ｄ’から受け取ると、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）に関するデータに対応付けられた画像データ上で定義された時空間領域（α，β，γ）に関するデータを時空間領域データ記憶メモリ１ｆ’から読み出し、当該画像データの時空間領域（α，β，γ）に対応するスペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）に対して生成されたマトリクスＡａ，ｂ、ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ−１，ｂ＋１，ｔ）に対して生成されたマトリクスＡａ−１，ｂ＋１，ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ，ｂ＋１，ｔ）に対して生成されたマトリクスＡａ，ｂ＋１，ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ＋１，ｂ＋１，ｔ）に対して生成されたマトリクスＡａ＋１，ｂ＋１、ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ−１，ｂ，ｔ）に対して生成されたマトリクスＡａ−１，ｂ、ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ＋１，ｂ，ｔ）に対して生成されたマトリクスＡａ＋１，ｂ，ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ−１，ｂ−１，ｔ）に対して生成されたマトリクスＡａ−１，ｂ−１，ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ，ｂ−１，ｔ）に対して生成されたマトリクスＡａ，ｂ−１、ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ＋１，ｂ−１、ｔ）に対して生成されたマトリクスＡａ＋１，ｂ−１、ｔとを読み出した画像データ上で定義された時空間領域（α，β，γ）に存在する画像データの中で空間方向の位置（ｉ，ｊ）および時間θで指定される画素ｇ（ｉ，ｊ，θ）に各々乗算する。
【０２２９】
また、本実施の形態に係るマトリクス乗算部１ｇ’は、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）に対して時間方向で直前の（ｔ−１）に存在する時空間領域（ａ，ｂ，ｔ−１）に対して生成されたマトリクスＡａ，ｂ，ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する領域（ａ−１，ｂ＋１，ｔ−１）に対して生成されたマトリクスＡａ−１，ｂ＋１、ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ，ｂ＋１，ｔ−１）に対して生成されたマトリクスＡａ，ｂ＋１、ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ＋１，ｂ＋１，ｔ−１）に対して生成されたマトリクスＡａ＋１，ｂ＋１、ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ−１，ｂ，ｔ−１）に対して生成されたマトリクスＡａ−１，ｂ、ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ＋１，ｂ，ｔ−１）に対して生成されたマトリクスＡａ＋１，ｂ，ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ−１，ｂ−１，ｔ−１）に対して生成されたマトリクスＡａ−１，ｂ−１，ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ，ｂ−１，ｔ−１）に対して生成されたマトリクスＡａ，ｂ−１、ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ＋１，ｂ−１，ｔ−１）に対して生成されたマトリクスＡａ＋１，ｂ−１、ｔ−１とを読み出した画像データ上で定義された時空間領域（α，β，γ）に存在する画像データの中で空間方向の位置（ｉ，ｊ）および時間θで指定される画素ｇ（ｉ，ｊ，θ）に各々乗算する。
【０２３０】
更に、本実施の形態に係るマトリクス乗算部１ｇ’は、スペクトルデータの空間方向に定義される時空間領域（ａ，ｂ，ｔ）に対して時間方向で直後の（ｔ＋１）に存在するスペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）に対して生成されたマトリクスＡａ，ｂ、ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ−１，ｂ＋１，ｔ＋１）に対して生成されたマトリクスＡａ−１，ｂ＋１、ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ，ｂ＋１，ｔ＋１）に対して生成されたマトリクスＡａ，ｂ＋１、ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ＋１，ｂ＋１，ｔ＋１）に対して生成されたマトリクスＡａ＋１，ｂ＋１、ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ−１，ｂ，ｔ＋１）に対して生成されたマトリクスＡａ−１，ｂ、ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ＋１，ｂ，ｔ＋１）に対して生成されたマトリクスＡａ＋１，ｂ，ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ−１，ｂ−１，ｔ＋１）に対して生成されたマトリクスＡａ−１，ｂ−１，ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ，ｂ−１，ｔ＋１）に対して生成されたマトリクスＡａ，ｂ−１、ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ＋１，ｂ−１，ｔ＋１）に対して生成されたマトリクスＡａ＋１，ｂ−１、ｔ＋１とを読み出した画像データ上で定義された時空間領域（α，β，γ）に存在する画像データの中で画素（ｉ，ｊ）、時間θで指定される画素ｇ（ｉ，ｊ，θ）に各々乗算する。
【０２３１】
従って、本実施の形態に係るマトリクス乗算部１ｇ’は、対象となる画像データ上で定義される時空間領域（α，β，γ）に対応するスペクトルデータの空間方向に定義される時空間領域（ａ，ｂ，ｔ）に対して時空間的に近傍に存在する領域に対して生成された２７個のマトリクスを画像データ上で定義される領域（α，β，γ）に存在する画像データｇ（ｉ，ｊ，θ）に対して各々乗じて得られた２７個の分光情報のデータと、画像データの領域（α，β，γ）に関するデータとの組を加重平均算出部１ｈ’に出力する。
【０２３２】
なお、本明細書において、「時空間的に近傍に存在する」とは、空間的に近傍に存在し、かつ、時間的にも近傍に存在することを意味する。
【０２３３】
【数５２】
0004981730.tif 000053
【０２３４】
加重平均算出部１ｈ’は、マトリクス乗算部１ｇ’から出力された２７個の分光情報ｆ＾ａ−１，ｂ＋１，ｔ（ｉ，ｊ，θ）、ｆ＾ａ，ｂ＋１，ｔ（ｉ，ｊ、θ），ｆ＾ａ＋１，ｂ＋１，ｔ（ｉ，ｊ，θ）、ｆ＾ａ−１，ｂ，ｔ（ｉ，ｊ，θ）、ｆ＾ａ，ｂ，ｔ（ｉ，ｊ，θ）、ｆ＾ａ＋１，ｂ，ｔ（ｉ，ｊ，θ）、ｆ＾ａ―１，ｂ−１，ｔ（ｉ，ｊ，θ）、ｆ＾ａ，ｂ−１，ｔ（ｉ，ｊ，θ）、ｆ＾ａ＋１，ｂ−１，ｔ（ｉ，ｊ，θ）、ｆ＾ａ−１，ｂ＋１，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ，ｂ＋１，ｔ−１（ｉ，ｊ，θ），ｆ＾ａ＋１，ｂ＋１，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ−１，ｂ，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ，ｂ，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ＋１，ｂ，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ―１，ｂ−１，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ，ｂ−１，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ＋１，ｂ−１，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ−１，ｂ＋１，ｔ＋１（ｉ，ｊ，θ）、ｆ＾ａ，ｂ＋１，ｔ＋１（ｉ，ｊ，θ），ｆ＾ａ＋１，ｂ＋１，ｔ＋１（ｉ，ｊ，θ）、ｆ＾ａ−１，ｂ，ｔ＋１（ｉ，ｊ，θ）、ｆ＾ａ，ｂ，ｔ＋１（ｉ，ｊ，θ）、ｆ＾ａ＋１，ｂ，ｔ＋１（ｉ，ｊ，θ）、ｆ＾ａ―１，ｂ−１，ｔ＋１（ｉ，ｊ，θ）、ｆ＾ａ，ｂ−１，ｔ＋１（ｉ，ｊ，θ）、ｆ＾ａ＋１，ｂ−１，ｔ＋１（ｉ，ｊ，θ）を受け取り、下記式（５６）に示すように、これら２７個の分光情報のデータに各々重み付けをして、時空間領域毎に、これら２７個の分光情報のデータの加重平均を算出し、算出した領域毎の分光情報の加重平均のデータと、時空間領域に関するデータとの組を第３のデータバッファ１ｍに出力する。
【０２３５】
【数５３】
0004981730.tif 000054
【０２３６】
ここで、ｕa,b,t（ｉ，ｊ，θ）は、分光情報ｆ＾a,b,t（ｉ，ｊ，θ）に対する重み付け関数を意味し、例えば下記式（５７）で示す3次元のｓｅｐａｒａｂｌｅ Ｈａｍｍｉｎｇ ｗｉｎｄｏｗを用いることも出来る。
【０２３７】
【数５４】
0004981730.tif 000055
【０２３８】
ここでν１（ｉ）は、下記式（５８）で示される関数である。
【０２３９】
【数５５】
0004981730.tif 000056
【０２４０】
また、ν２（ｊ）は、下記式（５９）で示される関数である。
【０２４１】
【数５６】
0004981730.tif 000057
【０２４２】
またν３（θ）は、下記式（６０）で示される関数である。
【０２４３】
【数５７】
0004981730.tif 000058
【０２４４】
ここで、Ｄ１は、時空間領域の縦の要素数を意味し、Ｄ２は、時空間領域の横の要素数を意味する。換言すればＤ１＝Ｎ１／Ｍ１であり、Ｄ２＝Ｎ２／Ｍ２である。ここで、「／」は、除算を意味する。また、Tは、時空間の時間方向の要素数を意味する。
【０２４５】
第３のデータバッファ１ｍは、加重平均算出部１ｈ’から出力された時空間領域毎に算出された分光情報のデータの加重平均のデータと、時空間領域に関するデータとの組を一時的に記憶するバッファであり、記憶した動画のデータを領域合成部１ｉ’に出力する。
【０２４６】
領域合成部１ｉ’は、第３のデータバッファ１ｍから出力された算出済みの画像データの領域（α，β，γ）毎の分光情報の加重平均のデータと、画像データの領域（α，β，γ）に関するデータとの組を受け取り、受け取った画像データの領域（α，β，γ）毎の分光情報の加重平均のデータを画像データの領域（α，β，γ）に関するデータに基づいて、時間順にソートすることによって、画像データの領域（α，β，γ）毎の分光情報の加重平均のデータの組み合わせからなる動画の分光画像のデータを生成し、生成した動画の分光画像のデータを表示部１ｊ’の表示画面に表示させる。
【０２４７】
表示部１ｊ’は、領域合成部１ｉ’で生成された分光画像が表示される図示しない表示画面を有している。
【０２４８】
次に、以上のように構成された分光画像生成装置１’の実行する実行処理に関し、図面を参照して説明する。
【０２４９】
図１９は、本実施の形態に係る分光画像生成装置１’の実行する実行処理に関して説明するためのフローチャートである。
【０２５０】
なお、本実施の形態に係る分光画像生成装置１’では、第１の画像センサ１ａ’から入力された画像データから、図１５に示すような、縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータが生成され、かつ、３バンドのカラービデオカメラ（第２の画像センサ）１ｂ’からＮ１画素×Ｎ２画素の大きさを有する１フレーム分の画像データ３枚が入力された場合に関して説明する。
【０２５１】
始めに、スペクトル生成部１ｃ’は、第１のバッファ１ｋから受け取った撮像信号をスペクトルデータへ変換し、縦方向にＭ１個、横方向にＭ２個、時間方向にV個の要素に対応する、波長方向にＬ個のデータから構成されるスペクトルデータを生成する（工程Ｂ１）。
【０２５２】
次に、マトリクス生成部１ｄ’は、スペクトルデータ生成部１ｃ’から出力された縦方向にＭ１個、横方向にＭ２個、時間方向にV個の要素に対応する、波長方向にＬ個のデータから構成されるスペクトルデータを受け取り、受け取ったスペクトルデータから下記の式（６１）によって、スペクトルデータの空間方向および時間方向に定義される時空間領域（ａ，ｂ，ｔ）毎のマトリクスを、全時空間領域に関して生成する（工程Ｂ２）。
【０２５３】
ただし、ａは、０＜ａ≦Ｍ１を満たす自然数である。また、ｂは、０＜ｂ≦Ｍ２を満たす自然数である。また、ｔは、０＜ｔ≦Vを満たす自然数である。更に、Ｍ１は、スペクトルデータ生成部１ｃ’によって生成されたスペクトルデータの空間方向の縦方向における要素の数を意味する。また、Ｍ２は、スペクトルデータ生成部１ｃ’によって生成されたスペクトルデータの空間方向の横方向における要素の数を意味する。また、Vは、スペクトルデータ生成部１ｃ’によって生成されたスペクトルデータの時間方向における要素の数を意味する。
【０２５４】
【数５８】
0004981730.tif 000059
【０２５５】
ここで、「Ａａ，ｂ，ｔ」は、第１の画像センサ１ａ’から出力された撮像信号に含まれる画像データから生成されたスペクトルデータで定義される時空間領域（ａ，ｂ，ｔ）に存在する要素のデータに対して定められたマトリクスを意味する。
【０２５６】
また、「Ｓ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行（Ｍ×V）列の行列を意味する。
【０２５７】
更に「Ｈ」は、オリジナルの分光情報ｆ（ｉ，ｊ，ｔ）と、それに対応する画像データｇ（ｉ，ｊ，ｔ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の下記式（６２）で示す入出力関係を規定する３行Ｌ列の行列を意味する。
【０２５８】
【数５９】
0004981730.tif 000060
【０２５９】
また、Ｗａ，ｂ，ｔは、下記式（６３）で示される（Ｍ×V）行（Ｍ×V）列の対角行列である。
【０２６０】
【数６０】
0004981730.tif 000061
【０２６１】
ここで、d(ａ,ｂ,ｐ,ｑ)は、第１の画像センサ１ａ’から出力された撮像信号に含まれる画像データから生成されたスペクトルデータの（ｐ，ｑ，τ）要素の空間方向の位置と、画像データ上の（ａ，ｂ，ｔ）の時空間領域の空間方向の中心との間のユークリッド距離を意味する。
【０２６２】
また、「ｗａ,ｂ,ｐ,ｑ」は、第1の画像センサ１ａ’から出力された撮像信号から生成されたスペクトルデータの要素毎に個別に定められる重み付け係数であり、前述したd(ａ,ｂ,ｐ,ｑ) およびd'(t,τ)との間に下記式（６４）で示される関係を有している。
【０２６３】
【数６１】
0004981730.tif 000062
【０２６４】
ここで、「ρ」は、重み付け係数の減少の程度を決定しているパラメータであり、例えば画像データ内で決定された時空間領域の空間方向の大きさＤ１＝Ｄ２＝Ｄに応じて、ρの値をρ４．５Ｄ＝０．０１として、換言すれば４．５Ｄ要素（つまり、４．５領域分）離れた点で、重み係数が０．０１となるように設定することが出来る。
【０２６５】
また、「ρ’」は、重み付け係数の減少の程度を決定しているパラメータであり、フレーム周期をＴとしてρ’１．５Ｔ＝０．０１換言すれば１．５Ｔ要素（つまり、フレーム周期の１．５倍）離れた点で、重み係数が０．０１となるように設定することが出来る。
【０２６６】
なお、本実施の形態に係る分光画像生成装置１’で重み付け係数を定めるために使用するパラメータρ及びρ’の決定手法、及びマトリクスを生成する際の重み付けの手法に関しては、本実施の形態に係る分光画像生成装置１’のマトリクス生成部１ｄ’の実行している手法に限定されるものではないことは言うまでもない。
【０２６７】
「ＳＴ」は、前述した（Ｍ×V）個のスペクトルデータを列ベクトルとして配列したＬ行（Ｍ×V）列の行列「Ｓ」の転置行列を意味する。
【０２６８】
「ＨＴ」は、前述したオリジナルの分光情報ｆ（ｉ，ｊ，ｔ）と、それに対応する第２の画像センサ１ｂ‘から出力された撮像信号に含まれる画像データｇ（ｉ，ｊ，ｔ）と、画像データに含まれるノイズを示す3次元列ベクトルｎとの間の前述した式（５２）で示す入出力関係を規定する３行Ｌ列の行列Ｈの転置行列を意味する。
【０２６９】
また、「Ｃ」は、第２の画像センサ１ｂ‘から出力された撮像信号に含まれる画像データに含まれるノイズの共分散行列を意味する。
【０２７０】
工程Ｂ３では、領域分割部１ｅ’は、第２のデータバッファ１ｌから出力された撮像信号を受け取り、当該撮像信号に含まれる画像データを、空間方向にＭ１個×Ｍ２個からなる複数の矩形領域に分割すると共に、時間方向にもＴフレーム毎に分割することによって、画像データを複数の時空間領域に分割する。
【０２７１】
工程Ｂ４では、マトリクス乗算部１ｇ’は、スペクトルデータの空間方向に定義される時空間領域（ａ，ｂ，ｔ）毎のマトリクスと、スペクトルデータの空間方向に定義される時空間領域（ａ，ｂ，ｔ）に関するデータとの組をマトリクス生成部１ｄ’から受け取ると、スペクトルデータの空間方向に定義される時空間領域（ａ，ｂ，ｔ）に関するデータに対応付けられた画像データ上で定義された時空間領域（α，β，γ）に関するデータを時空間領域データ記憶メモリ１ｆ’から読み出し、当該画像データの時空間領域（α，β，γ）に対応するスペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）に対して生成されたマトリクスＡａ，ｂ、ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ−１，ｂ＋１，ｔ）に対して生成されたマトリクスＡａ−１，ｂ＋１、ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ，ｂ＋１，ｔ）に対して生成されたマトリクスＡａ，ｂ＋１、ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ＋１，ｂ＋１，ｔ）に対して生成されたマトリクスＡａ＋１，ｂ＋１、ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ−１，ｂ，ｔ）に対して生成されたマトリクスＡａ−１，ｂ、ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ＋１，ｂ，ｔ）に対して生成されたマトリクスＡａ＋１，ｂ，ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ−１，ｂ−１，ｔ）に対して生成されたマトリクスＡａ−１，ｂ−１，ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ，ｂ−１，ｔ）に対して生成されたマトリクスＡａ，ｂ−１、ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ＋１，ｂ−１，ｔ）に対して生成されたマトリクスＡａ＋１，ｂ−１、ｔと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）に対して時間方向で直前の（ｔ−１）に存在する時空間領域（ａ，ｂ，ｔ−１）に対して生成されたマトリクスＡａ，ｂ、ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ−１，ｂ＋１，ｔ−１）に対して生成されたマトリクスＡａ−１，ｂ＋１、ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ，ｂ＋１，ｔ−１）に対して生成されたマトリクスＡａ，ｂ＋１、ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ＋１，ｂ＋１，ｔ−１）に対して生成されたマトリクスＡａ＋１，ｂ＋１、ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ−１，ｂ，ｔ−１）に対して生成されたマトリクスＡａ−１，ｂ、ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ＋１，ｂ，ｔ−１）に対して生成されたマトリクスＡａ＋１，ｂ，ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ−１，ｂ−１，ｔ−１）に対して生成されたマトリクスＡａ−１，ｂ−１，ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ，ｂ−１，ｔ−１）に対して生成されたマトリクスＡａ，ｂ−１、ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ＋１，ｂ−１，ｔ−１）に対して生成されたマトリクスＡａ＋１，ｂ−１、ｔ−１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）に対して時間方向で直後の（ｔ＋１）に存在するスペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）に対して生成されたマトリクスＡａ，ｂ、ｔ＋１と、スペクトルデータ上で定義される領域（ａ，ｂ，ｔ＋１）の周縁に存在する領域（ａ−１，ｂ＋１，ｔ＋１）に対して生成されたマトリクスＡａ−１，ｂ＋１、ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ，ｂ＋１，ｔ＋１）に対して生成されたマトリクスＡａ，ｂ＋１、ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ＋１，ｂ＋１，ｔ＋１）に対して生成されたマトリクスＡａ＋１，ｂ＋１、ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ−１，ｂ，ｔ＋１）に対して生成されたマトリクスＡａ−１，ｂ、ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ＋１，ｂ，ｔ＋１）に対して生成されたマトリクスＡａ＋１，ｂ，ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ−１，ｂ−１，ｔ＋１）に対して生成されたマトリクスＡａ−１，ｂ−１，ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ，ｂ−１，ｔ＋１）に対して生成されたマトリクスＡａ，ｂ−１、ｔ＋１と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ＋１，ｂ−１，ｔ＋１）に対して生成されたマトリクスＡａ＋１，ｂ−１、ｔ＋１とを読み出した画像データ上で定義された時空間領域（α，β，γ）に存在する画像データの中で空間方向の位置（ｉ，ｊ）および時間θで指定される画素ｇ（ｉ，ｊ，θ）に各々乗算して、２７個の分光情報を得る。
【０２７２】
工程Ｂ５では、加重平均算出部１ｈ’は、マトリクス乗算部１ｇ’から出力された２７個の分光情報ｆ＾ａ−１，ｂ＋１，ｔ（ｉ，ｊ，θ）、ｆ＾ａ，ｂ＋１，ｔ（ｉ，ｊ、θ），ｆ＾ａ＋１，ｂ＋１，ｔ（ｉ，ｊ，θ）、ｆ＾ａ−１，ｂ，ｔ（ｉ，ｊ，θ）、ｆ＾ａ，ｂ，ｔ（ｉ，ｊ，θ）、ｆ＾ａ＋１，ｂ，ｔ（ｉ，ｊ，θ）、ｆ＾ａ―１，ｂ−１，ｔ（ｉ，ｊ，θ）、ｆ＾ａ，ｂ−１，ｔ（ｉ，ｊ，θ）、ｆ＾ａ＋１，ｂ−１，ｔ（ｉ，ｊ，θ）、ｆ＾ａ−１，ｂ＋１，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ，ｂ＋１，ｔ−１（ｉ，ｊ，θ），ｆ＾ａ＋１，ｂ＋１，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ−１，ｂ，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ，ｂ，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ＋１，ｂ，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ―１，ｂ−１，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ，ｂ−１，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ＋１，ｂ−１，ｔ−１（ｉ，ｊ，θ）、ｆ＾ａ−１，ｂ＋１，ｔ＋１（ｉ，ｊ，θ）、ｆ＾ａ，ｂ＋１，ｔ＋１（ｉ，ｊ，θ），ｆ＾ａ＋１，ｂ＋１，ｔ＋１（ｉ，ｊ，θ）、ｆ＾ａ−１，ｂ，ｔ＋１（ｉ，ｊ，θ）、ｆ＾ａ，ｂ，ｔ＋１（ｉ，ｊ，θ）、ｆ＾ａ＋１，ｂ，ｔ＋１（ｉ，ｊ，θ）、ｆ＾ａ―１，ｂ−１，ｔ＋１（ｉ，ｊ，θ）、ｆ＾ａ，ｂ−１，ｔ＋１（ｉ，ｊ，θ）、ｆ＾ａ＋１，ｂ−１，ｔ＋１（ｉ，ｊ，θ）を受け取り、下記式（６５）に示すように、これら２７個の分光情報のデータに各々重み付けをして、これら２７個の分光情報のデータの加重平均を算出し、算出した領域毎の分光情報の加重平均のデータと、時空間領域に関するデータとの組を第３のデータバッファ１ｍに出力する。
【０２７３】
【数６２】
0004981730.tif 000063
【０２７４】
ここで、ｕa,b,t（ｉ，ｊ，θ）は、分光情報ｆ＾a,b,t（ｉ，ｊ，θ）に対する重み付け関数を意味し、例えば下記式（６６）で示す３次元のｓｅｐａｒａｂｌｅ Ｈａｍｍｉｎｇ ｗｉｎｄｏｗを用いることも出来る。
【０２７５】
【数６３】
0004981730.tif 000064
【０２７６】
ここでν１（ｉ）は、下記式（６７）で示される関数である。
【０２７７】
【数６４】
0004981730.tif 000065
【０２７８】
また、ν２（ｊ）は、下記式（６８）で示される関数である。
【０２７９】
【数６５】
0004981730.tif 000066
【０２８０】
ここで、Ｄ１は、領域の縦の要素数を意味し、Ｄ２は、領域の横の要素数を意味する。換言すればＤ１＝Ｎ１／Ｍ１であり、Ｄ２＝Ｎ２／Ｍ２である。ここで、「／」は、除算を意味する。
【０２８１】
またν３（θ）は、下記式（６９）で示される関数である。
【０２８２】
【数６６】
0004981730.tif 000067
【０２８３】
工程Ｂ６では、領域合成部１ｉ’は、第３のデータバッファ１ｍから出力された算出済みの画像データの領域（ａ，ｂ，ｔ）毎の分光情報の加重平均のデータと、画像データの領域（ａ，ｂ，ｔ）に関するデータとの組を受け取り、受け取った画像データの領域（ａ，ｂ，ｔ）毎の分光情報の加重平均のデータを、画像データの領域（ａ，ｂ，ｔ）に関するデータを時間順にソートすることによって、画像データの領域（ａ，ｂ，ｔ）毎の分光情報の加重平均のデータの組み合わせからなる動画の分光画像のデータを生成する。
【０２８４】
これにより、本実施の形態に係る分光画像生成装置１’によれば、画素数、換言すれば空間解像度は、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データと同一の空間解像度で、かつ、波長方向の要素数、換言すれば波長解像度は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データと同一の波長解像度であるような分光画像、すなわち波長解像度及び空間解像度の両方が高い動画像の分光画像が生成される。
【０２８５】
工程Ｂ７では、領域合成部１ｉ’は、生成した分光画像のデータを表示部１ｊ’の表示画面に表示させる。
【０２８６】
以上のような一連の処理により、本実施の形態に係る分光画像生成装置１’は、全ての実行処理を終了する。
【０２８７】
上述したように、本実施の形態に係る分光画像生成装置１’によれば、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の画像センサ１ａ’から出力された第１のフレームレートを有する撮像信号に含まれる画像データを構成する要素毎に、当該画像データ内の要素毎に含まれる光の波長毎の強度分布を示すスペクトルデータがスペクトルデータ生成部１ｃ’によって生成され、スペクトルデータ生成部１ｃ’により生成された要素毎のスペクトルデータから、第１の画像センサ１ａ’から出力された第１のフレームレートを有する撮像信号に含まれる画像データを構成する領域毎のマトリクスがマトリクス生成部１ｄ’により生成され、マトリクス生成部１ｄ’により生成されたマトリクスのうち、第１の画像センサ１ａ’から出力された撮像信号に含まれる画像データ内の第１の時空間領域に対して生成されたマトリクスが３バンドのカラービデオカメラ１ｂ’から出力された第２のフレームレートを有する撮像信号に含まれ、かつ、第１の画像センサ１ａ’から出力された撮像信号に含まれる画像データ内の第１の時空間領域に対応する第３の時空間領域の画像データに乗じられて第３の時空間領域の第１の分光情報がマトリクス乗算部１ｇ’によって算出され、マトリクス生成部１ｄ’により生成されたマトリクスのうち、第１の画像センサ１ａ’から出力された撮像信号に含まれる画像データ内の第１の時空間領域の周縁に存在する第２の時空間領域に対して生成されたマトリクスが第２の画像データから出力された撮像信号に含まれ、前述した第１の時空間領域に対応する第３の時空間領域の画像データに乗じられて第３の時空間領域の第２の分光情報がマトリクス乗算部１ｇ’によって算出され、マトリクス乗算部１ｇ’により算出された第１の分光情報と、第２の分光情報との加重平均が加重平均算出部１ｈ’によって時空間領域毎に算出され、加重平均算出部１ｈ’により算出された時空間領域毎の分光情報の加重平均から第１の波長解像度と第２の空間解像度とを有する分光画像が領域合成部１ｉ’により生成され、生成された分光画像が表示部１ｊ’に表示されるので、処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することが可能になる。
【０２８８】
なお、前述した各実施の形態に係る画像処理プログラムは、コンピュータにインストールされた、アプリケーションプログラム、エミュレーター、ＯＳ、ブラウザー、ミドルウェア等によってその機能が実現されるものであってもよい。
【０２８９】
また、前述した実施の形態に示す手法は、コンピュータにより読み出して実行させることの出来るプログラムとして磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｋ）−ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ:再生専用型)、ＢＤ(Ｂｌｕ−ｒａｙ Ｄｉｓｋ)−Ｒ(Ｒｅｃｏｒｄａｂｌｅ:追記型)、ＢＤ(Ｂｌｕ−ｒａｙ Ｄｉｓｋ)−ＲＥ（Ｒｅｗｒｉｔａｂｌｅ:書き換え型））、光磁気ディスク（ＭＯ）、半導体メモリ、ホログラフィックメモリ等の記録媒体に格納して頒布することによりユーザーに提供することが出来る。
【０２９０】
更に、本発明の画像形成プログラムの提供手法としては、例えば画像形成プログラムを記録媒体に記録させた状態でユーザーに頒布する手法や、例えばインターネット等の通信ネットワークを介してユーザーの保有するコンピュータに送信し、送信したプログラムをコンピュータにインストールさせる手法、無線を用いて提供する手法等が挙げられる。また、本実施の形態に係る画像形成プログラムを提供する手法としては、いわゆる周知のＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）による手法によってもよいことは言うまでもない。
【０２９１】
更に、前述した実施の形態に係る画像形成プログラムは、一般的な高級言語、例えばＣ言語、Ｄｅｌｐｈｉ、ＸＴＬ、Ｐｅｒｌ（Ｐｒａｃｔｉｃａｌ Ｅｘｔｒａｃｔｉｏｎ ａｎｄ Ｒｅｐｏｒｔ Ｌａｎｇｕａｇｅ）、ＸＭＬ(ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ)や、オブジェクト指向言語（Ｃ++、ＪＡＶＡ（登録商標）、Ｃ＃、ＪＡＶＡ２、Ｓｍａｌｌ Ｔａｌｋ）等の任意のプログラム言語で作成されたものであってもよい。
【０２９２】
また、本発明に関して記録媒体としては、プログラムを記録でき、かつ、コンピュータが読み取り可能な記録媒体であれば、記録形式はいかなる形式であっても、例えば、磁気テープ、半導体フラッシュメモリ、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ／−ＲＷ、ＤＶＤ+Ｒ／+ＲＷ、ＭＯ、ホログラフィックメモリ、ＢＤ−ＲＯＭ、ＢＤ−Ｒ、ＢＤ−ＲＥ等の何れの形態であってもよい。
【０２９３】
更に、本発明の記録媒体は、コンピュータと独立した媒体に限らず、ＮＧＮ（Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｎｅｔｗｏｒｋ：次世代ネットワーク）、ＬＡＮ、ＷＡＮ、イントラネット、及びインターネット等の通信ネットワークを介して記憶又は一時記憶した媒体であってもよい。
【０２９４】
また、本発明では、記録媒体の種類及び数は、ひとつである必要は無く、同一の形態又は形態の相異なる複数の記録媒体の組み合わせからなっていてもよいことは言うまでもない。
【０２９５】
更に、本発明は、前述した各機能を実現するプログラムを構成するのに必要不可欠なデータ構造、加工用プログラム、及び前述した加工用プログラムが機能する各種ハードウェアを包含する。
【０２９６】
なお、前述した加工用プログラムは、一般的な高級言語、例えばＣ言語、Ｄｅｌｐｈｉ、ＸＴＬ、Ｐｅｒｌ（Ｐｒａｃｔｉｃａｌ Ｅｘｔｒａｃｔｉｏｎ ａｎｄ Ｒｅｐｏｒｔ Ｌａｎｇｕａｇｅ）、ＸＭＬ(ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ)や、オブジェクト指向言語（Ｃ++、ＪＡＶＡ、Ｃ＃、ＪＡＶＡ２、Ｓｍａｌｌ Ｔａｌｋ）等の任意のプログラム言語で作成されたものであってもよい。
【０２９７】
なお、本発明は、前述した実施の形態に限定されるものではなく、実施段階では本発明の要旨を逸脱しない範囲内で種々の変更が可能である。例えば、本発明の構成のうち、本質的部分以外の構成をこの構成と同様の作用効果を奏する出願時に予見不可能な技術的構成に置換して得られる発明は、本発明に包含され得る。更に前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が生成され得る。例えば実施の形態に示される全構成要件からいくつかの要件が省略されることで発明が生成される場合には、その生成された発明を実施する段階では省略部分が周知慣用技術で補われるものである。
【０２９８】
その他、本発明は、その要旨を逸脱しない範囲内で種々変更して実施することが出来る。例えば、上述した各実施の形態では可視光の波長の範囲内で撮像した画像データから分光画像を生成する装置に関して説明したが、波長は赤外線の領域であってもよいし、紫外線領域の波長が含まれる画像データを用いてもよいことは言うまでもない。
【図面の簡単な説明】
【０２９９】
【図１】本発明の第１の実施の形態に係る分光画像生成装置１の構成の一例を示す機能ブロック図である。
【図２】同実施の形態に係る分光画像生成装置１の実行する実行処理の概要を示す模式図である。
【図３】同実施の形態に係る分光画像生成装置１のマトリクス生成部１ｄがマトリクス生成時の重み付けに用いるパラメータの一例を説明するための図である。
【図４】同実施の形態に係る分光画像生成装置１の実行する実行処理の概要を示す模式図である。
【図５】同実施の形態に係る分光画像生成装置１の加重平均算出部１ｇが分光情報の加重平均を算出する場合に用いるｓｅｐａｒａｂｌｅ Ｈａｍｍｉｎｇ Ｗｉｎｄｏｗの一例を説明するための図である。
【図６】同実施の形態に係る分光画像生成装置１の加重平均算出部１ｇが分光情報の加重平均を算出する加重平均算出処理に関して説明するための図である。
【図７】同実施の形態に係る分光画像生成装置１の加重平均算出部１ｇが分光情報の加重平均を算出する加重平均算出処理に関して説明するための図である。
【図８】同実施の形態に係る分光画像生成装置１の実行する実行処理に関して説明するためのフローチャートである。
【図９】本実施の形態の分光画像生成装置１に対する第１の比較例の分光画像生成装置の一例を示す機能ブロック図である。
【図１０】本実施の形態の分光画像生成装置１に対する第２の比較例の分光画像生成装置の一例を示す機能ブロック図である。
【図１１】本実施の形態の分光画像生成装置１に対する第３の比較例の分光画像生成装置の一例を示す機能ブロック図である。
【図１２】同実施の形態に係る分光画像生成装置の第１の画像センサ１ａから出力された分光画像Ｔｏｙから生成されたスペクトルデータの数及び第２の画像センサ１ｂから出力された分光画像Ｔｏｙを分割する領域の数と、出力された分光画像から求めた分光反射率画像の誤差を表す分光反射率の誤差（ＮＲＭＳＥ）との関係の一例を示す図である。
【図１３】同実施の形態に係る分光画像生成装置と、前述した各比較例の分光画像生成装置とに関し、第１の画像センサ１ａから出力された分光画像Ｔｏｙから生成されたスペクトルデータの数と、本実施の形態に係る分光画像生成装置と、前述した各比較例の分光画像生成装置とによってそれぞれ出力された分光画像から求めた分光反射率画像の誤差を表す分光反射率の誤差（ＮＲＭＳＥ）との関係の一例を示す図である。
【図１４】同実施の形態に係る分光画像生成装置と、前述した各比較例の分光画像生成装置とに関し、第１の画像センサ１ａから出力された分光画像Ｓｃａｒｆから生成されたスペクトルデータの数と、本実施の形態に係る分光画像生成装置と前述した各比較例の分光画像生成装置とによってそれぞれ出力された分光画像から求めた分光反射率画像の誤差を表す分光反射率の誤差（ＮＲＭＳＥ）との関係の一例を示す図である。
【図１５】同実施の形態に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量と、各比較例に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量との関係の一例を示す図である。
【図１６】オリジナルの分光画像を分割する領域の数をＮ＝Ｎ１×Ｎ２＝５１２×５１２とした場合に、本実施の形態に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量、及び比較例２、３に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量を示す乗算回数と、第１の画像センサ１ａの画素数との関係の一例を示す図である。
【図１７】本発明の第２の実施の形態に係る分光画像生成装置１’の一例を示す模式図である。
【図１８】同実施の形態に係る分光画像生成装置１’の実行する実行処理の概要を示す模式図である。
【図１９】同実施の形態に係る分光画像生成装置１’の実行する実行処理に関して説明するためのフローチャートである。
【符号の説明】
【０３００】
１、１’…分光画像生成装置、１a、１ａ’…第１の画像センサ、１ｂ…第２の画像センサ、１ｂ’…３バンドのカラービデオカメラ、１ｃ、１ｃ’…スペクトルデータ生成部、１ｄ、１ｄ’…マトリクス生成部、１ｅ、１ｅ’…領域分割部、１ｆ…領域データ記憶メモリ、１ｆ’…時空間領域データ記憶メモリ、１ｇ、１ｇ’…マトリクス乗算部、１ｈ、１ｈ’…加重平均算出部、１ｉ、１ｉ’…領域合成部、１ｊ、１ｊ’…表示部、１ｋ…第１のデータバッファ、１ｌ…第２のデータバッファ、１ｍ…第３のデータバッファ、
【図１】
0004981730.tif 000068
【図２】
0004981730.tif 000069
【図３】
0004981730.tif 000070
【図４】
0004981730.tif 000071
【図５】
0004981730.tif 000072
【図６】
0004981730.tif 000073
【図７】
0004981730.tif 000074
【図８】
0004981730.tif 000075
【図９】
0004981730.tif 000076
【図１０】
0004981730.tif 000077
【図１１】
0004981730.tif 000078
【図１２】
0004981730.tif 000079
【図１３】
0004981730.tif 000080
【図１４】
0004981730.tif 000081
【図１５】
0004981730.tif 000082
【図１６】
0004981730.tif 000083
【図１７】
0004981730.tif 000084
【図１８】
0004981730.tif 000085
【図１９】
0004981730.tif 000086