(57)【要約】【課題】撮像された被写体のスペクトルデータを参照することで、検出アルゴリズムをより最適化する。【解決手段】撮影した被写体９から目的事象を判別する上で必要な検出アルゴリズム情報を探索する上で、被写体９の各目的事象と、検出アルゴリズム情報との３段階以上の第１連関度を予め取得し、新たに判別すべき被写体９の目的事象に関する情報が入力され、取得した第１連関度を参照し、入力された上記目的事象に関する情報に基づき、１以上の検出アルゴリズム情報を探索し、被写体９を撮影した撮影端末から、当該撮影した被写体９の目的事象に関する情報を受信し、受信した情報に基づいて第１連関度を更新する。【選択図】図１３
2019174200.tif 000002
【特許請求の範囲】
【請求項１】
撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索システムにおいて、
被写体の各目的事象と、上記検出アルゴリズム情報との３段階以上の第１連関度が予め記憶されている第１連関データベースと、
新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、
上記第１連関データベースに記憶されている上記第１連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、１以上の検出アルゴリズム情報を探索する探索手段と、
上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信手段とを備え、
上記第１連関データベースは、上記受信手段により受信した情報に基づいて上記第１連関度を更新すること
を特徴とする情報探索システム。
【請求項２】
上記受信手段は、上記探索手段により探索された検出アルゴリズム情報に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信すること
を特徴とする請求項１記載の情報探索システム。
【請求項３】
上記受信手段は、当該撮影した被写体の目的事象に関する情報として、その目的事象を撮影することにより得られたスペクトルデータを受信し、
上記第１連関データベースは、上記受信手段により受信したスペクトルデータに基づいて上記第１連関度を更新すること
を特徴とする請求項１又は２記載の情報探索システム。
【請求項４】
撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索システムにおいて、
被写体の各目的事象と、上記検出アルゴリズム情報との３段階以上の第１連関度が予め記憶されている第１連関データベースと、
新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、
上記第１連関データベースに記憶されている上記第１連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、１以上の検出アルゴリズム情報を探索する探索手段と、
上記探索手段により探索された検出アルゴリズム情報に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信手段と、
上記受信手段により受信されたマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元手段とを備え、
上記第１連関データベースは、上記データ復元手段により復元されたスペクトルデータに基づいて上記第１連関度を更新すること
を特徴とする情報探索システム。
【請求項５】
撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索システムにおいて、
被写体の各目的事象と、各撮影条件との３段階以上の第２連関度が予め記憶されている第２連関データベースと、
新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、
上記第２連関データベースに記憶されている上記第２連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、１以上の撮影条件を探索する探索手段と、
上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信手段とを備え、
上記第２連関データベースは、上記受信手段により受信した情報に基づいて上記第２連関度を更新すること
を特徴とする情報探索システム。
【請求項６】
上記受信手段は、上記探索手段により探索された撮影条件に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信すること
を特徴とする請求項５記載の情報探索システム。
【請求項７】
上記受信手段は、当該撮影した被写体の目的事象に関する情報として、その目的事象を撮影することにより得られたスペクトルデータを受信し、
上記第２連関データベースは、上記受信手段により受信したスペクトルデータに基づいて上記第２連関度を更新すること
を特徴とする請求項５又は６記載の情報探索システム。
【請求項８】
撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索システムにおいて、
被写体の各目的事象と、各撮影条件との３段階以上の第２連関度が予め記憶されている第２連関データベースと、
新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、
上記第２連関データベースに記憶されている上記第２連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、１以上の撮影条件を探索する探索手段と、
上記探索手段により探索された撮影条件に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信手段と、
上記受信手段により受信されたマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元手段とを備え、
上記第２連関データベースは、上記データ復元手段により復元されたスペクトルデータに基づいて上記第２連関度を更新すること
を特徴とする情報探索システム。
【請求項９】
上記データベースは、更に被写体の位置情報及び／又は形態情報に基づいて各連関度を更新すること
を特徴とする請求項１〜７のうち何れか１項記載の情報探索システム。
【請求項１０】
上記第１連関データベースは、上記３段階以上の第１連関度をニューラルネットワークで構成し、人工知能を活用することにより、上記第１連関度を更新すること
を特徴とする請求項１〜４のうち何れか１項記載の情報探索システム。
【請求項１１】
上記第２連関データベースは、上記３段階以上の第２連関度をニューラルネットワークで構成し、人工知能を活用することにより、上記第２連関度を更新すること
を特徴とする請求項５〜８のうち何れか１項記載の情報探索システム。
【請求項１２】
撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索プログラムにおいて、
被写体の各目的事象と、上記検出アルゴリズム情報との３段階以上の第１連関度を予め取得する連関度取得ステップと、
新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、
上記連関度取得ステップにおいて取得した上記第１連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、１以上の検出アルゴリズム情報を探索する探索ステップと、
上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信ステップとを有し、
上記連関度取得ステップでは、上記受信ステップにおいて受信した情報に基づいて上記第１連関度を更新すること
をコンピュータに実行させることを特徴とする情報探索プログラム。
【請求項１３】
撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索プログラムにおいて、
被写体の各目的事象と、上記検出アルゴリズム情報との３段階以上の第１連関度を予め取得する連関度取得ステップと、
新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、
上記連関度取得ステップにおいて取得した上記第１連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、１以上の検出アルゴリズム情報を探索する探索ステップと、
上記探索ステップにおいて探索した検出アルゴリズム情報に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信ステップと、
上記受信ステップにおいて受信したマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元ステップとを有し、
上記連関度取得ステップでは、上記データ復元ステップにおいて復元したスペクトルデータに基づいて上記第１連関度を更新すること
をコンピュータに実行させることを特徴とする情報探索プログラム。
【請求項１４】
撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索プログラムにおいて、
被写体の各目的事象と、各撮影条件との３段階以上の第２連関度を予め取得する連関度取得ステップと、
新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、
上記連関度取得ステップにおいて取得した上記第２連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、１以上の撮影条件を探索する探索ステップと、
上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信ステップとを有し、
上記連関度取得ステップでは、上記受信ステップにおいて受信した情報に基づいて上記第２連関度を更新すること
をコンピュータに実行させることを特徴とする情報探索プログラム。
【請求項１５】
撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索プログラムにおいて、
被写体の各目的事象と、各撮影条件との３段階以上の第２連関度を予め取得する連関度取得ステップと、
新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、
上記連関度取得ステップにおいて取得した上記第２連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、１以上の撮影条件を探索する探索ステップと、
上記探索ステップにおいて探索した撮影条件に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信ステップと、
上記受信ステップにおいて受信したマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元ステップとを有し、
上記連関度取得ステップでは、上記データ復元ステップにおいて復元したスペクトルデータに基づいて上記第２連関度を更新すること
をコンピュータに実行させることを特徴とする情報探索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体から目的事象を判別する上で必要なスペクトルデータを取得するための検出アルゴリズム情報や、これを撮影する撮影装置の各種撮影条件を自動的に探索する上で好適な情報探索システム及びプログラムに関するものである。
【背景技術】
【０００２】
従来より、被写体の撮影画像を波長毎に分光して分析することにより、被写体について所望の事象を判別するスペクトル撮像装置が提案されている。スペクトル撮像装置は、紫外から可視、更には赤外に至るまでの波長領域について、０．１ｎｍ〜１００ｎｍの波長分解能で数十バンド以上に亘り分光可能な高波長分解分光情報（以下、ハイパースペクトルデータ）を取得することができる。このようなハイパースペクトルデータを活用することで、例えば食品の鮮度、建築構造物の欠陥、植物の光合成、鉱物中に含まれる化学元素、肌の水分やシミ等を高精度に分析することが可能となる。即ち、このスペクトル撮像装置によれば、単に被写体のみを撮像することに終始するのではなく、その被写体における目的事象までを検知することが可能となる。
【０００３】
このようなハイパースペクトルデータを取得することができるスペクトル撮像装置の例が、例えば特許文献１、２に開示されている。
【０００４】
特許文献１には、人体内の腫瘍部位を目的事象としたスペクトル撮像装置が開示されている。この特許文献１の開示技術によれば、癌細胞内に蓄積される成分に応じた蛍光波長に焦点を当てて検出を行うことにより、腫瘍部位と非腫瘍部位を識別するものである。
【０００５】
また、特許文献２には、被写体が果実であるか否かを判別するための情報処理装置が開示されている。果実の基準特徴量を予め取得しておき、実際に撮像した被写体の分光画像の特徴量との比較に基づいて、被写体が果実であるか否かを判別する。この基準特徴量は何れもスペクトルデータに基づいている。
【０００６】
他には、ハイパースペクトルデータを画像解析に着目した技術も開示されている（例えば、特許文献３参照。）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開１３／００２３５０号公報
【特許文献２】特開２０１７−３４９５号公報
【特許文献３】特開２０１５−１６６６８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、この被写体における目的事象を判別する上で必要なスペクトルデータを取得するための検出アルゴリズムを研究するのは多くの時間と労力を要し、しかも技術的な知見も必要となる。
【０００９】
例えば上述した人体内の腫瘍部位のスペクトルデータを得るための検出アルゴリズムは、癌細胞内に蓄積されるプロトポルフィリンＩＸが６３５ｎｍの蛍光を発し、フォトープロトポルフィリンが６７５ｎｍの蛍光を発光する点に着目し、これらの蛍光を検知可能な検出アルゴリズムを組むことになる。このような検出アルゴリズムを組む上では、これら癌細胞内に蓄積される成分が何であるのか、またいかなる波長の蛍光を発光するのか等の技術的知見が必要とされ、更にこれらの蛍光のみを精度よく抽出して的確な識別を行うための各種検討に多くの時間と労力が必要となる。
【００１０】
このため、次々に新しい被写体の目的事象が生まれる都度、最適な検出アルゴリズムを容易に取得することができる技術が従来より望まれていた。しかしながら、特許文献１〜３には、被写体の目的事象に応じて最適な検出アルゴリズムを取得するための技術は特段開示されていない。
【００１１】
また、最適な検出アルゴリズムは、時の経過に応じて進化するものであり、現状使用している検出アルゴリズムが常に最適なものだとは限らない。このため、検出アルゴリズムは最新の外部環境を取得し、これに基づいて随時更新する必要がある。これに対して、特許文献１〜３には、取得した最新の外部環境に基づいて検出アルゴリズムを更新する技術については特段開示されていない。
【００１２】
更にこの検出アルゴリズムを更新する過程では、従来の検出アルゴリズムの下で撮像された被写体のスペクトルデータを参照することで、検出精度の向上を図ることができる。しかしながら、上述した特許文献１〜３の開示技術も含めて、このような従来の検出アルゴリズムの下で撮像された被写体のスペクトルデータを参照する技術は特段提案されていないのが現状であった。
【００１３】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、被写体から目的事象を判別する上で必要なスペクトルデータを取得するための検出アルゴリズム情報を自動的に探索する上で、その検出アルゴリズムを取得した最新の外部環境に基づいて更新することが可能な情報探索システム及びプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
本発明を適用した情報探索システムは、撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索システムにおいて、被写体の各目的事象と、上記検出アルゴリズム情報との３段階以上の第１連関度が予め記憶されている第１連関データベースと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、上記第１連関データベースに記憶されている上記第１連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、１以上の検出アルゴリズム情報を探索する探索手段と、上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信手段とを備え、上記第１連関データベースは、上記受信手段により受信した情報に基づいて上記第１連関度を更新することを特徴とする。
【００１５】
本発明を適用した情報探索システムは、撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索システムにおいて、被写体の各目的事象と、上記検出アルゴリズム情報との３段階以上の第１連関度が予め記憶されている第１連関データベースと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、上記第１連関データベースに記憶されている上記第１連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、１以上の検出アルゴリズム情報を探索する探索手段と、上記探索手段により探索された検出アルゴリズム情報に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信手段と、上記受信手段により受信されたマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元手段とを備え、上記第１連関データベースは、上記データ復元手段により復元されたスペクトルデータに基づいて上記第１連関度を更新することを特徴とする。
【００１６】
本発明を適用した情報探索システムは、撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索システムにおいて、被写体の各目的事象と、各撮影条件との３段階以上の第２連関度が予め記憶されている第２連関データベースと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、上記第２連関データベースに記憶されている上記第２連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、１以上の撮影条件を探索する探索手段と、上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信手段とを備え、上記第２連関データベースは、上記受信手段により受信した情報に基づいて上記第２連関度を更新することを特徴とする。
【００１７】
本発明を適用した情報探索システムは、撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索システムにおいて、被写体の各目的事象と、各撮影条件との３段階以上の第２連関度が予め記憶されている第２連関データベースと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、上記第２連関データベースに記憶されている上記第２連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、１以上の撮影条件を探索する探索手段と、上記探索手段により探索された撮影条件に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信手段と、上記受信手段により受信されたマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元手段とを備え、上記第２連関データベースは、上記データ復元手段により復元されたスペクトルデータに基づいて上記第２連関度を更新することを特徴とする。
【００１８】
本発明を適用した情報探索プログラムは、撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索プログラムにおいて、被写体の各目的事象と、上記検出アルゴリズム情報との３段階以上の第１連関度を予め取得する連関度取得ステップと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、上記連関度取得ステップにおいて取得した上記第１連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、１以上の検出アルゴリズム情報を探索する探索ステップと、上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信ステップとを有し、上記連関度取得ステップでは、上記受信ステップにおいて受信した情報に基づいて上記第１連関度を更新することをコンピュータに実行させることを特徴とする。
【００１９】
本発明を適用した情報探索プログラムは、撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索プログラムにおいて、被写体の各目的事象と、上記検出アルゴリズム情報との３段階以上の第１連関度を予め取得する連関度取得ステップと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、上記連関度取得ステップにおいて取得した上記第１連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、１以上の検出アルゴリズム情報を探索する探索ステップと、上記探索ステップにおいて探索した検出アルゴリズム情報に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信ステップと、上記受信ステップにおいて受信したマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元ステップとを有し、上記連関度取得ステップでは、上記データ復元ステップにおいて復元したスペクトルデータに基づいて上記第１連関度を更新することをコンピュータに実行させることを特徴とする。
【００２０】
本発明を適用した情報探索プログラムは、撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索プログラムにおいて、被写体の各目的事象と、各撮影条件との３段階以上の第２連関度を予め取得する連関度取得ステップと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、上記連関度取得ステップにおいて取得した上記第２連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、１以上の撮影条件を探索する探索ステップと、上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信ステップとを有し、上記連関度取得ステップでは、上記受信ステップにおいて受信した情報に基づいて上記第２連関度を更新することをコンピュータに実行させることを特徴とする。
【００２１】
本発明を適用した情報探索プログラムは、撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索プログラムにおいて、被写体の各目的事象と、各撮影条件との３段階以上の第２連関度を予め取得する連関度取得ステップと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、上記連関度取得ステップにおいて取得した上記第２連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、１以上の撮影条件を探索する探索ステップと、上記探索ステップにおいて探索した撮影条件に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信ステップと、上記受信ステップにおいて受信したマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元ステップとを有し、上記連関度取得ステップでは、上記データ復元ステップにおいて復元したスペクトルデータに基づいて上記第２連関度を更新することをコンピュータに実行させることを特徴とする。
【発明の効果】
【００２２】
上述した構成からなる本発明によれば、これから判別すべき被写体の目的事象に応じたスペクトルデータの最適な検出アルゴリズム情報を容易に取得することが可能となる。このため、次々に新しい被写体の目的事象が生まれる都度、最適な検出アルゴリズムを検討するための労力の負担を軽減でき、時間の短縮化を図ることが可能となる。
【００２３】
これに加えて、本発明によれば、検出アルゴリズムを更新する過程で、従来の検出アルゴリズムの下で撮像された被写体のスペクトルデータを参照することで、検出アルゴリズムをより最適なものにすることができ、ひいては検出精度の向上を図ることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明を適用した情報探索システムの全体構成を示すブロック図である。
【図２】情報探索システムを構成する探索装置のブロック図である。
【図３】情報探索システムを構成するスペクトル撮像装置のブロック図である。
【図４】スペクトル撮像装置における制御部の詳細な構成を説明するための図である。
【図５】撮影装置のブロック構成例を示す図である。
【図６】情報探索プログラムの処理動作手順を示すフローチャートである。
【図７】ある果実の鮮度をスペクトルデータを介して判別する例について説明するための図である。
【図８】被写体の参照用目的事象と、検出アルゴリズム情報とを第１連関度により互いを関係付けたネットワークを示す図である。
【図９】被写体の目的事象に加え、これら照明系、撮像系の各種パラメータを第１連関度により関連付けた例を示す図である。
【図１０】被写体の参照用目的事象と、撮影条件とを第２連関度により互いを関係付けたネットワークを示す図である。
【図１１】被写体の参照用目的事象及び参照用撮影条件と、撮影条件とを第２連関度により互いを関係付けたネットワークを示す図である。
【図１２】被写体の目的事象の入力から撮影装置の撮影条件を取得するまでのデータフロー図である。
【図１３】フィードバックループを設けた情報探索システムの例を示す図である。
【図１４】目的事象をスペクトルデータに基づいて判断する例を示す図である。
【図１５】空間情報を含む場合の例について説明するための図である。
【図１６】更新用連関度に基づいて第１連関度の更新処理を行う例を示す図である。
【図１７】更新用連関度に基づいて第２連関度の更新処理を行う例を示す図である。
【図１８】位置情報と地図情報を含めたフィードバックループを設けた情報探索システムの例を示す図である。
【図１９】位置情報と地図情報を含めて更新処理を行う例を示す図である。
【図２０】形態情報を含めたフィードバックループを設けた情報探索システムの例を示す図である。
【図２１】形態情報を含めて更新処理を行う例を示す図である。
【発明を実施するための形態】
【００２５】
以下、本発明を適用した情報探索システムについて、図面を参照しながら詳細に説明をする。
【００２６】
図１は、本発明を適用した情報探索システム１の全体構成を示すブロック図である。情報探索システム１は、スペクトル撮像装置４に対して提供すべき検出アルゴリズム情報を探索するものであり、アルゴリズムデータベース３と、このアルゴリズムデータベースに接続された探索装置２と、探索装置２に接続されるスペクトル撮像装置４及び撮影装置５とを備えている。
【００２７】
アルゴリズムデータベース３は、スペクトル撮像装置４に対して提供すべき検出アルゴリズム情報に関するデータベースが構築されている。また、アルゴリズムデータベース３は、撮影装置５の撮影条件に関するデータベースが構築されている。このアルゴリズムデータベース３には、公衆通信網を介して送られてきた情報、或いは本システムのユーザによって入力された情報が蓄積される。またアルゴリズムデータベース３は、探索装置２からの要求に基づいて、この蓄積した情報を探索装置２へと送信する。
【００２８】
探索装置２は、例えば、パーソナルコンピュータ（ＰＣ）等を始めとした電子機器で構成されているが、ＰＣ以外に、携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等、他のあらゆる電子機器で具現化されるものであってもよい。
【００２９】
図２は、探索装置２の具体的な構成例を示している。この探索装置２は、探索装置２全体を制御するための制御部２４と、操作ボタンやキーボード等を介して各種制御用の指令を入力するための操作部２５と、有線通信又は無線通信を行うための通信部２６と、最適な検出アルゴリズム情報を探索する探索部２７と、ハードディスク等に代表され、実行すべき検索を行うためのプログラムを格納するための記憶部２８とが内部バス２１にそれぞれ接続されている。さらに、この内部バス２１には、実際に情報を表示するモニタとしての表示部２３が接続されている。
【００３０】
制御部２４は、内部バス２１を介して制御信号を送信することにより、探索装置２内に実装された各構成要素を制御するためのいわゆる中央制御ユニットである。また、この制御部２４は、操作部２５を介した操作に応じて各種制御用の指令を内部バス２１を介して伝達する。
【００３１】
操作部２５は、キーボードやタッチパネルにより具現化され、プログラムを実行するための実行命令がユーザから入力される。この操作部２５は、上記実行命令がユーザから入力された場合には、これを制御部２４に通知する。この通知を受けた制御部２４は、探索部２７を始め、各構成要素と協調させて所望の処理動作を実行していくこととなる。
【００３２】
探索部２７は、スペクトル撮像装置４により撮像した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する。この探索部２７は、探索動作を実行するに当たり、必要な情報として記憶部２８に記憶されている各種情報や、アルゴリズムデータベースに記憶されている各種情報を読み出す。この探索部２７は、人工知能により制御されるものであってもよい。この人工知能はいかなる周知の人工知能技術に基づくものであってもよい。
【００３３】
表示部２３は、制御部２４による制御に基づいて表示画像を作り出すグラフィックコントローラにより構成されている。この表示部２３は、例えば、液晶ディスプレイ（ＬＣＤ）等によって実現される。
【００３４】
記憶部２８は、ハードディスクで構成される場合において、制御部２４による制御に基づき、各アドレスに対して所定の情報が書き込まれるとともに、必要に応じてこれが読み出される。また、この記憶部２８には、本発明を実行するためのプログラムが格納されている。このプログラムは制御部２４により読み出されて実行されることになる。
【００３５】
図３は、スペクトル撮像装置４の構成例を示している。スペクトル撮像装置４は、いわゆるマルチスペクトルカメラや、カラーフィルタを交換する方式のカメラや、プリズムを用いた方式のカメラで構成されている。スペクトル撮像装置４は、被写体を撮影し、更にそこから分光画像を取得する。スペクトル撮像装置４は、各撮影位置における２次元分光データから２次元の空間情報と１次元の波長情報とを有する３次元分光データに基づいて分光画像を生成する。スペクトル撮像装置４が生成する分光画像は、波長ごとの被写体の反射率又は透過率を示す複数の二次元画像からなる。この分光画像の例としては、２００ｎｍ〜１３μｍの所定の波長範囲の波長域において、０．１ｎｍ〜１００ｎｍの波長分解能とされていてもよく、バンド毎の分光画像とされている。
【００３６】
ちなみに、このスペクトル撮像装置４により撮像される分光画像における波長範囲は、可視光の領域のみならず、赤外領域、近赤外領域、紫外領域の光も含まれる。
【００３７】
スペクトル撮像装置４は、撮像対象が自ら発する光や被写体１０が反射又は透過する光、すなわち被写体１０からの撮影光Ｌを取り込む対物レンズ４１と、ＸＹＺからなる３軸の直交座標系におけるＹ軸方向に移動する精密直動ステージ４２と、対物レンズ４１の像面においてＺ軸方向に設けられたスリット開口部４３ａを配設するためのスリット板４３と、スリット開口部４３ａを通過した光束を平行光とするコリメートレンズ４４と、コリメートレンズ４４からの平行光を分散させる分散光学素子４５と、分散光学素子４５から出射された光束を取り込む結像レンズ４６と、結像レンズ４６の像面上に設けられた撮像素子４７と、精密直動ステージ４２および撮像素子４７を制御し、更に撮像素子４７を介して受光された画像データの各種処理を行う制御部４８とを備えている。なお、このスペクトル撮像装置４は、特開２０１５−１６６６８２号公報の開示技術を用いるようにしてもよい。
【００３８】
精密直動ステージ４２は、制御部４８による制御の下でスリット板４３、コリメートレンズ４４、分散光学素子４５、結像レンズ４６、撮像素子４７を一体的にＹ軸方向に向けて移動させる。
【００３９】
分散光学素子４５は、例えば、回折格子、プリズム等により具現化される。分散光学素子は、コリメートレンズ４４を通過してくる光束を波長毎の成分に分散させる機能を有している。
【００４０】
撮像素子４７は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等により構成される。この撮像素子４７は、撮像面に結像された光を光電変換により電気信号へと変換する。そして、撮像素子４７により変換された電気信号は、制御部４８に送信される。仮に赤外領域、近赤外領域、紫外領域の光を受光するのであれば、それに適した撮像素子４７を配設することになる。
【００４１】
図４は、制御部４８の更なる詳細な構成を示している。制御部４８は、撮像素子４７により電気信号を取得するタイミングを制御する撮影制御部４８１と、精密直動ステージ４２のＹ軸方向における移動方向、移動量、移動タイミングを制御する移動制御部４８２と、撮像素子４７からの電気信号に基づいて分光データを作成する分光データ作成部４８３と、分光データ作成部４８３において作成された分光データに基づいて、各種画像処理や校正等を行う画像処理部４８４とを備えている。なお、この制御部４８の一部の構成要素又は全て要素については、独立したパーソナルコンピュータ（ＰＣ）内に実装されるものであってもよい。
【００４２】
分光データ作成部４８３は、撮像素子４７から送信されてきた電気信号に基づいて、１次元の空間情報と１次元の波長情報とを有する２次元分光データを作成し、これを記憶する。分光データ作成部４８３は、これらの処理を繰り返し実行し、全ての撮影位置の撮影が終了すると、２次元の空間情報と１次元の波長情報とを有する３次元分光データからなるハイパースペクトル画像を得ることが可能となる。
【００４３】
画像処理部４８４は、分光データ作成部４８３において作成された波長毎の分光画像を所定の表色系に変換し、色演算処理を行って色解析画像を生成する。また画像処理部４８４は、生成した色解析画像を所定の表示方法により表示するための処理を行う。この画像処理部４８４は、校正処理部４８４−１と、算出部４８４−２と、色解析画像取得部４８４−３とを備えている。
【００４４】
この校正処理部４８４−１は、暗電流に起因するノイズ除去、画素間感度偏差補正処理、輝度校正処理、空間内の光源光の照明ムラの補正等を行う。
【００４５】
算出部４８４−２は、校正処理部４８４−１において処理された各波長ごとの分光画像における各分光放射輝度、各分光輝度等を算出する。
【００４６】
色解析画像取得部４８４−３は、校正処理部４８４−１において校正処理された各種パラメータ、並びに算出部４８４−２において算出された各分光放射輝度、各分光輝度等を用いて設定された規格の表色系へ変換するための色空間変換処理を行う。
【００４７】
色解析画像取得部４８４−３において色空間変換処理された色解析画像は、図示しないＰＣ等に送られ、ディスプレイ上等に描画される。
【００４８】
図５は、撮影装置５のブロック構成例を示している。撮影装置５は、一般的なデジタルカメラや、マルチスペクトルカメラ、更には携帯電話やスマートフォン、タブレット型端末、ウェラブル端末にそれぞれ実装されるあらゆるデジタルカメラを含むものである。スペクトル撮像装置４は、あらゆる帯域におけるスペクトルデータを検知することができるのに対して、撮影装置５は、通常の可視光の画像撮影に加えて、予め特定した波長領域に限定してスペクトルデータを検知することを意図するものである。この撮影装置５は、結像光学系５１と、フィルタ５２と、撮像素子５３と、信号処理部５４とを備えている。
【００４９】
結像光学系５１は、少なくとも１つの撮像レンズ５６を有し、被写体１０からの光を集光し撮像素子５３の撮像面上に像を形成する。
【００５０】
フィルタ５２は、被写体１０と撮像レンズ５６との間に配置される。フィルタ５２は、撮像素子５３に到達する光の経路上に配置される。フィルタ５２は、所定の分光透過率からなる素子である。即ち、このフィルタ５２は、予め設定されている波長領域の光のみを透過させ、それ以外の波長領域の光を反射するように作用する。フィルタ５２は、実際に透過させたい光の波長及び波長幅に応じてその種類が選択される。フィルタ５２は、撮影装置５内に予め固定配置される場合を例にとり説明をするが、これに限定されるものではない。即ち、このフィルタ５２は、互いに透過する波長領域が異なる複数のフィルタ５２を順次切換可能に構成されていてもよい。
【００５１】
撮像素子５３は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等により構成される。この撮像素子５３は、撮像面に結像された光を光電変換により電気信号へと変換する。そして、撮像素子５３により変換された電気信号は、信号処理部５４に送信される。
【００５２】
信号処理部５４は、撮像素子５３から送られてくる電気信号を処理する回路である。この信号処理部５４は、撮像素子５３によって取得された画像に基づいて、被写体１０からの光の波長域ごとに分離された分光分離画像を生成する。また信号処理部５４は、取得した電気信号に基づいて、各種焦点制御を行うようにしてもよい。
【００５３】
上述した構成からなる情報探索システム１の動作について説明をする。
【００５４】
先ず探索装置２は、スペクトル撮像装置４や撮影装置５に対して提供すべき検出アルゴリズム情報、或いは撮影装置５に対して提供すべき検出アルゴリズム情報を探索する。この探索プロセスにおいては、新たにスペクトル撮像装置４や撮影装置５により撮影しようとする被写体の目的事象をユーザ自身が入力するところから開始する。ここでいう被写体とは、実際にスペクトル撮像装置４や撮影装置５により撮影される対象物を総称するものであり、目的事象とは、スペクトル撮像装置４や撮影装置５を介して判別したい物、又は事を意味する。例えば塩、砂糖の混合物から塩のみを判別したい場合には、被写体は混合物であり、目的事象は塩となる。例えば水と油の混合物から油のみを判別したい場合には、被写体は混合物であり、目的事象は油となる。例えば寿司の鮮度を判別したい場合には、被写体は寿司であり、目的事象は鮮度となる。例えば顔のシミを判別したい場合には、被写体は顔であり、目的事象は、シミである。例えば胃から胃癌を判別したい場合には、被写体は胃であり、目的事象は胃癌である。
【００５５】
ユーザは、この被写体の目的事象の入力を操作部２５を介して手動で行う。この入力において、他の携帯端末やＰＣ等の電子機器において作成した被写体の目的事象のテキストデータをインターネット経由で入力するようにしてもよい。
【００５６】
このようにして送信又は入力された被写体の目的事象は、記憶部２８に記憶されることとなる。
【００５７】
このようにして被写体の目的事象が入力された後に、実際に情報探索プログラムによる処理動作が実行されていくこととなる。この情報探索プログラムの処理動作フローを図６に示す。
【００５８】
情報探索プログラムは、ステップＳ１１において入力され、記憶部２８に記憶された被写体の目的事象について文言解析を行う。（ステップＳ１２）。この文言解析については、既存のあらゆるテキストマイニング技術、データマイニング技術、言語解析処理技術等を用いるようにしてもよい。
【００５９】
次に、この情報探索プログラムは、解析対象の被写体の目的事象を単語、形態素、句、節等、あらゆる文法上の構造単位の中から何れか１以上の単位に亘り、文字列の抽出を行う。例えば被写体の目的事象として、「足の血管」というテキストデータが入力された場合には、「足」、「血管」等といった文字列を抽出することとなり、「顔の水分」というテキストデータが入力された場合には、「顔」、「水分」等といった文字列を抽出することとなる。情報探索プログラムは、この抽出した文字列から、被写体と目的事象をそれぞれ特定する。上述した例の場合、被写体は、「足」、「顔」であり、目的事象は「血管」、「水分」である。通常であれば被写体を構成する文字列が目的事象を構成する文字列よりも前である場合が多いので、抽出した文字列の先頭から被写体、目的事象をそれぞれ特定することとなる。
【００６０】
或いは、被写体として「足」、目的事象として「血管」等と予め入力するユーザ側において分類して入力する場合もある。かかる場合には、その入力された被写体、目的事象の文字列をそのまま受け入れることとなる。
【００６１】
次に情報探索プログラムは、ステップＳ１３へ移行し、ステップＳ１２において抽出した文字列と連関度の高い検出アルゴリズム情報を探索する。この探索を行う前において、アルゴリズムデータベース３は、参照用の目的事象（以下、参照用目的事象という。）と２種以上に分類された検出アルゴリズム情報の３段階以上の連関度（以下、第１連関度という。）を予め取得しておく。
【００６２】
ここでいう検出アルゴリズム情報は、実際にスペクトル撮像装置４や撮影装置５により被写体を撮像しても目的事象を判断する上で必要なスペクトルデータを検出するためのアルゴリズムである。例えば、図７に示すように、ある果実の鮮度が波長５００ｎｍ〜７００ｎｍの帯域においてスペクトル強度（反射率）に差が出てくることが既知であるものとする。即ち、ある果実を１日常温で放置した場合、３日常温で放置した場合、５日常温で放置した場合で、スペクトル強度が波長５００ｎｍ〜７００ｎｍの範囲においてスペクトル強度（反射率）が大きく変化することが既知であるものとする。かかる場合には、この波長５００ｎｍ〜７００ｎｍの範囲において分光画像を作成することにより、果実の鮮度を判別することが可能となる。
【００６３】
このような目的事象を判別することができる波長範囲の何れかを特徴波長として特定する。図７の例では、波長５００ｎｍ〜７００ｎｍの波長範囲の何れかを特徴波長として特定する。特徴波長は１点で特定してもよいし、複数特定してもよい。特徴波長の決め方としては、例えば上記波長範囲（５００ｎｍ〜７００ｎｍ）の中心波長である６００ｎｍとしてもよいし、各スペクトル間のスペクトル強度の差分値が最も大きくなる波長としてもよい。また図７において波長が約６５０ｎｍにおいて、各スペクトルデータにおいて上に凸のピークが形成されているのが分かるが、このような特異点を特徴波長として特定するようにしてもよい。この特徴波長は、被写体の目的事象毎に異なるものであってもよい。
【００６４】
これに加えて、この特徴波長を中心とした特徴波長範囲を設定する。特徴波長範囲は、例えば±１０ｎｍ等のように、予め設定した所定の波長範囲で構成されている。このため、仮に特徴波長が５００ｎｍであり、特徴波長範囲が±１０ｎｍであれば、実際にスペクトルデータを検出する範囲は、４９５〜５０５ｎｍとなる。この特徴波長範囲は、被写体の目的事象毎に異なるものであってもよい。
【００６５】
検出アルゴリズム情報は、更にこれらに加えて、各種演算方法が盛り込まれるものであってもよい。かかる場合には、この特徴波長や特徴波長範囲を説明変数ｘ1、ｘ2、・・・ｘkとし、これらを演算式に代入することにより得られる目的変数ｙを介して判別することとなる。即ち、ｙ＝ｆ（ｘ1、ｘ2、・・・ｘk）により得られる目的変数ｙが検出アルゴリズム情報となりえる。また、これを構成する個々の説明変数ｘ1、ｘ2、・・・ｘkとしての特徴波長や特徴波長範囲についても同様に検出アルゴリズム情報となりえる。
【００６６】
アルゴリズムデータベース３には、このような特徴波長と、特徴波長範囲、場合によっては演算方法やそれを規定する演算式そのものが、被写体の参照用目的事象毎に互いに紐付けられて記憶されている。
【００６７】
このとき、アルゴリズムデータベース３には、被写体の参照用目的事象と、検出アルゴリズム情報との間の３段階以上の第１連関度に基づいて規定されていてもよい。図８は、被写体の参照用目的事象と、検出アルゴリズム情報との間で３段階以上の第１連関度により互いを関係付けたネットワークを示している。例えば、果実の鮮度は、検出アルゴリズム情報としての特徴波長及び特徴波長範囲が９７０±１０ｎｍである場合に第１連関度８０％、１１７０±１０ｎｍ、８８０±１５ｎｍの２波長である場合に第１連関度６０％、５４７±４ｎｍ、５８８±１０ｎｍ、９３９±５ｎｍの３波長でその演算方法がクラスター分析である場合に第１連関度４０％、４５５±１２ｎｍである場合に第１連関度２０％であることが示されている。毛髪の水分は、検出アルゴリズム情報としての特徴波長及び特徴波長範囲が６３０±５ｎｍ、７５０±１０ｎｍ、１２５０±５ｎｍの３波長でその演算方法が線形である場合に第１連関度８０％、９７０±１０ｎｍである場合に第１連関度２０％であることが示されている。胃の癌は、検出アルゴリズム情報としての特徴波長及び特徴波長範囲が９７０±１０ｎｍである場合に第１連関度２０％、２３０±１２ｎｍ、４００±５ｎｍの２波長でその演算方法がK-meansである場合には第１連関度４０％、５４７±４ｎｍ、５８８±１０ｎｍ、９３９±５ｎｍの３波長でその演算方法がクラスター分析である場合に第１連関度８０％であることが示されている。この第１連関度は、いわゆるニューラルネットワークにより構成されていてもよい。
【００６８】
この第１連関度は、スペクトル撮像装置４や撮影装置５を介して被写体の目的事象を判別する上で選択する検出アルゴリズム情報の相性、換言すれば、被写体の目的事象を判別する上で選択する検出アルゴリズム情報の的確性を示すものである。上述の例であれば、果実の鮮度を検出するための検出アルゴリズムとして９７０±１０ｎｍである場合に最も相性がよく、ひいては最も効果的かつ高精度に判別を行うことが可能となることが示されている。果実の鮮度検出においては、その相性の高さが、１１７０±１０ｎｍ、８８０±１５ｎｍの２波長である場合、５４７±４ｎｍ、５８８±１０ｎｍ、９３９±５ｎｍの３波長でその演算方法がクラスター分析である場合、４５５±１２ｎｍである場合の順でこれに続くことが示されている。
【００６９】
また被写体の目的事象の表記方法は、上述に限定されるものではない。例えば図９に示すように被写体が２以上に亘る複合体で構成される場合も同様に第１連関度を介して関連付けられる。図９の例では、被写体としてガラス板の間にプラスチック材料を挟みこんだ複合体を被写体とし、プラスチック材料中のキズを参照用目的事象とした例である。この複合体は、例えば金属と樹脂が互いに複数層に亘って積層された積層体で構成されていてもよいし、砂糖と塩のように互いに混じりあった混合物として構成されるものであってもよい。またセラミックスを母材とし、第２層としてウィスカーを添加したセラミックス基複合材料のような渾然一体となっている複合体であってもよい。
【００７０】
更に金属と異物とからなる複合体中の異物を参照用目的事象としたものであってもよい。かかる例は、複合体の一方が参照用目的事象としたものである。更に被写体が、例えばガラス、プラスチック材料、セラミックスの３以上からなる複合体で構成されるものであってもよい。これらの複合体それぞれに対して参照用目的事象が定義されることとなる。
【００７１】
このように被写体が複合体で構成される場合においても検出アルゴリズム情報がこれに対して３段階以上の連関度を介して紐付けられることとなる。仮に被写体が金属と異物の複合体で構成される場合、その金属の特徴波長に加え、異物の特徴波長も検出アルゴリズム情報を構成する特徴波長も考慮に入れ、その中から参照用目的事象を抽出する上で好適な条件が予め検討されてこれが連関度として紐付くこととなる。
【００７２】
また被写体が複合体である例としては、金属が例えばマルテンサイト変態の前後の混晶状態を被写体とし、個々の相を参照用目的事象としてもよい。またこれ以外には、被写体自体は、複合体ではなく単相の材料で構成されているが、その単相の材料が時系列的に変化する際の変化後の相を参照用目的事象として捉えるようにしてもよい。
【００７３】
ステップＳ１３に移行後、情報探索プログラムは、ステップＳ１２において抽出した被写体の目的事象を構成する文字列から、検出アルゴリズム情報を１又は２以上に亘り選択する作業を行う。
【００７４】
このステップＳ１２において抽出した被写体の目的事象を構成する文字列から検出アルゴリズム情報を選択する上で、予め取得した図８に示す被写体の参照用目的事象と検出アルゴリズム情報との第１連関度を参照する。例えば、ステップＳ１２において抽出した被写体の目的事象が「葉の光合成」である場合には、上述した第１連関度を参照した場合、その「葉の光合成」と第１連関度の高い１３５７±１０ｎｍを検出アルゴリズム情報として選択する。第１連関度は低いものの連関性そのものは認められる６３０±５ｎｍ、７５０±１０ｎｍ、１２５０±５ｎｍで演算方法が線形である場合も検出アルゴリズム情報として選択するようにしてもよい。また、これ以外に矢印が繋がっていない検出アルゴリズム情報を選択してもよいことは勿論である。
【００７５】
また、ステップＳ１２において抽出した被写体の目的事象が「葉の水分」である場合には、被写体の参照用目的事象においてそのような項目は存在しない。かかる場合には、被写体の参照用目的事象としての「葉の光合成」と第１連関度の高い１３５７±１０ｎｍである場合と、６３０±５ｎｍ、７５０±１０ｎｍ、１２５０±５ｎｍで演算方法が線形である場合と、「毛髪の水分」と第１連関度の高い６３０±５ｎｍ、７５０±１０ｎｍ、１２５０±５ｎｍで演算方法が線形である場合と、９７０±１０ｎｍある場合とから、最適な検出アルゴリズム情報を推定するようにしてもよい。その場合には、例えば互いに共通する第１連関度である６３０±５ｎｍを「葉の水分」の検出アルゴリズム情報として推定するようにしてもよいし、「葉の光合成」、「毛髪の水分」の中で第１連関度が４０％以上のものを全て検出アルゴリズム情報として推定するようにしてもよい。また、この「葉の光合成」、「毛髪の水分」と第１連関度が０％を超える全ての検出アルゴリズムについて、それぞれの第１連関度で重み付け平均化した波長を検出アルゴリズム情報として推定するようにしてもよい。
【００７６】
またステップＳ１２において抽出した被写体の目的事象が「舌の癌」である場合には、被写体の参照用目的事象においてそのような項目は存在しない。「癌」については「胃の癌」が過去の被写体の目的事象として存在するが、「舌」については何ら被写体の参照用目的事象として存在しない。かかる場合には、「胃の癌」の過去の検出アルゴリズム情報に基づいて推定するようにしてもよいし、仮に「舌」に近い部位の「唇」等について過去の検出アルゴリズム情報が存在する場合には、それを参照して推定するようにしてもよい。
【００７７】
更にステップＳ１２において抽出した被写体が砂糖と塩の混合体である場合で、同じく抽出した目的事象が塩であれば、図９に示す第１連関度を参照した場合に、検出アルゴリズム情報としては、波長が２３０±１２ｎｍ、４００±５ｎｍであって、演算方法がK-mensである場合が優先的に選ばれる。
【００７８】
またステップＳ１２において抽出した被写体が例えば「紙」で、同じく抽出した目的事象が「異物」である場合には、図８、９に示される第１連関度に照らし合わせてもこれに合致する被写体は存在ないが、参照用目的事象としての「異物」は、被写体が「金属」と「異物」の混合体とする場合において存在する。かかる場合には、この被写体が「金属」と「異物」の混合体とし、参照用目的事象が「異物」である場合の第１連関度があえて低い検出アルゴリズム情報を選択するようにしてもよい。
【００７９】
即ち、この検出アルゴリズム情報の選択は、第１連関度が高いものから順に選択される場合に限定されるものではなく、ケースに応じて第１連関度が低いものから順に選択されるものであってもよいし、その他いかなる優先順位で選択されるものであってもよい。
【００８０】
なお、ステップＳ１２において抽出した被写体の目的事象に対する検出アルゴリズム情報の選択方法は、上述した方法に限定されるものではなく、第１連関度を参照するものであればいかなる方法に基づいて実行するようにしてもよい。また、このステップＳ１３の探索動作では、人工知能を利用して行うようにしてもよい。かかる場合には、第１連関度をニューラルネットワークとみなすようにしてもよい。
【００８１】
次にステップＳ１４へ移行し、選択した検出アルゴリズム情報を表示部２３を介して表示する。これによりユーザは、表示部２３を視認することにより、これから判別しようとする被写体の目的事象に応じた検出アルゴリズム情報を即座に把握することが可能となる。
【００８２】
ユーザは、出力された検出アルゴリズム情報に基づいて、スペクトル撮像装置４における画像処理部４８４の検出アルゴリズムを設定し、或いは撮影装置５の検出アルゴリズムを設定する。この検出アルゴリズムの設定は、特徴波長、特徴波長範囲に加えて、これら特徴波長に基づく色演算処理（以下、特徴波長演算）を施す。例えば被写体の目的事象が、「葉の光合成」であり、検出アルゴリズムとして１３５７±１０ｎｍが選択された場合には、当該波長範囲に含まれる画素については、赤を表示する特徴波長演算を行わせ、当該波長に含まれない画素については白を表示する特徴波長演算を行うようスペクトル撮像装置４や撮影装置５に対して設定する。
【００８３】
これにより、スペクトル撮像装置４や撮影装置５により被写体としての「葉」を撮像することでその目的事象としての「光合成」を判別する上で必要なスペクトルデータを検出し、これを色解析画像を介して表示することが可能となる。
【００８４】
特に本発明によれば、このようなスペクトル撮像装置４や撮影装置５によりこれから判別すべき被写体の目的事象に応じたスペクトルデータの最適な検出アルゴリズム情報を容易に取得することが可能となる。次々に新しい被写体の目的事象が生まれる都度、最適な検出アルゴリズムを検討するための労力の負担を軽減でき、時間の短縮化を図ることが可能となる。
【００８５】
また、本発明を適用した情報探索システム１では、３段階以上に設定されている第１連関度を介して最適な検出アルゴリズム情報の探索を行う点に特徴がある。第１連関度は、例えば０〜１００％までの数値で記述することができるが、これに限定されるものではなく３段階以上の数値で記述できるものであればいかなる段階で構成されていてもよい。
【００８６】
このような３段階以上の数値で表される第１連関度に基づいて探索することで、複数の検出アルゴリズム情報が選ばれる状況下において、当該第１連関度の高い順に探索して表示することも可能となる。このように第１連関度の高い順にユーザに表示できれば、より可能性の高い検出アルゴリズム情報を優先的に選択することを促すこともできる。一方、第１連関度の低い検出アルゴリズム情報であってもセカンドオピニオンという意味で表示することができ、ファーストオピニオンで上手く分析ができない場合において有用性を発揮することができる。
【００８７】
これに加えて、本発明によれば、第１連関度が１％のような極めて低い検出アルゴリズム情報も見逃すことなく判断することができる。第１連関度が極めて低い検出アルゴリズム情報であっても僅かな兆候として繋がっているものであり、何十回、何百回に一度は、検出アルゴリズム情報として役に立つ場合もあることをユーザに対して注意喚起することができる。
【００８８】
更に本発明によれば、このような３段階以上の第１連関度に基づいて探索を行うことにより、閾値の設定の仕方で、探索方針を決めることができるメリットがある。閾値を低くすれば、上述した第１連関度が１％のものであっても漏れなく拾うことができる反面、被写体の目的事象を好適に検出できる可能性が低い検出アルゴリズム情報を沢山拾ってしまう場合もある。一方、閾値を高くすれば、被写体の目的事象を好適に検出できる可能性が高い検出アルゴリズム情報のみ絞り込むことができる反面、何十回、何百回に一度は好適な解を表示する検出アルゴリズム情報を見落としてしまう場合もある。いずれに重きを置くかは、ユーザ側、システム側の考え方に基づいて決めることが可能となるが、このような重点を置くポイントを選ぶ自由度を高くすることが可能となる。
【００８９】
更に本発明では、上述した第１連関度を更新させるようにしてもよい。つまり、図８に示すような被写体の参照用目的事象と、検出アルゴリズム情報を随時更新していく。この更新は、例えばインターネットを始めとした公衆通信網を介して提供された情報を反映させるようにしてもよい。公衆通信網から取得可能なサイト情報や書き込み等を通じて、被写体の参照用目的事象と、検出アルゴリズム情報との関係性について新たな知見が発見された場合には、当該知見に応じて第１連関度を上昇させ、或いは下降させる。例えば、ある被写体の参照用目的事象に対してある程度の第１連関度を有する検出アルゴリズムが、高精度に検出ができることが公衆通信網上のサイトを通じて多く挙がっていた場合、これらの間に設定されている第１連関度を更に上昇させる。また、ある被写体の参照用目的事象に対してある程度の第１連関度を有する検出アルゴリズムが、あまり精度よく検出できないことが公衆通信網上のサイトを通じて多く挙がっていた場合、これらの間に設定されている第１連関度を下降させる。また、ある被写体の参照用目的事象に対して、今までに無い検出アルゴリズムで高精度に検出ができることが公衆通信網上のサイトを通じて挙がっていた場合、これらの間に新たに第１連関度を設定することで更新するようにしてもよい。
【００９０】
この第１連関度の更新は、公衆通信網から取得可能な情報に基づく場合以外に、専門家による研究データや論文、学会発表や、新聞記事、書籍等の内容に基づいてシステム側又はユーザ側が人為的に、又は自動的に更新するようにしてもよい。これらの更新処理においては人工知能を活用するようにしてもよい。
【００９１】
なお、本発明は、上述した実施の形態に限定されるものではない。入力すべき情報として、被写体の目的事象以外に、上述した照明光の情報や、各種撮像系のパラメータや、ハードウェア上のパラメータステップＳ１１において入力した上で、この検出アルゴリズム情報を探索するようにしてもよい。
【００９２】
なお探索装置２は、撮影装置５に対して提供すべき撮影条件を探索するようにしてもよい。情報探索プログラムは、取得した目的事象と連関度の高い撮影条件を探索する。この探索を行う前において、アルゴリズムデータベース３は、図１０に示すように参照用目的事象と、撮影条件との第２連関度を予め取得しておく。
【００９３】
ここでいう撮影条件とは、スペクトル撮像装置４や撮影装置５による撮像時の照明光の波長、照射角度、輝度、照明光に設けられる偏光フィルタの条件等からなる照明光の情報や、スペクトル撮像装置４や撮影装置５自体のＦ値、レンズのＮＡ、焦点距離、使用機種、波長分解能、空間解像度、各分光波長に対する感度、露光時間、オートフォーカスの時間、シャッタースピード、シャッター方式、ホワイトバランス、ブラックバランス、ゲイン等の各種撮像系のパラメータやハードウェア上のパラメータも含まれる。検出アルゴリズム情報としては、上述した特徴波長や特徴波長範囲、演算方法に加えて、上述した各パラメータが追加されていてもよい。また上述した各パラメータは、上述した特徴波長や特徴波長範囲を出す上での一つの条件として規定されるものであってもよい。
【００９４】
このような各種撮影条件について、第２連関度を介して関連付けを行う場合には、仮に波長分解能であれば、９６−１２０ｄｐｉ、１２０−１４４ｄｐｉ、１４４−１９２ｄｐｉのように何種類かにランク付けを行い、それぞれのランクについて第１連関度が関連付けられるようにしてもよい。
【００９５】
このような撮影条件を、例えば図１０に示すように、「ホワイトバランス○○」、「レンズの配置Ｐ」と「フィルタＷ」の組み合わせ、「フィルタＱ」、「フィルタＲ」と「照明光の角度○○°」の組み合わせ、「フィルタＳ」と「空間解像度１３３−１４０ｄｐｉ」の組み合わせ、「露光時間○○ｎｓ以上」、「露光時間○○ｎｓ未満」等のように設定されている。
【００９６】
この撮影条件は、複数の要因の組み合わせで構成されていてもよいし、単独のファクターにより構成されるものであってもよい。また同じ「露光時間」という撮影条件についても、「露光時間○○ｎｓ以上」、「露光時間○○ｎｓ未満」のように分類された上で、それぞれについて第２連関度が関連付けられていてもよい。また「フィルタＱ」は、例えば、フィルタの透過波長が６００〜６５０ｎｍ等、「フィルタＲ」は、例えば、フィルタの透過波長が３４０〜４００ｎｍ等、「フィルタＳ」は、例えば、フィルタの透過波長が１０００〜１１００ｎｍ等のように、それぞれの詳細な条件が割り当てられている。
【００９７】
被写体の参照用目的事象と、撮影条件が第１連関度を通じて互いに関連付けられている。例えば、「果実の鮮度」に対して「フィルタＱ」が第２連関度８０％で関連付けられ、「ホワイトバランス○○」に対して第２連関度２０％で関連付けられる。「毛髪の水分」は、「フィルタＳ」と「空間解像度１３３−１４０ｄｐｉ」の組み合わせに対して第２連関度１００％で関連付けられ、「レンズの配置Ｐ」と「フィルタＷ」の組み合わせに対して第２連関度４０％で関連付けられる。「葉の光合成」は、「ホワイトバランス○○」に対して第２連関度６０％で関連付けられ、「露光時間○○ｎｓ未満」に対して第２連関度２０％で関連付けられる。「胃の癌」は、「レンズ配置Ｐ」と「フィルタＷ」の組み合わせに対して第２連関度８０％で関連付けられ、「フィルタＳ」、「空間解像度１３３−１４０ｄｐｉ」に対して第２連関度４０％で関連付けられる。「ガラスの欠陥」は、「フィルタＲ、照明光の角度○○°」に対して第２連関度１００％で関連付けられ、「露光時間○○ｎｓ以上」に対して第２連関度２０％で関連付けられる。
【００９８】
この第２連関度は、各参照用目的事象に基づいて判別を行う上での、撮影装置５における撮影条件の相性であり、換言すれば、参照用目的事象、ひいてはこれにより判別する被写体の目的事象に対する撮影装置５における設計や撮影方法の的確性を示すものである。上述の例であれば、「胃の癌」に対する撮影条件として「レンズの配置Ｐ」と「フィルタＷ」の組み合わせが最も相性がよく、ひいては最も効果的かつ高精度に判別を行うことが可能となることが示されている。「胃の癌」に対する撮影条件は、「フィルタＳ」と、「空間解像度１３３−１４０ｄｐｉ」がこれに続くことが示されている。
【００９９】
アルゴリズムデータベース３には、このような各撮影条件に対して、上述した参照用目的事象が互いに第２連関度を介して紐付けられて記憶されている。
【０１００】
情報探索プログラムは、新たに入力された目的事象と相性の高い撮影条件を探索する上で、図１０に示す第２連関度を参照するようにしてもよい。例えば、新たに入力された目的事象が「毛髪の水分」である場合には、上述した第２連関度を参照した場合、これに対応する参照用検出アルゴリズム情報と第２連関度の高い「フィルタＳ」と「空間解像度１３３−１４０ｄｐｉ」を撮影条件として選択する。第２連関度は低いものの連関性そのものは僅かながら認められる「レンズ配置Ｐ」と「フィルタＷ」の組み合わせも撮影条件として選択するようにしてもよい。同様に新たに入力された目的事象が「胃の癌」である場合には、「レンズ配置Ｐ」と「フィルタＷ」の組み合わせが選択されることとなる。
【０１０１】
なお、この図１０に示す形態においても同様に、撮影条件の選択は、第２連関度が高いものから順に選択される場合に限定されるものではなく、ケースに応じて第２連関度が低いものから順に選択されるものであってもよいし、その他いかなる優先順位で選択されるものであってもよい。
【０１０２】
図１１は、参照用目的事象と、参照用撮影条件の組み合わせに対する撮影条件が３段階以上の第２連関度により関連付けられた例を示している。この参照用撮影条件は、上述した撮影条件と同様の項目で構成される。この図１１に示す第２連関度は、操作部２５を介して、目的事象に加え、撮影条件の一部が既知の情報として入力される場合の例である。即ち、目的事象と撮影条件の一部は既に決定しているが、残りの撮影条件が決定できないため、この第２連関度を介して探索する例である。
【０１０３】
図１１に示すように、第２連関度を介して左側に参照用目的事象や参照用撮影条件が配列し、第２連関度を介して右側に、実際に探索すべき撮影条件が配列している。
【０１０４】
参照用目的事象が「果実の鮮度」であり、参照用撮影条件が「フィルタＳ」である場合に、これらの組み合わせのノードは、「ホワイトバランス○○」が第１連関度７０％、「露光時間○○ｎｓ以上」が第２連関度４０％とされている。また参照用撮影条件が「フィルタＳ」、「シャッタースピード○○秒」であり、参照用目的事象が「葉の光合成」である場合には、これらの組み合わせのノードは、「ホワイトバランス○○」が第２連関度６０％、「露光時間○○ｎｓ未満」が第２連関度４０％とされている。
【０１０５】
このような第２連関度が予め記憶されている場合において、操作部２５を介して既知の目的事象と、撮影条件が入力された場合には、第２連関度を参照することにより、撮影条件を探索することができる。例えば、操作部２５を介して目的事象として「ガラスの欠陥」が入力され、撮影条件として「照明光の角度○○°」が入力された場合には、それらの組み合わせのノードと連関度が規定されている「レンズの配置」や「フィルタＳ、空間解像度１３３−１４０ｄｐｉ」等を適宜選択していくこととなる。
【０１０６】
これら選択が完了した後、情報探索プログラムは、選択した撮影条件を探索装置２の表示部２３を介して表示する。これによりユーザは、表示部２３を視認することにより、検出アルゴリズム情報に応じた撮影条件を即座に把握することが可能となる。この撮影条件の探索動作についても同様に人工知能を利用するようにしてもよい。即ち、第２連関度がニューラルネットワークにより構成されていてもよい。
【０１０７】
ユーザは、出力された撮影条件に基づいて、撮影装置５における結像光学系５１と、フィルタ５２と、撮像素子５３と、信号処理部５４等をそれぞれ設計し、或いは照明光の条件を設定し、或いは撮影に関する各種条件を決定していくこととなる。またユーザは、出力された撮影条件に基づいて、スペクトル撮像装置４の各構成を設計し、或いは各条件を決定していくこととなる。
【０１０８】
ちなみに、この既知の撮影条件を入力する過程では、操作部２５を介した入力以外に、例えば、既知の撮影条件を自動的に抽出するようにしてもよい。この撮影条件を抽出する手段としては、例えば使用するスペクトル撮像装置４や撮影装置５に関するマニュアル類の電子データやインターネット上に掲載されている情報をテキストマイニング技術を介して読み取り、解析する機器で構成されていてもよく、ＰＣ等で具現化するようにしてもよい。この解析した情報の中から撮影条件に関する情報を抽出し、これを上述した既知の撮影条件として入力するようにしてもよい。また既知の撮影条件として露光時間を抽出するものであれば、スペクトル撮像装置４や撮影装置５による実際の露光時間を測定するためのデバイスを利用するようにしてもよいし、スペクトル撮像装置４や撮影装置５を直接ＰＣに接続して、設定されている露光時間を読み込むようにしてもよい。
【０１０９】
図１２は、被写体の目的事象の入力から撮影装置５の撮影条件を取得するまでのデータフローを示している。
【０１１０】
入力される情報としては、被写体の目的事象に加え、照明系のパラメータである照明光の波長、被写体に照射する照明光の照射角度、照明光の輝度等、更に撮像系のパラメータである、スペクトル撮像装置４や撮影装置５の波長範囲、波長分解能、空間解像度、分光波長感度、偏光フィルタ等である。更にこれに加えてハードウェア上のパラメータも入力される場合がある。この入力された情報に基づいて、上述した第１連関度を参照することにより、特徴波長、特徴波長範囲からなる検出アルゴリズム情報や撮影条件が探索されることとなる。このようにして得られた検出アルゴリズム情報は、入力された被写体の目的事象に加え、照明系のパラメータ、撮像系のパラメータに基づき、アルゴリズムデータベース３に記憶されている過去のデータを参照した上で、スペクトル撮像装置４や撮影装置５により被写体を撮像する上で最も適したアルゴリズム情報や撮影条件が選択される。
【０１１１】
検出アルゴリズム情報が設定されたスペクトル撮像装置４や撮影装置５により被写体を撮像し、特徴波長演算を行わせることにより、演算後の色解析画像を得ることが可能となる。
【０１１２】
なお、本発明は、上述した態様に限定されるものではない。上述した第１連関度を取得している前提の下で、ステップＳ１１において、被写体の目的事象の入力を受け付ける代わりに、検出アルゴリズム情報の入力を受け付けるようにしてもよい。そしてステップＳ１３においては、この入力を受け付けた検出アルゴリズム情報に基づき、上記第１連関度を参照することで、被写体の目的事象が何であるかを逆に探索する。即ち、図８、９における入力と出力の関係が上述した態様と入れ替わったものであり、入力が検出アルゴリズム情報で、出力が被写体の目的事象となる。
【０１１３】
かかる態様の応用例としては、例えばスペクトル撮像装置４や撮影装置５により、ある未知の被写体について撮像した結果、その特徴波長が３１０ｎｍ、６６０ｎｍであった場合、混合物中の塩が被写体の目的事象である可能性が高いことを判別することが可能となる。
【０１１４】
本発明を適用した情報探索システム１は、例えば図１３に示すようなフィードバックループを設けるようにしてもよい。
【０１１５】
このフィードバックループにおいて、アルゴリズムデータベース３は、被写体９を撮影したスペクトル撮像装置４や撮影装置５から情報を受信する。
【０１１６】
スペクトル撮像装置４や撮影装置５は、探索装置２により上述した方法に基づいて探索された検出アルゴリズム情報を取得する。そして、このスペクトル撮像装置４や撮影装置５は、この検出アルゴリズム情報に基づいて実際に被写体９を撮影する。この撮影対象としての被写体９は、Ｓ１１において入力された被写体９に対応し、その撮影目的は、そのステップＳ１１において入力された目的事象を検出することに該当する。つまり、上述したステップＳ１１において被写体の目的事象として葉の光合成を検知することを入力し、ステップＳ１３において探索された検出アルゴリズムが、その葉の光合成を検知する上で適したものであるとする。かかる場合には、その探索された検出アルゴリズムがスペクトル撮像装置４や撮影装置５に入力される。そしてこの入力された検出アルゴリズムによりスペクトル撮像装置４や撮影装置５を介して被写体９としての葉を撮影し、光合成の検知を試みる。
【０１１７】
スペクトル撮像装置４や撮影装置５は、被写体９を撮影することにより得られたスペクトルデータをアルゴリズムデータベース３に送信する。アルゴリズムデータベース３は、このようなスペクトルデータに基づいて第１連関度を更新する。
【０１１８】
例えば図８に示すような、被写体９も目的事象としての葉の光合成について、特徴波長１３５７±１０ｎｍである検出アルゴリズムが探索され、これに基づいて実際に被写体９としての葉を撮影して得られたスペクトルデータが、葉の光合成を好適に表現できているものであれば、その検出アルゴリズムは適正であり、これを探索する第１連関度の精度が高いものと判断して特に更新することはしない。一方、得られたスペクトルデータが葉の光合成を好適に表現できていないのであれば、その検出アルゴリズムは不適正であり、これを探索する第１連関度の精度に改善の余地があるものと判断して、これを更新することになる。
【０１１９】
なお、この図８に示す第１連関度を形成する上では、既知の被写体の参照用目的事象と検出アルゴリズムとを入力することで学習させる、いわゆる教師あり学習に限定されるものではなく、教師なし学習に基づいてこれを形成させるようにしてもよい。かかる場合には、得られたデータをクラスタリングすることで分類し、これに基づいて第１連関度を形成するようにしてもよい。
【０１２０】
この目的事象としての葉の光合成を好適に表現できているか否かを、例えばスペクトルデータに基づいて判断するようにしてもよい。かかる場合には、各波長領域におけるスペクトルの強度に基づいて判断するようにしてもよい。
【０１２１】
図１４（ａ）に示すように、検出アルゴリズムとして１３４７〜１３６７ｎｍの波長範囲においてスペクトルの強度に基づいて光合成の有無を判断する場合を例に挙げる。ここで撮影装置５を通じて被写体としての葉を撮像した結果、例えば図１４（ｂ）に示すように、比較的光合成が多く検知されて１３４７〜１３６７ｎｍの波長範囲においてスペクトルのピークが高くなっている場合もあれば、図１４（ｃ）に示すようにあまり光合成が検知されず、１３４７〜１３６７ｎｍの波長範囲においてスペクトルのピークが高くなっていない場合もある。
【０１２２】
このようにして得られた検出ピークの高低をどのように解釈するかは、システム側において自由に設定することができる。例えば１３４７〜１３６７ｎｍの波長範囲においてスペクトルのピークがある特定の閾値を超えた場合には、光合成が検知されたものと判断し、ある特定の閾値以下の場合には、光合成が検知されなかったものとして判断するようにしてもよい。このような判断に加えて、上述した連関度を更新するようにしてもよい。この連関度の更新のルールとしては、検出されたスペクトルの強度に基づいて行うようにしてもよい。検出アルゴリズムとして設定された波長範囲のスペクトルの強度が高いほど、目的事象としての光合成をより好適に検知できているものと解釈するのであれば、その検出アルゴリズムにつながる第１連関度がより高くなるように更新する。例えば図８に示す第１連関度において葉の光合成を検知するための検出アルゴリズムは、１３４７〜１３６７ｎｍ（１３５７±１０ｎｍ）の波長範囲の第１連関度が最も連関度が高い。この検出アルゴリズム（１３４７〜１３６７ｎｍ）に基づいて被写体を検出した結果、仮に図１４（ｂ）に示すように、その検出アルゴリズムの波長範囲内において特定の閾値を超える場合には、その検出アルゴリズムにより目的事象を正確に検知できたものと判断し、その検出アルゴリズムにつながる第１連関度（８０％）が更に高くなるように更新する。一方、この検出アルゴリズム（１３４７〜１３６７ｎｍ）に基づいて被写体を検出した結果、仮に図１４（ｃ）に示すように、その検出アルゴリズムの波長範囲内において特定の閾値以下の場合には、その検出アルゴリズムにより目的事象を正確に検知できなかったものと判断し、その検出アルゴリズムにつながる第１連関度（８０％）がより低くなるように更新する。
【０１２３】
検出されたスペクトルの強度は、その被写体の目的事象が発現しているのか否かに大きく依拠するものであり、上述した例では、被写体としての葉が目的事象としての光合成を発現しているか否かに大きく依拠することは確かである。しかし、このスペクトルの強度は、これだけに依拠するものではなく、その被写体の目的事象を検出する上での検出アルゴリズムの適合性による影響を受ける。被写体の目的事象を検出するための検出アルゴリズムが相応しいものではなく、適合性が低い場合には、その適合性が高い場合と比較してスペクトルの強度は低くなることは十分に考えられることである。仮に被写体としての葉が同程度の光合成を発現しているにも係わらず、スペクトル強度が異なるのであれば、それは検出アルゴリズムの適合性による影響を受けていることは明らかである。
【０１２４】
なお、このような検出アルゴリズムの波長範囲内におけるスペクトルの強度が低くなる一方で、その波長範囲外にあるスペクトルの強度は逆に高くなる可能性もある。またこのスペクトルの強度は、被写体の目的事象を検出するための検出アルゴリズムが相応しいものであり、適合性が高い場合に、検出アルゴリズムの波長範囲内におけるスペクトルの強度が逆に低くなる場合もあり、適合性が低い場合にはその波長範囲内におけるスペクトルの強度が高くなる場合もありえる。
【０１２５】
即ち、被写体の目的事象と検出アルゴリズムとの適合性に応じて、検出アルゴリズムの波長領域内のスペクトル強度やその波長領域外のスペクトル強度は影響を受ける。本発明では、その影響を受けることにより発現されるスペクトル強度に応じて、第１連関度を更新する。これにより、順次更新されてくる第１連関度を通じて、被写体の目的事象と検出アルゴリズムとの適合性が徐々に向上してくることになる。
【０１２６】
更にこのスペクトルデータは、被写体の目的事象と検出アルゴリズムとの適合性に加えて、撮影された被写体そのものの画像の特徴（即ち、画像上に描かれる被写体の形状、テクスチャ、コントラスト、位置等）も同様に反映される。
【０１２７】
例えば図１５に示すように、スペクトル撮像装置４や撮影装置５を介して被写体１１を撮影することにより得られた画像における各画素Ｐ１、Ｐ２は、それぞれスペクトルデータで構成されている。これらの各スペクトルデータは、被写体の目的事象と、検出アルゴリズムとの適合性と、撮影された被写体そのものの画像特徴量が反映される。例えば、Ｐ１は画像のエッジ部分であることから画像特徴量の影響がスペクトルデータにより大きく反映される一方で、被写体の目的事象としての葉の光合成は生じていない箇所であることからその影響はスペクトルデータにあまり反映されてこないことになる。一方Ｐ２は画像のエッジ部分ではないことから画像特徴量の影響がスペクトルデータにあまり反映されてこない一方で、被写体の目的事象としての葉の光合成は生じている箇所であることからその影響はスペクトルデータに大きく反映されてくることになる。また、Ｐ１、Ｐ２における各スペクトルデータは、共に検出アルゴリズムとの適合性による影響は受けることになる。
【０１２８】
即ち、スペクトルデータは、このような画像特徴量、ひいては画像上に描かれる被写体の形状、テクスチャ、コントラスト、位置等による空間情報による影響を受ける。このため、スペクトルデータに基づいて上述した処理動作を実行する上で、当該スペクトルデータは、被写体の目的事象と、検出アルゴリズムとの適合性と、空間情報が支配因子となっている。
【０１２９】
特に本発明においては、この空間情報ひいては画像特徴量との関係を考慮した上で、被写体の目的事象と検出アルゴリズムとの適合性の判定を行うようにしてもよいし、第１連関度や第２連関度の更新を行うようにしてもよい。
【０１３０】
また、上述した実施の形態においてはマルチスペクトルを例にとり説明をしたが、ハイパースペクトルの場合も同様である、図１４中点線で示されているものがハイパースペクトルであるが、これついても縦軸のスペクトル強度に基づいて第１連関度を更新するようにしてもよい。かかる場合には、スペクトル撮像装置４により撮像したハイパースペクトルを取得するようにしてもよい。また撮影装置５により取得したマルチスペクトルをハイパースペクトルに復元し、このハイパースペクトルに基づいて適合性を判断するようにしてもよい。このマルチスペクトルのハイパースペクトルへの復元は、探索装置２等を介して実行し、例えば予め設定した復元アルゴリズムに基づいて行うようにしてもよい。この復元アルゴリズムは、ハイパースペクトルとマルチスペクトルとの間での対応関係からなるテンプレートで構成しておき、必要に応じてこれを読み出し、参照して復元するようにしてもよい。
【０１３１】
このような更新処理を例えば図１６に示すような更新用連関度に基づいて行うようにしてもよい。この更新用連関度は、左側に今回設定した検出アルゴリズムと、被写体を撮像することにより得られるスペクトルデータを設定し、ノード７０を挟んで右側に上述した適合性が描かれている。
【０１３２】
このノード７０は、今回設定した検出アルゴリズムと、得られるスペクトルデータ（スペクトル強度）との組み合わせで構成される。そしてこのノード７０は、それぞれ出力解としての適合性につながる。更新用連関度も同様に、３段階以上の連関度で構成されることになる。
【０１３３】
このような更新用連関度を予め取得しておく。そして、この更新用連関度を参照し、今回設定した検出アルゴリズムと、実際に得られたスペクトル強度に基づいて、出力解としての適合性を探索する。この具体的な探索方法については、上述した第１連関度と同様である。
【０１３４】
ここで今回設定した検出アルゴリズム１３７５±１０ｎｍでこれに基づいて被写体を撮像することで得られたスペクトル強度が１０であった場合、ノード７０ｂが当てはまり、このノード７０ｂは、最も更新用連関度が高い適合性が「低い」である。かかる場合には、検出アルゴリズム１３７５±１０ｎｍは、取得したスペクトル強度の観点から適合性が低いものと判断する。そして、この図８に示す第１連関度をより低くなるように再設定する。
【０１３５】
またノード７０ａが仮に当てはまった場合には、最も更新用連関度が高い適合性が「高い」である。かかる場合には、検出アルゴリズム１３７５±１０ｎｍは、取得したスペクトル強度の観点から適合性が高いものと判断する。そして、この図８に示す第１連関度をより高くなるように再設定する。ちなみに、この更新用連関度に基づくものであれば必ずしもその高いものとを選択する必要は無く、低いものを選択するようにしてもよい。
【０１３６】
なお、上述した実施の形態においては、検出したスペクトル強度に基づいて、探索解を探索する例について説明をしたが、スペクトルデータに基づくものであればいかなるファクターに基づいて探索を行うようにしてもよい。
【０１３７】
また、本発明によれば、この図１６に示す今回設定した検出アルゴリズム以外の他の検出アルゴリズムを入力するようにしてもよい。そして、他の検出アルゴリズムと、これに基づいて撮像したスペクトルデータをそれぞれ入力し、探索解を出すようにしてもよい。
【０１３８】
また上述したフィードバックループは、第２連関度に対して適用されるものであってもよい。
【０１３９】
スペクトル撮像装置４や撮影装置５は、探索装置２により上述した方法に基づいて探索された撮影条件を取得する。そして、このスペクトル撮像装置４や撮影装置５は、この撮影条件に基づいて実際に被写体９を撮影する。この撮影対象としての被写体９は、Ｓ１１において入力された被写体９に対応し、その撮影目的は、そのステップＳ１１において入力された目的事象を検出することに該当する。つまり、上述したステップＳ１１において被写体の目的事象として葉の光合成を検知することを入力し、ステップＳ１３において探索された検出アルゴリズムが、その葉の光合成を検知する上で適したものであるとする。かかる場合には、その探索された撮影条件がスペクトル撮像装置４や撮影装置５に入力される。そしてこの入力された撮影条件によりスペクトル撮像装置４や撮影装置５を介して被写体９としての葉を撮影し、光合成の検知を試みる。
【０１４０】
スペクトル撮像装置４や撮影装置５は、被写体９を撮影することにより得られたスペクトルデータをアルゴリズムデータベース３に送信する。アルゴリズムデータベース３は、このようなスペクトルデータに基づいて第２連関度を更新する。
【０１４１】
例えば図１０に示すような、被写体９も目的事象としての葉の光合成について、ホワイトバランス○○である撮影条件が探索され、これに基づいて実際に被写体９としての木の葉を撮影して得られたスペクトルデータが、木の葉の光合成を好適に表現できているものであれば、その撮影条件は適正であり、これを探索する第２連関度の精度が高いものと判断して特に更新することはしない。一方、得られたスペクトルデータが木の葉の光合成を好適に表現できていないのであれば、その撮影条件は不適正であり、これを探索する第２連関度の精度に改善の余地があるものと判断して、これを更新することになる。
【０１４２】
この目的事象としての葉の光合成を好適に表現できているか否かを、例えばスペクトルデータに基づいて判断するようにしてもよい。かかる場合には、第１連関度と同様に、各波長領域におけるスペクトルの強度に基づいて判断するようにしてもよい。
【０１４３】
また第２連関度を更新してもよく、この更新のルールとしては、検出されたスペクトルの強度に基づいて行うようにしてもよい。スペクトルの強度が高いほど、目的事象としての光合成をより好適に検知できているものと解釈するのであれば、その撮影条件につながる第２連関度がより高くなるように更新する。例えば図１０に示す第２連関度において葉の光合成を検知するための撮影条件は、ホワイトバランス○○が最も第２連関度が高い。この撮影条件（ホワイトバランス○○）に基づいて被写体を検出した結果、スペクトル強度が特定の閾値を超える場合には、その撮影条件により目的事象を正確に検知できたものと判断し、その撮影条件につながる第２連関度（８０％）が更に高くなるように更新する。一方、この撮影条件（ホワイトバランス○○）に基づいて被写体を検出した結果、スペクトル強度が特定の閾値以下の場合には、その撮影条件により目的事象を正確に検知できなかったものと判断し、その撮影条件につながる第２連関度（８０％）がより低くなるように更新する。
【０１４４】
検出されたスペクトルの強度は、その被写体の目的事象が発現しているのか否かに大きく依拠するものであり、上述した例では、被写体としての葉が目的事象としての光合成を発現しているか否かに大きく依拠することは確かである。しかし、このスペクトルの強度は、これだけに依拠するものではなく、その被写体の目的事象を検出する上での撮影条件の適合性による影響を受ける。被写体の目的事象を検出するための撮影条件が相応しいものではなく、適合性が低い場合には、その適合性が高い場合と比較してスペクトルの強度は低くなることは十分に考えられることである。
【０１４５】
またこのスペクトルの強度は、被写体の目的事象を検出するための撮影条件が相応しいものであり、適合性が高い場合に、スペクトルの強度が逆に低くなる場合もあり、適合性が低い場合にはスペクトルの強度が高くなる場合もありえる。
【０１４６】
即ち、被写体の目的事象と撮影条件との適合性に応じて、スペクトル強度は影響を受ける。本発明では、その影響を受けることにより発現されるスペクトル強度に応じて、第２連関度を更新する。これにより、順次更新されてくる第２連関度を通じて、被写体の目的事象と検出アルゴリズムとの適合性が徐々に向上してくることになる。
【０１４７】
また、上述した実施の形態においてはマルチスペクトルを例にとり説明をしたが、ハイパースペクトルの場合も同様である、図１４中点線で示されているものがハイパースペクトルであるが、これついても縦軸のスペクトル強度に基づいて第２連関度を更新するようにしてもよい。かかる場合には、スペクトル撮像装置４により撮像したハイパースペクトルを取得するようにしてもよい。また撮影装置５により取得したマルチスペクトルをハイパースペクトルに復元し、このハイパースペクトルに基づいて適合性を判断するようにしてもよい。このマルチスペクトルのハイパースペクトルへの復元は、探索装置２等を介して実行し、例えば予め設定した復元アルゴリズムに基づいて行うようにしてもよい。この復元アルゴリズムは、ハイパースペクトルとマルチスペクトルとの間での対応関係からなるテンプレートで構成しておき、必要に応じてこれを読み出し、参照して復元するようにしてもよい。
【０１４８】
このような更新処理を例えば図１７に示すような更新用連関度に基づいて行うようにしてもよい。この更新用連関度は、左側に今回設定した撮影条件と、被写体を撮像することにより得られるスペクトルデータを設定し、ノード７０を挟んで右側に上述した適合性が描かれている。
【０１４９】
このノード７０は、今回設定した撮影条件と、得られるスペクトルデータ（スペクトル強度）との組み合わせで構成される。そしてこのノード７０は、それぞれ出力解としての適合性につながる。更新用連関度も同様に、３段階以上の連関度で構成されることになる。
【０１５０】
このような更新用連関度を予め取得しておく。そして、この更新用連関度を参照し、今回設定した撮影条件と、実際に得られたスペクトル強度に基づいて、出力解としての適合性を探索する。この具体的な探索方法については、上述した第２連関度と同様である。
【０１５１】
ここで今回設定した撮影条件（ホワイトバランス○○）でこれに基づいて被写体を撮像することで得られたスペクトル強度が１０であった場合、ノード７０ｂが当てはまり、このノード７０ｂは、最も更新用連関度が高い適合性が「低い」である。かかる場合には、撮影条件（ホワイトバランス○○）は、取得したスペクトル強度の観点から適合性が低いものと判断する。そして、この図１０に示す第２連関度をより低くなるように再設定する。
【０１５２】
第２連関度を形成する上では、既知の被写体の参照用目的事象と検出アルゴリズムとを入力することで学習させる、いわゆる教師あり学習に限定されるものではなく、教師なし学習に基づいてこれを形成させるようにしてもよい。かかる場合には、得られたデータをクラスタリングすることで分類し、これに基づいて第２連関度を形成するようにしてもよい。
【０１５３】
なお、上述した実施の形態においては、検出したスペクトル強度に基づいて、探索解を探索する例について説明をしたが、スペクトルデータに基づくものであればいかなるファクターに基づいて探索を行うようにしてもよい。
【０１５４】
また、本発明によれば、この図１７に示す今回設定した撮影条件以外の他の撮影条件を入力するようにしてもよい。そして、他の撮影条件と、これに基づいて撮像したスペクトルデータをそれぞれ入力し、探索解を出すようにしてもよい。
【０１５５】
本発明を適用した情報探索システム１は、例えば図１８に示すようなフィードバックループを設けるようにしてもよい。このフィードバックループではスペクトル撮像装置４に接続された位置検出部８１と、この位置検出部８１に接続された地図情報取得部８２とを新たに備えている。この図１８に示すフィードバックループにおいて、図１３に示すフィードバックループと同一の構成要素については、同一の符号を付すことにより以下での説明を省略する。
【０１５６】
位置検出部８１は、人工衛星から送られてくる衛星測位信号に基づいてスペクトル撮像装置４の現時点の位置情報をリアルタイムに取得する。仮にスペクトル撮像装置４が、走行する車両に搭載されているのであれば、その車両が道路上を走行する過程で、この位置検出部８１により衛星測位信号を随時受信することにより、その走行する道路上の各地点における位置情報を取得することができる。位置検出部８１により検出された位置情報は、アルゴリズムデータベース３に送られる。
【０１５７】
地図情報取得部８２は、日本国内の地図、世界各国の地図からなる地図情報を記憶する。ここでいう地図情報は、地図を平面的に記述した二次元マップ、地図を立体的に記述した三次元マップ、道路上の地点で撮影した全周囲パノラマ画像からなるストリートビュー画像で具現化される電子データとして構成される。このような地図情報に基づいてＰＣやスマートフォン、タブレット型端末等を介して地図を画面上に表示することが可能となり、ひいてはアプリケーションを通じてこの表示された地図に対して各種動作を実行することが可能となる。この地図情報保持部８２は、当初の地図情報をインターネット上に掲載されている地図の電子データを取得するようにしてもよいし、他の無料で配布される、或いは市販される地図の電子データを取得するようにしてもよい。地図情報保持部８２により検出された地図情報は、アルゴリズムデータベース３に送られる。
【０１５８】
かかる場合には更新処理を、例えば図１９に示すような更新用連関度に基づいて行うようにしてもよい。この更新用連関度は、左側に今回設定した検出アルゴリズムと、被写体を撮像することにより得られるスペクトルデータに加え、位置検出部８１により検出された位置情報と、地図情報保持部８２により検出された地図情報を設定し、ノード７０を挟んで右側に上述した適合性が描かれている。
【０１５９】
このノード７０は、今回設定した検出アルゴリズムと、得られるスペクトルデータ（スペクトル強度）に加えて、位置情報と地図情報との組み合わせで構成される。そしてこのノード７０は、それぞれ出力解としての適合性につながる。更新用連関度も同様に、３段階以上の連関度で構成されることになる。
【０１６０】
このような更新用連関度を予め取得しておく。そして、この更新用連関度を参照し、今回設定した検出アルゴリズムと、実際に得られたスペクトル強度に基づいて、出力解としての適合性を探索する。この具体的な探索方法については、上述した第１連関度と同様である。
【０１６１】
ここで今回設定した検出アルゴリズム１３７５±１０ｎｍでこれに基づいて被写体を撮像することで得られたスペクトル強度が１５であり、かつ位置情報○○、地図情報××の場合、ノード７０ｂが当てはまり、このノード７０ｂは、最も更新用連関度が高い適合性が「低い」である。かかる場合には、検出アルゴリズム１３７５±１０ｎｍは、取得したスペクトル強度の観点から適合性が低いものと判断する。そして、この図８に示す第１連関度をより低くなるように再設定する。  本発明を適用した情報探索システム１は、例えば図２０に示すようなフィードバックループを設けるようにしてもよい。このフィードバックループではスペクトル撮像装置４に接続された形態検出部８３とを新たに備えている。この図２０に示すフィードバックループにおいて、図１３、１８に示すフィードバックループと同一の構成要素については、同一の符号を付すことにより以下での説明を省略する。
【０１６２】
形態検出部８３は、被写体９を撮像するカメラで構成されている。この形態検出部８３により撮像された被写体９の画像から、この被写体９の形態（形状、模様、色彩、質感等）を識別することが可能となる。形態検出部８３により検出された被写体９の形態情報は、アルゴリズムデータベース３に送られる。この被写体９の形態情報はある方向のみから撮像することで取得した画像のみならず、撮影範囲や撮影方向を異ならせて撮像したものであってもよい。
【０１６３】
かかる場合には更新処理を、例えば図２１に示すような更新用連関度に基づいて行うようにしてもよい。この更新用連関度は、左側に今回設定した検出アルゴリズムと、被写体を撮像することにより得られるスペクトルデータに加え、形態検出部８３により検出された被写体９の形態情報を設定し、ノード７０を挟んで右側に上述した適合性が描かれている。
【０１６４】
このノード７０は、今回設定した検出アルゴリズムと、得られるスペクトルデータ（スペクトル強度）に加えて、形態情報との組み合わせで構成される。そしてこのノード７０は、それぞれ出力解としての適合性につながる。更新用連関度も同様に、３段階以上の連関度で構成されることになる。
【０１６５】
このような更新用連関度を予め取得しておく。そして、この更新用連関度を参照し、今回設定した検出アルゴリズムと、実際に得られたスペクトル強度に基づいて、出力解としての適合性を探索する。この具体的な探索方法については、上述した第１連関度と同様である。
【０１６６】
ここで今回設定した検出アルゴリズム１３７５±１０ｎｍでこれに基づいて被写体を撮像することで得られたスペクトル強度が１５であり、かつ形態情報○○、形態情報××の組み合わせの場合、ノード７０ｂが当てはまり、このノード７０ｂは、最も更新用連関度が高い適合性が「低い」である。かかる場合には、検出アルゴリズム１３７５±１０ｎｍは、取得したスペクトル強度の観点から適合性が低いものと判断する。そして、この図８に示す第１連関度をより低くなるように再設定する。同様に検出アルゴリズム９７０±１０ｎｍで形態情報○○の場合には、ノード７０ｄが当てはあまり、このノード７０ｄは最も更新用連関度が高い適合性が「普通」である。かかる場合には、検出アルゴリズム９７０±１０ｎｍは、取得したスペクトル強度の観点から適合性が低いものと判断する。このように被写体９の形態情報と組み合わせて判断することにより、判断精度を向上させることが可能となる。
【０１６７】
なお、形態情報としては、いわゆる空間特徴情報を含むようにしてもよい。ここでいう空間特徴情報としては、空間位置（配置）、形態（形状、大きさ、模様、テクスチャ、色彩、質感等）を含めたものである。この空間特徴情報は、いわゆるディープラーニング技術において使用される画像上の特徴量を含む概念であり、これを抽出することで空間位置（配置）や形態を識別していくための情報である。この空間特徴情報は、一般的な空間特徴量に加えて、スペクトル毎に抽出されたスペクトル特徴量も含まれるものであってもよい。或いは、この空間特徴情報は、空間特徴量と、このスペクトル特徴量を融合させたもので構成されていてもよい。このスペクトル特徴量は、分光画像に基づいて特徴量を抽出するものであるから、背景の動き等から所望の被写体のみを容易に分離して特徴量を抽出することができ、形態情報の把握を容易に行うことが可能となる。
【０１６８】
ちなみに、この形態情報に加え、上述した位置情報や地図情報も組み合わせて判断するようにしてもよいことは勿論である。
【符号の説明】
【０１６９】
１  情報探索システム
２  探索装置
３  アルゴリズムデータベース
４  スペクトル撮像装置
５  撮影装置
９、１０、１１  被写体
１６  画像
２１  内部バス
２３  表示部
２４  制御部
２５  操作部
２６  通信部
２７  探索部
２８  記憶部
４１  対物レンズ
４２  精密直動ステージ
４３  スリット板
４３ａ  スリット開口部
４４  コリメートレンズ
４５  分散光学素子
４６  結像レンズ
４７  撮像素子
４８  制御部
５１  結像光学系
５２  フィルタ
５３  撮像素子
５４  信号処理部
５６  撮像レンズ
７０  ノード
８１  位置検出部
８２  地図情報保持部
８３  形態検出部
４８１  撮影制御部
４８２  移動制御部
４８３  分光データ作成部
４８４  画像処理部
４８４−１  校正処理部
４８４−２  算出部
４８４−３  色解析画像取得部
【図１】
2019174200.tif 000003
【図２】
2019174200.tif 000004
【図３】
2019174200.tif 000005
【図４】
2019174200.tif 000006
【図５】
2019174200.tif 000007
【図６】
2019174200.tif 000008
【図７】
2019174200.tif 000009
【図８】
2019174200.tif 000010
【図９】
2019174200.tif 000011
【図１０】
2019174200.tif 000012
【図１１】
2019174200.tif 000013
【図１２】
2019174200.tif 000014
【図１３】
2019174200.tif 000015
【図１４】
2019174200.tif 000016
【図１５】
2019174200.tif 000017
【図１６】
2019174200.tif 000018
【図１７】
2019174200.tif 000019
【図１８】
2019174200.tif 000020
【図１９】
2019174200.tif 000021
【図２０】
2019174200.tif 000022
【図２１】
2019174200.tif 000023