(57)【要約】【課題】農作業者の負担を低減し、かつ、収穫作業の効率を落とすことなく、収穫対象の収穫すべきタイミングを精度よく判定する熟度判定装置を提供する。【解決手段】熟度判定装置１００は、複数の第１および第２画素を含む複数の画素を有する画像を取得する撮像装置２００と、複数の第１および第２画素から得られる画素値に基づいて、予め決められた基準値を基準として第１波長帯域の光の強度分布の面積率を求め、面積率に応じて熟度判定情報を生成するように構成された信号処理回路３００と、を備える。第１画素は、第１波長帯域の光を透過させる第１光透過フィルタを有し、第２画素は、第２波長帯域の光を透過させる第２光透過フィルタを有する。第１波長帯域は、青果物からの反射光の強度が熟度に応じて変化する波長帯域であり、第２波長帯域は、青果物からの反射光の強度が熟度に依らず略等しい波長帯域である。【選択図】図１９
2018004646.tif 000002
【特許請求の範囲】
【請求項１】
青果物の熟度を判定する熟度判定装置であって、
１次元または２次元に配列された複数の画素を有し、前記青果物の少なくとも一部を撮像して画像を取得する撮像装置であって、前記複数の画素は、各々が第１波長帯域の光を選択的に透過させる第１光透過フィルタを有する複数の第１画素、および、各々が第２波長帯域の光を選択的に透過させる第２光透過フィルタを有する複数の第２画素を含み、前記第１波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する波長帯域であり、前記第２波長帯域は、前記青果物からの反射光の強度が前記熟度に依らず略等しい波長帯域である、撮像装置と、
前記複数の第１および第２画素から得られる画素値に基づいて、予め決められた基準値を基準として前記第１波長帯域の光の強度分布の面積率を求め、前記面積率に応じて熟度判定情報を生成するように構成された信号処理回路と、
を備える熟度判定装置。
【請求項２】
前記第１波長帯域は、近赤外光の波長帯域である、請求項１に記載の熟度判定装置。
【請求項３】
前記第１波長帯域は、８００ｎｍから９００ｎｍまでの近赤外光の波長帯域である、請求項２に記載の熟度判定装置。
【請求項４】
前記第２波長帯域は、青色の光の波長帯域である、請求項１から３のいずれかに記載の熟度判定装置。
【請求項５】
前記信号処理回路は、
前記複数の第１画素から得られる画素値を、前記複数の第１画素と関連付けられた前記複数の第２画素から得られる画素値で画素毎に除算し、
前記除算対象の画素の中から第１閾値以上または以下の除算値を有する画素の数を算出して、前記複数の第１画素の数に対する算出された前記画素の数の第１比率を求め、
前記第１比率と第２閾値との比較結果に応じて前記熟度判定情報を生成する、請求項１から４のいずれかに記載の熟度判定装置。
【請求項６】
前記複数の画素は、各々が第３波長帯域の光を選択的に透過させる第３光透過フィルタを有する複数の第３画素をさらに含み、前記第３波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する、前記第１波長帯域とは異なる波長帯域であり、
前記信号処理回路は、前記複数の第１、第２および第３画素から得られる画素値に基づいて前記熟度判定情報を生成する、請求項１から４のいずれかに記載の熟度判定装置。
【請求項７】
前記第３波長帯域は、赤色の光の波長帯域である、請求項６に記載の熟度判定装置。
【請求項８】
前記複数の第１、第２および第３画素は、互いに関連付けられている、請求項６または７に記載の熟度判定装置。
【請求項９】
前記信号処理回路は、
前記複数の第１画素から得られる画素値に、前記複数の第３画素から得られる画素値を画素毎に加算して得られる加算値を、前記複数の第２画素から得られる画素値で画素毎に除算し、
除算対象の画素の中から第１閾値以上または以下の除算値を有する画素の数を算出して、前記除算対象の画素の数に対する算出された前記画素の数の第１比率を求め、
前記第１比率と第２閾値との比較結果に応じて前記熟度判定情報を生成する、請求項８に記載の熟度判定装置。
【請求項１０】
前記信号処理回路は、
前記複数の第１画素から得られる画素値から、前記複数の第３画素から得られる画素値を画素毎に減算して得られる減算値を、前記複数の第２画素から得られる画素値で画素毎に除算し、
除算対象の画素の中から第１閾値以上または以下の除算値を有する画素の数を算出して、前記除算対象の画素の数に対する算出された前記画素の数の第１比率を求め、
前記第１比率と第２閾値との比較結果に応じて前記熟度判定情報を生成する、請求項８に記載の熟度判定装置。
【請求項１１】
前記信号処理回路は、
前記複数の第１画素から得られる画素値を、前記複数の第２画素から得られる画素値で画素毎に除算し、
前記除算対象の画素の中から第１閾値以上または以下の除算値を有する画素の数を算出して、前記複数の第１画素の数に対する算出された前記画素の数の第１比率を求め、
前記複数の第３画素から得られる画素値を、前記複数の第２画素から得られる画素値で画素毎に除算し、前記除算対象の画素の中から第２閾値以上または以下の除算値を有する画素の数を算出して、前記複数の第３画素の数に対する算出された前記画素の数の第２比率を求め、
前記第１比率と第３閾値との比較結果、および、前記第２比率と第４閾値との比較結果に応じて前記熟度判定情報を生成する、請求項８に記載の熟度判定装置。
【請求項１２】
前記信号処理回路は、
前記複数の第１画素から得られる画素値を、前記複数の第２画素から得られる画素値で画素毎に除算して取得される第１除算値に対する、前記複数の第３画素から得られる画素値を、前記複数の第２画素から得られる画素値で画素毎に除算して取得される第２除算値の第３比率を算出し、
前記第３比率と第５閾値との比較結果に応じて前記熟度判定情報を生成する、請求項８に記載の熟度判定装置。
【請求項１３】
前記複数の画素は、各々が緑色の光を選択的に透過させる第４光透過フィルタを有する複数の第４画像をさらに含み、前記第２波長帯域は、青色の光の波長帯域であり、前記第３波長帯域は、赤色の光の波長帯域であり、
前記信号処理回路は、前記複数の第２、第３および第４画素から得られる画素値に基づいてカラー画像を生成し、かつ、前記基準値の情報を含み、前記熟度を表す熟度画像を前記熟度判定情報に基づいて生成する、請求項６から１２のいずれかに記載の熟度判定装置。
【請求項１４】
前記熟度判定情報を外部に出力する出力インタフェースをさらに備える、請求項１から１３のいずれかに記載の熟度判定装置。
【請求項１５】
前記熟度判定装置と接続することが可能であり、前記熟度を報知する報知装置を駆動するための駆動信号を前記熟度判定情報に応じて生成する駆動回路をさらに備える、請求項１から１３のいずれかに記載の熟度判定装置。
【請求項１６】
前記熟度を報知する報知装置と、
前記報知装置を駆動するための駆動信号を前記熟度判定情報に応じて生成する駆動回路と、
をさらに備える、請求項１から１２のいずれかに記載の熟度判定装置。
【請求項１７】
前記報知装置は、前記駆動信号に応じて光を発光する光学機器、前記駆動信号に応じて音を出力する音出力器、前記駆動信号に応じて振動する振動機器、および、前記駆動信号に応じて熟度情報を表示する表示装置の少なくとも１つを備える、請求項１５または１６に記載の熟度判定装置。
【請求項１８】
表示装置と、
前記表示装置を駆動するための駆動信号を前記熟度判定情報に応じて生成する駆動回路と、
をさらに備え、
前記表示装置は、前記駆動信号に応じて前記カラー画像に前記熟度画像を重畳して表示する、請求項１３に記載の熟度判定装置。
【請求項１９】
前記信号処理回路は、前記熟度判定情報に基づいて前記青果物の採取の可否を判定する、請求項１から１８のいずれかに記載の熟度判定装置。
【請求項２０】
前記青果物の収穫時において前記青果物からの反射光は、青色の光から近赤外光までの波長帯域の間で、光の波長が長くなるほど強度が大きくなる光学特性を有する、請求項１から１９のいずれかに記載の熟度判定装置。
【請求項２１】
前記青果物は、多数の果実を有する房である、請求項１から２０のいずれかに記載の熟度判定装置。
【請求項２２】
青果物の熟度を判定する方法であって、
前記青果物の少なくとも一部を含む画像を受け取る工程であって、前記画像は、少なくとも第１および第２波長帯域の光の強度分布を含み、前記第１波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する波長帯域であり、前記第２波長帯域は、前記青果物からの反射光の強度が前記熟度に依らず略等しい波長帯域である、工程と、
前記第２波長帯域の光の強度分布を考慮して、前記第１波長帯域の光の強度分布の面積率を予め決められた基準値を基準として求める工程と、
前記面積率に応じて熟度判定情報を生成する工程と、
を包含する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、熟度判定装置および熟度判定方法に関する。
【背景技術】
【０００２】
青果物の収穫対象の経済的価値は、収穫対象に含まれる特定の成分の含有量によって左右される。例えば、パームヤシの房（パーム果実）は、多数（例えば１０００〜３０００個）の果実を有し、それぞれの果実は、果皮（果肉とも呼ばれる。）と、中果皮と、種子（「パーム核」とも呼ばれる。）とを含む。収穫対象がパームヤシの房である場合、果実の中果皮やパーム核に含まれる油の含有量が重要視される。中果皮に含まれる油は一般的に、「パーム油」と呼ばれ、パーム核に含まれる油は一般的に、「パーム核油」と呼ばれる。パームヤシの果実に含まれる油の含有量は、パームヤシの房（具体的には、果実）の完熟度に応じて異なることが知られている。具体的に説明すると、完熟した果実の油の含有率は、未完熟（未熟）、やや未完熟（やや未熟）または過熟の果実の油の含有率よりも高いことが知られている。例えば、完熟時の油の含有率は、未完熟時のそれよりも３倍程度高い。
【０００３】
例えばマレーシアでは、マレーシアパームオイル委員会（ＭＰＯＢ）が果実の完熟度に関するガイドラインを策定している。パームヤシの農場で働く農作業者は現在、そのガイドラインに従って果実の採取の可否を主観的に判断している。上述したように、パームヤシの房の熟度は、油の収穫量に大きく影響する。そのため、農作業者の主観による採取の誤判断が、その収穫量に大きく影響を及ぼし得る。実際に、農作業者が完熟とやや未完熟とを正確に区別して判定することは難しく、これが油の収穫量を低下させる一因となっている。
【０００４】
そこで、被検体（収穫対象）であるパームヤシの房を破壊せずに、つまり非破壊で、近赤外光を利用して様々な特性を測定する測定装置が開発されている。そのような測定装置は、被検体に所定の波長の近赤外光を照射し、被検体からの光の反射率から測定すべき特性を測定する。
【０００５】
特許文献１は、ハイパースペクトルイメージング技術を用いてパームヤシの果実の完熟度を判別するシステムを開示している。また、特許文献１は、近赤外光の波長帯域において、果実の完熟度に応じて反射率が変化する特性を開示している。このシステムでは、収穫されたパームヤシの房をスペクトルカメラで撮像してサンプル画像が取得され、果実の完熟度に応じて反射率が変化する特性に基づいてサンプル画像を解析することでパームヤシの果実の完熟度が判別される。
【０００６】
特許文献２は、近赤外光波長フィルタを通過した光に基づく光電変換素子からの出力を用いて糖度推定式により青果物の糖度を算出する非破壊糖度計を開示している。特許文献３は、近赤外光の二つの特定波長成分の強度比に基づいて青果物の熟度を判定する非破壊測定装置を開示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第２０１２／０７４３７２号
【特許文献２】特開２０００−３５６５９１号公報
【特許文献３】特開平８−１２２２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、収穫対象の経済的価値は、収穫対象に含まれる特定の成分の含有量によって左右される。このため、収穫対象に含まれる特定の成分の含有量が多いタイミングで収穫対象を収穫することが望ましい。例えば、収穫対象がパームヤシの房である場合、パーム油やパーム核油の含有量が多いタイミングで収穫対象を収穫することが望まれる。
【０００９】
しかし、特許文献１に開示されたシステムは屋内用として開発され、屋外で利用されることについて十分に考慮されていない。そのため、システムの規模は大きく、特に、ハイパースペクトルカメラは高価であるので、システムのコストも必然と増大する。また、高温多湿の環境下ではハイパースペクトルカメラの耐久性は決して高いとは言えない。そのため、例えば、パームヤシの房の適した収穫タイミングを判定するために、パームヤシ農園においてハイパースペクトルカメラを用いて木に成るパームヤシの房を撮影し、その場で熟度を判定することは非常に困難であると言える。仮に、ハイパースペクトルカメラを用いてその場で収穫タイミングを判定し、経済的価値の高いパームヤシの房を収穫することができたとする。しかしながら、大規模なシステムによって農作業者の負担が増えて収穫作業全体の効率が低下してしまう。その結果、生産者は、収穫対象物の経済的価値が向上するという恩恵を十分に享受することができなくなる。
【００１０】
本発明は、上記課題を解決するためになされたものであって、農作業者の負担を低減し、かつ、収穫作業の効率を落とすことなく、収穫対象の収穫すべきタイミングを精度よく判定する熟度判定装置および熟度判定方法を提供する。
【課題を解決するための手段】
【００１１】
本発明の実施形態による熟度判定装置は、青果物の熟度を判定する熟度判定装置であって、１次元または２次元に配列された複数の画素を有し、前記青果物の少なくとも一部を撮像して画像を取得する撮像装置であって、前記複数の画素は、各々が第１波長帯域の光を選択的に透過させる第１光透過フィルタを有する複数の第１画素、および、各々が第２波長帯域の光を選択的に透過させる第２光透過フィルタを有する複数の第２画素を含み、前記第１波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する波長帯域であり、前記第２波長帯域は、前記青果物からの反射光の強度が前記熟度に依らず略等しい波長帯域である、撮像装置と、前記複数の第１および第２画素から得られる画素値に基づいて、予め決められた基準値を基準として前記第１波長帯域の光の強度分布の面積率を求め、前記面積率に応じて熟度判定情報を生成するように構成された信号処理回路と、を備える。
【００１２】
ある実施形態において、前記第１波長帯域は、近赤外光の波長帯域であってもよい。
【００１３】
ある実施形態において、前記第１波長帯域は、８００ｎｍから９００ｎｍまでの近赤外光の波長帯域であってもよい。
【００１４】
ある実施形態において、前記第２波長帯域は、青色の光の波長帯域であってもよい。
【００１５】
ある実施形態において、前記信号処理回路は、前記複数の第１画素から得られる画素値を、前記複数の第１画素と関連付けられた前記複数の第２画素から得られる画素値で画素毎に除算し、前記除算対象の画素の中から第１閾値以上または以下の除算値を有する画素の数を算出して、前記複数の第１画素の数に対する算出された前記画素の数の第１比率を求め、前記第１比率と第２閾値との比較結果に応じて前記熟度判定情報を生成してもよい。
【００１６】
ある実施形態において、前記複数の画素は、各々が第３波長帯域の光を選択的に透過させる第３光透過フィルタを有する複数の第３画素をさらに含み、前記第３波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する、前記第１波長帯域とは異なる波長帯域であり、前記信号処理回路は、前記複数の第１、第２および第３画素から得られる画素値に基づいて前記熟度判定情報を生成してもよい。
【００１７】
ある実施形態において、前記第３波長帯域は、赤色の光の波長帯域であってもよい。
【００１８】
ある実施形態において、前記複数の第１、第２および第３画素は、互いに関連付けられていてもよい。
【００１９】
ある実施形態において、前記信号処理回路は、前記複数の第１画素から得られる画素値に、前記複数の第３画素から得られる画素値を画素毎に加算して得られる加算値を、前記複数の第２画素から得られる画素値で画素毎に除算し、除算対象の画素の中から第１閾値以上または以下の除算値を有する画素の数を算出して、前記除算対象の画素の数に対する算出された前記画素の数の第１比率を求め、前記第１比率と第２閾値との比較結果に応じて前記熟度判定情報を生成してもよい。
【００２０】
ある実施形態において、前記信号処理回路は、前記複数の第１画素から得られる画素値から、前記複数の第３画素から得られる画素値を画素毎に減算して得られる減算値を、前記複数の第２画素から得られる画素値で画素毎に除算し、除算対象の画素の中から第１閾値以上または以下の除算値を有する画素の数を算出して、前記除算対象の画素の数に対する算出された前記画素の数の第１比率を求め、前記第１比率と第２閾値との比較結果に応じて前記熟度判定情報を生成してもよい。
【００２１】
ある実施形態において、前記信号処理回路は、前記複数の第１画素から得られる画素値を、前記複数の第２画素から得られる画素値で画素毎に除算し、前記除算対象の画素の中から第１閾値以上または以下の除算値を有する画素の数を算出して、前記複数の第１画素の数に対する算出された前記画素の数の第１比率を求め、かつ、前記複数の第３画素から得られる画素値を、前記複数の第２画素から得られる画素値で画素毎に除算し、前記除算対象の画素の中から第２閾値以上または以下の除算値を有する画素の数を算出して、前記複数の第３画素の数に対する算出された前記画素の数の第２比率を求め、前記第１比率と第３閾値との比較結果、および、前記第２比率と第４閾値との比較結果に応じて前記熟度判定情報を生成してもよい。
【００２２】
ある実施形態において、前記信号処理回路は、前記複数の第１画素から得られる画素値を、前記複数の第２画素から得られる画素値で画素毎に除算して取得される第１除算値に対する、前記複数の第３画素から得られる画素値を、前記複数の第２画素から得られる画素値で画素毎に除算して取得される第２除算値の第３比率を算出し、前記第３比率と第５閾値との比較結果に応じて前記熟度判定情報を生成してもよい。
【００２３】
ある実施形態において、前記複数の画素は、各々が緑色の光を選択的に透過させる第４光透過フィルタを有する複数の第４画像をさらに含み、前記第２波長帯域は、青色の光の波長帯域であり、前記第３波長帯域は、赤色の光の波長帯域であり、前記信号処理回路は、前記複数の第２、第３および第４画素から得られる画素値に基づいてカラー画像を生成し、かつ、前記基準値の情報を含み、前記熟度を表す熟度画像を前記熟度判定情報に基づいて生成してもよい。
【００２４】
ある実施形態において、前記熟度判定装置は、前記熟度判定情報を外部に出力する出力インタフェースをさらに備えていてもよい。
【００２５】
ある実施形態において、前記熟度判定装置は、前記熟度判定装置と接続することが可能であり、前記熟度を報知する報知装置を駆動するための駆動信号を前記熟度判定情報に応じて生成する駆動回路をさらに備えていてもよい。
【００２６】
ある実施形態において、前記熟度判定装置は、前記熟度を報知する報知装置と、前記報知装置を駆動するための駆動信号を前記熟度判定情報に応じて生成する駆動回路と、をさらに備えていてもよい。
【００２７】
ある実施形態において、前記報知装置は、前記駆動信号に応じて光を発光する光学機器、前記駆動信号に応じて音を出力する音出力器、前記駆動信号に応じて振動する振動機器、および、前記駆動信号に応じて熟度情報を表示する表示装置の少なくとも１つを備えていてもよい。
【００２８】
ある実施形態において、前記熟度判定装置は、表示装置と、前記表示装置を駆動するための駆動信号を前記熟度判定情報に応じて生成する駆動回路と、をさらに備え、前記表示装置は、前記駆動信号に応じて前記カラー画像に前記熟度画像を重畳して表示してもよい。
【００２９】
ある実施形態において、前記信号処理回路は、前記熟度判定情報に基づいて前記青果物の採取の可否を判定してもよい。
【００３０】
ある実施形態において、前記青果物の収穫時において前記青果物からの反射光は、青色の光から近赤外光までの波長帯域の間で、光の波長が長くなるほど強度が大きくなる光学特性を有していてもよい。
【００３１】
ある実施形態において、前記青果物は、多数の果実を有する房であってもよい。
【００３２】
本発明の実施形態による方法は、果物の熟度を判定する方法であって、前記青果物の少なくとも一部を含む画像を受け取る工程であって、前記画像は、少なくとも第１および第２波長帯域の光の強度分布を含み、前記第１波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する波長帯域であり、前記第２波長帯域は、前記青果物からの反射光の強度が前記熟度に依らず略等しい波長帯域である、工程と、前記第２波長帯域の光の強度分布を考慮して、前記第１波長帯域の光の強度分布の面積率を予め決められた基準値を基準として求める工程と、前記面積率に応じて熟度判定情報を生成する工程と、を包含する。
【００３３】
ある実施形態において、前記第１波長帯域は、近赤外光の波長帯域であってもよい。
【００３４】
ある実施形態において、前記第１波長帯域は、８００ｎｍから９００ｎｍまでの近赤外光の波長帯域であってもよい。
【００３５】
ある実施形態において、前記第２波長帯域は、青色の光の波長帯域であってもよい。
【００３６】
ある実施形態において、前記面積率を求める工程において、前記第１波長帯域の光の強度分布を示す情報を有し、前記画像に含まれる複数の第１画素の画素値を、前記複数の第１画素と関連付けられた、前記画像に含まれる複数の第２画素であって、前記第２波長帯域の光の強度分布を示す情報を有する複数の第２画素の画素値で画素毎に除算し、前記除算対象の画素の中から第１閾値以上または以下の除算値を有する画素の数を算出して、前記複数の第１画素の数に対する算出された前記画素の数の第１比率を求め、前記熟度判定情報を生成する工程において、前記第１比率と第２閾値との比較結果に応じて前記熟度判定情報を生成してもよい。
【００３７】
ある実施形態において、前記画像を受け取る工程において、第３波長帯域の光の強度分布をさらに含む前記画像を受け取り、前記第３波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する、前記第１波長帯域とは異なる波長帯域であり、前記熟度判定情報を生成する工程において、前記第１、第２および第３波長帯域の光の強度分布に基づいて前記熟度判定情報を生成してもよい。
【００３８】
ある実施形態において、前記第３波長帯域は、赤色の光の波長帯域であってもよい。
【００３９】
ある実施形態において、前記画像は、前記第１、第２および第３波長帯域の光の強度分布を示す情報を有する複数の第１、第２および第３画素をそれぞれ含み、前記複数の第１、第２および第３画素は、互いに関連付けられていてもよい。
【００４０】
ある実施形態において、前記面積率を求める工程において、前記複数の第１画素から得られる画素値に、前記複数の第３画素から得られる画素値を画素毎に加算して得られる加算値を、前記複数の第２画素から得られる画素値で画素毎に除算して、除算対象の画素の中から第１閾値以上または以下の除算値を有する画素の数を算出し、前記除算対象の画素の数に対する算出された前記画素の数の第１比率を求め、前記熟度判定情報を生成する工程において、前記第１比率と第２閾値との比較結果に応じて前記熟度判定情報を生成してもよい。
【００４１】
ある実施形態において、前記面積率を求める工程において、前記複数の第１画素から得られる画素値から、前記複数の第３画素から得られる画素値を画素毎に減算して得られる減算値を、前記複数の第２画素から得られる画素値で画素毎に除算して、除算対象の画素の中から第１閾値以上または以下の除算値を有する画素の数を算出し、前記除算対象の画素の数に対する算出された前記画素の数の第１比率を求め、前記熟度判定情報を生成する工程において、前記第１比率と第２閾値との比較結果に応じて前記熟度判定情報を生成してもよい。
【００４２】
ある実施形態において、前記面積率を求める工程において、前記複数の第１画素から得られる画素値を、前記複数の第２画素から得られる画素値で画素毎に除算し、前記除算対象の画素の中から第１閾値以上または以下の除算値を有する画素の数を算出して、前記複数の第１画素の数に対する算出された前記画素の数の第１比率を求め、かつ、前記複数の第３画素から得られる画素値を、前記複数の第２画素から得られる画素値で画素毎に除算し、前記除算対象の画素の中から第２閾値以上または以下の除算値を有する画素の数を算出して、前記複数の第３画素の数に対する算出された前記画素の数の第２比率を求め、前記熟度判定情報を生成する工程において、前記第１比率と第３閾値との比較結果、および、前記第２比率と第４閾値との比較結果に応じて前記熟度判定情報を生成してもよい。
【００４３】
ある実施形態において、前記面積率を求める工程において、前記複数の第１画素から得られる画素値を、前記複数の第２画素から得られる画素値で画素毎に除算して取得される第１除算値に対する、前記複数の第３画素から得られる画素値を、前記複数の第２画素から得られる画素値で画素毎に除算して取得される第２除算値の第３比率を算出し、前記熟度判定情報を生成する工程において、前記第３比率と第５閾値との比較結果に応じて前記熟度判定情報を生成してもよい。
【００４４】
ある実施形態において、前記画像を受け取る工程において、緑の光の強度分布をさらに含む前記画像を受け取り、前記第２波長帯域は、青色の光の波長帯域であり、前記第３波長帯域は、赤色の光の波長帯域であり、前記方法は、前記複数の第２、第３および第４画素から得られる画素値に基づいてカラー画像を生成し、かつ、前記基準値の情報を含み、前記熟度を表す熟度画像を前記熟度判定情報に基づいて生成する工程をさらに包含してもよい。
【００４５】
ある実施形態において、前記方法は、前記熟度判定情報を外部に出力する工程をさらに包含してもよい。
【００４６】
ある実施形態において、前記方法は、前記熟度を報知する報知装置を駆動するための駆動信号を前記熟度判定情報に応じて生成する工程をさらに包含してもよい。
【００４７】
ある実施形態において、前記報知装置は、前記駆動信号に応じて光を発光する光学機器、前記駆動信号に応じて音を出力する音出力器、前記駆動信号に応じて振動する振動機器、および、前記駆動信号に応じて熟度情報を表示する表示装置の少なくとも１つを備えていてもよい。
【００４８】
ある実施形態において、前記方法は、前記カラー画像に前記熟度画像を重畳して表示装置に表示する工程をさらに包含してもよい。
【００４９】
ある実施形態において、前記方法は、前記青果物の少なくとも一部を撮像して前記画像を取得する工程をさらに包含してもよい。
【００５０】
ある実施形態において、前記画像を取得する工程において、前記青果物の中央付近を撮像して画像を取得してもよい。
【００５１】
ある実施形態において、前記画像を取得する工程において、前記画像を複数回取得してもよい。
【００５２】
ある実施形態において、前記方法は、前記熟度判定情報に基づいて前記青果物の採取の可否を判定する工程をさらに備えていてもよい。
【００５３】
ある実施形態において、前記青果物の収穫時において前記青果物からの反射光は、青色の光から近赤外光までの波長帯域の間で、光の波長が長くなるほど強度が大きくなる光学特性を有していてもよい。
【００５４】
ある実施形態において、前記青果物は、多数の果実を有する房であってもよい。
【００５５】
本発明の実施形態によるコンピュータプログラムは、青果物の熟度を判定する熟度判定装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、前記青果物の少なくとも一部を含む画像を受け取るステップであって、前記画像は、少なくとも第１および第２波長帯域の光の強度分布を含み、前記第１波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する波長帯域であり、前記第２波長帯域は、前記青果物からの反射光の強度が前記熟度に依らず略等しい波長帯域である、ステップと、前記第２波長帯域の光の強度分布を考慮して、前記第１波長帯域の光の強度分布の面積率を予め決められた基準値を基準として求めるステップと、前記面積率に応じて熟度判定情報を生成するステップと、を実行させる。
【発明の効果】
【００５６】
本発明の一実施形態によると、農作業者の負担を低減し、かつ、収穫作業の効率を落とすことなく、収穫対象の収穫すべきタイミングを精度よく判定する熟度判定装置および方法が提供される。
【図面の簡単な説明】
【００５７】
【図１】実施形態１による判定方法を利用できるシステム１０００の一構成例を示すシステム構成図である。
【図２】画素アレイ２２０Ａにおいて２次元に配列された複数の画素２２１のうちの４行４列の画素に着目して、その配列の様子を示す模式図である。
【図３】マイクロレンズ２２２の光軸に平行な、画素２２１の断面を示す模式図である。
【図４】光透過フィルタ２２３の光の透過率特性を示すグラフである。
【図５】画素アレイ２２０Ａにおける他の単位画素の構成を示す模式図である。
【図６】実施形態１による判定方法の例示的な処理手順を示すフローチャートである。
【図７】房Ｆの収穫時において、完熟度に応じて反射光の強度（反射率）が変化する様子を模式的に示すグラフである。
【図８】３種類の完熟度（未熟、やや未熟および完熟）の房Ｆ全体を撮像して得られた画像Ｉ、および、画像Ｉに含まれる画素値ＮＩＲＳを有する画素の中で基準値以上の画素値を有する画素の分布を完熟度毎に示す図である。
【図９Ａ】未熟の房Ｆの画像Ｉおよび画像Ｉにおける複数の第１画素の画素値ＮＩＲＳに基づいてマッピングしたマッピング画像を示す図である。
【図９Ｂ】やや未熟の房Ｆの画像Ｉおよび画像Ｉにおける複数の第１画素の画素値ＮＩＲＳに基づいてマッピングしたマッピング画像を示す図である。
【図９Ｃ】完熟の房Ｆの画像Ｉおよび画像Ｉにおける複数の第１画素の画素値ＮＩＲＳに基づいてマッピングしたマッピング画像を示す図である。
【図１０】未熟、やや未熟および完熟の房Ｆに対する３つのマッピング画像のそれぞれを３つの階層Ｉ、ＩＩおよびＩＩＩに分解して各階層の色マッピング画像を示す図である。
【図１１】実施形態１によるステップＳ２００における具体的な処理手順を詳細に示すフローチャートである。
【図１２Ａ】実施形態１によるステップＳ３００における具体的な処理手順を詳細に示すフローチャートである。
【図１２Ｂ】実施形態１によるステップＳ３００における具体的な他の処理手順を詳細に示すフローチャートである。
【図１３】未熟、やや未熟および完熟の房Ｆに対する３つのマッピング画像のそれぞれを３つの階層Ｉ、ＩＩおよびＩＩＩに分解して各階層の色マッピング画像を示す図である。
【図１４】実施形態２によるステップＳ２００における具体的な処理手順を詳細に示すフローチャートである。
【図１５】未熟、やや未熟および完熟の房Ｆに対する３つのマッピング画像のそれぞれを３つの階層Ｉ、ＩＩおよびＩＩＩに分解して各階層の色マッピング画像を示す図である。
【図１６】実施形態３によるステップＳ２００における具体的な処理手順を詳細に示すフローチャートである。
【図１７】実施形態４によるステップＳ２００における具体的な処理手順を詳細に示すフローチャートである。
【図１８】実施形態５によるステップＳ２００における具体的な処理手順を詳細に示すフローチャートである。
【図１９】熟度判定装置１００のブロック構成を模式的に示すブロック構成図である。
【図２０】信号処理回路３００の機能ブロックを模式的に示すブロック構成図である。
【図２１】実施形態６のバリエーションによる熟度判定装置１００Ａのブロック構成を模式的に示すブロック構成図である。
【図２２】実施形態６の他のバリエーションによる熟度判定装置１００Ｂのブロック構成を模式的に示すブロック構成図である。
【図２３Ａ】青林檎の反射率の波長依存性を例示するグラフである。
【図２３Ｂ】マンゴーの反射率の波長依存性を例示するグラフである。
【発明を実施するための形態】
【００５８】
本願発明者は検討を重ねた結果、下記に示される問題点を見出した。
【００５９】
収穫対象の収穫すべきタイミングを精度よく判定するためには解決すべきさらなる問題点がある。パームヤシは多数の果実を有する房の単位で採取される。１つの房に含まれる果実の熟度には分布があり、これが熟度判定を難しくする１つの要因である。パームヤシのように、採取の単位である房に熟度の異なる多数の果実が含まれていると、房の画像を構成する複数の画素の画素値を単純に平均し、その平均値に基づいて熟度を判定することはできない。また、１つの房は、果実以外に枯れた萼や葉も含み得るので、これも熟度判定を難しくする１つの要因である。房の画像には、果実とは関係のない枯れた萼や葉の情報も含まれ得るので、果実の情報のみに基づいて熟度を判定することは困難である。
【００６０】
本願発明者は、上記の知見に基づいて、パームヤシのように房に、熟度の異なる多数の果実が含まれ、かつ、枯れた萼や葉が含まれる場合であっても、熟度を精度よく判定できる方法を見出し、本発明に至った。
【００６１】
本発明の実施形態による熟度判定装置は、青果物の熟度を判定し、例えば、多数の果実を有するパームヤシの房の熟度を判定する装置として好適に利用される。熟度判定装置は、１次元または２次元に配列された複数の画素を有し、青果物の少なくとも一部を撮像して画像を取得する撮像装置であって、複数の画素は、各々が第１波長帯域の光を選択的に透過させる第１光透過フィルタを有する複数の第１画素、および、各々が第２波長帯域の光を選択的に透過させる第２光透過フィルタを有する複数の第２画素を含み、第１波長帯域は、青果物からの反射光の強度が熟度に応じて変化する波長帯域であり、第２波長帯域は、青果物からの反射光の強度が熟度に依らず略等しい波長帯域である、撮像装置と、複数の第１および第２画素から得られる画素値に基づいて、予め決められた基準値を基準として第１波長帯域の光の強度分布の面積率を求め、面積率に応じて熟度判定情報を生成するように構成された信号処理回路と、を備える。第１波長帯域の光は、典型的に近赤外光であり、第２波長帯域の光は、典型的に青色の光である。この構成によると、太陽光による影響を抑制して青果物の熟度を精度よく判定することができる。
【００６２】
本発明の実施形態による方法は、青果物の熟度を判定する方法であり、例えば、多数の果実を有するパームヤシの房の熟度を判定する方法として好適に利用される。その方法は、青果物の少なくとも一部を含む画像を受け取る工程であって、画像は、少なくとも第１および第２波長帯域の光の強度分布を含み、第１波長帯域は、青果物からの反射光の強度が熟度に応じて変化する波長帯域であり、第２波長帯域は、青果物からの反射光の強度が熟度に依らず略等しい波長帯域である、工程と、第２波長帯域の光の強度分布を考慮して、第１波長帯域の光の強度分布の面積率を予め決められた基準値を基準として求める工程と、面積率に応じて熟度判定情報を生成する工程と、を包含する。第１波長帯域の光は、典型的に近赤外光であり、第２波長帯域の光は、典型的に青色の光である。この方法によると、太陽光による影響を抑制して青果物の熟度を精度よく判定することができる。
【００６３】
本明細書において、青果物としてパームヤシの房を例にその熟度を判定する熟度判定装置および方法を説明する。なお、後述するように、特定の波長帯域において光の反射率が完熟度に応じて変化する青果物、例えば、コーヒーの果実、リンゴおよびマンゴーの熟度を判定することも本願発明の範疇である。
【００６４】
以下、添付の図面を参照しながら、本発明の実施形態による熟度判定装置および熟度の判定方法を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。なお、本発明の実施形態は、以下で例示する熟度判定装置および熟度の判定方法に限られない。例えば、一の実施形態と、他の実施形態とを組み合わせることも可能である。
【００６５】
（実施形態１）
図１から図１２Ｂを参照して、本実施形態による、パームヤシの房Ｆの熟度を判定する方法（以下、「判定方法」と表記する。）を説明する。
【００６６】
〔判定方法が用いられるシステム１０００の構造〕
本実施形態による判定方法が用いられるシステム１０００の一構成例を説明する。なお、本実施形態による判定方法は、システム１０００とは異なる他の装置（またはシステム）にも好適に利用され得る。他の装置（本明細書では「熟度判定装置」と呼ぶ。）の具体例は、後で詳細に説明する。
【００６７】
図１は、本実施形態による判定方法を利用できるシステム１０００の一構成例を示している。システム１０００は典型的に、撮像装置２００、計算装置Ｐおよび報知装置５００を備える。システム１０００において、撮像装置２００はパームヤシの房（以下、単に「房」と表記する）Ｆにおける多数の果実の少なくとも一部を撮像して果実の画像を取得する。このとき、最低３つの果実が画像に含まれていることが好ましい。計算装置Ｐは、画像を解析して房Ｆの熟度を示す熟度判定情報を生成する。例えば、報知装置５００は熟度判定情報に応じて房Ｆが熟している否かを農作業者に報知する。
【００６８】
撮像装置２００は、レンズ２１０およびイメージセンサ２２０を備える。撮像装置２００は、例えばカメラモジュールとして実現され得る。
【００６９】
レンズ（またはレンズ群）２１０は、房Ｆからの光をイメージセンサ２２０の撮像面に集光する。レンズ２１０は単一のレンズであってもよいし、複数のレンズから構成されていてもよい。レンズ２１０は、オートフォーカス（ＡＦ）用のレンズおよび／または光学ズーム用のレンズを含んでいてもよい。ＡＦ用レンズおよび光学ズーム用レンズは専用のドライバ（不図示）によって駆動される。撮像装置２００は、これらのドライバを制御する制御回路（不図示）を備えていてもよい。
【００７０】
イメージセンサ２２０は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサである。イメージセンサ２２０は、１次元または２次元に配列された複数の画素（図２に示される画素アレイ２２０Ａ）を有する。１次元の配列の場合、イメージセンサ２２０は、ラインセンサであり得る。
【００７１】
図２は、画素アレイ２２０Ａにおいて２次元に配列された複数の画素２２１のうちの４行４列の画素に着目して、その配列の様子を示している。図３は、マイクロレンズ２２２の光軸に平行な、画素２２１の断面を模式的に示している。図４は、光透過フィルタ２２３の光の透過率特性を示している。図４のグラフにおいて横軸は光の波長（ｎｍ）を示し、縦軸は光透過フィルタの透過率を示している。
【００７２】
イメージセンサ２２０は、２次元に配列された複数の画素２２１（画素アレイ２２０Ａ）を備える。画素２２１は、マイクロレンズ２２２、光透過フィルタ２２３および光電変換素子２２４を有する。
【００７３】
マイクロレンズ２２２は、光透過フィルタ２２３上に配置され、房Ｆからの光を集光して画素感度を向上させる。光透過フィルタ２２３は、特定の波長帯域の光を選択的に透過させる。例えば、光透過フィルタ２２３は、ＩＲフィルタおよびＲＧＢのカラーフィルタのいずれかである。図４に示されるように、ＩＲフィルタは、近赤外光の波長帯域（例えば８００ｎｍ〜２５００ｎｍ）の光を選択的に透過させ、好ましくは８００ｎｍから９００ｎｍまでの波長帯域の光を選択的に透過させる。Ｒフィルタは、赤色の光の波長帯域（例えば、６２０ｎｍ〜７５０ｎｍ）の光を選択的に透過させる。Ｇフィルタは、緑色の光の波長帯域（例えば、５００ｎｍ〜５７０ｎｍ）の光を選択的に透過させる。Ｂフィルタは、青色の光の波長帯域（例えば、４５０ｎｍ〜５００ｎｍ）の光を選択的に透過させる。
【００７４】
光電変換素子２２４は、典型的にはフォトダイオード（ＰＤ）であり、受光した光を電気信号に変換する。ＰＤは、例えばシリコンの半導体基板（不図示）に埋め込まれている。
【００７５】
図２に示されるように、画素アレイ２２０Ａは、２行２列の画素２２１Ａ、２２１Ｂ、２２１Ｃおよび２２１Ｄで構成される単位画素を有する。画素２２１Ａ、２２１Ｂ、２２１Ｃおよび２２１Ｄは、Ｒフィルタ、Ｇフィルタ、ＩＲフィルタおよびＢフィルタをそれぞれ有する。このような配列は、ベイヤー配列に対して奇数または偶数行のＧフィルタをＩＲフィルタで置き換えた配列に対応する。本明細書において、１つの単位画素に含まれる画素２２１Ａ、２２１Ｂ、２２１Ｃおよび２２１Ｄは互いに関連付けられている。後述するように、互いに関連付けられた画素同士（例えば画素２２１Ａ、２２１Ｃ）の画素値を加算、減算または除算することがある。
【００７６】
図５は、画素アレイ２２０Ａにおける他の単位画素の構成を示している。画素アレイ２２０Ａにおいて２次元に配列された複数の画素２２１のうちの８行８列の画素に着目して、その配列の様子が示されている。画素アレイ２２０Ａは、４行４列の画素２２１で構成される単位画素を有していてもよい。この例では、単位画素において、Ｇフィルタの数が最も少なく、ＩＲフィルタの数が最も多い。その理由は、本実施形態による判定方法において、ＩＲフィルタを含む画素２２１Ｃから得られる画素値が最も重視され、Ｇフィルタを含む画素２１１Ｂから得られる画素値は特に利用されないためである。
【００７７】
上述した画素アレイ２２０Ａの単位画素のパターン以外に、種々のパターンを選択することができる。例えば、単位画素は、複数のフィルタのうちのＩＲフィルタおよびＢフィルタだけを含んでいてもよい。また、単位画素に含まれる各フィルタの数も任意であり得る。
【００７８】
後で詳細に説明するが、例えば房Ｆからの第１波長帯域の光の反射率（反射光の強度）は完熟度に応じて変化する。第１波長帯域は、例えば近赤外光の波長帯域である。また、第２波長帯域の光の反射率は熟度に依らず殆ど変化しない。第２波長帯域は、例えば青色の光の波長帯域である。そのような特性を示す青果物の完熟度を求める場合、単位画素は少なくともＩＲフィルタおよびＢフィルタを含んでいればよい。例えば図２に示される単位画素の２つはＩＲフィルタであって、他の２つはＢフィルタであってもよく、その場合においても本実施形態による判定方法は実施可能である。ただし、後述するようにカラー画像を生成する観点において、単位画素はＲＧＢフィルタを含んでいることが好ましい。
【００７９】
本明細書における「画素値」は、例えば８ビットの階調値であり、主としてＲＡＷデータを意味する。撮像装置２００はＲＡＷデータを少なくとも出力する。ただし、撮像装置２００は、輝度／色差信号をＲＡＷデータに基づいて生成し、それらを出力する機能を備えていてもよい。
【００８０】
計算装置Ｐは、撮像装置２００から出力される画素値を処理して熟度判定情報を生成する信号処理回路（不図示）を備える。例えば計算装置Ｐは、ラップトップなどのパーソナルコンピュータ（ＰＣ）である。例えば、計算装置Ｐと撮像装置２００との間のデータの送受信は無線通信によって行うことができる。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に準拠した無線通信を行うことができる。当然、計算装置Ｐと撮像装置２００とは、例えばＵＳＢケーブルなどを用いて有線によって接続されていてもよい。計算装置Ｐは、報知装置５００を駆動するための駆動信号を熟度判定情報に応じて生成する駆動回路（不図示）をさらに備えていてもよい。また、このような機能の全てまたは一部は、報知装置５００に実装されていてもよい。
【００８１】
計算装置Ｐは、画像処理で一般に用いられる、例えばガンマ補正、色補間処理、空間補間処理、およびオートホワイトバランスなどの処理を行う機能を有していてもよい。
【００８２】
報知装置５００は、房Ｆの熟度または採取の可否を農作業者に報知する。報知装置５００は、計算装置Ｐと有線または無線によって接続される。報知装置５００は、駆動信号に応じて光を発光する光学機器、駆動信号に応じて音を出力する音出力器、駆動信号に応じて振動する振動機器、および、駆動信号に応じて熟度情報を表示する表示装置の少なくとも１つを備える。光学機器は、例えばＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ランプである。音出力器は、例えばスピーカである。振動機器は、例えばバイブレータである。表示装置は、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。
【００８３】
〔判定方法の処理手順〕
図６は、本実施形態による判定方法の例示的な処理手順を示している。以下、システム１０００を用いて、図６に示される処理手順に従って房Ｆの熟度を判定する方法を説明する。なお、各ステップを実行する動作主体は主に計算装置Ｐであり、具体的には、計算装置Ｐの信号処理回路または駆動回路である。
【００８４】
（ステップＳ１００）
撮像装置２００は、房Ｆの多数の実の全部または一部（好ましくは３つ以上）を撮像して画像Ｉを取得する。なお、撮像装置２００は後述するように、パームヤシ全体を撮像しても構わない。撮像装置２００は、房Ｆの中央付近を撮像して画像Ｉを取得してもよい。また、撮像装置２００は、日当たりの良好な房Ｆの、例えば先端部を撮像して画像Ｉを取得することが好ましい。日光に当たり易い部分の果実から成熟し始めると考えられるためである。
【００８５】
撮像装置２００は、複数回の撮像によって画像を複数回取得してもよい。取得した画像データを積算することでＳＮ比を向上させることができる。取得された画像Ｉは、房Ｆから反射された、近赤外光と青色の光との強度分布を含む。本実施形態においては、画像Ｉは、房Ｆから反射された、近赤外光、赤色の光、緑色の光、および、青色の光の強度分布を含む。換言すると、画像Ｉは、４つの画素２２１Ａ、２２１Ｂ、２２１Ｃおよび２２１Ｄから得られる画素値（画像データ）ＲＥＤＳ、ＧＬＮＳ、ＮＩＲＳおよびＢＬＵＳを含む。なお、本願発明の実施形態において、画像Ｉは、近赤外光と青色の光との強度分布を少なくとも含んでいればよい。
【００８６】
ステップＳ１００において計算装置Ｐは、撮像装置２００から画像Ｉを受け取る。「画像を受け取る」動作は、撮像装置２００による撮像によって画像Ｉをリアルタイムで取得することを含む。これに限られず、例えば計算装置Ｐは、外部接続されるハードディスクＨＤなどの記録媒体に一旦保存された画像Ｉを読み出すことにより画像Ｉを事後的に取得することもできる。このような動作も「画像を受け取る」動作に含まれ得る。
【００８７】
図７は、房Ｆの収穫時において、完熟度に応じて反射光の強度（反射率）が変化する様子を模式的に示している。横軸は光の波長（ｎｍ）を示し、縦軸は反射率を示している。一般に、イメージセンサ２２０（例えばシリコンを用いたイメージセンサ）は、光の波長に依存する感度特性を有する。この感度特性を考慮した反射率の測定において、標準白色板を用いてイメージセンサ２２０から出力される画素値を規格化することが一般に行われる。標準白色板は、角度に依存しない拡散反射光を生成する、反射率の高い拡散反射板である。図７の縦軸の反射率は、標準白色板を用いて測定したときの反射率に対する、房Ｆからの反射率の比率を示している。
【００８８】
完熟度を、例えば「完熟」、「やや未熟」および「未熟」の３種類に分類することができる。当然に、より詳細に完熟度を分類してもよい。例えば、「過熟」という種類を追加してもよいし、「完熟」と「やや未熟」との間に新たな完熟の程度（例えば「やや完熟」）をさらに設けてもよい。パームヤシの房Ｆの収穫時において房Ｆからの反射光は、青色の光から近赤外光までの波長帯域の間で、光の波長が長くなるほど強度が大きくなる反射率特性を有する。特に、可視光である赤色の光の波長帯域において、房Ｆが完熟するほど反射率は高くなる反射率特性が示され、かつ、イメージセンサ２２０の感度特性に応じて受光され得る反射光の極大波長が存在する近赤外光の波長帯域においても、房Ｆが完熟するほど反射率は高くなる反射率特性が示される。このように、特に赤色の光から近赤外光までの波長帯域では、完熟度に応じて固有の曲線が描かれる。また、注目すべき点は、青色の光の波長帯域において、房Ｆからの反射光の強度は熟度に依らず略等しいことである。換言すると、熟度に応じた反射率の変化は殆ど見られない。後で詳細に説明するように、これらの特性に基づいて反射率に対する適切な閾値をそれぞれの波長帯域で設定し、反射率と閾値とを比較することで完熟度を判定することが可能となる。
【００８９】
本発明の実施形態によると、少なくとも近赤外光および青色の光の強度分布を含む画像Ｉを解析することにより、完熟度を判定することが可能となる。本実施形態では、画素値ＮＩＲＳ、ＢＬＵＳに基づいて完熟度を判定する。そのため、例えば図２に示される２行２列の単位画素は、ＩＲフィルタを含む画素２２１ＣおよびＢフィルタを含む画素２２１Ｄを少なくとも含む。２行２列の単位画素は、例えば、２つの画素２２１Ｃおよび２つの画素２２１Ｄを含み得る。後で詳細に説明するように、画素値ＲＥＤＳをさらに用いて画像Ｉを解析することも可能である。これにより、完熟度をより精度よく判定することができる。その場合、画像Ｉは、少なくとも近赤外光、赤色の光および青色の光の強度分布を含んでいる。
【００９０】
（ステップＳ２００）
計算装置Ｐは、受け取った画像Ｉにおける近赤外光の強度分布の面積率を、青色の光の強度分布を考慮して算出する。画像Ｉは、近赤外光の強度分布を示す情報を有する複数の第１画素（または画素データ）、青色の光の強度分布を示す情報を有する複数の第２画素、赤色の光の強度分布を示す情報を有する複数の第３画素、および緑色の光の強度分布を示す情報を有する複数の第４画素を含む。なお、上述したとおり、画像Ｉは、複数の第１および第２画素を少なくとも含んでいればよい。
【００９１】
図８は、３種類の完熟度（未熟、やや未熟および完熟）の房Ｆ全体を撮像して得られた画像Ｉ、および、画像Ｉに含まれる画素値ＮＩＲＳを有する画素の中で基準値以上の画素値を有する画素の分布を完熟度毎に示している。本実施形態において、画素値は例えば８ビット（０から２５５までの値）で表される。基準値は、例えば「８０」とすることができる。本明細書において、画素値は「階調値」とも称される。
【００９２】
房Ｆ全体を含む画像Ｉ中の画素値の全部を単純に平均すると、その平均値は、画像Ｉに含まれ得る、背景や果実の間の影などの影響を受けて変動し得る。本実施形態による判別方法では、予め決められた基準値を基準とし、かつ、青色の光の強度分布を考慮して、近赤外光の強度分布の面積率を求める。図８には、画像Ｉに含まれる、画素値ＮＩＲＳを有する画素の中で例えば８０以上の画素値を有する画素が画像Ｉの中でどのように分布しているかを完熟度毎に示している。房Ｆが完熟するに従って、その画素分布の密度は変化し高くなる。これは、基準値を基準とした画素分布に基づいて熟度判定情報を取得できることを示している。ただし、画素分布は背景の情報などを依然として含んでいる。
【００９３】
図９Ａ（ａ）は、未熟の房Ｆ全体を含む画像を示し、図９Ａ（ｂ）は、（ａ）に示される破線の矩形領域の部分を拡大した画像を示し、図９Ａ（ｃ）は、所定レベルの画素値の範囲内にある画素分布を、（ｂ）の画像Ｉにおける画素値ＮＩＲＳに基づいてマッピングしたマッピング画像を示している。図９Ａ（ｄ）は、所定レベルの画素値の範囲内にある画素分布を、（ｂ）の画像Ｉにおける画素値ＮＩＲＳを画素値ＢＬＵＳで除算した除算値に基づいてマッピングしたマッピング画像を示している。
【００９４】
図９Ｂ（ａ）は、やや未熟の房Ｆ全体を含む画像を示し、図９Ｂ（ｂ）は、（ａ）に示される破線の矩形領域の部分を拡大した画像Ｉを示し、図９Ｂ（ｃ）は、所定レベルの画素値の範囲内にある画素分布を、（ｂ）の画像Ｉにおける画素値ＮＩＲＳに基づいてマッピングしたマッピング画像を示している。図９Ｂ（ｄ）は、所定レベルの画素値の範囲内にある画素分布を、（ｂ）の画像Ｉにおける画素値ＮＩＲＳを画素値ＢＬＵＳで除算した除算値に基づいてマッピングしたマッピング画像を示している。
【００９５】
図９Ｃ（ａ）は、完熟の房Ｆ全体を含む画像を示し、図９Ｃ（ｂ）は、（ａ）に示される破線の矩形領域の部分を拡大した画像Ｉを示し、図９Ｃ（ｃ）は、所定レベルの画素値の範囲内にある画素分布を、（ｂ）の画像Ｉにおける画素値ＮＩＲＳに基づいてマッピングしたマッピング画像を示している。図９Ｃ（ｄ）は、所定レベルの画素値の範囲内にある画素分布を、（ｂ）の画像Ｉにおける画素値ＮＩＲＳを画素値ＢＬＵＳで除算した除算値に基づいてマッピングしたマッピング画像を示している。画素除算とは、単位画素内の互いに関連付けられた画素同士の画素値の一方を他方で除算することを意味する。
【００９６】
例えば、遠方から房Ｆ全体を撮像装置２００によって撮像して、図９Ａ（ａ）に示される画像を取得することを考える。その場合、上述したように画像Ｉには背景や影などの房Ｆとは異なる複雑な情報が含まれる。複雑な情報は、熟度判定に悪影響を及ぼす可能性がある。この影響を抑制するために、例えば、図９Ａ（ａ）に示される破線の矩形領域の部分を拡大してその部分を撮像することが好ましい。その結果、図９Ａ（ｂ）に示される画像Ｉが得られる。その場合、撮像装置２００は、焦点距離が比較的長い挟角レンズを備えていてもよいし、光学ズーム用レンズを備えていてもよい。また、撮像装置２００は当然に電子ズーム機能を備えていてもよい。矩形領域の部分は、最低３つの果実を含んでいることが好ましい。
【００９７】
１つ若しくは複数の房Ｆ、または、パームヤシ全体を含む画像を撮像装置２００によって取得した後で、計算装置Ｐは、トリミングによって房Ｆ全体の画像から破線の矩形領域の部分を切り出してもよい。換言すると、計算装置Ｐは、トリミング機能を用いて、図９Ａ（ｂ）に示される画像Ｉを取得してもよい。例えば、遠方からパームヤシ全体を撮像する場合、上記の複雑な情報を排除しつつ、熟度判定に必要な果実の情報を好適に取得することができる。トリミング対象の画像Ｉも、最低３つの果実を含んでいることが好ましい。
【００９８】
房Ｆまたはパームヤシ全体を撮像するときに、例えば３つの果実を含む房Ｆの部分を画像認識によって自動で特定（識別）することができる。トリミングのときもこれと同様である。画像認識の一例として公知のパターン認識技術を広く用いることができる。予め用意された種別（果実、枝、葉など）に対応するパターンのどれかに被検体がマッチングするかを解析してその種別を判別することができる。パターン認識は、例えば、数学的、幾何学的およびハーモニック形状ディスクリプタを用いる訓練可能なパターン認識システムを用いて行われる。そのシステムにおいて、予め用意された種別の多数のサンプルに接することで習得したナレッジベースを用いて、可能性のある種別を選別するように教育される。訓練セットは、各種別に対して、何千もの基本的種類の画像を含む。成功裏のパターンマッチングは、訓練していない対象物についてのディスクリプタが、訓練済みの対象物のディスクリプタと一致するときに生じる。上述したパターン認識システムは、例えば特開２０１５−０４６１６２号公報に詳しく説明されている。
【００９９】
図９Ａ（ｃ）に示されるマッピング画像は、画像Ｉに含まれる画素値ＮＩＲＳに基づいて生成され、３つの階層Ｉ、ＩＩおよびＩＩＩのマッピング画像を含む。例えば、階層Ｉは、０から２５５の階調値の中の、６０以上７０未満の階調値を有する画素の分布を含み、階層ＩＩは、７０以上８０未満の階調値を有する画素の分布を含み、階層ＩＩＩは、８０以上の階調値を有する画素の分布を含む。図９Ｂ（ｃ）および図９Ｃ（ｃ）に示されるマッピング画像も、上述した３つの階層Ｉ、ＩＩおよびＩＩＩのマッピング画像を含む。
【０１００】
図９Ａ（ｄ）に示されるマッピング画像は、画像Ｉに含まれる画素値ＮＩＲＳを画素値ＢＬＵＳで除算した除算値に基づいて生成され、３つの階層Ｉ、ＩＩおよびＩＩＩのマッピング画像を含む。例えば、階層Ｉは、０から２５５の階調値の中の、６０以上７０未満の階調値を有する画素の分布を含み、階層ＩＩは、７０以上８０未満の階調値を有する画素の分布を含み、階層ＩＩＩは、８０以上の階調値を有する画素の分布を含む。図９Ｂ（ｄ）および図９Ｃ（ｄ）に示されるマッピング画像も、上述した３つの階層Ｉ、ＩＩおよびＩＩＩのマッピング画像を含む。
【０１０１】
例えば、計算装置Ｐは、画素分布を青色でマッピングして階層Ｉの青色マッピング画像を生成し、画素分布を緑色でマッピングして階層ＩＩの緑色マッピング画像を生成し、画素分布を赤色でマッピングして階層ＩＩＩの赤色マッピング画像を生成することができる。計算装置Ｐは、３つの階層Ｉ、ＩＩおよびＩＩＩを重畳することによりマッピング画像を生成する。ただし、計算装置Ｐは、３つの階層Ｉ、ＩＩおよびＩＩＩの全ての色マッピング画像を生成しなくてもよく、１つの閾値（例えば「８０」）に基づいて階層ＩＩＩの色マッピング画像を少なくとも生成すればよい。例えば完熟度の種類の数に応じて階層の枚数は決定され得る。
【０１０２】
本実施形態において計算装置Ｐは、未熟の房Ｆに対して、図９Ａ（ｄ）に示されるマッピング画像を生成する。計算装置Ｐは、やや未熟および完熟の房Ｆに対しても、図９Ｂ（ｄ）および図９Ｃ（ｄ）に示されるマッピング画像をそれぞれ生成する。計算装置Ｐは、これらのマッピング画像を用いて熟度を判定することができる。
【０１０３】
図９Ａ（ｃ）、図９Ｂ（ｃ）および図９Ｃ（ｃ）に示されるマッピング画像によると、房Ｆが熟すにつれて、近赤外光の反射光の強度、つまり、画素値ＮＩＲＳの値が大きくなり、その結果、階層ＩＩＩの画素分布の密度が高くなる。ただし、外乱光（主として太陽光）からの近赤外光の影響を受けるので、やや未熟と完熟との間の、マッピング画像における画素分布の差異があまり見られない。
【０１０４】
上述したとおり、青色の光の反射率は熟度に応じて殆ど変化しないので、太陽光による影響を抑制するための反射光の強度基準として用いることができる。図９Ａ（ｄ）、図９Ｂ（ｄ）および図９Ｃ（ｄ）に示されるマッピング画像を見ると、やや未熟と完熟とのマッピング画像の間で画素分布の十分な差異が容易に確認される。その理由は、画像Ｉにおける画素値ＮＩＲＳを画素値ＢＬＵＳで除算した除算値に基づいてマッピングした結果、太陽光による影響が抑制されたためである。これは、除算値に基づくマッピング画像に対して階調値の閾値を適切に設定することで房Ｆの熟度を精度よく判定できることを示している。
【０１０５】
画像Ｉにおける画素値ＮＩＲＳから画素値ＢＬＵＳを減算した減算値に基づいてマッピング画像を生成することを考える。その場合、太陽光の影響を抑制して房Ｆの熟度を精度よく判定することはできない。例えば、日向と日陰との間で、または、曇天と晴天との間で太陽光スペクトルは大きく変化することが知られている。例えば、曇天時と晴天時とを比較すると、可視光波長域の光の強度は１／３程度に低下し、近赤外光の強度は殆ど変わらないことが知られている。また、晴天時または曇天時において、青色の光の強度は近赤外光の強度よりも数倍程度大きい。換言すると、房Ｆへの青色の入射光の強度は、房Ｆへの近赤外光の入射光の強度よりも数倍程度大きい。一方で、房Ｆからの反射光に着目すると、房Ｆからの近赤外光の反射光の強度は、房Ｆからの青色の反射光の強度よりも数倍大きい。
【０１０６】
少なくとも日向では、外乱光に含まれる青色の光の強度が大きいので、画像Ｉに含まれる画素値ＮＩＲＳから画素値ＢＬＵＳを減算しても、減算値、つまり、減算後の信号において熟度に応じた差分を確認することができなくなる。これに対し、本実施形態のように、画像Ｉに含まれる画素値ＮＩＲＳを画素値ＢＬＵＳで除算すれば、外乱光に含まれる青色の光の強度が大きくても、除算後の信号には熟度に応じた情報を示す信号が残存する。例えば、その信号は信号処理によって増幅され得る。
【０１０７】
図１０は、図９Ａ（ｄ）、図９Ｂ（ｄ）および図９Ｃ（ｄ）に示される３つのマッピング画像のそれぞれを３つの階層Ｉ、ＩＩおよびＩＩＩに分解して各階層の色マッピング画像を示している。図示されるように、階層Ｉの色マッピング画像に着目すると、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、完熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。階層ＩＩの色マッピング画像に着目すると、やや未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。階層ＩＩＩの色マッピング画像に着目すると、完熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。
【０１０８】
画素分布は、各階層における、予め決められた基準値を基準とし、かつ、青色の光の強度分布を考慮した、近赤外光の強度分布の面積率ＡＲに対応する。具体的には、面積率ＡＲは、複数の第１画素の数に対する、除算対象の画素の中から基準値の条件を満たす除算値を有する画素の数の比率である。例えば図２に示される単位画素に対し、互いに関連付けられた画素２２１Ｃ、２２１Ｄの画素値を用いて、除算演算が画素毎に行われる。除算対象の画素の数は典型的には、複数の第１画素の数と一致する。例えば、単位画素において、ＩＲフィルタを有する画素２２１Ｃの数が３であり、Ｂフィルタを有する画素２２１Ｄの数が１である場合、３つの画素２２１Ｃの各々の画素値ＮＩＲＳが画素２２１Ｄの画素値ＢＬＵＳで除算され得る。
【０１０９】
例えば、階層Ｉに対して用いられる、基準値の下限（下限の閾値）は、６０であり、上限（上限の閾値）は７０である。階層ＩＩに対して用いられる、基準値の下限は、７０であり、上限は８０である。階層ＩＩＩに対して用いられる、基準値の下限は８０であり、上限は特に設定されていない。適切な基準値を設けることにより、画素分布の密度、つまり、面積率ＡＲに基づいて房Ｆの完熟度を判定することができる。
【０１１０】
図１１は、本実施形態によるステップＳ２００における具体的な処理手順を詳細に示している。計算装置Ｐは、青色の光の強度分布を考慮して、予め決められた基準値を基準として近赤外光の強度分布の面積率ＡＲを求める。具体的には、ステップＳ２１０において計算装置Ｐは、画像Ｉに含まれる複数の第１画素から得られる画素値ＮＩＲＳを、複数の第１画素と関連付けられた複数の第２画素から得られる画素値ＢＬＵＳで画素毎に除算する。
【０１１１】
熟度判定に対する太陽光による影響は判定（つまり、撮像）毎に時々刻々と変わり得るので、従来、その影響を除去するために標準白色板が必須であった。本実施形態によると、画素値ＮＩＲＳを画素値ＢＬＵＳで除算するので、その結果、太陽光による影響は抑制されて標準白色板は不要である。これにより、熟度判定の処理を簡素化することができる。
【０１１２】
標準白色板のスペクトル特性（分光特性）は、房Ｆからの反射光のスペクトル特性とは異なる。そのため、標準白色板を用いて太陽光による影響を除去する場合、熟度判定結果は、両者の分光特性の違いを判定誤差として含み得る。本実施形態によると、標準白色板を用いる代わりに、画素値ＮＩＲＳを画素値ＢＬＵＳで除算するので、熟度を精度よく判定することができる。
【０１１３】
ステップＳ２２０において計算装置Ｐは、除算対象の画素の中から閾値Ｌ１以上の除算値を有する画素の数Ｎ１を算出する。除算対象の画素の数は典型的には、複数の第１画素の数Ｍ１に一致する。例えば、図１０に示される階層ＩＩＩに対し、閾値Ｌ１として「８０」を設定することができる。演算の結果、画素値「８０」以上の画素値（つまり、除算値）を有する画素の数がＮ１である。なお、ステップＳ２２０において計算装置Ｐは、除算対象の画素の中から閾値Ｌ１以下の除算値を有する画素の数Ｎ１を算出してもよい。
【０１１４】
ステップＳ２３０において計算装置Ｐは、複数の第１画素の数（または除算対象の画素の数）Ｍ１に対する算出された画素の数Ｎ１の比率Ｎ１／Ｍ１を求める。計算装置Ｐは、比率Ｎ１／Ｍ１に基づいて各階層に対応した色マッピング画像を生成することができる。
【０１１５】
再び図６を参照する。
【０１１６】
（ステップＳ３００）
計算装置Ｐは、面積率ＡＲに応じて熟度判定情報を生成する。具体的に説明すると、計算装置Ｐは、比率Ｎ１／Ｍ１と閾値Ｒ１との比較結果に応じて熟度判定情報を生成する。
【０１１７】
図１２Ａは、ステップＳ３００における具体的な処理手順を詳細に示している。先ず、房Ｆの完熟度が「完熟」であるか否かを判定するための手順を説明する。ステップＳ３１０において計算装置Ｐは、階層ＩＩＩを用いて算出された比率Ｎ１／Ｍ１が閾値Ｒ１よりも大きいか否かを判定する。閾値Ｒ１は、設計仕様等により適宜決定され、例えば計算装置Ｐの内部ＲＯＭ（不図示）に予め格納されている。閾値Ｒ１に限らず、本明細書に登場するあらゆる閾値は内部ＲＯＭに格納されているとする。ステップＳ３２０において、比率Ｎ１／Ｍ１が閾値Ｒ１よりも大きい場合、計算装置Ｐは、「完熟」を表す熟度判定情報を生成する。比率Ｎ１／Ｍ１が閾値Ｒ１以下である場合、計算装置Ｐは、例えば「未完熟」を表す熟度判定情報を生成する。例えば、熟度判定情報を１ビットの信号で表し、「０」を「未完熟」に、「１」を「完熟」に割り当てることができる。以上の手順に従うと、房Ｆの完熟度が「完熟」であるか否かを判定した熟度判定情報が得られる。
【０１１８】
例えば、完熟度が「やや未熟」または「未熟」であるか否かをさらに判定することもできる。図１２に示されるように、ステップＳ３１０において比率Ｎ１／Ｍ１が閾値Ｒ１以下であると判定された場合、完熟度は少なくとも「完熟」ではないことが分かる。ステップＳ３３０において計算装置Ｐは、階層ＩＩを用いて比率Ｎ１／Ｍ１を求め、その比率と閾値Ｒ２とを比較する。
【０１１９】
具体的に説明すると、計算装置Ｐは階層ＩＩにおいて、除算対象の画素の中から閾値Ｌ２の下限値以上閾値Ｌ２の上限値未満の範囲にある除算値を有する画素の数Ｎ１を算出する。上述したように、例えば閾値Ｌ２の下限値を「７０」に、閾値Ｌ２の上限値を「８０」に設定することができる。計算装置ＰはステップＳ２３０と同様に、階層ＩＩに対し、複数の第１画素の数Ｍ１に対する算出された画素の数Ｎ１の比率Ｎ１／Ｍ１を求める。
【０１２０】
ステップＳ３３０において計算装置Ｐは、階層ＩＩに対して算出された比率Ｎ１／Ｍ１が閾値Ｒ２よりも大きいか否かを判定する。比率Ｎ１／Ｍ１が閾値Ｒ２よりも大きい場合、ステップＳ３４０において計算装置Ｐは、「やや未熟」を表す熟度判定情報を生成する。比率Ｎ１／Ｍ１が閾値Ｒ２以下である場合、処理はステップＳ３５０に移行する。
【０１２１】
ステップＳ３５０において計算装置Ｐは、階層Ｉに対して比率Ｎ１／Ｍ１を求め、その比率と閾値Ｒ３とを比較する。具体的に説明すると、計算装置Ｐは、階層Ｉに対し、除算対象の画素の中から閾値Ｌ３の下限値以上閾値Ｌ３の上限値未満の範囲にある除算値を有する画素の数Ｎ１を算出する。上述したように、例えば閾値Ｌ３の下限値を「６０」に、閾値Ｌ３の上限値を「７０」に設定することができる。計算装置ＰはステップＳ２３０と同様に、複数の第１画素の数Ｍ１に対する算出された画素の数Ｎ１の比率Ｎ１／Ｍ１を求める。
【０１２２】
ステップＳ３５０において計算装置Ｐは、階層Ｉに対して算出された比率Ｎ１／Ｍ１が閾値Ｒ３よりも大きいか否かを判定する。比率Ｎ１／Ｍ１が閾値Ｒ３よりも大きい場合、ステップＳ３６０において計算装置Ｐは、「未熟」を表す熟度判定情報を生成する。比率Ｎ１／Ｍ１が閾値Ｒ３以下である場合、ステップＳ３７０において計算装置Ｐは、例えば「その他」を表す熟度判定情報を生成する。例えば、熟度判定情報を２ビットの信号で表し、「１１」を「完熟」に、「１０」を「やや未熟」に、「０１」を「未熟」に、「００」を「その他」に割り当てることができる。このように、「完熟」だけでなく「やや未熟」や「未熟」などを示す熟度判定情報も生成することができる。
【０１２３】
図１２Ｂは、ステップＳ３００における具体的な他の処理手順を詳細に示している。図１２Ｂに示されるように、階層ＩＩＩにおいて比率Ｎ１／Ｍ１が閾値Ｒ１よりも大きく、且つ、階層ＩＩにおいて比率Ｎ１／Ｍ１が閾値Ｒ２よりも大きい場合、計算装置Ｐは、「完熟」を表す熟度判定情報を生成してもよい。このように複数の階層を用いて熟度判定情報は生成され得る。
【０１２４】
再び、図６を参照する。
【０１２５】
（ステップＳ４００）
計算装置Ｐは、房Ｆの熟度を例えば農作業者に報知する報知装置５００を駆動するための駆動信号を熟度判定情報に応じて生成する。例えば、報知装置５００はＬＥＤを備えているとする。その場合、熟度判定情報が「完熟」を示すとき、計算装置Ｐは、ＬＥＤを発光させる駆動信号（ＬＥＤをオンにする信号）を生成し、熟度判定情報が「未完熟」を示すとき、計算装置Ｐは、ＬＥＤを発光させる駆動信号を生成しない。また、報知装置５００は、発光色が異なる複数のＬＥＤを備えていてもよい。熟度判定情報が種々の完熟度（例えば「完熟」、「やや未熟」および「未熟」）を含むとき、例えば、計算装置Ｐは、完熟度に応じて複数のＬＥＤのいずれかを発光させる駆動信号を生成すればよい。これにより、農作業者はＬＥＤの発光色に従って房Ｆの熟度を認識することができる。
【０１２６】
例えば、報知装置５００はスピーカを備えているとする。その場合、熟度判定情報が「完熟」を示すとき、計算装置Ｐは、スピーカに音を発生させる駆動信号（スピーカをオンにする信号）を生成し、熟度判定情報が「未完熟」を示すとき、計算装置Ｐは、スピーカに音を発生させる駆動信号を生成しない。また、熟度判定情報が種々の完熟度を含むとき、例えば、計算装置Ｐは完熟度に応じて音の強弱を変更させるようにスピーカを駆動してもよい。
【０１２７】
例えば、報知装置５００はバイブレータを備えているとする。その場合、熟度判定情報が「完熟」を示すとき、計算装置Ｐは、バイブレータを振動させる駆動信号（バイブレータをオンにする信号）を生成し、熟度判定情報が「未完熟」を示すとき、計算装置Ｐは、バイブレータを振動させる駆動信号を生成しない。また、熟度判定情報が種々の完熟度を含むとき、例えば、計算装置Ｐは完熟度に応じて振動の強弱やパターンを変更させるようにバイブレータを駆動してもよい。
【０１２８】
例えば、報知装置５００は液晶ディスプレイを備えているとする。その場合、熟度判定情報が「完熟」を示すとき、計算装置Ｐは、液晶ディスプレイに「完熟」という文字情報を表示させる駆動信号を生成し、熟度判定情報が「未完熟」を示すとき、計算装置Ｐは、液晶ディスプレイに「未完熟」という文字情報を表示させる駆動信号を生成する。例えば、液晶ディスプレイは文字情報の代わりに「○」や「×」といった記号を表示してもよいし、完熟度に応じて表示色を変更してもよい。
【０１２９】
計算装置Ｐは、イメージセンサ２２０のＲＧＢ画素から得られる画素値ＲＥＤＳ、ＧＬＮＳおよびＢＬＵＳに基づいて房Ｆのカラー画像を生成してもよい。また、計算装置Ｐは、基準値の情報を含み、かつ、完熟度を表す熟度画像を熟度判定情報に基づいて生成してもよい。熟度画像は、例えば図９Ａ（ｄ）に示されるマッピング画像である。計算装置Ｐは、カラー画像に熟度画像を重畳して液晶ディスプレイに表示することができる。このとき、計算装置Ｐは、演算で用いる閾値の情報も液晶ディスプレイに表示してもよい。農作業者は、カラー画像およびマッピング画像の間で実際の場所と位置関係とを照合し易くなり、収穫効率が向上する。
【０１３０】
計算装置Ｐはさらに、熟度判定情報に基づいて房Ｆの採取の可否を判定してもよい。例えば、４つの種類「完熟」、「やや完熟」、「やや未熟」および「未熟」の完熟度があるとする。例えば、計算装置Ｐは、熟度判定情報が「完熟」、「やや完熟」を示す場合、採取は「可」であると判定し、熟度判定情報が「やや未熟」、「未熟」を示す場合、採取は「不可」であると判定する。例えば、液晶ディスプレイは、採取が「可」であるか「不可」であるかを示す文字情報を判定情報に従って表示してもよい。このような表示によれば、採取の可否の情報を農作業者に直接伝えることができるので、農作業者をより支援することができる。
【０１３１】
計算装置Ｐは、ステップＳ４００の代わりに、例えば出力ＩＦ（不図示）を介して熟度判定情報を外部に出力してもよい。例えば、報知装置５００が自身を駆動する信号を生成する機能を備えている場合、計算装置Ｐから熟度判定情報を受け取り、熟度判定情報に応じて駆動信号を生成することも可能である。
【０１３２】
本実施形態によれば、完熟度を目視で判断して収穫していた従来と比べて、農作業者の経験の有無に関わらず、パームヤシの収穫時に完熟度の判断のばらつきを小さくすることが可能となる。また、画素値ＮＩＲＳを画素値ＢＬＵＳで除算することにより、標準白色板を用いずに太陽光による影響を抑制して熟度を精度よく判定することができる。収穫作業の効率を落とすことなく、パームヤシの収穫すべきタイミングを精度よく判断することができる。そのため、パームヤシに含まれる油成分の生産量が増大することが期待される。
【０１３３】
（実施形態２）
本実施形態による判定方法において、計算装置Ｐは、ステップＳ１００で第１、第２および第３波長帯域の光の強度分布を含む画像Ｉを受け取り、ステップＳ３００で第１、第２および第３波長帯域の光の強度分布に基づいて熟度判定情報を生成する。換言すると、計算装置Ｐは、複数の第１、第２および第３画素から得られる画素値ＮＩＲＳ、ＢＬＵＳおよびＲＥＤＳに基づいて熟度判定情報を生成する。第３波長帯域は、房Ｆからの反射光の強度が熟度に応じて変化する、第１波長帯域（つまり、近赤外光の波長帯域）とは異なる波長帯域である。第３波長帯域は、例えば可視光である赤色の光の波長帯域である。
【０１３４】
図１３は、図１０と同様に、未熟、やや未熟および完熟の房Ｆに対する３つのマッピング画像のそれぞれを３つの階層Ｉ、ＩＩおよびＩＩＩに分解して各階層の色マッピング画像を示している。熟度判定に用いられる、未熟、やや未熟および完熟の房Ｆの部分は、図９Ａ（ａ）、９Ｂ（ａ）および９Ｃ（ａ）に示される矩形領域の部分である。図示されるマッピング画像は、画像Ｉにおける画素値ＮＩＲＳと画素値ＲＥＤＳとの加算値を画素値ＢＬＵＳで除算した除算値に基づいて生成される。画素加算とは、単位画素内の互いに関連付けられた画素同士の画素値を加算することを意味する。
【０１３５】
図示されるように、階層Ｉの色マッピング画像に着目すると、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、完熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。階層ＩＩの色マッピング画像に着目すると、やや未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。階層ＩＩＩの色マッピング画像に着目すると、完熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。
【０１３６】
図１４は、本実施形態によるステップＳ２００における具体的な処理手順を詳細に示している。ステップＳ２４０において計算装置Ｐは、複数の第１画素から得られる画素値ＮＩＲＳに、複数の第３画素から得られる画素値ＲＥＤＳを画素毎に加算して得られる加算値を、複数の第２画素から得られる画素値ＢＬＵＳで画素毎に除算する。例えば、計算装置Ｐは、図２に示される２行２列の単位画素において、画素２２１Ｃから得られる画素値ＮＩＲＳに、画素２２１Ａから得られる画素値ＲＥＤＳを加算する。計算装置Ｐは、その加算値を画素２２１Ｄから得られる画素値ＢＬＵＳで除算する。
【０１３７】
ステップＳ２５０において計算装置Ｐは、除算対象の画素の中から閾値Ｌ４以上の除算値を有する画素の数Ｎ２を算出する。加算・除算対象の画素の数Ｍ２は典型的には、複数の第１画素の数と一致する。例えば、単位画素において、ＩＲフィルタを有する画素２２１Ｃの数が２であり、Ｂフィルタを有する画素２２１ＤおよびＲフィルタを有する画素２２１Ａの数が、それぞれ１であるとする。その場合、２つの画素２２１Ｃの各々の画素値ＮＩＲＳに画素２２１Ａの画素値ＲＥＤＳが加算されて、その各加算値が画素２２１Ｄの画素値ＢＬＵＳで除算され得る。なお、ステップＳ２５０において計算装置Ｐは、除算対象の画素の中から閾値Ｌ４以下の除算値を有する画素の数Ｎ２を算出してもよい。
【０１３８】
ステップＳ２６０において計算装置Ｐは、除算対象の画素の数Ｍ２に対する算出された画素の数Ｎ２の比率Ｎ２／Ｍ２を求める。
【０１３９】
画素分布は比率Ｎ２／Ｍ２で表され、各階層における、予め決められた基準値を基準とし、かつ、青色の光の強度分布を考慮した、近赤外光および赤色の光の強度分布の和の面積率ＡＲに対応する。例えば、階層Ｉに対して用いられる、基準値の下限（下限の閾値）は、９０であり、上限（上限の閾値）は１００である。階層ＩＩに対して用いられる、基準値の下限は、１００であり、上限は１１０である。階層ＩＩＩに対して用いられる、基準値の下限は１１０であり、上限は特に設定されていない。
【０１４０】
次に、計算装置は、例えば図１２Ａに示される処理手順に従い、各階層に対する比率Ｎ２／Ｍ２と閾値Ｒ４との比較結果に応じて熟度判定情報を生成する。具体的に説明すると、ステップＳ３１０と同様に、計算装置Ｐは階層ＩＩＩを用いて、比率Ｎ２／Ｍ２と閾値Ｒ４との大小関係を比較する。比率Ｎ２／Ｍ２が閾値Ｒ４よりも大きい場合、ステップＳ３２０と同様に、計算装置Ｐは、「完熟」を示す熟度判定情報を生成する。
【０１４１】
本実施形態によると、画素値ＮＩＲＳと画素値ＲＥＤＳとの加算値を画素値ＢＬＵＳで除算することにより、完熟度の判定の精度をより向上させることができる。
【０１４２】
（実施形態３）
本実施形態による判定方法は実施形態２とは異なり、画素値ＮＩＲＳから画素値ＲＥＤＳを減算した減算値に基づいて熟度判定情報を生成する。画素減算とは、単位画素内の互いに関連付けられた画素同士の画素値を減算することを意味する。
【０１４３】
例えば、房Ｆからの反射光は、果実で反射された反射光に加えて、果実を覆う枯れた萼および葉で反射された反射光を含んでいる。枯れた萼および葉には葉緑素の主成分クロロフィルが少ないので、それらに対して、赤色の光から近赤外光までの波長帯域にわたって概ね一様な反射率特性が得られる。一方、図７に示されるように、房Ｆの果実からの反射光は、赤色の光から近赤外光までの波長帯域の間で反射率が特に高くなる反射率特性を有する。撮像装置２００で撮像して得られた画像Ｉは、枯れた萼および葉を含み得る。そのため、実施形態１および２による判定方法に用いられる画像Ｉは枯れた萼および葉に起因した複雑な情報を含み得る。そこで、本実施形態では、枯れた萼や葉と房Ｆの果実との、上述した反射率特性の違いに着眼し、画素値ＮＩＲＳにより構成される像Ａと、画素値ＲＥＤＳにより構成される像Ｂとの差分をとる。像Ａは、枯れた萼や葉および果実を含み、像Ｂは主に、枯れた萼および葉を含む。像ＡとＢとの差分を取ることによって、主として果実に起因した情報を選択的に取得することが可能となる。
【０１４４】
本実施形態による判定方法において、計算装置Ｐは、ステップＳ１００で第１、第２および第３波長帯域の光の強度分布を含む画像Ｉを受け取り、ステップＳ３００で第１、第２および第３波長帯域の光の強度分布に基づいて熟度判定情報を生成する。換言すると、計算装置Ｐは、複数の第１、第２および第３画素から得られる画素値ＮＩＲＳ、ＢＬＵＳおよびＲＥＤＳに基づいて熟度判定情報を生成する。
【０１４５】
図１５は、図１０と同様に、未熟、やや未熟および完熟の房Ｆに対する３つのマッピング画像のそれぞれを３つの階層Ｉ、ＩＩおよびＩＩＩに分解して各階層の色マッピング画像を示している。熟度判定に用いられる、未熟、やや未熟および完熟の房Ｆの部分は、図９Ａ（ａ）、９Ｂ（ａ）および９Ｃ（ａ）に示される矩形領域の部分である。図示されるマッピング画像は、画像Ｉにおける画素値ＮＩＲＳから画素値ＲＥＤＳを減算した減算値を画素値ＢＬＵＳで除算した除算値に基づいて生成される。
【０１４６】
図示されるように、階層Ｉの色マッピング画像に着目すると、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、完熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。階層ＩＩの色マッピング画像に着目すると、やや未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。階層ＩＩＩの色マッピング画像に着目すると、完熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。
【０１４７】
図１６は、本実施形態によるステップＳ２００における具体的な処理手順を詳細に示している。ステップＳ２７０において計算装置Ｐは、複数の第１画素から得られる画素値ＮＩＲＳから、複数の第３画素から得られる画素値ＲＥＤＳを画素毎に減算して得られる減算値を、複数の第２画素から得られる画素値ＢＬＵＳで画素毎に除算する。例えば、計算装置Ｐは、図２に示される２行２列の単位画素において、画素２２１Ｃから得られる画素値ＮＩＲＳから、画素２２１Ａから得られる画素値ＲＥＤＳを減算する。計算装置Ｐは、その減算値を画素２２１Ｄから得られる画素値ＢＬＵＳで除算する。
【０１４８】
ステップＳ２８０において計算装置Ｐは、除算対象の画素の中から閾値Ｌ５以上の除算値を有する画素の数Ｎ３を算出する。減算・除算対象の画素の数Ｍ３は典型的には、複数の第１画素の数と一致する。例えば、単位画素において、ＩＲフィルタを有する画素２２１Ｃの数が２であり、Ｂフィルタを有する画素２２１ＤおよびＲフィルタを有する画素２２１Ａの数が、それぞれ１であるとする。その場合、２つの画素２２１Ｃの各々の画素値ＮＩＲＳから画素２２１Ａの画素値ＲＥＤＳが減算されて、その各減算値が画素２２１Ｄの画素値ＢＬＵＳで除算され得る。なお、ステップＳ２８０において計算装置Ｐは、除算対象の画素の中から閾値Ｌ５以下の除算値を有する画素の数Ｎ３を算出してもよい。
【０１４９】
ステップＳ２９０において計算装置Ｐは、除算対象の画素の数Ｍ３に対する算出された画素の数Ｎ３の比率Ｎ３／Ｍ３を求める。
【０１５０】
画素分布は比率Ｎ３／Ｍ３で表され、各階層における、予め決められた基準値を基準とし、かつ、青色の光の強度分布を考慮した、近赤外光および赤色の光の強度分布の差分の面積率ＡＲに対応する。例えば、階層Ｉに対して用いられる、基準値の下限（下限の閾値）は、４０であり、上限（上限の閾値）は５０である。階層ＩＩに対して用いられる、基準値の下限は、５０であり、上限は６０である。階層ＩＩＩに対して用いられる、基準値の下限は６０であり、上限は特に設定されていない。
【０１５１】
次に、計算装置は、例えば図１２Ａに示される処理手順に従い、各階層に対する比率Ｎ３／Ｍ３と閾値Ｒ５との比較結果に応じて熟度判定情報を生成する。具体的に説明すると、計算装置Ｐは、ステップＳ３１０と同様に、階層ＩＩＩを用いて比率Ｎ３／Ｍ３と閾値Ｒ５との大小関係を比較する。比率Ｎ３／Ｍ３が閾値Ｒ５よりも大きい場合、ステップＳ３２０と同様に計算装置Ｐは、「完熟」を示す熟度判定情報を生成する。
【０１５２】
本実施形態によると、画素値ＮＩＲＳから画素値ＲＥＤＳを差し引いた情報を用いることにより、画像Ｉに含まれ得る複雑な情報を抑制しつつ、より精度よく完熟度を判定できる判定方法が提供される。
【０１５３】
（実施形態４）
本実施形態による計算装置Ｐは、複数の第３画素について、除算対象の画素の中から閾値Ｌ６以上の除算値を有する画素の数Ｎ４を算出する。計算装置Ｐは、複数の第３画素の数Ｍ４に対する算出された画素の数Ｎ４の比率Ｎ４／Ｍ４を求め、比率Ｎ１／Ｍ１と閾値Ｒ１との比較結果、および、比率Ｎ４／Ｍ４と閾値Ｒ６との比較結果に応じて熟度判定情報を生成する。
【０１５４】
図１７は、本実施形態によるステップＳ２００における具体的な処理手順を詳細に示している。
【０１５５】
先ず、計算装置Ｐは、画像Ｉにおける画素値ＮＩＲＳを画素値ＢＬＵＳで除算した除算値に基づいて階層ＩＩＩの色マッピング画像を生成する。具体的には、図１１に示されるステップＳ２１０からＳ２３０において計算装置Ｐは、画素値ＮＩＲＳを画素値ＢＬＵＳで画素毎に除算し、除算対象の画素の中から閾値Ｌ１以上の除算値を有する画素の数Ｎ１を算出して、複数の第１画素の数Ｍ１に対する画素の数Ｎ１の比率Ｎ１／Ｍ１を求める。
【０１５６】
次に、計算装置Ｐは、画像Ｉにおける画素値ＲＥＤＳを画素値ＢＬＵＳで除算した除算値に基づいて階層ＩＩＩの色マッピング画像を生成する。具体的には、図１７に示されるステップＳ２１１からＳ２３１において計算装置Ｐは、画素値ＲＥＤＳを画素値ＢＬＵＳで画素毎に除算し、除算対象の画素の中から閾値Ｌ６以上の除算値を有する画素の数Ｎ４を算出して、複数の第３画素の数Ｍ４に対する画素の数Ｎ４の比率Ｎ４／Ｍ４を求める。ここで、除算対象の画素の数は典型的には、複数の第３画素の数Ｍ４に一致する。例えば、図１０に示される階層ＩＩＩに対し、閾値Ｌ６として画素値「８０」を設定することができる。演算の結果、「８０」以上の画素値を有する画素の数がＮ４である。なお、ステップＳ２２１において計算装置Ｐは、除算対象の画素の中から閾値Ｌ６以下の除算値を有する画素の数Ｎ４を算出してもよい。
【０１５７】
次にステップＳ３１０において、計算装置Ｐは、階層ＩＩＩに対し、比率Ｎ１／Ｍ１と閾値Ｒ１との大小関係を比較する。計算装置Ｐはさらに、階層ＩＩＩに対し、比率Ｎ４／Ｍ４と閾値Ｒ６との大小関係を比較する。比率Ｎ１／Ｍ１が閾値Ｒ１よりも大きく、且つ、比率Ｎ４／Ｍ４が閾値Ｒ６よりも大きい場合、計算装置Ｐは、ステップＳ３２０と同様に「完熟」を示す熟度判定情報を生成する。
【０１５８】
本実施形態によれば、房Ｆとその他の物体を選択できない場合、画素値ＮＩＲＳおよび画素値ＲＥＤＳのセンサ条件を個別に設定することで、対象物の選択性を高めることができる。
【０１５９】
（実施形態５）
図１８は、本実施形態によるステップＳ２００における具体的な処理手順を詳細に示している。
【０１６０】
本実施形態による計算装置Ｐは、ステップＳ２１２において、画素値ＮＩＲＳを画素値ＢＬＵＳで画素毎に除算して除算値Ｄ１を取得し、ステップＳ２２２において、画素値ＲＥＤＳを画素値ＢＬＵＳで画素毎に除算して除算値Ｄ２を取得する。計算装置Ｐは、ステップＳ２３２において、除算値Ｄに対する除算値Ｄ２の比率Ｄ２／Ｄ１を求める。計算装置Ｐは、比率Ｄ２／Ｄ１に基づいて各階層に対応した色マッピング画像を生成することができる。
【０１６１】
次にステップＳ３１０において、計算装置Ｐは、階層ＩＩＩに対し、比率Ｄ２／Ｄ１と閾値Ｒ７との大小関係を比較する。比率Ｄ２／Ｄ１が閾値Ｒ７よりも大きい場合、計算装置Ｐは、ステップＳ３２０と同様に「完熟」を示す熟度判定情報を生成する。
【０１６２】
本実施形態によれば、画素値ＮＩＲＳに対する画素値ＲＥＤＳの変化量を求めることができ、その変化量に基づいて熟度を細かく分類できる。その結果、細分化された熟度を可視化することが可能となる。
【０１６３】
（実施形態６）
図１９から図２２を参照しながら、本実施形態による熟度判定装置１００の構成を主として説明する。熟度判定装置１００は、例えば実施形態１から５で説明した判定方法の処理手順に従って動作することができる。
【０１６４】
図１９は、熟度判定装置１００のブロック構成を模式的に示している。熟度判定装置１００は典型的に、コントローラＣ、撮像装置２００、信号処理回路３００および駆動回路４００を備える。熟度判定装置１００は、報知装置５００と有線または無線で接続することが可能である。例えば、熟度判定装置１００は、ＵＳＢインタフェース（不図示）を備えていてもよく、ＵＳＢケーブルを介して報知装置５００に接続され得る。
【０１６５】
コントローラＣは、半導体集積回路（ＬＳＩ）であり、例えば汎用プロセッサであり得る。コントローラＣは、撮像装置２００、信号処理回路３００および駆動回路４００のそれぞれに電気的に接続され、熟度判定装置１００全体を制御する。
【０１６６】
撮像装置２００の構造は上述したとおりである。図２に示されるように、撮像装置２００は、１次元または２次元に配列された複数の画素２２１を有し、房Ｆの少なくとも一部を撮像して画像Ｉを取得する。なお、画素アレイ２２０Ａは、図２に示される形状に限られず、例えば図５に示されるような形状であっても当然構わない。
【０１６７】
図２０は、信号処理回路３００の機能ブロックを模式的に示している。信号処理回路３００の各構成要素は、ハードウェア単位ではなく機能ブロック単位で示されている。
【０１６８】
信号処理回路３００は、半導体集積回路であり、例えばイメージシグナルプロセッサ（ＩＳＰ）である。実施形態１で説明した計算装置Ｐの信号処理回路は、信号処理回路３００に対応する構成要素である。信号処理回路３００は、面積率演算部３１０、熟度判定情報生成部３２０、駆動信号生成部３３０、記録媒体３４０および中央演算処理装置（ＣＰＵ）３５０を備える。例えば、記録媒体３４０は、読み出し専用または書き込み可能なＲＯＭ、ＲＡＭおよびハードディスクである。面積率演算部３１０、熟度判定情報生成部３２０および駆動信号生成部３３０は、例えば、ＣＰＵ３５０、ＲＡＭ（不図示）、ＲＡＭにロードされたコンピュータプログラム、そのコンピュータプログラムを格納するＲＯＭ（記録媒体３４０に相当）、および、ネットワーク接続用のインタフェースを用いてハードウェアとソフトウェアとの任意の組合せによって実現され得る。
【０１６９】
信号処理回路３００は、ハードウェアおよび／またはソフトウェアによって構成され、実施形態１から５において説明した判定方法の処理手順に従って動作するように構成される。例えば、図６、図１１および図１２Ａ、Ｂに示される処理手順の動作主体を、計算装置Ｐ（具体的には信号処理回路）から信号処理回路３００に置き換えることによって信号処理回路３００の具体的な動作が実現される。そのような処理手順を含む命令群から構成されるコンピュータプログラムは、例えばＲＯＭ３４０に格納されている。本実施形態において、信号処理回路３００の動作の説明は省略することとする。
【０１７０】
信号処理回路３００は、計算装置Ｐと同様に、イメージセンサ２２０のＲＧＢ画素から得られる画素値ＲＥＤＳ、ＧＬＮＳおよびＢＬＵＳに基づいて房Ｆのカラー画像Ｉを生成してもよい。また、信号処理回路３００は、基準値の情報を含み、かつ、完熟度を表す熟度画像を熟度判定情報に基づいて生成してもよい。信号処理回路３００は、カラー画像に熟度画像を重畳して報知装置５００（例えば液晶ディスプレイ）に表示するための重畳画像を生成してもよい。信号処理回路３００はさらに、熟度判定情報に基づいて房Ｆの採取の可否を判定してもよい。
【０１７１】
駆動回路４００は、ハードウェアおよび／またはソフトウェアによって構成され得る。駆動回路４００は、例えば半導体集積回路である。駆動回路４００は、図６に示される処理手順のステップＳ４００において、熟度判定情報または採取の可否の判定情報に応じて駆動信号を生成する。駆動信号の生成例は、実施形態１で詳細に説明したとおりである。
【０１７２】
熟度判定装置１００の一部は、ＬＳＩとして１チップで実現され得る。信号処理回路３００の各機能ブロックは個別にチップ化してもよいし、その一部または全部を集積してチップ化してもよい。また、半導体集積回路は、例えば特定用途向け集積回路（ＡＳＩＣ）、およびフィールドプログラマブルゲートアレイ（ＦＰＧＡ）であってもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路の技術が出現した場合、当該技術による集積回路を用いることも可能である。
【０１７３】
図２１は、本実施形態のバリエーションによる熟度判定装置１００Ａのブロック構成を模式的に示している。図２２は、本実施形態の他のバリエーションによる熟度判定装置１００Ｂのブロック構成を模式的に示している。
【０１７４】
熟度判定装置１００Ａは、コントローラＣ、撮像装置２００、信号処理回路３００および出力インタフェース（ＩＦ）６００を備える。熟度判定装置１００Ａは、駆動回路４００の代わりに、出力ＩＦ６００を備え、出力ＩＦ６００を介して熟度判定情報を外部に出力してもよい。出力ＩＦ６００は、例えばＵＳＢインタフェースまたはＢｌｕｅｔｏｏｔｈ規格に準拠した無線通信を行うように構成されたインタフェースである。このバリエーションによれば、例えば、報知装置５００が自身を駆動する信号を生成する機能を備えている場合、信号処理回路３００から熟度判定情報を受け取り、熟度判定情報に応じて駆動信号を生成することも可能である。また、熟度判定装置１００Ａに駆動回路を外付けすることも可能である。駆動回路が熟度判定情報を受け取り、熟度判定情報に応じて駆動信号を生成してもよい。
【０１７５】
熟度判定装置１００Ｂは、コントローラＣ、撮像装置２００、信号処理回路３００、駆動回路４００を備え、さらに報知装置５００を備える。このバリエーションによれば、報知装置５００が一体となった熟度判定装置を提供することができる。小型化することで、農作業者に利用し易い装置が提供され得る。
【０１７６】
信号処理回路３００は、実施形態１から５のそれぞれの判定方法に従って動作する複数の動作モードを備えていてもよい。例えば、信号処理回路３００は、イメージセンサ２２０のセンサ感度を切替えるときに、または、センシング結果を絞り込むときに、複数の動作モードの中から最適な動作モードを選択することができる。
【０１７７】
上述した実施形態１から６において、収穫対象物である青果物としてパームヤシの房を例に判定方法を説明した。本願発明による実施形態が対象とする青果物はこれに限られず、近赤外光の反射率が完熟度に応じて異なる反射率特性を有する果実であり得る。そのような果実として、例えば青林檎およびマンゴーが挙げられる。
【０１７８】
図２３Ａは、青林檎の反射率の波長依存性を例示する。図２３Ｂは、マンゴーの反射率の波長依存性を例示する。横軸は光の波長（ｎｍ）を示し、縦軸は反射率（％）を示す。パームヤシの房Ｆと同様に、特に、赤色の光の波長帯域において、果実が完熟するにつれて、反射率は高くなる傾向にあり、かつ、近赤外光の波長帯域においても、果実が完熟するにつれて、反射率は高くなる傾向にあることが理解される。そのため、青林檎やマンゴーに対しても、本発明の実施形態を好適に適用することができ、パームヤシの房Ｆと同様の効果が得られる。本願発明の実施形態による判定対象は、熟度に限られず、収穫時期を知り得る他の指標（例えば、生育度、鮮度、収穫レベルなど）であり得る。
【０１７９】
本願発明の実施形態による判定方法はコンピュータプログラムによって実現され得る。コンピュータプログラムは、上記の実施形態１から５において説明した各種機能を実現するように構成され、例えば計算装置Ｐおよび熟度判定装置１００のＣＰＵ等を制御する。そして、これらの装置により取り扱われる情報は、その処理時に一時的にＲＡＭに蓄積され、その後、各種ＲＯＭやＨＤＤに格納される。ＣＰＵはその情報を必要に応じて読み出し、修正・書き込みを行う。コンピュータプログラムを格納する記録媒体は、例えば、半導体記録媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光記録媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ、ＢＤ等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等であり得る。また、ＣＰＵがコンピュータプログラムをロードして実行することにより、上記の実施形態１から５において説明した各種機能が実現されるだけでなく、そのコンピュータプログラムの指示に従い、オペレーティングシステムまたは他のアプリケーションプログラム等との協働によって、各種の機能が実現されてもよい。
【０１８０】
可搬型の記録媒体にコンピュータプログラムを格納してその内容を市場に流通させることができる。また、インターネット等のネットワークを介して接続されたサーバコンピュータに転送することにより市場に流通させることもできる。この場合、サーバコンピュータが備える記憶装置も本願発明の範疇である。上記の実施形態１から５において説明した各種機能は、コンピュータが読み取り可能な媒体上の一つ以上の命令群またはコードとして格納され、または伝達され得る。コンピュータが読み取り可能な記録媒体は、ある場所から別の場所への、コンピュータプログラムの持ち運びを助ける媒体を含むコミュニケーションメディアやコンピュータ記録メディアの両方を含む。記録媒体は、汎用または特殊用途のコンピュータによってアクセスされることが可能な市販のいずれの媒体であって良い。
【０１８１】
本明細書において、ハードウェアとソフトウェアとの同義性を明瞭に示すために、種々の例示的な要素、ブロック、モジュール、回路、およびステップは、概してその機能性に関して述べられてきた。そのような機能性がハードウェアとして実装されるかソフトウェアとして実装されるかは、個々のアプリケーション、およびシステム全体に課された設計の制約に依存する。当業者は、具体的なアプリケーションに対して、種々の方法で機能を実装し得るが、そのような実装の決定は、この開示の範囲から逸脱するものとして解釈されるべきではない。
【０１８２】
本明細書の開示に関連して述べられた種々の例示的な論理ブロックおよび処理部は、本明細書で述べられた機能を実行するように設計された汎用用途プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ、その他のプログラマブル論理デバイス、ディスクリートゲート若しくはトランジスタロジック、ディスクリートハードウェア部品、またはこれらを組み合わせることによって、実装または実行され得る。汎用用途プロセッサは、マイクロプロセッサであっても良いが、その代わりにプロセッサは従来型のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであっても良い。プロセッサはまた、コンピューティングデバイスを組み合わせて実装されても良い。例えば、プロセッサは、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと接続された一つ以上のマイクロプロセッサ、またはその他のそのような構成を組み合わせることにより実現され得る。
【０１８３】
本明細書の開示に関連して述べられた判定方法またはアルゴリズムのステップは、ハードウェア（特にプロセッサ）によって実行されるソフトウェアモジュール、またはこれら２つを組み合わせることによって直接的に具体化され得る。ソフトウェアモジュールは、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または本分野で既知のあらゆる形態の記録媒体内に存在し得る。典型的な記録媒体は、プロセッサが記録媒体から情報を読み出し可能で、且つ、記録媒体に情報を書き込み可能なように、プロセッサに結合され得る。別の方法では、記録媒体はプロセッサに一体化されても良い。プロセッサおよび記録媒体は、ＡＳＩＣの中にあっても良い。ＡＳＩＣは、熟度判定装置に実施され得る。または、プロセッサおよび記録媒体は、ディスクリート要素として熟度判定装置内にあっても良い。
【０１８４】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【産業上の利用可能性】
【０１８５】
本発明の実施形態による熟度判定法方法および熟度判定装置は、青果物の熟度、特に多数の果実を有する房の熟度を判定する方法および装置に好適に利用される。
【符号の説明】
【０１８６】
１００、１００Ａ、１００Ｂ      ：熟度判定装置
２００      ：撮像装置
２１０      ：レンズ
２１１    ：画素
２２０      ：イメージセンサ
２２０Ａ    ：画素アレイ
２２１      ：画素
２２２      ：マイクロレンズ
２２３      ：光透過フィルタ
２２４      ：光電変換素子
３００      ：信号処理回路
３４０      ：ＲＯＭ
３４０      ：記録媒体
３５０      ：ＣＰＵ
４００      ：駆動回路
５００      ：報知装置
６００        ：出力ＩＦ
１０００    ：システム
Ｐ          ：計算装置
Ｃ          ：コントローラ
Ｆ          ：房
【図１】
2018004646.tif 000003
【図２】
2018004646.tif 000004
【図３】
2018004646.tif 000005
【図４】
2018004646.tif 000006
【図５】
2018004646.tif 000007
【図６】
2018004646.tif 000008
【図７】
2018004646.tif 000009
【図８】
2018004646.tif 000010
【図９Ａ】
2018004646.tif 000011
【図９Ｂ】
2018004646.tif 000012
【図９Ｃ】
2018004646.tif 000013
【図１０】
2018004646.tif 000014
【図１１】
2018004646.tif 000015
【図１２Ａ】
2018004646.tif 000016
【図１２Ｂ】
2018004646.tif 000017
【図１３】
2018004646.tif 000018
【図１４】
2018004646.tif 000019
【図１５】
2018004646.tif 000020
【図１６】
2018004646.tif 000021
【図１７】
2018004646.tif 000022
【図１８】
2018004646.tif 000023
【図１９】
2018004646.tif 000024
【図２０】
2018004646.tif 000025
【図２１】
2018004646.tif 000026
【図２２】
2018004646.tif 000027
【図２３Ａ】
2018004646.tif 000028
【図２３Ｂ】
2018004646.tif 000029