(57)【要約】  診断システム（１００）は、カメラにて撮像された、可視光画像および赤外線画像を取得する取得部（３１０）と、前記可視光画像において、前記カメラにて撮影された動物の所定の部位に対応する領域を特定する第１画像処理部（３２１）と、前記第１特定部にて特定された領域に対応する、前記赤外線画像における領域を特定する第２画像処理部（３２２）と、前記第２画像処理部にて特定された領域の温度に基づいて、前記動物を診断する診断部（３２３）とを有する。
2018025404.tif 000002
【特許請求の範囲】
【請求項１】
カメラにて撮像された、可視光画像および赤外線画像を取得する取得部と、
前記可視光画像において、前記カメラにて撮影された動物の所定の部位に対応する領域を特定する第１画像処理部と、
前記第１画像処理部にて特定された領域に対応する、前記赤外線画像における領域を特定する第２画像処理部と、
前記第２画像処理部にて特定された領域の温度に基づいて、前記動物を診断する診断部と
を有する診断装置。
【請求項２】
前記動物の複数の部位の各々に対応する複数の基準温度を記憶した記憶部をさらに備え、
前記第１画像処理部は、複数の所定の部位の各々に対応する複数の領域を特定し、
前記診断部は、前記第２画像処理部にて特定された複数の領域における温度と各基準温度とを比較する、
請求項１に記載の診断装置。
【請求項３】
前記第１画像処理部は、前記カメラにて撮像された複数の個体をそれぞれ識別し、
前記診断部は個体ごとに診断結果を出力する、
請求項１または２に記載の診断装置。
【請求項４】
前記診断部は、前記複数の個体のうち一の個体について診断を行うに際し、他の個体の温度を用いる、
請求項３に記載の診断装置。
【請求項５】
前記第１画像処理部は、第１の個体と第２の個体との位置関係を特定し、
前記診断部は前記位置関係を用いる、
請求項３に記載の診断装置。
【請求項６】
前記動物の生活環境を示す環境情報を取得する第２取得部を更に有し、
前記診断部は前記環境情報を用いる、
請求項１〜４のいずれか一つに記載の診断装置。
【請求項７】
前記可視光画像および前記赤外線画像は、それぞれ複数の時点において撮像され、
前記診断部は、所定の期間内に撮像された複数の可視光画像および複数の赤外線画像を用いる、
請求項１〜６のいずれか一つに記載の診断装置。
【請求項８】
前記診断部にて出力された診断の結果を表す情報に基づいて生活環境を調整する調整部を更に有する、
請求項１〜７のいずれか一つに記載の診断装置。
【請求項９】
カメラにて撮像された、可視光画像および赤外線画像を取得するステップと、
前記可視光画像において、前記カメラにて撮影された動物の所定の部位に対応する領域を特定するステップと、
前記特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定するステップと、
前記特定された領域の温度に基づいて前記動物を診断するステップと
を有する、動物の診断方法。
【請求項１０】
コンピュータに、
カメラにて撮像された、可視光画像および赤外線画像を取得するステップと、
前記可視光画像において、前記カメラにて撮影された動物の所定の部位に対応する領域を特定するステップと、
前記特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定するステップと、
前記特定された領域の温度に基づいて前記動物を診断するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動物を撮像して診断を行う装置に関する。
【背景技術】
【０００２】
牛などの家畜をサーモグラフィー画像で撮像して各部位の体表温度を測定することにより、その体調を把握するという技術がある（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「赤外線サーモグラフィを用いた健康牛の各部位における体表温度差」  インターネット＜URL：https://www.naro.affrc.go.jp/project/results/laboratory/niah/2013/niah13_s23.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、牛等の動物は、体の部位ごとに温度差が存在し、健康状態を正確に把握するためには、温度を測定すべき対象の各部位の温度を正確に決定することが求められる。しかし、サーモグラフィー画像から牛等の輪郭やおおよその部位を特定することができるが、カメラから被写体までの距離その他の要因によって、各部位の正確な位置を特定することは困難である。結果的に、各部位について測定した温度の精度を向上させることに限界があった。
本発明は、対象の各部位の温度の測定精度を向上させることを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、一の態様において、カメラにて撮像された、可視光画像および赤外線画像を取得する取得部と、前記可視光画像において、前記カメラにて撮影された動物の所定の部位に対応する領域を特定する第１画像処理部と、前記第１画像処理部にて特定された領域に対応する、前記赤外線画像における領域を特定する第２画像処理部と、前記第２画像処理部にて特定された領域の温度に基づいて、前記動物を診断する診断部とを有する診断装置を提供する。
【発明の効果】
【０００６】
本発明によれば、温度の測定対象の各部位について測定の精度が向上する。
【図面の簡単な説明】
【０００７】
【図１】診断システム１００の概要図。
【図２】診断システム１００の機能図。
【図３】情報処理装置３００の機能図。
【図４】取得した画像の例。
【図５】特定した領域の例。
【図６】データベースＤＢ１に記憶される情報の例。
【図７】診断システム１００の動作例。
【符号の説明】
【０００８】
１００・・・診断システム、３００・・・情報処理装置、３１０・・・第１取得部、３２０・・・制御部、３３０・・・記憶部、３４０・・・調整部、３２１・・・第１画像処理部、３２２・・・第２画像処理部、３２３・・・診断部、３５０・・・第２取得部、４００・・・センサ、５００・・・牛、６００・・・環境調整部、２０１・・・可視光カメラ、２０２・・・赤外線カメラ、４００・・・センサ
【発明を実施するための形態】
【０００９】
図１は診断システム１００の概要を示す。診断システム１００は、牛や豚などの家畜を管理する区域に設けられた、可視光カメラ２０１（２０１−１、２０１−２）と、赤外線カメラ２０２（２０２−１、２０２−２）と、センサ４００と、牛５００（牛５００−Ａ、牛５００−Ｂ、牛５００−Ｃ）と、環境調整部６００（６００−１、６００−１）とを含む。
図１における可視光カメラ２０１、赤外線カメラ２０２、センサ４００の位置や個数は、例示に過ぎない。また、同図では、屋外の放牧エリアＧＲで牛を飼育・管理する例を示しているが、屋内で管理する家畜の場合は診断システム１００の全ての構成要素は屋内に設置されてもよいし、一部を屋内（屋外）に設置されてもよい。
各可視光カメラ２０１の詳細な機能は、同一であってもよいし異なっていてもよい。同様に、各環境調整部６００の詳細の機能は同一であってもよいし異なっていてもよい。
【００１０】
センサ４００は、照量、風向、風速、温度、気温、湿度、気圧等の、放牧エリアＧＲの環境についての情報を測定する。
環境調整部６００は、情報処理装置３００の制御の下で動作する、放牧エリアＧＲの環境を変化させる装置で、例えば、送風機などの空調機器や照明装置である。
【００１１】
図２は、診断システム１００の機能図である。診断システム１００は、可視光カメラ２０１と、赤外線カメラ２０２と、情報処理装置３００と、環境調整部６００と、センサ４００と、９００含む。情報処理装置３００は、パーソナルコンピュータ等の汎用の情報処理装置であって、診断システム１００のユーザによって用いられる。
【００１２】
可視光カメラ２０１は、レンズ等の光学系や光検出素子、画像処理プロセッサ等を含み、被写体から光を検出して画像データ（可視光画像データという）を生成する。
赤外線カメラ２０２は、レンズ等の光学系や赤外線を検出素子や画像処理プロセッサ等を含み、撮像素子被写体から発せされる赤外線を感知して赤外線画像データ（サーモグラフィー）を生成する。赤外線画像とは、被写体の部位ごとに温度を色によって表わしたものである。
【００１３】
生成された赤外線画像データおよび可視光画像データは、９００を介して情報処理装置３００に送信される。９００は有線または無線ＬＡＮまたはインターネットである。
また、９００は、センサ４００にて測定されたデータを情報処理装置３００に送信する。また、９００を介し、情報処理装置３００から各環境調整部６００へ制御信号が供給される。制御信号には。例えば、電源のＯＮ／ＯＦＦタイミング、送風量（回転数）が含まれる。
【００１４】
可視光カメラ２０１および赤外線カメラ２０２の少なくともいずれか一方において、レンズの向き、撮影範囲（ズーム）やピント等の制御は、図示せぬ遠隔装置によって診断システム１００の管理者が行ってもよい。具体的には、ユーザは可視光カメラ２０１および赤外線カメラ２０２から情報処理装置３００に供給された画像データを目で確認して被写体の捜索や特定を行い、画角、ピントやズーム等の撮影条件を規定する制御信号を制御部３２０から可視光カメラ２０１および赤外線カメラ２０２へ送信する。
【００１５】
あるいは、可視光カメラ２０１および赤外線カメラ２０２の少なくともいずれか一方は、所定の画像認識アルゴリズムに従って、自動で、レンズの向き、画角、ピントやズームの調整、生成した画像データの送信タイミングの指定等の決定を行ってもよい。この場合、用いた撮影条件は画像データとともに情報処理装置３００に送信される。すなわち、情報処理装置３００は、全ての可視光カメラ２０１および赤外線カメラ２０２の動作状態を常に把握している。
【００１６】
同図では、赤外線カメラ２０２および可視光カメラ２０１は異なる位置に設けられるので、赤外線カメラ２０２および可視光カメラ２０１が同一の被写体を撮影したとしても、撮影視点が異なることになる。一つの赤外線カメラ２０２および一つの可視光カメラ２０１は一体構造であってもよい。この場合、得られる画像データの撮影視点は同一または実質的に同一となる。
【００１７】
赤外線画像データおよび可視光画像データが情報処理装置３００に供給されるタイミングは、独立していてもよいし、同期していてもよい。可視光画像および赤外線画像は、それぞれ、静止画でもよいし、複数の時点において撮像された複数の静止画像から構成される一つの動画であってもよい。
【００１８】
図３は情報処理装置３００の機能を示す。情報処理装置３００は、第１取得部３１０と、制御部３２０と、記憶部３３０と、調整部３４０と、第２取得部３５０とを含む。第１取得部３１０は、ＬＡＮモジュール等の通信インタフェースとして実装され、可視光画像および赤外線画像をそれぞれ可視光カメラ２０１および赤外線カメラ２０２から取得すると、それぞれ第１画像処理部３２１および第２画像処理部３２２へ供給する。
【００１９】
第１取得部３１０にて取得された画像データが表す画像の例を図４に示す。可視光画像ＩＭ１および赤外線画像ＩＭ２は、それぞれ、ある被写体を一つの可視光カメラ２０１にて撮影した可視光画像および当該被写体を一つの赤外線カメラ２０２にて撮影した赤外線画像である。なお、同図（ｂ）においては、便宜上、色の違いをハッチングの種類によって表現している。
【００２０】
図３に戻り、第２取得部３５０は、通信インタフェースとして実装され、監視対象の動物である牛５００‐１、５００‐２、５００‐３の生活環境を示す環境情報をセンサ４００から取得する。
【００２１】
記憶部３３０は、１以上のメモリやハードディスクとして実装された記憶装置であって、記憶部３３０のプロセッサにて実行されると、後述する情報処理装置３００の機能を実現するためのプログラムのほか、動物の複数の部位の各々に対応する複数の基準温度を記述したデータベースＤＢ１を格納する。なお、このプログラムは、例えばインターネット等の通信網を介して３００にダウンロードされてインストールされる。
【００２２】
図６は、データベースＤＢ１に記憶される情報の例である。この例では、データベースＤＢ１において、監視対象の個体ごとに、部位と基準温度とを対応付けたテーブル（個体Ａ用、個体Ｂ用）のほか、個体に関係なく適用される汎用のテーブル（一般用）が格納される。
基準温度とは、例えば正常（健康）な状態における温度である。なお、登録される部位の位置や数は例示であり、動物の種類、診断したい内容等に応じて適宜定めることができる。なお、個体ごとにテーブルを有する必要はなく、例えば一つの品種の動物に対して一つのテーブルを有していてもよい。
【００２３】
図３に戻り、記憶部３３０には、更に、可視光画像および赤外線画像を解析するアルゴリズムが記憶される。また、記憶部３３０には、診断システム１００を構成する全てのカメラの設置位置（撮影視点）が記憶される。制御部３２０は、取得した可視光画像を生成した可視光カメラ２０１と、赤外線画像を生成した赤外線カメラ２０２との位置関係と、可視光カメラ２０１および赤外線カメラ２０２の撮影条件とに基づいて、可視光画像データにおける被写体の部位と赤外線画像における当該被写体の部位の位置の対応関係を決定する。換言すると、可視光画像上の位置と赤外線画像上の位置との間のマッピングが行われる。
【００２４】
制御部３２０は、１以上のプロセッサによって実装され、少なくとも一つの可視光カメラ２０１と少なくとも一つの赤外線カメラ２０２から供給された可視光画像データおよび赤外線画像データに基づいて、動物の診断を行う。
なお、複数の可視光カメラ２０１および赤外線カメラ２０２のうちどの可視光カメラ２０１およびどの赤外線カメラ２０２で生成された画像データを用いるかは任意であって、必ずしも設置位置が互いに近接している一組の可視光カメラ２０１および赤外線カメラ２０２にて生成された画像データを採用する必要はない。要するに、取得した可視光画像上の位置と、赤外線画像上の位置との対応関係が特定できればよい。
【００２５】
具体的には、制御部３２０は、第１画像処理部３２１と、第２画像処理部３２２と、診断部３２３とを含む。第１画像処理部３２１は画像処理プロセッサによって実装され、第１取得部３１０から供給された可視光画像に対して画像解析を行う。具体的には、第１画像処理部３２１は監視対象の動物が可視光画像に映っているかを判定する。そして、第１画像処理部３２１は所定のパターンマッチングアルゴリズムを用いて、第１取得部３１０から供給された可視光画像における、各可視光カメラ２０１にて撮影された動物について予め定められた各部位に対応する領域を特定する。
【００２６】
加えて、第１画像処理部３２１は、各可視光カメラ２０１にて撮像された複数の個体をそれぞれ識別してもよい。例えば、各個体の所定の部位に固有の識別コードが形成されたタグが取り付けられている場合、識別コードを読み取り、記憶部３３０に記憶されたデータベースを参照して個体を特定する。あるいは、体型や毛の模様、部位の形状等の個体特有の外見に関する情報を記憶部３３０に記憶しておき、可視光画像データから形状や模様を認識することで個体を特定してもよい。
さらに、第１画像処理部３２１は、第１の個体と第２の個体との位置関係を特定してもよい。
【００２７】
制御部３２０は、ある可視光カメラ２０１にて撮影された動物に対して予め定められた部位の少なくとも一部が認識できない場合、全てカメラ２０１から取得した可視光画像データを解析し、その動物についての当該少なくとも一部の部位の全部または一部が撮影された他の可視光カメラ２０１を特定して、当該他の可視光カメラ２０１にて生成された可視光画像をさらに用いてもよい。すなわち、一つの動物に対して２以上の可視光画像データを用いる。具体的には、制御部３２０は、特定した部位に過不足があるかを、ＤＢ１を参照して判定し、不足している部位があれば可視光カメラの配置についての情報を用いて好適な他の可視光カメラ２０１を特定する。該特定した他の可視光カメラ２０１についての映像が存在しない場合は、当該他の可視光カメラ２０１に撮影した可視光画像データを送信するように、第１取得部３１０を介して供給してもよい。
【００２８】
例えば、ある可視光カメラ２０１が動物を正面から撮影した場合、体の後ろ側の部位は映らない場合があるが、このような場合でも、当該動物の背後に設置された可視光カメラ２０１にて当該動物を撮影した可視光カメラ２０１の可視光画像データを合わせて用いることで、当該動物に対して診断に必要と定められた全ての部位を撮影した可視光画像データを得ることができる。
【００２９】
第２画像処理部３２２は画像処理プロセッサとして実装され、記憶部３３０に記憶された画像変換アルゴリズムに基づいて第１画像処理部３２１にて特定された領域に対応する、赤外線画像における領域を特定する。
【００３０】
図５は、同一の個体について撮影された可視光画像および赤外線画像に基づいて、第１画像処理部３２１および第２画像処理部３２２にて特定された領域の例を示す。この例では、第１画像処理部３２１にて、解析した輪郭や模様のパターン等に基づいて、予め定められた可視光画像ＩＭ１上の部位Ｒ１〜Ｒ１０が特定され、特定された部位Ｒ１〜Ｒ１０にそれぞれ対応する赤外線画像ＩＭ２上の領域がＲ１´〜Ｒ１０´であると特定されている。なお、第１画像処理部３２１および第２画像処理部３２２で特定されるのは有限の大きさの領域ではく、一点の座標であってもよい。要するに、温度に基づく診断を行うのに必要な測定対象として定められた位置における温度が測定できればよい。
【００３１】
なお、第１画像処理部３２１において一つの動物に対して複数の可視光画像データが用いられた場合、可視光画像データごとに、その可視光画像を生成した可視光カメラ２０１に最も近接に配置されている赤外線カメラ２０２にて生成された赤外線画像データを特定し、可視光画像データ上で特定した部位ごとに温度を測定する。
ここで、用いる可視光画像データと赤外線画像データの枚数は一致しなくてもよい。赤外線カメラ２０２の設置位置と可視光カメラ２０１の設置位置の関係に依存する。要するに、ある動物について１以上の可視光カメラ２０１にて特定した全ての部位の温度が、１以上の赤外線画像データに基づいて決定されればよい。
【００３２】
診断部３２３は、第２画像処理部３２２にて特定された１以上の領域についての温度に基づいて、動物を診断する。好ましい態様において、診断部３２３は、第２画像処理部３２２にて特定された複数の領域における温度と各基準温度とを比較し、各部位について測定された温度の基準温度から差に基づいて、動物の状態（病気を発症しているか否かといった情報のほか、出産や発情までの期間がどの程度なのかといった生理サイクルにおける時期、その他、気分、興奮度、受けているストレスなど諸状態）を判定する。例えば、各部位ずれの平均値などの統計量が所定の閾値以上である場合は、健康でない状態にあると判定する。あるいは、部位ごとに閾値を定め、症状と１以上の着目部位とを対応付け、所定の症状を発症していると判定する。第１画像処理部３２１にて個体が識別された場合は、診断部３２３は個体ごとに診断結果を出力してもよい。
【００３３】
診断部３２３は、複数の個体のうち一の個体について診断を行うに際し、測定済みの他の個体の温度を参照してもよい。例えば、監視対象の全ての個体で測定した温度差について平均値や中央値の算出等の統計処理を行い、ある個体について測定された温度を、算出した統計量を用いて補正することによって、当該個体についての温度を決定する。これにより、例えば監視対象の複数の動物に共通してみられた温度変化の特徴を加味して、各個体の状態を判定することができる。例えば、体温の上昇が複数の牛５００でみられた場合、病気等の症状によるものではなく、外気温が上昇した結果であるという可能性が高いところ、誤った診断結果が生成される可能性が減少する。
【００３４】
温度変化が環境の影響なのか体調に起因するものなのかについての判定精度を上げるべく、診断部３２３は第２取得部３５０にて取得した環境情報を加味して診断を行ってもよい。具体的には、センサ４００にて測定された、気温、湿度、日照量、季節等に応じて、基準温度を補正する。
また、診断部３２３は第１画像処理部３２１にて算出した動物どうしの位置関係の情報を用いて診断を行ってもよい。例えば、第１画像処理部３２１において温度を計測する対象の動物から所定の距離範囲に他の動物が存在する時間の合計や頻度を算出し、算出した情報に基づいて当該対象の動物のストレス度を算出する。あるいは、第１画像処理部３２１にて上記位置関係の時間変化（動き）を算出してストレス度を算出してもよい。
【００３５】
診断部３２３は、一つの個体について所定の期間内に撮像された、複数の可視光画像および複数の赤外線画像を用いてもよい。例えば、１０秒間に連続撮影された計１０組の、可視光画像と赤外線画像とを使用し、各部位について、１０回測定して得られた温度に対して統計処理（例えば平均値の算出）を経て得られた数値を出力する。こうすることで、瞬間の突発的な温度の変動やノイズの影響が取り除かれ、温度の計測精度が向上する。
あるいは、動物の症状や状態によっては、診断には温度の計時変化の情報が求められることを踏まえ、一つの個体に対し、数日ないし数週間という期間で、温度変化を計測してもよい。一つの個体について長期間にわたる温度の変化傾向を把握することで、診断できる病状の範囲が広がり、あるいは診断の精度が向上する。
【００３６】
調整部３４０は、プロセッサおよび通信インタフェースとして実装され、診断部３２３にて出力された診断の結果を表す情報に基づいて、制御信号を生成して１以上の環境調整部６００に送信する。具体的には、調整部３４０は診断の結果を表す情報に基づいて、各環境調整部６００について制御情報の送信の要否および制御の内容を決定し、必要な１以上の環境調整部６００に決定した制御内容を表す制御信号を送信する。
【００３７】
図７は診断システム１００の動作例を示す。第１取得部３１０にて可視光画像および赤外線画像が取得されると（Ｓ１０２）、第１画像処理部３２１にて画像解析が実行される。具体的には、監視対象として予め定められた動物が映っているか否かが検出され（Ｓ１０４）、映っている場合は、当該動物の個体を識別する（Ｓ１０６）。さらに、当該動物について予め定められた１以上の着目部位を特定（Ｓ１０８）する。
続いて、第２画像処理部３２２は、特定した各部位を赤外線画像上にマッピング（Ｓ１１０）し、赤外線画像に基づいて、特定した各部位の温度を決定する（Ｓ１１２）。
【００３８】
続いて診断部３２３は、データベースＤＢ１を参照して、各部位の温度と基準温度とのズレに基づいて被写体について診断する（Ｓ１１４）。３２３は、診断結果を記憶部３３０に記憶し（Ｓ１１６）し、必要に応じてデータベースＤＢ１に登録された基準温度を更新してもよい。そして、診断部３２３は、診断結果に基づいて取るべきアクションを決定する。具体的には、診断結果に基づいて各環境調整部６００について制御の要否および内容を決定し（Ｓ１１８）、必要に応じて制御信号を１以上の環境調整部６００に送信する。
【００３９】
なお、Ｓ１０２〜Ｓ１１８の一連の処理は、画像を取得する度に行ってもよいし、画像の取得タイミングとは無関係なスケジュールで（例えば定期的に）行ってもよいし、監視対象として登録されている全ての個体が検出されるまで繰り返してもよい。
【００４０】
上記の実施例においては、可視光画像を用いて、被写体の部位の位置（および領域）を正確に特定し、特定した領域の温度を計測することができる。この結果、サーモグラフィー画像のみによって部位の特定と温度の測定とを行う場合に比べて、予め定められた部位についての温度の測定精度が向上する。この結果、監視対象動物の状態（健康なのか病気なのかといった体調、出産が近いのか否か、気分、興奮度、ストレスを受けている状態など）を、より正確に把握することができる。
【００４１】
上記の実施例においては本発明の実施の一態様にすぎない。本発明の診断装置は、要するに、カメラにて撮像された、可視光画像および赤外線画像を取得する取得部と、前記可視光画像において、前記カメラにて撮影された動物の所定の部位に対応する領域を特定する第１画像処理部と、前記第１画像処理部にて特定された領域に対応する、前記赤外線画像における領域を特定する第２画像処理部と、前記第２画像処理部にて特定された領域の温度に基づいて、前記動物を診断する診断部とを有していればよい。
【図１】
2018025404.tif 000003
【図２】
2018025404.tif 000004
【図３】
2018025404.tif 000005
【図４】
2018025404.tif 000006
【図５】
2018025404.tif 000007
【図６】
2018025404.tif 000008
【図７】
2018025404.tif 000009
【国際調査報告】
2018025404.tif 000010
2018025404.tif 000011
2018025404.tif 000012