(57)【要約】      （修正有）【課題】牛舎に設置したカメラで撮影した牛の映像から牛の発情行動を検出すること。【解決手段】撮像装置により撮影された動画データを取得する画像取得手段と、前記画像取得手段により取得された動画データから１フレーム画像を抽出し、当該抽出したフレーム画像から物体が映っている領域を特定する領域特定手段と、前記領域特定手段により特定された領域に映っている物体が、検出対象の動作を行っている物体であるかを判定する見え判定手段と、前記判定手段により検出対象の動作を行っている物体であると判定された場合、当該領域における動画情報を用いて、当該物体が検出対象の動作を行っているかを判定する動き判定手段と、を備えることを特徴とする情報処理装置。【選択図】図１
2018033365.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮影された動画データを取得する画像取得手段と、
前記画像取得手段により取得された動画データから１フレーム画像を抽出し、当該抽出したフレーム画像から物体が映っている領域を特定する領域特定手段と、
前記領域特定手段により特定された領域に映っている物体が、検出対象の動作を行っている物体であるかを判定する見え判定手段と、
前記判定手段により検出対象の動作を行っている物体であると判定された場合、当該領域における動画情報を用いて、当該物体が検出対象の動作を行っているかを判定する動き判定手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記抽出されたフレームの前のフレームにおける当該特定された領域に相当する領域を抽出する抽出手段をさらに備え、
前記動き判定手段は、前記抽出手段により抽出された領域と前記領域特定手段により特定された領域における画像とを用いることで、当該物体が検出対象の動作を行っているかを判定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記動き判定手段により当該物体が検出対象の動作を行っていると判定された場合、検出対象の動作が行われている旨を通知する通知手段と、
を備えることを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
情報処理装置における情報処理方法であって、
前記情報処理装置の画像取得手段が、撮像装置により撮影された動画データを取得する画像取得工程と、
前記情報処理装置の領域特定手段が、前記画像取得工程により取得された動画データから１フレーム画像を抽出し、当該抽出したフレーム画像から物体が映っている領域を特定する領域特定工程と、
前記情報処理装置の見え判定手段が、前記領域特定工程により特定された領域に映っている物体が、検出対象の動作を行っている物体であるかを判定する見え判定工程と、
前記情報処理装置の動き判定手段が、前記判定工程により検出対象の動作を行っている物体であると判定された場合、当該領域における動画情報を用いて、当該物体が検出対象の動作を行っているかを判定する動き判定工程と、
を備えることを特徴とする情報処理方法。
【請求項５】
情報処理装置において実行可能なプログラムであって、
前記情報処理装置を、
撮像装置により撮影された動画データを取得する画像取得手段と、
前記画像取得手段により取得された動画データから１フレーム画像を抽出し、当該抽出したフレーム画像から物体が映っている領域を特定する領域特定手段と、
前記領域特定手段により特定された領域に映っている物体が、検出対象の動作を行っている物体であるかを判定する見え判定手段と、
前記判定手段により検出対象の動作を行っている物体であると判定された場合、当該領域における動画情報を用いて、当該物体が検出対象の動作を行っているかを判定する動き判定手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【０００２】
畜産（酪農や肉用牛の繁殖）においては、牛の繁殖成績が経営に大きく影響する。繁殖成績を上げるためには、牛が発情したタイミングを検出して授精することが重要となる。一般に、牛の発情行動としては、乗駕行動や、行動量の増加などがあり、飼育者が牛の行動を観察することで発情時期を判断している。
【０００３】
しかしながら、発情行動は夜間時間帯に行われるが多いため、飼育者が見逃してしまうことがある。
【０００４】
飼育者の観察を補助するあるいは代わりとなるシステムを構築することで繁殖成績の向上、畜産業の生産基盤強化が望まれている。
【０００５】
そこで、特許文献１には、赤外線センサを対象牛の背中に取り付け、センサの反応とその長さによって乗駕の有無を判定する仕組みが記載されている。
【０００６】
また、特許文献２には、牛舎に設置したマイクとセンサにより、牛の咆哮音と牛の行動量を測定し発情を判定する仕組みが記載されている。
【０００７】
また、従来からセンサを利用し、牛の発情を検出する方法として、（１）歩数を監視する方法、（２）行動量を監視する方法があり、商品化されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１６−４２８４３号公報
【特許文献２】特開２０１５−８９３４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の方法は、管理対象の全ての牛にセンサを取り付ける必要があり、導入コストや作業の手間がかかるという問題や、身体に取り付けた機器が牛のストレスになるという問題がある。
【００１０】
また、特許文献２の方法は、牛舎に取り付けたマイクと対象牛の距離によって精度にばらつきが発生することという問題がある。また、センサを取り付けた牛舎の特定領域に発情対象の牛を拘束していないと行動量を測定できずに発情が判定できないという問題がある。
【００１１】
また、歩数を監視する方法や、行動量を監視する方法では、夏場は牛の行動量が増えることや行動量に個体差があることから、これらの状態の変化が発情による変化であるとは限らず、高精度な発情発見ができないという問題がある。
【００１２】
以上の課題に鑑み、本発明は、撮影された動画データから牛の発情行動を検出する仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の情報処理装置は、撮像装置により撮影された動画データを取得する画像取得手段と、前記画像取得手段により取得された動画データから１フレーム画像を抽出し、当該抽出したフレーム画像から物体が映っている領域を特定する領域特定手段と、前記領域特定手段により特定された領域に映っている物体が、検出対象の動作を行っている物体であるかを判定する見え判定手段と、前記判定手段により検出対象の動作を行っている物体であると判定された場合、当該領域における動画情報を用いて、当該物体が検出対象の動作を行っているかを判定する動き判定手段と、を備えることを特徴とする。
【００１４】
また、本発明の情報処理方法は、情報処理装置における情報処理方法であって、前記情報処理装置の画像取得手段が、撮像装置により撮影された動画データを取得する画像取得工程と、前記情報処理装置の領域特定手段が、前記画像取得工程により取得された動画データから１フレーム画像を抽出し、当該抽出したフレーム画像から物体が映っている領域を特定する領域特定工程と、前記情報処理装置の見え判定手段が、前記領域特定工程により特定された領域に映っている物体が、検出対象の動作を行っている物体であるかを判定する見え判定工程と、前記情報処理装置の動き判定手段が、前記判定工程により検出対象の動作を行っている物体であると判定された場合、当該領域における動画情報を用いて、当該物体が検出対象の動作を行っているかを判定する動き判定工程と、を備えることを特徴とする。
【００１５】
また、本発明のプログラムは、情報処理装置において実行可能なプログラムであって、前記情報処理装置を、撮像装置により撮影された動画データを取得する画像取得手段と、前記画像取得手段により取得された動画データから１フレーム画像を抽出し、当該抽出したフレーム画像から物体が映っている領域を特定する領域特定手段と、前記領域特定手段により特定された領域に映っている物体が、検出対象の動作を行っている物体であるかを判定する見え判定手段と、前記判定手段により検出対象の動作を行っている物体であると判定された場合、当該領域における動画情報を用いて、当該物体が検出対象の動作を行っているかを判定する動き判定手段として機能させるためのプログラム。
【発明の効果】
【００１６】
本発明によれば、撮影された動画データから効率的に牛の発情行動を検出することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本実施例における情報処理システムのシステム構成の一例を示す図
【図２】ネットワークカメラ端末１０１、サーバ装置１０２、クライアント端末１０３のハードウェア構成の一例を示すブロック図
【図３】牛の発情判定処理の全体像を説明するフローチャート
【図４】ステップＳ１０５における発情判定処理を示すフローチャート
【図５】見え情報による発情判定処理の詳細を示すフローチャート
【図６】動き情報による発情判定処理の詳細を示すフローチャート
【図７】見え情報の教師データの一例を示す図
【図８】動画中の１フレーム（ｔ）について、候補矩形を抽出し、当該候補矩形における画像と学習済み画像との類似度を算出した結果を示す模式図
【図９】フレーム画像（ｔ）とその前後のフレーム画像を示す模式図
【図１０】各フレーム画像から抽出された候補矩形（対象オブジェクト領域）を示す図
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００１９】
図１は、本実施例における情報処理システムのシステム構成の一例を示す図である。
【００２０】
本発明におけるシステムは、ネットワークカメラ端末（撮像装置）１０１と、サーバ装置（情報処理装置）１０２、クライアント端末１０３とが通信可能に接続されたシステムである。
【００２１】
牛舎に設置されたネットワークカメラ端末１０１によって牛舎内の牛Ａを撮影し、撮影した映像データはサーバ装置１０２に送信される。サーバ装置１０２は映像データを解析処理し、乗駕行動の有無を判定する。解析処理によって乗駕行動ありと判定された場合には、クライアント端末１０３に通知を行う。
【００２２】
図２は、本発明の実施形態に係わるネットワークカメラ端末１０１、サーバ装置１０２、クライアント端末１０３のハードウェア構成の一例を示すブロック図である。
【００２３】
図２に示すように、ネットワークカメラ端末１０１、サーバ装置１０２、クライアント端末１０３では、システムバス２００を介してＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声入力コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。
【００２４】
ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。
【００２５】
ＲＯＭ２０２あるいは記憶装置２０４は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。
【００２６】
ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは記憶装置２０４からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。
【００２７】
入力コントローラ２０５は、キーボード／タッチパネル２１０などの入力装置からの入力を制御する。入力装置はこれに限ったものでなく、マウスやマルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。
【００２８】
ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができる。
【００２９】
この入力装置を用いて各種通信装置で利用可能な通信宛先に対する宛先を入力するようになっている。
【００３０】
音声入力コントローラ２０６は、マイク２１１からの入力を制御する。マイク２１１から入力された音声を音声認識することが可能となっている。
【００３１】
ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作により受け付け可能な装置については、キーボード／タッチパネル２１０からの入力を受け付けることも可能となる。
【００３２】
なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。
【００３３】
本発明では、ユーザが情報処理装置を通常する場合の表示に用いられる第１のビデオメモリ領域と、所定の画面が表示される場合に、第１のビデオメモリ領域の表示内容に重ねての表示に用いられる第２のビデオメモリ領域を有している。ビデオメモリ領域は２つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。
【００３４】
メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。
【００３５】
通信Ｉ／Ｆコントローラ２０９、ネットワーク２１４を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。
【００３６】
なお、記憶装置２０４は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの媒体であってもよい。
【００３７】
また本実施形態における通信端末で行われる各種処理時の一時的なメモリエリアとしても利用可能である。
【００３８】
次に図３に示すフローチャートを用いて、本実施例における牛の発情判定処理の全体像を説明する。
【００３９】
ステップＳ１０１では、牛舎に設置されたネットワークカメラ端末１０１のＣＰＵ２０１が撮影可能な状態か否かを判定する。
【００４０】
撮影可能である場合（ステップＳ１０１：ＹＥＳ）は、処理をステップＳ１０２に移行する。
【００４１】
撮影不可能である場合（ステップＳ１０１：ＮＯ）は、本フローチャートの処理を終了する。
【００４２】
ステップＳ１０２では、ネットワークカメラ端末１０１のＣＰＵ２０１は、撮影した映像の１フレーム画像を取得する。
【００４３】
ステップＳ１０３では、ネットワークカメラ端末１０１のＣＰＵ２０１は、ステップＳ１０２で取得した１フレーム画像をサーバ装置１０２に転送する。
【００４４】
ステップＳ１０４では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ１０３でネットワークカメラ端末１０１から送信された１フレーム画像を受信する。
【００４５】
なお、ネットワークカメラ端末１０１により撮影された動画データをサーバ装置に送信し、サーバ装置において受信した動画データから１フレーム画像を取得するよう構成してもよい。
【００４６】
ステップＳ１０５では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ１０４で受信した画像を用いて、発情判定処理を実行する。発情判定処理の詳細については、図４〜図６のフローチャートを用いて説明する。
【００４７】
ステップＳ１０６では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ１０５の発情判定処理により発情判定フラグがＴｒｕｅとなったか否かを判定する。
【００４８】
Ｔｒｕｅである場合（ステップＳ１０６：ＹＥＳ）は、処理をステップＳ１０７に移行する。
【００４９】
Ｆａｌｓｅである場合（ステップＳ１０６：ＮＯ）は、処理をステップＳ１０１に戻す。
【００５０】
ステップＳ１０７では、サーバ装置１０２のＣＰＵ２０１は、発情している牛がいる旨をクライアント端末１０３に対して通知する。
【００５１】
次に、図４〜図６のフローチャートを用いて、ステップＳ１０５における発情判定処理について説明する。
【００５２】
ステップＳ２０１では、サーバ装置１０２のＣＰＵ２０１は、見え情報（静止画）による発情判定処理を実行する。
【００５３】
見え情報による発情判定処理の詳細は、図５のフローチャートを用いて説明する。
【００５４】
図５は、ステップＳ２０１における見え情報による発情判定処理を示すフローチャートである。
【００５５】
ステップＳ３０１では、サーバ装置１０２のＣＰＵ２０１は、学習済みの特徴量の重みデータを読み込む。
【００５６】
例えば、図７に示すような発情行動（例えば乗駕行動）をしている牛の画像（すなわち、検出対象の動作、行為を示す画像）を複数学習させておき、それらの画像から特徴量を算出しておく。
【００５７】
ステップＳ３０２では、サーバ装置１０２のＣＰＵ２０１は、処理対象の画像（ステップＳ１０４で受信した画像）から、物体が映っている領域を候補矩形として抽出する。候補矩形の抽出については、例えば「Ｆａｓｔｅｒ  Ｒ−ＣＮＮ」といった公知技術を用いることで実現可能である。
【００５８】
ステップＳ３０３では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ３０２の処理により抽出された候補矩形が存在するかを判定する。
【００５９】
存在する場合（ステップＳ３０３：ＹＥＳ）は、処理をステップＳ３０４に移行する。
【００６０】
存在しない場合（ステップＳ３０３：ＮＯ）は、本フローチャートに示す処理を終了する。
【００６１】
なお、ステップＳ３１０を実行後の場合には、ステップＳ３０３〜Ｓ３１０までの処理を実行していない候補矩形が存在するか否かを判定する処理となる。すなわち、本実施例においては、ステップＳ３０２で抽出された候補矩形ごとにステップＳ３０３〜Ｓ３１０の処理を繰り返し実行するものである。
【００６２】
ステップＳ３０４では、サーバ装置１０２のＣＰＵ２０１は、処理対象の候補矩形における画像特徴量を算出する。
【００６３】
ステップＳ３０５では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ３０４で算出した特徴量とステップＳ３０１で読み込んだ学習済み画像の特徴量とを比較する。
【００６４】
図８は、動画中の１フレーム（ｔ）について、候補矩形を抽出し、当該候補矩形における画像と学習済み画像との類似度を算出した結果を示す模式図である。
【００６５】
図８の例では、フレーム（ｔ）における候補矩形の座標は（ｘ１，ｙ１，ｘ２，ｙ２）であり、類似度は０．９であることを示している。
【００６６】
ステップＳ３０６では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ３０５における比較の結果、特徴量の類似度が閾値以上であるかを判定する。すなわち、候補矩形における物体が発情行動をしている牛であるか（検出対象の動作を行っている物体であるか）を判定する。
【００６７】
閾値以上である場合（ステップＳ３０６：ＹＥＳ）は、処理をステップＳ３０７に移行する。
【００６８】
閾値に満たない場合（ステップＳ３０６：ＮＯ）は、処理をステップＳ３０９に移行する。
【００６９】
ステップＳ３０７では、サーバ装置１０２のＣＰＵ２０１は、見え判定フラグをＴｒｕｅに設定する。
【００７０】
ステップＳ３０８では、サーバ装置１０２のＣＰＵ２０１は、処理対象の候補矩形の領域情報を保持する。領域情報は、例えば座標情報（ｘ１、ｙ１、ｘ２、ｙ２）等の情報である。
【００７１】
ステップＳ３０９では、サーバ装置１０２のＣＰＵ２０１は、見え判定フラグをＦａｌｓｅに設定する。
【００７２】
ステップＳ３１０では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ３０２で抽出された候補矩形のうち、Ｓ３０３〜Ｓ３１０の処理を実行していない候補矩形を取得する。
【００７３】
ステップＳ３０２で抽出されたすべての候補矩形について、Ｓ３０３〜Ｓ３１０の処理が実行されると（ステップＳ３０３：ＮＯ）、本フローチャートの処理を終了し、処理をステップＳ２０２に移行する。
【００７４】
ステップＳ２０２では、サーバ装置１０２のＣＰＵ２０１は、見え判定フラグにＴｒｕｅが設定されているか否かを判定する。
【００７５】
Ｔｒｕｅが設定されている場合（ステップＳ２０２：ＹＥＳ）は、処理をステップＳ２０３に移行する。
【００７６】
Ｆａｌｓｅが設定されている場合（ステップＳ２０２：ＮＯ）は、処理をステップＳ２０７に移行する。
【００７７】
ステップＳ２０３では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ３０８で保持した領域情報を取得する。
【００７８】
ステップＳ２０４では、サーバ装置１０２のＣＰＵ２０１は、動き情報（動画）による発情判定処理を実行する。
【００７９】
動き情報による発情判定処理の詳細は、図６のフローチャートを用いて説明する。
【００８０】
図６は、ステップＳ２０４における動き情報による発情判定処理を示すフローチャートである。
【００８１】
ステップＳ４０１では、サーバ装置１０２のＣＰＵ２０１は、対象オブジェクト領域（ステップＳ３０８で保持した座標情報により特定される領域）の情報を読み込む。
【００８２】
ステップＳ４０２では、サーバ装置１０２のＣＰＵ２０１は、領域情報の有無を判定し、領域情報が無い場合は、処理をステップＳ４１１に移行する。領域情報がある場合は処理をステップＳ４０３に移行する。
【００８３】
ステップＳ４０３では、サーバ装置１０２のＣＰＵ２０１は、処理対象のフレーム画像の前のフレーム画像が存在するかを判定する。
【００８４】
存在する場合（ステップＳ４０３：ＹＥＳ）は、処理をステップＳ４０４に移行する。
【００８５】
存在しない場合（ステップＳ４０３：ＮＯ）は、処理をステップＳ４１１に移行する。
【００８６】
ステップＳ４０４では、サーバ装置１０２のＣＰＵ２０１は、前フレームから対象オブジェクト領域の画像を取得する。すなわち、前フレームの画像から、ステップＳ３０８で保持した座標情報と同じ座標情報で特定される領域を取得する。
【００８７】
ステップＳ４０５では、サーバ装置１０２のＣＰＵ２０１は、処理対象のフレーム画像から対象オブジェクト領域の画像を取得する。
【００８８】
ステップＳ４０６では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ４０４とＳ４０５で取得した２つの画像から、ＯｐｔｉｃａｌＦｌｏｗ特徴量を算出する。
【００８９】
ＯｐｔｉｃａｌＦｌｏｗ特徴量の算出方法については、公知の技術としていくつかの手法があるが、いずれの手法を用いても良い。また、本実施例においては、動き情報の特徴量を算出するにあたりＯｐｔｉｃａｌＦｌｏｗ特徴量を用いるが、動き情報の特徴量の算出方法はＯｐｔｉｃａｌＦｌｏｗを用いた手法に限らず、いずれの方法であっても良い。
【００９０】
ステップＳ４０７では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ４０６で算出したＯｐｔｉｃａｌＦｌｏｗ特徴量を対象オブジェクト領域のサイズで除算することで、動き情報の特徴量を算出する。
【００９１】
ステップＳ４０８では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ４０７で算出した動き情報の特徴量が閾値以上であるかを判定する。すなわち、牛の動きに基づき、発情行動をしているか否か（動作から算出された特徴量に基づき、当該動作が検出対象の動作であるか否か）を判定する。
【００９２】
閾値以上である場合（ステップＳ４０８：ＹＥＳ）は、処理をステップＳ４０９に移行する。
【００９３】
閾値を満たさない場合（ステップＳ４０８：ＮＯ）は、処理をステップＳ４１０に移行する。
【００９４】
ステップＳ４０９では、サーバ装置１０２のＣＰＵ２０１は、動き判定フラグにＴｒｕｅを設定する。
【００９５】
ステップＳ４１０では、サーバ装置１０２のＣＰＵ２０１は、次の対象オブジェクト領域を取得し、当該対象オブジェクト領域に対する処理に移行する。そして、本フローチャートに示す処理を終了し、処理をステップＳ２０５に戻す。
【００９６】
ステップＳ４１１では、サーバ装置１０２のＣＰＵ２０１は、動き判定フラグにＦａｌｓｅを設定する。そして、本フローチャートに示す処理を終了し、処理をステップＳ２０５に戻す。
【００９７】
ステップＳ２０５では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ２０４における処理の結果、動き判定フラグにＴｒｕｅが設定されたか否かを判定する。すなわち、動き情報を用いた発情行為判定処理により、発情行為が検知されたか否かを判定する。
【００９８】
動き判定フラグがＴｒｕｅの場合（ステップＳ２０５：ＹＥＳ）は、処理をステップＳ２０６に移行する。
【００９９】
動き判定フラグがＦａｌｓｅの場合（ステップＳ２０５：ＮＯ）は、処理をステップＳ２０７に移行する。
【０１００】
ステップＳ２０６では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ２０１、Ｓ２０４の処理により発情している牛がいると判定されたため、発情判定フラグをＴｒｕｅに設定する。
【０１０１】
ステップＳ２０７では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ２０１、Ｓ２０４の処理により発情している牛を検知できなかったため、発情判定フラグをＦａｌｓｅに設定する。
【０１０２】
ステップＳ２０８では、サーバ装置１０２のＣＰＵ２０１は、処理対象のフレーム画像を保持する。本ステップにおいて保持したフレーム画像は、次のフレーム画像に対する処理において、動き特徴量を計算する処理にて使用する。
【０１０３】
図９は、フレーム画像（ｔ）とその前後のフレーム画像を示す模式図である。図１０は、図９における各フレーム画像から抽出された候補矩形（対象オブジェクト領域）を示す図である。
【０１０４】
以上説明したように、本発明は、まず見え情報（静止画）により発情行為が行われているかの検出と、当該行為を行っている牛が映っている領域を特定し、当該特定された領域について、動き情報（動画）により発情行為が行われているかを判定することを特徴とする。
【０１０５】
このように、見え情報だけでなく動き情報を用いることで、見え情報だけでは発情行為か否かの判断が困難なケース（例えば単に乗駕行動をしているだけの場合や、２頭の牛が重なって立っている場合）であっても、より正確に判断することが可能となる。
【０１０６】
また、動画情報だけの場合には処理対象のデータサイズが大きいため判定処理に時間がかかるが、静止画により発情行動をしている牛が映っている領域を特定し、当該特定された領域に対して動き情報を用いた判定処理を行うことで、少ないデータサイズに対する処理が可能となるため、処理時間の短縮をすることが可能となる。
【０１０７】
また、牛の身体に特別なセンサを取り付けることなく牛の乗駕行動の有無を発見するため、コスト面や取り付けの手間、牛へのストレスも低減することが可能となる。また、カメラで撮影できる場所であれば牛がどこにいても発情行動を検出することができるため、牛の居場所について制約がない。また、乗駕行動などによって発情しているかを判断するため、歩数や行動量での判断に比べて発情状態であることを高精度で判定することが可能となる。
【０１０８】
なお、本実施例においては、牛の発情行動の検知への適用を前提として説明したが、本発明の適用対象は牛の発情行動の検知に限られず、動画データから特定の動きの検知する仕組みとして、様々な対象に適用可能である。
【０１０９】
本発明におけるプログラムは、図３〜図６の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図３〜図６の各処理ごとのプログラムであってもよい。
【０１１０】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
【０１１１】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
【０１１２】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。
【０１１３】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１５】
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１１６】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１１７】
１０１  ネットワークカメラ端末
１０２  サーバ装置
１０３  クライアント端末
【図１】
2018033365.tif 000003
【図２】
2018033365.tif 000004
【図３】
2018033365.tif 000005
【図４】
2018033365.tif 000006
【図５】
2018033365.tif 000007
【図６】
2018033365.tif 000008
【図７】
2018033365.tif 000009
【図８】
2018033365.tif 000010
【図９】
2018033365.tif 000011
【図１０】
2018033365.tif 000012