(57)【特許請求の範囲】
【請求項１】
光軸が平行となるように間隔を介して並んで配置された複数のレンズを通して撮影された複数の撮影画像のそれぞれで検知された物体に関し、前記撮影画像の基準線に対する前記物体の基準線の傾きの情報と、前記撮影画像における前記物体の大きさに関連する情報と、前記撮影画像における前記物体の配置位置に関連する情報とのうちの少なくとも一つの情報を取得する取得手段と、
前記取得手段により前記撮影画像のそれぞれから取得された情報を比較し、比較した情報の差異が設定の許容範囲内にある各撮影画像の前記物体は同じ物体であると判断する同定手段と
を備える物体同定装置。
【請求項２】
前記撮影画像から検知対象の物体を当該物体の参考データを利用して検知する検知手段をさらに備え、
前記検知手段は、前記撮影画像において、検知した前記物体を含み、かつ、前記物体の大きさに応じた大きさを持つ設定形状の検知領域を特定する機能をさらに有し、
前記取得手段は、前記物体の大きさに関連する情報として前記検知領域の大きさの情報を取得する請求項１に記載の物体同定装置。
【請求項３】
前記撮影画像のそれぞれにおいて、予め設定された同じ空間領域が写し出されている画像領域が複数の区分領域に区分されており、
前記取得手段は、前記物体の配置位置に関する情報として、検知された物体が位置している前記区分領域を識別する情報が取得される請求項１又は請求項２に記載の物体同定装置。
【請求項４】
前記同定手段が比較した情報の基になったそれぞれの前記撮影画像は、同時に撮影された画像である請求項１又は請求項２又は請求項３に記載の物体同定装置。
【請求項５】
光軸が平行となるように間隔を介して並んでいる位置から検知対象の物体を撮影する撮影装置と、
請求項１乃至請求項４の何れか一つに記載の物体同定装置と
を備える物体同定システム。
【請求項６】
光軸が平行となるように間隔を介して並んで配置された複数のレンズを通して撮影された複数の撮影画像のそれぞれで検知された物体に関し、前記撮影画像の基準線に対する前記物体の基準線の傾きの情報と、前記撮影画像における前記物体の大きさに関連する情報と、前記撮影画像における前記物体の配置位置に関連する情報とのうちの少なくとも一つの情報を取得し、
前記撮影画像のそれぞれから取得された情報を比較し、
比較した情報の差異が設定の許容範囲内にある各撮影画像の前記物体は同じ物体であると判断する物体同定方法。
【請求項７】
光軸が平行となるように間隔を介して並んで配置された複数のレンズを通して撮影された複数の撮影画像のそれぞれで検知された物体に関し、前記撮影画像の基準線に対する前記物体の基準線の傾きの情報と、前記撮影画像における前記物体の大きさに関連する情報と、前記撮影画像における前記物体の配置位置に関連する情報とのうちの少なくとも一つの情報を取得する処理と、
前記撮影画像のそれぞれから取得された情報を比較する処理と、
比較した情報の差異が設定の許容範囲内にある各撮影画像の前記物体は同じ物体であると判断する処理と
をコンピュータに実行させるコンピュータプログラム。
【請求項８】
前記取得手段は、前記撮影画像における前記物体の配置位置に関連する情報を少なくとも取得し、
前記同定手段は、複数の前記撮影画像のそれぞれから取得された前記物体の配置位置のずれ量が、複数の前記レンズの間隔に応じて可変設定された許容範囲内にある場合に、複数の前記撮影画像における比較した前記物体は同じ物体であると判断する
請求項１に記載の物体同定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、間隔を介して並んでいる位置から撮影された複数の撮影画像から同じ物体を特定する技術に関する。
【背景技術】
【０００２】
撮影画像から奥行き方向の情報を取得可能なカメラとしてステレオカメラがある。ステレオカメラの構成の一例としては、２つのレンズが並設されていることにより両眼視差が実現され、各レンズを通して撮影した撮影画像を利用することにより被写体に関わる奥行き方向の情報を得ることを可能にする構成のものがある。【０００３】
なお、特許文献１〜３には、複数の撮影画像から同一物体を認識する技術が示されている。すなわち、特許文献１には、水槽の上方側と横側から同時に撮影された水槽内の撮影画像から追跡対象の物体（魚）が検出され、当該検出物（魚）の重心位置を通るエピポーラ線を利用して各撮影画像の検出物が同一の個体であると判断する技術が示されている。【０００４】
特許文献２には、撮影視点が大きく異なる２つの動画像の一方に写っている動物体と同一の動物体を、他方の動画像に写っている複数の動物体から特定する技術が示されている。特許文献２では、特定したい動物体のシルエット動物体領域の特徴と、動画像内の動物体の動的特徴と、それら特徴を考慮した動物体の類似度とに基づいて、特定対象の動物体が特定される。【０００５】
特許文献３には、経時的にｎ枚の計測画像を取得し、これらｎ枚の計測画像に写っている同じ魚を追跡する技術が示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−２５０３８２号公報
【特許文献２】特開２０１０−２４４４４０号公報
【特許文献３】特開２０１６−１６５２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、複数の撮影装置を間隔を介して並設することにより、それら撮影装置をステレオカメラとして機能させることがある。この場合に、被写体に関わる奥行き方向（撮影装置から離れる方向）の情報を得るためには、各撮影装置により同時に撮影された撮影画像において同じ被写体を特定する必要がある。【０００８】
しかしながら、魚の養殖が行われている生簀内において、そのようなステレオカメラとして機能させる撮影装置により養殖の魚を撮影した場合に、各撮影装置により撮影された撮影画像において同じ被写体を特定することは難しいという問題が生じる。すなわち、生簀内には多数の魚が泳いでおり、しかも、養殖の場合、それら魚は同じ種類でほぼ同じ大きさであることから、個体識別が難しい。その上、ステレオカメラとして機能させる複数の撮影装置が例えば１メートル程度の間隔を介して配置される場合には、視差が大きいことに起因して、各撮影装置の近傍の撮影画像に写っている同じ魚でも、写り方や、周りの魚との位置関係が異なる場合がある。このような事情により、複数の撮影画像に写っている同じ魚を特定することが難しいという問題がある。【０００９】
本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、間隔を介して並んでいる位置から撮影された複数の撮影画像から同じ物体を特定する処理の信頼性を高める技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る物体同定装置は、
間隔を介して並んでいる位置から撮影された複数の撮影画像のそれぞれで検知された物体に関し、前記撮影画像の基準線に対する前記物体の基準線の傾きの情報と、前記撮影画像における前記物体の大きさに関連する情報と、前記撮影画像における前記物体の配置位置に関連する情報とのうちの少なくとも一つの情報を取得する取得部と、
前記取得部により前記撮影画像のそれぞれから取得された情報を比較し、比較した情報の差異が設定の許容範囲内にある各撮影画像の前記物体は同じ物体であると判断する同定部と
を備える。【００１１】
また、本発明に係る物体同定システムは、
間隔を介して並んでいる位置から検知対象の物体を撮影する撮影装置と、
前記撮影装置により撮影された複数の撮影画像における物体が同じ物体であるか否かを判断する物体同定装置と
を備え、
前記物体同定装置は、
複数の前記撮影画像のそれぞれで検知された物体に関し、前記撮影画像の基準線に対する前記物体の基準線の傾きの情報と、前記撮影画像における前記物体の大きさに関連する情報と、前記撮影画像における前記物体の配置位置に関連する情報とのうちの少なくとも一つの情報を取得する取得部と、
前記取得部により前記撮影画像のそれぞれから取得された情報を比較し、比較した情報の差異が設定の許容範囲内にある各撮影画像の前記物体は同じ物体であると判断する同定部と
を備える。【００１２】
さらに、本発明に係る物体同定方法は、
間隔を介して並んでいる位置から撮影された複数の撮影画像のそれぞれで検知された物体に関し、前記撮影画像の基準線に対する前記物体の基準線の傾きの情報と、前記撮影画像における前記物体の大きさに関連する情報と、前記撮影画像における前記物体の配置位置に関連する情報とのうちの少なくとも一つの情報を取得し、
前記撮影画像のそれぞれから取得された情報を比較し、
比較した情報の差異が設定の許容範囲内にある各撮影画像の前記物体は同じ物体であると判断する。【００１３】
さらにまた、本発明に係るプログラム記憶媒体は、
間隔を介して並んでいる位置から撮影された複数の撮影画像のそれぞれで検知された物体に関し、前記撮影画像の基準線に対する前記物体の基準線の傾きの情報と、前記撮影画像における前記物体の大きさに関連する情報と、前記撮影画像における前記物体の配置位置に関連する情報とのうちの少なくとも一つの情報を取得する処理と、
前記撮影画像のそれぞれから取得された情報を比較する処理と、
比較した情報の差異が設定の許容範囲内にある各撮影画像の前記物体は同じ物体であると判断する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
【発明の効果】
【００１４】
本発明によれば、間隔を介して並んでいる位置から撮影された複数の撮影画像から同じ物体を特定する処理の信頼性を高めることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る第１実施形態の物体同定装置の機能を含む情報処理装置の構成を簡略化して表すブロック図である。
【図２Ａ】第１実施形態における情報処理装置に撮影画像を提供する撮影装置の構成を説明する図である。
【図２Ｂ】第１実施形態における情報処理装置に撮影画像を提供する撮影装置を表す斜視図である。
【図３】第１実施形態において検知対象の物体である魚を撮影装置が撮影する態様を説明する図である。
【図４】第１実施形態において、撮影画像を表示装置に表示する形態の一例を説明する図である。
【図５】第１実施形態において、検知されない物体（魚体）の例を説明する図である。
【図６】第１実施形態において、撮影画像における検知された物体（魚体）を含む検知領域（魚体検知領域）の一例を表す図である。
【図７】第１実施形態において、撮影画像において検知された物体（魚体）の傾きθを説明する図である。
【図８】第１実施形態において、撮影画像から取得する物体の配置位置に関連する情報を説明する図である。
【図９】第１実施形態において、撮影画像から取得する物体の大きさに関連する情報を説明する図である。
【図１０】同定された魚体を利用して当該魚体の体高を算出する処理の一例を説明する図である。
【図１１】本発明に係るその他の実施形態の物体同定装置の構成を表すブロック図である。
【図１２】図１１に表されている物体同定装置を含む物体同定システムの構成を表すブロック図である。
【発明を実施するための形態】
【００１６】
以下に、本発明に係る実施形態を図面を参照しつつ説明する。
【００１７】
＜第１実施形態＞
図１は、本発明に係る第１実施形態の物体同定装置としての機能を備える情報処理装置の構成を簡略化して表すブロック図である。第１実施形態における情報処理装置１０は、計測対象の物体が撮影されている撮影画像から計測対象の物体の長さ等を検知（算出）する処理に関わる機能を備えている。当該情報処理装置１０は、図２Ａに表されるような複数（２台）のカメラ４０Ａ，４０Ｂによって同時に撮影された複数の撮影画像における同じ物体を検知（同定）する機能を備えている。情報処理装置１０は、カメラ４０Ａ，４０Ｂと共に、物体同定機能を含む計測システム（物体同定システム）を構成する。
【００１８】
第１実施形態では、カメラ４０Ａ，４０Ｂは、動画を撮影する機能を備えている撮影装置であるが、動画撮影機能を持たずに例えば静止画を設定の時間間隔毎に断続的に撮影する撮影装置をカメラ４０Ａ，４０Ｂとして採用してもよい。
【００１９】
ここでは、カメラ４０Ａ，４０Ｂは、図２Ａに表されるような支持部材４２に支持固定されることにより、図２Ｂに表されるように間隔を介して並設されている状態で被写体を撮影する。支持部材４２は、伸縮棒４３と、取り付け棒４４と、取り付け具４５Ａ，４５Ｂとを有して構成されている。この例では、伸縮棒４３は、伸縮自在な棒部材であり、さらに、伸縮可能な長さ範囲内における使用に適切な長さで長さを固定できる構成を備えている。取り付け棒４４は、例えばアルミニウム等の金属材料により構成されており、伸縮棒４３に直交するように接合されている。取り付け棒４４には、伸縮棒４３との接合部分を中心にして対称となる部位にそれぞれ取り付け具４５Ａ，４５Ｂが固定されている。取り付け具４５Ａ，４５Ｂは、カメラ４０Ａ，４０Ｂを搭載する搭載面４６Ａ，４６Ｂを備え、当該搭載面４６Ａ，４６Ｂに搭載されたカメラ４０Ａ，４０Ｂを例えば螺子等により搭載面４６Ａ，４６Ｂにがたつきなく固定する構成が設けられている。
【００２０】
カメラ４０Ａ，４０Ｂは、上述したような構成を持つ支持部材４２に固定されることにより、予め設定された間隔を介して並設されている状態を維持することができる。また、第１実施形態では、カメラ４０Ａ，４０Ｂに設けられているレンズが同じ方向を向き、かつ、レンズの光軸が平行となるように、カメラ４０Ａ，４０Ｂは支持部材４２に固定される。なお、カメラ４０Ａ，４０Ｂを支持固定する支持部材は、図２Ａ等に表される支持部材４２に限定されない。例えば、カメラ４０Ａ，４０Ｂを支持固定する支持部材は、支持部材４２における伸縮棒４３に代えて、１本あるいは複数本のロープを利用し、当該ロープによって取り付け棒４４や取り付け具４５Ａ，４５Ｂを吊下げる構成であってもよい。
【００２１】
カメラ４０Ａ，４０Ｂは、支持部材４２に固定されている状態で、例えば図３に表されるように魚が養殖されている生簀４８に進入し、魚の観測（換言すれば、計測対象の物体である魚の撮影）に適切と判断された水深およびレンズの向きで配設される。なお、生簀４８に進入させた支持部材４２（カメラ４０Ａ，４０Ｂ）を適宜な水深およびレンズの向きで配設固定する手法には様々な手法が考えられ、ここでは、何れの手法を採用してもよく、その説明は省略する。また、カメラ４０Ａ，４０Ｂのキャリブレーションは、生簀４８の環境や計測対象の魚の種類等を考慮した適宜なキャリブレーション手法によって行われる。ここでは、そのキャリブレーション手法の説明は省略する。
【００２２】
さらに、カメラ４０Ａ，４０Ｂによる撮影を開始する手法および撮影を停止する手法は、カメラ４０Ａ，４０Ｂの性能や生簀４８の環境などを考慮した適宜な手法が採用される。例えば、魚の観測者（計測者）が、カメラ４０Ａ，４０Ｂを生簀４８に進入させる前に手動により撮影を開始させ、また、カメラ４０Ａ，４０Ｂを生簀４８から退出させた後に手動により撮影を停止させる。また、カメラ４０Ａ，４０Ｂが無線通信あるいは有線通信の機能を備えている場合には、撮影開始と撮影停止を制御する情報を送信できる操作装置と、カメラ４０Ａ，４０Ｂとが接続される。そして、観測者による操作装置の操作により、水中のカメラ４０Ａ，４０Ｂの撮影開始と撮影停止が制御されてもよい。
【００２３】
また、カメラ４０Ａとカメラ４０Ｂの一方または両方の撮影中の画像をカメラ４０Ａ，４０Ｂから有線通信あるいは無線通信により受信可能なモニタ装置が用いられてもよい。この場合には、観測者は、モニタ装置により撮影中の画像を見ることが可能となる。これにより、例えば、観測者は、撮影中の画像を見ながら、カメラ４０Ａ，４０Ｂの撮影方向や水深を変更することが可能となる。なお、モニタ機能を備えた携帯端末がモニタ装置として用いられてもよい。
【００２４】
ところで、情報処理装置１０は、魚の長さ（例えば尾叉長）を算出する処理において、同時間に撮影されたカメラ４０Ａの撮影画像とカメラ４０Ｂの撮影画像とを用いる。このことを考慮し、同時間に撮影されたカメラ４０Ａによる撮影画像とカメラ４０Ｂによる撮影画像とを得やすくするために、時間合わせに用いる目印となる変化をも撮影中にカメラ４０Ａ，４０Ｂに撮影させることが好ましい。例えば、時間合わせに用いる目印として、自動制御あるいは観測者の手動によって短時間発光する光を利用することとし、カメラ４０Ａ，４０Ｂがその光を撮影するようにしてもよい。これにより、カメラ４０Ａ，４０Ｂによる撮影画像に撮影されたその光に基づき、カメラ４０Ａによる撮影画像と、カメラ４０Ｂによる撮影画像との時間合わせ（同期）を行うことが容易となる。
【００２５】
上述したようなカメラ４０Ａ，４０Ｂにより撮影された撮影画像は、有線通信あるいは無線通信によって情報処理装置１０に取り込まれてもよいし、可搬型記憶媒体（例えば、ＳＤ（Secure Digital）カード）に格納された後に当該可搬型記憶媒体から情報処理装置１０に取り込まれてもよい。
【００２６】
情報処理装置１０は、図１に表されるように、概略すると、制御装置２０と、記憶装置３０とを備えている。また、情報処理装置１０は、例えば計測者の操作により情報を情報処理装置１０に入力する入力装置（例えば、キーボードやマウスやタッチパネル）１１と、情報を表示する表示装置１２に接続されている。さらに、情報処理装置１０は、当該情報処理装置１０とは別体の外付けの記憶装置１３に接続されていてもよい。
【００２７】
記憶装置３０は、各種データやコンピュータプログラム（以下、プログラムとも記す）を記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。情報処理装置１０に備えられる記憶装置は一つに限定されず、複数種の記憶装置が情報処理装置１０に備えられていてもよく、この場合には、複数の記憶装置を総称して記憶装置３０と記す。また、記憶装置１３も、記憶装置３０と同様に、各種データやコンピュータプログラムを記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。なお、情報処理装置１０が記憶装置１３に接続されている場合には、記憶装置１３には適宜な情報が格納される。また、この場合には、情報処理装置１０は、適宜、記憶装置１３に情報を書き込む処理および読み出す処理を実行するが、以下の説明では、記憶装置１３に関する説明を省略する。
【００２８】
第１実施形態では、記憶装置３０には、カメラ４０Ａ，４０Ｂによる撮影画像が、撮影したカメラを識別する識別情報や、撮影時間の情報などの撮影状況に関わる情報と関連付けられた状態で格納される。
【００２９】
制御装置２０は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサにより構成される。制御装置２０は、例えばプロセッサが記憶装置３０に格納されているコンピュータプログラムを実行することにより、次のような機能を有することができる。すなわち、制御装置２０は、機能部として、検知部２１と、取得部２２と、同定部２３と、表示制御部２４と、計測部２５と、分析部２６とを備えている。
【００３０】
表示制御部２４は、表示装置１２の表示動作を制御する機能を備えている。例えば、表示制御部２４は、入力装置１１から、カメラ４０Ａ，４０Ｂの撮影画像を再生する要求を受け取った場合に、記憶装置３０から要求に応じたカメラ４０Ａ，４０Ｂの撮影画像を読み出し当該撮影画像を表示装置１２に表示する。例えば、表示制御部２４によって表示装置１２には、図４に表されるような二画面表示により、カメラ４０Ａによる撮影画像４１Ａとカメラ４０Ｂによる撮影画像４１Ｂが並んで表示される。
【００３１】
なお、表示制御部２４は、表示装置１２に同時に表示される撮影画像４１Ａ，４１Ｂの撮影時刻が同じとなるように、撮影画像４１Ａ，４１Ｂの同期が可能な機能を備える。例えば、表示制御部２４は、カメラ４０Ａ，４０Ｂに同時撮影された前述したような時間合わせの目印を利用して、観測者が撮影画像４１Ａ，４１Ｂの再生コマをそれぞれ調整可能な機能を備える。
【００３２】
検知部２１は、表示装置１２に表示（再生）されている撮影画像４１Ａ，４１Ｂにおいて、計測対象の魚を検知する機能と、検知した計測対象の魚における計測利用点を検知する機能とを備えている。
【００３３】
すなわち、検知部２１は、次のようにして計測対象の魚を検知する。例えば、検知部２１は、表示装置１２に表示（再生）されている撮影画像４１Ａ，４１Ｂにおいて、記憶装置３０に格納されている魚体検知用の参考データを利用して計測対象の魚体を検知する。この検知部２１による検知処理は、表示装置１２に表示（再生）されている撮影画像４１Ａ，４１Ｂ（動画）における観測者が指定したフレームにおいて、あるいは、設定時間内における全てのフレームにおいて、あるいは、設定のフレーム数毎に実行される。魚体検知用の参考データは、例えば機械学習により生成される。その機械学習では、計測対象の種類の魚における魚体の多数の画像を教師データとして計測対象の種類の魚体が学習される。
【００３４】
なお、ここでは、例えば、図５に表されるような傾きが大きい魚の画像や、体の一部が写っていない魚の画像は、検知対象外とし、計測対象の魚体としては学習されない。このような魚体として機械学習されなかった魚体の画像は魚体検知用の参考データには反映されないので、検知部２１は、図５に表されるような魚体を計測対象の魚としては検知しない。また、機械学習には様々な手法があり、ここでは、適宜な機械学習の手法が採用される。さらに、１フレームの撮影画像において、検知部２１により計測対象の魚体として検知される魚体の数は、１つとは限らず、複数の魚体が計測対象の魚体として検知される場合もある。
【００３５】
第１実施形態では、検知部２１は、さらに、撮影画像４１Ａ，４１Ｂにおいて、検知した魚体を明示する画像領域を、検知領域（以下、魚体検知領域とも記載する）として検知する機能をも備えている。魚体検知領域は、検知した魚を他の魚体と区別可能に抽出する設定形状の画像領域であり、その大きさは検知した魚の大きさに応じて変化する。例えば、検知部２１は、図６に表されるように、撮影画像４１Ａ，４１Ｂにおいて、検知した魚体（以下、検知魚体とも記載する）６０を他の魚体と区別可能に抽出する矩形の魚体検知領域Ｚを検知する。１フレームの撮影画像において、検知部２１により複数の魚体が計測対象の魚体として検知された場合には、それら検知された魚体６０毎に魚体検知領域Ｚが検知される。なお、検知部２１は、検知した魚体検知領域Ｚを表示制御部２４によって撮影画像４１Ａ，４１Ｂに表示させる機能を備えていてもよい。
【００３６】
検知部２１は、さらにまた、撮影画像４１Ａ，４１Ｂにおいて計測対象として検知した魚体６０における計測に利用する点（以下、計測利用点とも記載する）を検知する機能をも備えている。ここでは、魚の尾の二叉する部分と口先が計測利用点として検知される。これら計測利用点の検知手法は特に限定されず、計測者のニーズや、制御装置の性能などを考慮した適宜な手法により計測利用点が検知されるが、その一例を次に挙げる。
【００３７】
例えば、検知部２１は、機械学習により生成された計測利用点検知用の参考データに基づいて、計測利用点を検知する。計測利用点検知用の参考データは、計測利用点が付された魚体全体の画像データを教師データとした機械学習により生成され、記憶装置３０に格納される。あるいは、計測利用点検知用の参考データは、魚体全体ではなく、魚体パーツ毎の参考データであってもよい。ここでは、魚体パーツ毎の参考データは、計測利用点が付された魚の口先部分の画像データと、計測利用点が付された魚の尾の部分の画像データとを教師データとした機械学習により生成される。
【００３８】
取得部２２は、撮影画像４１Ａ，４１Ｂにおいて計測対象として検知された魚に関する同定部２３の同定処理で利用する情報を取得する機能を備えている。第１実施形態では、取得部２２は、次のような三種類の情報を取得する。
【００３９】
取得部２２が取得する情報の一つは、図７に表されるような検知魚体６０の傾きθの情報である。第１実施形態では、矩形の撮影画像４１Ａ，４１Ｂの横線に平行な線を撮影画像４１Ａ，４１Ｂの基準線Ｓｇとしている。また、検知魚体６０において検知部２１により検知される口先と尾の二叉する部分とを結ぶ直線を検知魚体６０の基準線Ｓｋとしている。さらに、基準線Ｓｇ，Ｓｋによる角度が検知魚体６０の傾きθとして取得される。
【００４０】
取得部２２が取得する別の情報の一つは、撮影画像４１Ａ，４１Ｂにおける検知魚体６０の大きさに関連する情報である。第１実施形態では、検知部２１により検知された図６に表されるような矩形の魚体検知領域Ｚの横の長さＷと縦の長さＨの情報が検知魚体６０の大きさに関連する情報として取得部２２により取得される。また、魚体検知領域Ｚの横の長さＷと縦の長さＨは、撮影画像４１Ａ，４１Ｂを構成する最小単位であるピクセル（画素）を単位とするデータである。なお、魚体検知領域Ｚの横の長さＷと縦の長さＨを表す単位は、ピクセルに限定されず、適宜に設定された単位や、メートル法に基づいた単位であってもよい。
【００４１】
取得部２２が取得するさらに別の情報は、撮影画像４１Ａ，４１Ｂにおける検知魚体６０の配置位置に関連する情報である。第１実施形態では、記憶装置３０には、撮影画像４１Ａ，４１Ｂにおける図８に表されるような計測エリアＣＬ，ＣＲの情報が与えられている。計測エリアＣＬ，ＣＲは、カメラ４０Ａ，４０Ｂのキャリブレーションの対象となった空間領域が写し出されている領域であり、レンズの歪み等に起因した誤差の大きな情報が補正され信頼性が高められた長さ等の情報を取得できる領域である。これら計測エリアＣＬ，ＣＲは、複数の領域に区分される。図８の例では、計測エリアＣＬ，ＣＲは、それぞれ５つの区分領域Ａ１，Ａ２，Ａ３，Ａ４，Ａ５に区分けされている。
【００４２】
取得部２２は、検知部２１により検知された魚体６０の中心位置Ｏを表す撮影画像４１Ａ，４１Ｂにおける座標の情報を取得する。例えば、魚体６０の中心位置Ｏとは、検知部２１により検知された魚体６０の尾の二叉する部分と口先とを結ぶ線分の中間位置（図８参照）とする。また、撮影画像４１Ａ，４１Ｂにおける位置を表す座標は、図８における左上角を原点とし、横軸をｘ軸、縦軸をｙ軸とした二次元直交座標系により表されるとする。ここでは、ピクセルが単位として利用される。
【００４３】
取得部２２は、取得した魚体６０の中心位置Ｏの座標を区分領域Ａ１〜Ａ５の表示位置に照らし合わせ、その中心位置Ｏが区分領域Ａ１〜Ａ５の何れに配置されているかを表す情報を検知魚体６０の配置位置に関連する情報として取得する。
【００４４】
同定部２３は、撮影画像４１Ａと撮影画像４１Ｂにおいて同じ検知魚体６０を特定し当該特定された撮影画像４１Ａの検知魚体６０と撮影画像４１Ｂの検知魚体６０とを関連付ける機能を備えている。第１実施形態では、同定部２３は、取得部２２により取得された情報を利用して、撮影画像４１Ａ，４１Ｂにおける同じ検知魚体６０を特定する。
【００４５】
すなわち、第１実施形態では、同定部２３は、撮影画像４１Ａの検知魚体６０と、撮影画像４１Ｂの検知魚体６０との傾きθを比較し、傾きθの差分が設定の許容範囲内である場合には、傾きは同様であると判断する。
【００４６】
また、同定部２３は、撮影画像４１Ａの検知魚体６０と、撮影画像４１Ｂの検知魚体６０との大きさに関する情報を比較し、撮影画像４１Ａ，４１Ｂにおける検知魚体６０の大きさが同様であるか否かをも判断する。例えば、同定部２３は、検知部２１により検知された魚体検知領域Ｚの大きさを検知魚体６０の大きさの情報として利用する。同定部２３は、撮影画像４１Ａ，４１Ｂの魚体検知領域Ｚの大きさ（例えば、縦の長さＨと横の長さＷと面積Ｍ（Ｍ＝Ｗ×Ｈ）とのうちの一つ以上）を比較してもよいが、次のようにして魚体検知領域Ｚの大きさが同様であるか否かを判断してもよい。なお、ここでは、大きさが同様とは、大きさが同じであるか、あるいは、比較した大きさの差分が設定の許容範囲内である場合を表すものとする。
【００４７】
例えば、同定部２３は、次のような数式（１）に従って算出される算出値Scoreが設定の許容範囲内（数式（２）参照）に入っているか否かを判断することにより、撮影画像４１Ａ，４１Ｂにおける魚体検知領域Ｚの大きさが同様であるか否かを判断する。
0006981531.tif 000002
【００４８】
なお、数式（１）におけるＷＲは、図９に表されるように、撮影画像４１Ａにおける比較対象の魚体検知領域Ｚの横の長さを表す。ＷＬは、撮影画像４１Ｂにおける比較対象の魚体検知領域Ｚの横の長さを表す。ＨＲは、撮影画像４１Ａにおける比較対象の魚体検知領域Ｚの縦の長さを表す。ＨＬは、撮影画像４１Ｂにおける比較対象の魚体検知領域Ｚの縦の長さを表す。
【００４９】
数式（２）におけるα，βは、比較対象の魚体検知領域Ｚの大きさの差分における許容範囲を表す定数であり、カメラ４０Ａ，４０Ｂの性能や撮影環境などを考慮し予め設定される。例えば、α＝１．７、β＝２．３と設定される。
【００５０】
さらに、同定部２３は、撮影画像４１Ａ，４１Ｂにおける検知魚体６０の配置位置に関連する情報を比較し、比較対象の検知魚体６０が同様な位置にあるか否かを判断する。例えば、同定部２３は、取得部２２により取得された比較対象の検知魚体６０の中心位置Ｏが位置する区分領域Ａ１〜Ａ５が同じであるか否かを判断する。
【００５１】
なお、同定部２３は、上述したような検知魚体６０の配置領域を比較する処理に代えて、次のように、比較対象の検知魚体６０における配置位置の比較を行ってもよい。例えば、同定部２３は、次のような数式（３）、（４）に従って算出される算出値Score_x，Score_yが設定の許容範囲内（数式（５）、（６）参照）に入っているか否かを判断する。これにより、同定部２３は、撮影画像４１Ａ，４１Ｂにおける検知魚体６０の配置位置が同様であるか否かを判断する。
0006981531.tif 000003
【００５２】
なお、数式（３）におけるｘcrは、撮影画像４１Ａにおける魚体６０の中心位置Ｏのｘ座標を表す。ｘclは、撮影画像４１Ｂにおける魚体６０の中心位置Ｏのｘ座標を表す。数式（４）におけるｙcrは、撮影画像４１Ａにおける魚体６０の中心位置Ｏのｙ座標を表す。ｙclは、撮影画像４１Ｂにおける魚体６０の中心位置Ｏのｙ座標を表す。
【００５３】
数式（５）および数式（６）におけるγ_x，δ_x，γ_y，δ_yは、撮影画像４１Ａ，４１Ｂにおける魚体６０の中心位置Ｏの差分における許容範囲を表す定数であり、カメラ４０Ａ，４０Ｂ間の間隔などを考慮し予め設定される。例えば、γ_x＝１２０px（ピクセル），δ_x＝２８０px，γ_y＝−５０px，δ_y＝５０pxと設定される。
【００５４】
なお、検知魚体６０の配置位置に係る処理において、魚体６０の中心位置Ｏを利用するのに代えて、魚体検知領域Ｚの中心位置を利用してもよい。
【００５５】
同定部２３は、撮影画像４１Ａ，４１Ｂにおける検知魚体６０の傾きθと検知魚体６０（魚体検知領域Ｚ）の大きさと検知魚体６０の配置位置との比較結果に基づいて、撮影画像４１Ａ，４１Ｂにおける同じ検知魚体６０を特定する。第１実施形態では、検知魚体６０の傾きθと、検知魚体６０（魚体検知領域Ｚ）の大きさと、検知魚体６０の配置位置との３種類の情報について全て同様であると判断された検知魚体６０のペアが同じ魚体であると同定部２３は判断する。
【００５６】
例えば、図８に表されるように、撮影画像４１Ａの計測エリアＣRにおいて魚体６０ａ，６０ｂが検知され、撮影画像４１Ｂの計測エリアＣLにおいて魚体６０ｃ，６０ｄが検知されたとする。撮影画像４１Ａの魚体６０ａと撮影画像４１Ｂの魚体６０ｄとを比較すると、検知魚体６０ａ，６０ｄの傾きθは同様であるが、魚体検知領域Ｚの大きさの差分は許容範囲を超えている。また、検知魚体６０ａの中心位置Ｏが位置している区分領域は区分領域Ａ１であるのに対し、検知魚体６０ｄの中心位置Ｏが位置している区分領域は区分領域Ａ４であり、検知魚体６０ａ，６０ｄの配置位置は異なる。このような比較結果により、同定部２３は、検知魚体６０ａ，６０ｄは同じ魚体ではないと判断する。
【００５７】
これに対し、撮影画像４１Ａの魚体６０ａと撮影画像４１Ｂの魚体６０ｃとを比較すると、検知魚体６０ａ，６０ｃの傾きθと、魚体検知領域Ｚの大きさと、配置位置との３種類の情報について同様であるから、同定部２３は、検知魚体６０ａ，６０ｃは同じ魚体であると判断（同定）する。
【００５８】
計測部２５は、同定部２３により同じ魚体であると特定（同定）された撮影画像４１Ａ，４１Ｂの検知魚体６０を計測対象の魚体として、予め定められた計測処理を実行する機能を備える。例えば、計測部２５は、検知魚体６０における尾の二叉する部分と口先との間の長さ（尾叉長）を算出する。すなわち、計測部２５は、撮影画像４１Ａ，４１Ｂにおいて同じ魚体であると同定された検知魚体６０において、検知部２１により計測利用点として検知された尾の二叉する部分と口先との表示位置と、カメラ４０Ａ，４０Ｂ間の間隔との情報を記憶装置３０から取得する。そして、計測部２５は、それら取得した情報を利用して、三角測量法によって計測利用点（魚体の尾の二叉する部分と口先）の例えば三次元空間座標系の座標を算出する。さらに、計測部２５は、その算出した座標に基づいて、計測対象の魚体における尾の二叉する部分と口先との間の長さ（つまり、尾叉長）Ｌを算出する。このように算出された尾叉長Ｌの計測値は、例えば、観測日や、気象条件などの撮影環境の情報などに関連付けられて記憶装置３０に格納される。
【００５９】
さらに、計測部２５は、計測対象の魚体の体高を算出してもよい。この場合には、検知部２１は、計測利用点として、さらに、検知魚体６０における背側の頂部と、腹側の膨らみ部分（例えば腹びれの付け根部分）とを検知する機能を備える。計測部２５は、それら計測利用点として検知された背側の頂部と腹側の膨らみ部分とを結ぶ線分の長さを計測対象の魚体の体高Ｈとして算出する。あるいは、計測部２５は、次のようにして計測対象の魚体の体高Ｈを算出してもよい。
【００６０】
すなわち、例えば、図１０に表されるように、計測利用点として検知された計測対象の魚体における口先を点Ｐｍとし、尾の二叉する部分を点Ｐｔとし、背側の頂部を点Ｐｂとし、腹側の膨らみ部分を点Ｐｓとする。また、計測利用点である口先と尾の二叉する部分との間を結ぶ線を基準線Ｓとする。さらに、計測利用点である背側の頂部Ｐｂから基準線Ｓに下ろした垂線と基準線Ｓとの交点をＰｂｓとし、計測利用点である腹側の膨らみ部分Ｐｓから基準線Ｓに下ろした垂線と基準線Ｓとの交点をＰｓｓとする。計測部２５は、腹側の膨らみ部分Ｐｓと点Ｐｓｓとの間の線分の長さｈ１と、背側の頂部Ｐｂと点Ｐｂｓとの間の線分の長さｈ２とを加算することにより、計測対象の魚体の体高Ｈ（Ｈ＝ｈ１＋ｈ２）を算出する。
【００６１】
このように算出された魚体の体高Ｈの計測値は、例えば、同じ魚体の尾叉長Ｌの計測値に関連付けられ、さらに、上記同様に、例えば、観測日や、気象条件などの撮影環境の情報などに関連付けられて記憶装置３０に格納される。
【００６２】
分析部２６は、記憶装置３０に格納されている複数の計測対象の魚における尾叉長Ｌと体高Ｈと当該情報に関連付けられている情報を利用して、予め定められた分析を実行する機能を備えている。例えば、分析部２６は、観測日における生簀４８内の複数の魚の尾叉長Ｌの平均値を算出する。あるいは、分析部２６は、分析対象とした特定の魚の尾叉長Ｌの平均値を算出する。この場合には、例えば、１秒間というような短時間に撮影された動画の複数フレームにおける分析対象の魚の画像により算出された分析対象の魚の複数の尾叉長Ｌの平均値が算出される。
【００６３】
なお、生簀４８内の複数の魚の尾叉長Ｌの平均値を算出する場合であって魚の個体識別をしていない場合には、平均値の算出に利用する魚の尾叉長Ｌの値として同じ魚の値が重複利用されることが懸念される。ただ、多数の魚の尾叉長Ｌの平均値を算出する場合には、値を重複利用することに因る平均値の算出精度への悪影響は小さくなる。
【００６４】
また、分析部２６は、生簀４８内における魚の尾叉長Ｌとその魚の数との関係(魚の尾叉長Ｌにおける魚体数分布)を算出してもよい。さらに、分析部２６は、生簀４８における魚の成長を表す魚の尾叉長Ｌの時間的な推移を算出してもよい。
【００６５】
さらに、分析部２６は、予め記憶装置３０に格納されている体重算出用データと、算出された尾叉長Ｌおよび体高Ｈとを利用して、計測対象の魚の体重を算出する機能をも備えていてもよい。体重算出用のデータは、尾叉長Ｌと体高Ｈに基づいて魚の体重を算出するデータであり、例えば、数式の態様で与えられる。この体重算出用のデータは、実測された魚の尾叉長と体高と体重に基づいて、尾叉長および体高と、体重との関係が取得され、この関係に基づいて生成されるデータである。尾叉長および体高と、体重との関係が魚の月齢や年齢により異なる場合には、体重算出用のデータは魚の月齢あるいは年齢毎に生成されて記憶装置３０に格納される。この場合には、分析部２６は、計測対象の魚の月齢あるいは年齢に応じた体重算出用データと、その計測対象の魚の算出された尾叉長Ｌおよび体高Ｈとに基づいて計測対象の魚の体重を算出する。
【００６６】
分析部２６により算出された計測対象の魚の体重と、計測部２５により算出された計測対象の魚の尾叉長Ｌおよび体高Ｈとは、互いに関連付けられ、さらに、予め定められた情報（例えば、撮影日時）をも関連付けられた状態で記憶装置３０に格納される。表示制御部２４は、例えば、入力装置１１を利用して観測者がそれら計測値を表示装置１２に表示させる指示を入力した場合に、その指示を受けて、記憶装置３０から表示対象の情報を読み出し表示装置１２に表示する機能を備えていてもよい。
【００６７】
第１実施形態の情報処理装置１０は、上述したような機能を備えていることにより、次のような効果を得ることができる。すなわち、情報処理装置１０は、間隔を介して並んでいるカメラ４０Ａ，４０Ｂから撮影された複数の撮影画像のそれぞれで検知された検知魚体６０について、同じ魚体であるか否かを判断する同定処理を実行する。当該同定処理では、撮影画像４１Ａ，４１Ｂの基準線Ｓｇに対する検知魚体６０の基準線Ｓｋの傾きθと、撮影画像４１Ａ，４１Ｂにおける検知魚体６０の大きさに関連する情報と、撮影画像４１Ａ，４１Ｂにおける検知魚体６０の配置位置に関連する情報とが利用される。このような情報を利用することにより、情報処理装置１０は、魚体の同定処理による判断結果の信頼性を高めることができる。
【００６８】
また、第１実施形態の情報処理装置１０は、検知魚体６０の大きさに関連する情報として、矩形の魚体検知領域Ｚの大きさを利用している。矩形の魚体検知領域Ｚの大きさを算出する処理は、複雑な魚体の輪郭に基づいて魚体の大きさを算出する処理に比べて、簡単である。これにより、情報処理装置１０は、検知魚体６０の大きさの情報を利用する処理に要する時間の短縮を図ることができる。このように情報処理装置１０は、処理を簡単にして処理時間の短縮化を図りつつ、同定処理においては、複数種の情報にて検知魚体６０が同じ魚体であるか否かを判断していることから、判断結果の信頼性を高めることができる。
【００６９】
さらに、情報処理装置１０は、撮影画像４１Ａ，４１Ｂにおいて同じ魚体を特定する処理の確からしさを高めることができることにより、撮影画像４１Ａ，４１Ｂから算出する奥行き方向の情報の信頼性を高めることができる。これにより、情報処理装置１０は、算出する魚体６０の尾叉長や体高の計測値や分析結果に対する信頼性も高めることができる。
【００７０】
＜その他の実施形態＞
本発明は、第１実施形態に限定されることなく、様々な実施の形態を採り得る。例えば、第１実施形態では、情報処理装置１０は、分析部２６を備えているが、同定部２３により同定された検知魚体６０について計測部２５が計測処理した結果を分析する処理は、情報処理装置１０とは別の情報処理装置により実行されてもよい。この場合には、分析部２６が省略される。
【００７１】
また、第１実施形態において、情報処理装置１０が、検知部２１による検知処理の開始前などの適宜なタイミングで、撮影画像における水の濁りを軽減する画像処理や、水の揺らぎに因る魚体の歪みを補正する画像処理を行ってもよい。また、情報処理装置１０は、魚の水深や明るさ等の撮影条件を考慮して撮影画像を補正する画像処理を行ってもよい。このように、情報処理装置１０が、撮影環境を考慮して撮影画像を画像処理（画像補正）することにより、検知部２１による検知処理の信頼性を高めることができる。
【００７２】
さらに、第１実施形態では、検知対象の物体として魚を例にして説明しているが、第１実施形態で説明した構成を持つ情報処理装置１０は、他の物体の検知にも適用可能である。特に、第１実施形態で説明した構成を持つ情報処理装置１０は、計測対象の物体が静止している物ではなく、移動体である場合において、物体の同定処理の能力を発揮することができる。
【００７３】
さらに、第１実施形態では、同定部２３が同定処理に利用する情報は、検知魚体６０の傾きθの情報と、検知魚体６０（魚体検知領域Ｚ）の大きさの情報と、検知魚体６０（魚体検知領域Ｚ）の配置位置の情報との三種類の情報である。これに代えて、同定部２３が同定処理に利用する情報は、検知対象の物体の移動状況や撮影画像内における物体密度や物体形状や物体周囲の環境などを考慮し、上述した三種類の情報のうちの一種類あるいは二種類の情報を利用してもよい。
【００７４】
さらに、第１実施形態では、魚体検知領域Ｚは矩形状であるが、魚体検知領域Ｚの形状は矩形に限定されず、例えば、検知対象の物体の形状を考慮した楕円形などの他の形状であってもよい。ただ、魚体検知領域Ｚの形状が矩形や楕円形などの単純な形状である場合には、検知魚体６０の大きさの情報としての魚体検知領域Ｚの大きさの算出や、検知魚体６０の配置位置の情報としての魚体検知領域Ｚの中心位置の特定の処理が容易となる。
【００７５】
さらに、図１１には、本発明に係るその他の実施形態の物体同定装置の構成が簡略化して表されている。図１１における物体同定装置６３は、機能部として、取得部６１と同定部６２を備える。取得部６１は、間隔を介して並んでいる位置から撮影された複数の撮影画像のそれぞれで検知された物体に関し、次の三種類の情報のうちの少なくとも一つの情報を取得する機能を備える。その情報の一つは、撮影画像の基準線に対する物体の基準線の傾きの情報である。別の情報の一つは、撮影画像における物体の大きさに関連する情報である。さらに別の情報の一つは、撮影画像における物体の配置位置に関連する情報である。
【００７６】
同定部６２は、撮影画像のそれぞれから取得部６１により取得された情報を比較し、比較した情報の差異が設定の許容範囲内にある各撮影画像の物体は同じ物体であると判断する機能を備えている。
【００７７】
物体同定装置６３は、上記のような機能を備えることにより、複数の撮影画像において検知された物体について、複数の撮影画像から同じ物体を特定する処理の信頼性を高めることができる。この物体同定装置６３は、図１２に表されるように、撮影装置７１と共に、物体同定システム７０を構成することができる。
【００７８】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【００７９】
この出願は、２０１８年３月９日に出願された日本出願特願２０１８−０４３２３７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００８０】
１０  情報処理装置
２２，６１  取得部
２３，６２  同定部
２１  検知部
【図１】
0006981531.tif 000004
【図２Ａ】
0006981531.tif 000005
【図２Ｂ】
0006981531.tif 000006
【図３】
0006981531.tif 000007
【図４】
0006981531.tif 000008
【図５】
0006981531.tif 000009
【図６】
0006981531.tif 000010
【図７】
0006981531.tif 000011
【図８】
0006981531.tif 000012
【図９】
0006981531.tif 000013
【図１０】
0006981531.tif 000014
【図１１】
0006981531.tif 000015
【図１２】
0006981531.tif 000016