(57)【要約】【課題】  水面または水中を移動する落ち葉等の移動体を高精度かつ低コストで自動計数する。【解決手段】  移動体が撮影された動画像の各フレーム画像Ｉに対して、画像内の計数対象領域Ａの画素の色値に対応する３次元ヒストグラム１の座標が有するパラメータである投票値を参照し、該投票値を予め記憶された閾値により判断して、計数対象物の候補画素の画素値を１とし、非計数対象物の候補画素の画素値を０とする２値画像Ｓを作成し、作成された２値画像Ｓから画素値が１である画素の集まりを連接領域Ｃとして抽出し、さらに直前のフレーム画像Ｉでの連接領域Ｃと比較して移動している計数対象物を計数する。【選択図】        図１
2007065878.tif 000002
【特許請求の範囲】
【請求項１】
計数対象物である移動体が撮影された動画像の各フレーム画像に対して、前記フレーム画像の計数対象領域にある各画素の色値に対応する３次元ヒストグラムの座標が有する投票値を、前記３次元ヒストグラムの各座標と前記投票値との対応関係を記述した設定ファイルから読み出し、該投票値を予め記憶された閾値により判断して、計数対象物の候補画素の画素値を１とし、非計数対象物の候補画素の画素値を０とする２値画像を作成する計数対象物候補画素抽出処理と、前記２値画像において互いの距離が一定距離内にある前記画素値が１である画素の集まりを連接領域として抽出するラベリング処理と、前記ラベリング処理により抽出された連接領域群と直前のフレーム画像の連接領域群とを比較し、その比較結果から当該フレーム画像中で前記計数対象物を抽出して、前記計数対象物を計数する追跡・計数処理とを行うことを特徴とする画像処理による移動体計数方法。
【請求項２】
前記３次元ヒストグラムの座標が有する投票値は、入力手段により前記計数対象物が指定された場合は加算され、前記入力手段により非計数対象物が指定された場合は減算されることを特徴とする請求項１に記載の画像処理による移動体計数方法。
【請求項３】
前記動画像を一時停止した状態で、特定のフレーム画像に対して前記入力手段により前記計数対象物または非計数対象物の指定がなされることを特徴とする請求項２に記載の画像処理による移動体計数方法。
【請求項４】
前記動画像は、撮像手段により撮影されている画像をリアルタイムで前記出力装置上に表示した動画像であることを特徴とする請求項１から３のいずれかに記載の画像処理による移動体計数方法。
【請求項５】
計数対象物である移動体が撮影された動画像の各フレーム画像に対して、前記フレーム画像の計数対象領域にある各画素の色値に対応する３次元ヒストグラムの座標が有する投票値を、前記３次元ヒストグラムの各座標と前記投票値との対応関係を記述した設定ファイルから読み出し、該投票値を予め記憶された閾値により判断して、計数対象物の候補画素の画素値を１とし、非計数対象物の候補画素の画素値を０とする２値画像を作成する計数対象物候補画素抽出部と、前記２値画像において互いの距離が一定距離内にある前記画素値が１である画素の集まりを連接領域として抽出するラベリング部と、前記ラベリング処理により抽出された連接領域群と前フレーム画像の連接領域群とを比較し、その比較結果から当該フレーム画像中で前記計数対象物を抽出して、前記計数対象物を計数する追跡・計数部を備えるものである移動体計数装置。
【請求項６】
前記３次元ヒストグラムの座標が有する投票値は、入力手段により前記計数対象物が指定された場合は加算され、前記入力手段により非計数対象物が指定された場合は減算されるものである請求項５に記載の移動体計数装置。
【請求項７】
前記動画像を一時停止した状態で、特定のフレーム画像に対して前記入力手段により前記計数対象物または非計数対象物の指定がなされるものである請求項６に記載の移動体計数装置。
【請求項８】
前記動画像は、撮像手段により撮影されている画像をリアルタイムで前記出力装置上に表示した動画像である請求項５から７のいずれかに記載の移動体計数装置。
【請求項９】
計数対象物である移動体が撮影された動画像の各フレーム画像に対して、前記フレーム画像の計数対象領域にある各画素の色値に対応する３次元ヒストグラムの座標が有する投票値を、前記３次元ヒストグラムの各座標と前記投票値との対応関係を記述した設定ファイルから読み出し、該投票値を予め記憶された閾値により判断して、計数対象物の候補画素の画素値を１とし、非計数対象物の候補画素の画素値を０とする２値画像を作成する計数対象物候補画素抽出手段と、前記２値画像において互いの距離が一定距離内にある前記画素値が１である画素の集まりを連接領域として抽出するラベリング手段と、前記ラベリング処理により抽出された連接領域群と前フレーム画像の連接領域群とを比較し、その比較結果から当該フレーム画像中で前記計数対象物を抽出して、前記計数対象物を計数する追跡・計数手段としてコンピュータを機能させることを特徴とする移動体計数プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、水面または水中における移動体計数方法、計数装置および計数プログラムに関する。さらに詳述すると、本発明は水の流れに乗って移動する川面への落ち葉といった移動体の数量を画像処理することにより自動的に計数するという生態系モニタリングの手法の改良に関する。
【背景技術】
【０００２】
環境保全あるいは環境管理の分野においては生態系を把握するための生態系モニタリングが実施されており、このような生態系のモニタリングをする際には、リアルタイムでデータが得られ、尚かつそのデータが連続して長期間にわたって得られるような計測が必要とされている。例えば、河川から沿岸域への水・物質の供給量の評価のために、川を流れる葉・流木等の種類、大きさ、速度と数などの計測が実際に行われている。
【０００３】
このような生態系モニタリングとして、いくつかの手法が提案されている。葉や流木などの計測を行うための従来技術、さらには対象がこれら以外であっても本願に関係があると考えられる従来技術は以下のとおりである。
【０００４】
（１）リタートラップ法
河川に隣接する陸地の森林にリタートラップ（森林において落下してくる枝や葉を集めるために木・枝に吊るされた一定面積のネット）を設置し、河川に落下する葉を定量計測するという方法である。
【０００５】
（２）ネット法
森林と河川の境界である河岸にネットを張り、川を流れてくる葉や流木など木に由来するものとごみを集めて定量計測するという方法である。
【０００６】
（３）水中光センサーを用いた定量計測法
河川の底に光センサーを設置し、河川を流れる物体が光源を遮る際の情報を処理して計数するという方法である。
【０００７】
（４）ビデオカメラを用いる方法１
ビデオカメラを用いる方法の一つとして、移動方向と直行する幅ｄの領域を通過する移動対象（被係数物）を背景差分で取り出し、時間方向に積算して通過する物体の数を計数するというものがある（例えば、特許文献１参照）。
【０００８】
（５） ビデオカメラを用いる方法２
また、ビデオカメラを用いる他の方法として、背景差分もしくはフレーム間差分によって変化領域を取り出し、背景と変化領域の相関を計算し、相関が低い場合に移動対象物体であると判定し、領域統合、追跡を行って人物など移動物体を監視するというものもある（例えば、特許文献２参照）。
【０００９】
（６）ビデオカメラを用いる方法３
さらに別の方法として、画面を升目状のブロックに分け、複数のブロック同士を前後のフレームで比べて、同一の対象物であるか否かを判定するという、いわゆるブロックマッチングを行って移動速度を推定し、その移動方向と量を統計処理することで人物など移動物を検出するという方法もある（例えば、特許文献３参照）。
【００１０】
【特許文献１】特開平８-１２３９３５号公報
【特許文献２】特開２００１-８１８９号公報
【特許文献３】特開平９-２５２４６７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した（１）のリタートラップ法は、計測員が計測用トラップを直接仕掛けて計測するといういわば人海戦術的な手法をとるものであり、人手と時間を要する割には計測速度に難があるというようにコストと精度の面で劣る。すなわち、高精度な計測を行おうとすれば膨大な数のリタートラップが必要となることからコストが嵩みやすく、また、設置場所が観測者の経験によって決定される故に観測者の熟練度に計測精度が依存しており定量誤差が大きい。しかも集められたリターの回収・分別と計測が観測者の人手により行われるため人手を要しコスト高である。
【００１２】
（２）のネット法も、上述したリタートラップ法と同様、膨大な人手を要するという問題がある。また、川を流れてくる葉や流木など木に由来するものとごみとがネットに目詰まりし、そのうちネットを避けて流れるようになってしまうため、葉や流木などの計測対象物を長時間正確に計測するには困難がある。
【００１３】
さらに（１）と（２）に共通の課題として、定期的に回収、定量するという計測作業を要するので、リアルタイム連続測定や対象全域の長期間連続計測が不可能だということもある。また、林内の一部ないしは林縁で計測しているに過ぎないため、当該データに基づいて林全体の評価を行うとかなりの誤差を含んでしまう。その一方、計測区域を単純に広域化することは現実的に難しく、したがって大規模計測は困難であり、高精度化、低コスト化が困難である。
【００１４】
さらに（３）の定量計測法の場合だと、河川を流れる物体を直接計数できるため長時間計測できるという利点はあるものの、光センサーの大きさや個数に制限があるということが自動定量計数を困難にしている。また、この定量計測法を採用すると単価の高い光センサーを多数必要とするために高額な装置となってしまう。さらには、大規模光源、光センサー検出器等を多数用いることになるので低コスト化やメインテナンスフリー化が困難なものとなりやすい。
【００１５】
（４）のビデオカメラを用いる方法は、水中や水面における反射などがあった場合の対策がないために計測誤差が生じてしまう。また、背景データの作成方法および更新方法に関して工夫がなされていないために、このままでは背景に変化があったり影やゆらぎのような背景だったりした場合に正確な計数ができないという問題もある。さらには、細かい領域だけを計測領域としているために対象のサイズや速度は推測値であり、移動体の速度や方向によっては誤差が大きいことがある。
【００１６】
また（５）の方法の場合には、背景データの更新方法として部分的に更新する手法と全体的に更新する手法という２種類の手法が提案されているが、前者は水面のゆらぎなどを吸収できないために誤計測に結びつきやすく、後者は変化領域が一定量（７割以上など）となった時にはじめて更新するものであるため更新前に誤計数を起こしてしまう、というようにそれぞれ問題がある。さらに、背景との相関を取る方法は移動領域の正確な計測には向くが、計測対象が増えた場合に多量の計算が必要となることから多量の移動物体の迅速な計測に向かない。加えて、計測対象物を追跡する際には、前フレームの候補領域と重ならない最も近い領域を選択しているが、これだと高フレームレート時の低速移動物や低フレームレート時の高速移動物を追跡できないという点で不利である。
【００１７】
さらに（６）の方法は、画面を升目状のブロックに分けていわゆるブロックマッチングを行うというものであるが、ブロックの移動方向を推定するにあたっては既存の方法に依存しており必ずしも精度が高くない。また小さな対象物の移動速度を計算するにはブロックを細かくする必要があり、そうするとブロックマッチングに膨大な計算量が必要になるという問題が生じる。このため、この計測方法は人物などのような大きな物体の侵入検知には効果的だが、小さな対象物の計測に向かず計測精度が低いものとなってしまう。
【００１８】
そこで、本発明は、例えば水の流れに乗って移動する落ち葉といった移動体を高精度かつ低コストで尚かつ長時間かつ連続して自動計数できる水面または水中における移動体計数方法、計数装置および計数プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
請求項１に記載の移動体計数方法は、計数対象物である移動体が撮影された動画像の各フレーム画像に対して、前記フレーム画像の計数対象領域にある各画素の色値に対応する３次元ヒストグラムの座標が有する投票値を、前記３次元ヒストグラムの各座標と前記投票値との対応関係を記述した設定ファイルから読み出し、該投票値を予め記憶された閾値により判断して、計数対象物の候補画素の画素値を１とし、非計数対象物の候補画素の画素値を０とする２値画像を作成する計数対象物候補画素抽出処理と、前記２値画像において互いの距離が一定距離内にある前記画素値が１である画素の集まりを連接領域として抽出するラベリング処理と、前記ラベリング処理により抽出された連接領域群と直前のフレーム画像の連接領域群とを比較し、その比較結果から当該フレーム画像中で前記計数対象物を抽出して、前記計数対象物を計数する追跡・計数処理とを行うようにしている。
【００２０】
また、請求項５に記載の移動体計数装置は、計数対象物である移動体が撮影された動画像の各フレーム画像に対して、前記フレーム画像の計数対象領域にある各画素の色値に対応する３次元ヒストグラムの座標が有する投票値を、前記３次元ヒストグラムの各座標と前記投票値との対応関係を記述した設定ファイルから読み出し、該投票値を予め記憶された閾値により判断して、計数対象物の候補画素の画素値を１とし、非計数対象物の候補画素の画素値を０とする２値画像を作成する計数対象物候補画素抽出部と、前記２値画像において互いの距離が一定距離内にある前記画素値が１である画素の集まりを連接領域として抽出するラベリング部と、前記ラベリング処理により抽出された連接領域群と前フレーム画像の連接領域群とを比較し、その比較結果から当該フレーム画像中で前記計数対象物を抽出して、前記計数対象物を計数する追跡・計数部を備えるものである。
【００２１】
また、請求項９に記載の移動体計数プログラムは、計数対象物である移動体が撮影された動画像の各フレーム画像に対して、前記フレーム画像の計数対象領域にある各画素の色値に対応する３次元ヒストグラムの座標が有する投票値を、前記３次元ヒストグラムの各座標と前記投票値との対応関係を記述した設定ファイルから読み出し、該投票値を予め記憶された閾値により判断して、計数対象物の候補画素の画素値を１とし、非計数対象物の候補画素の画素値を０とする２値画像を作成する計数対象物候補画素抽出手段と、前記２値画像において互いの距離が一定距離内にある前記画素値が１である画素の集まりを連接領域として抽出するラベリング手段と、前記ラベリング処理により抽出された連接領域群と前フレーム画像の連接領域群とを比較し、その比較結果から当該フレーム画像中で前記計数対象物を抽出して、前記計数対象物を計数する追跡・計数手段としてコンピュータを機能させるものである。
【００２２】
したがって、移動体が撮影された動画像の各フレーム画像に対して、画像内の計数対象領域の画素の色値に対応する３次元ヒストグラムの座標が有するパラメータである投票値を参照し、該投票値を予め設定した閾値により判断して、計数対象物を示すと推定される画素と、非計数対象物を示すと推定される画素を判別し、計数対象物を示す画素値を１とし、非計数対象物を示す画素値を０とする２値画像を作成する。次に、作成された２値画像から画素値が１である画素の集まりを連接領域として抽出して、さらに直前のフレームでの連接領域と比較して、移動している計数対象物を計数する。
【００２３】
請求項２に記載の発明は、請求項１に記載の移動体計数方法において、前記３次元ヒストグラムの座標が有する投票値は、入力手段により前記計数対象物が指定された場合は加算され、前記入力手段により非計数対象物が指定された場合は減算されるようにしている。また、請求項６に記載の発明は、請求項５に記載の移動体計数装置において、前記３次元ヒストグラムの座標が有する投票値は、入力手段により前記計数対象物が指定された場合は加算され、前記入力手段により非計数対象物が指定された場合は減算されるものであるものである。従って、ユーザがマウス等の入力装置を用いて、計数対象物または非計数対象物を選択することにより、３次元ヒストグラムの各座標が有する投票値の値が更新され、計数対象物と非計数対象物の色情報を反映した３次元ヒストグラムが作成される。
【００２４】
請求項３に記載の発明は、請求項２に記載の移動体計数方法において、前記動画像を一時停止した状態で、特定のフレーム画像に対して前記入力手段により前記計数対象物または非計数対象物の指定がなされるようにしている。また、請求項７に記載の発明は、請求項６に記載の移動体計数装置において、前記動画像を一時停止した状態で、特定のフレーム画像に対して前記入力手段により前記計数対象物または非計数対象物の指定がなされるものであるものである。従って、ユーザは、動画像に対してではなく、指定したフレームで停止した静止画像状態で投票値の設定を行うことができる。
【００２５】
請求項４に記載の発明は、請求項１から３までに記載の移動体計数方法において、前記動画像は、撮像手段により撮影されている画像をリアルタイムで前記出力装置上に表示した動画像であることを特徴としている。また、請求項８に記載の発明は、請求項５から７までに記載の移動体計数装置において、前記動画像は、撮像手段により撮影されている画像をリアルタイムで前記出力装置上に表示した動画像である。従って、ビデオカメラで撮影されている画像に対して、計数処理をリアルタイムで行うことができる。
【発明の効果】
【００２６】
本発明によれば、計数対象物を撮影した動画像のみから、画像処理により、計数対象物を非計数対象物とを区別して計数することができる。また、人の介在をなくして、すべて自動により移動体の計数処理を行うことができる。
【００２７】
また、計測機器を水中に入れる必要がないため、機器のメンテナンス等も容易である。また、一台のカメラと一台のパーソナルコンピュータにより実現可能であり、広い範囲を面的に計測可能であるため、低コストに広い範囲を計測できる。また、既存の計測装置をそのまま流用して計測を行うことができる。さらに、光センサーを用いると例えば計数対象としての葉と計数対象でないごみとを区別することができない場合があるが、本発明によれば３次元ヒストグラムを用いて特徴的な色情報を抽出することによって計数対象物のみを精度よく計測することが可能である。
【００２８】
また、背景差分を用いず葉などの移動体のみが持つ特徴的な色情報を用いて葉の領域を抽出するようにしているので、影やゆらぎ、また日光の反射が多い水面においても正確に計測することが可能である。３次元ヒストグラムを用いて抽出を行い、その後ラベリングと追跡処理を行うことにより、一切のブロックマッチングを必要としない高速な計測を行うことが可能である。
【００２９】
更に、請求項２に記載の移動体計数方法、請求項６記載の移動体計数装置によれば、ユーザが入力手段を用いて計数対象物や非計数対象物を指定すればするほど、３次元ヒストグラムの座標に対して投票値が設定されて、３次元ヒストグラムは、計数対象物や非計数対象物に特徴的な色の範囲を反映したものとなり、計数対象物の計数の精度が向上する。いわゆる学習機能を有しており、適切な３次元ヒストグラムが作成された後は、自動で移動体の計数処理を行うことができる。即ち、人の介在をなくすことができ、作業者の労力を軽減することができる。従って、低コストで計数処理を実現することが可能である。
【００３０】
更に、請求項３に記載の移動体計数方法、請求項７記載の移動体計数装置によれば、ユーザによるマウスクリックの位置指定ミスを防ぎ、さらに投票値の設定を迅速かつ容易にすることができる。
【００３１】
更に、請求項４に記載の移動体計数方法、請求項８記載の移動体計数装置によれば、自動計数処理を実時間処理で実現することが可能である。リアルタイムで移動体の計数処理を長時間に渡って実施することが可能である。
【発明を実施するための最良の形態】
【００３２】
以下、本発明の構成を図面に示す実施の形態に基づいて詳細に説明する。
【００３３】
本実施形態においては、移動体として川の水面、または水面近くの水中を流れるマングローブ葉を計数対象とし、マングローブ葉の数を自動計数するための画像処理による計数方法、計数装置、計数プログラムについて述べる。即ち、川を流れるマングローブ葉とそれ以外のもの、例えば、流木、ごみなどとを判別し、マングローブ葉の数の計数を行うものである。
【００３４】
なお、本実施形態においては、川面を流れるマングローブ葉を計数対象とした場合について説明するが、当然にマングローブ葉以外の移動体を対象とすることも可能である。他の植物の葉について計数可能であるのはもちろん、色に特徴のある移動物体であれば計数対象とすることが可能である。例えば、蛍光する水中生物、発泡スチロール等のゴミ、またはＰＩＶ（粒子画像流速計）等で水の流れを計測するための粒子等の計数をおこなうことも可能である。
【００３５】
ここで、水面を流れる計数対象物には、色や模様などの特徴（画像特徴）と、時間の経過に伴って動く移動体としての特徴（動きの特徴）がある。例えば、マングローブ葉の画像特徴としては、例えば色におおよその類似性があるという特徴がある。類似性があるとは、マングローブ葉が取り得る色は、単一ではないが一定の範囲内であり有限であるということである。例えば、緑に近い色、茶の濃い色、黒に近い色の葉は存在するが、青い葉や、紫色の葉はほとんど存在しない。このように、単一ではないが、有限である色の特徴を捉えるために、３次元ヒストグラム１を用いることとしている。また葉には、表面と裏面があり、通常は、色が大きく異なっている。また、光の当たり具合によっても葉の色には、見た目上の変化が生じる。そのため、川を流れていても角度によって色が変化して見えるという特徴がある。そのため、例えば、テンプレートマッチング等の照合による追跡を行うと色の変化に対応できずに追跡を行うことができない場合が生じうる。しかし、本発明は、ビデオカメラにより撮影された映像に対して、色情報を記憶させた３次元ヒストグラム１により、計数対象物の検出を行うこととしているので、検出漏れのない計数対象物の検出を行うこととしている。
【００３６】
また、動きの特徴としては、川を流れる葉は、一定の範囲内の速度であるということが上げられる。葉に限らず流出物は、自律的に動いているのではなく川の流れに沿って流れているだけであり、方向を急に変えたり、停止したりすることは通常は起こりえない。もちろん川の流れる速度は変化するので、それに応じて流れている葉の速度も変化することとなるが、同じ川の流れの中であれば、他に流れている葉も速度はほぼ同じとなる。即ち、ある一つの葉だけが他の葉に比べて流れる速度が速いといったことはなく、どの葉も大体同じ速度で流れているといえる。そのため、計数対象物を抽出するための速度条件をかなり狭い範囲に設定しても、計数漏れを起こすことがないこととなる。これは、即ち他の条件を多少広く設定しても計数漏れに結びつかないことを意味し、例えば色の条件を多少緩く設定することができる。さらに、色条件を緩く取れるということは、葉でないものを色フィルタで検出しても、速度条件で絞込みをかけられるということを意味する。例えば、水面の色に近い黒っぽい色の葉であっても、葉の色として登録しておき、水面の色と葉の色と判別を色の特徴だけでは判別できない場合であっても、動きの特徴を用いることで計数することが可能となる。本発明は、上記述べた理由により、色の特徴と動きの特徴を用いて移動体の計数をおこなうこととしている。
【００３７】
図１３に移動体計数装置１６の構成の一例を示す。移動体計数装置１６は、動画像が入力される入力インターフェース１７と、動画像が表示される出力装置１８と、キーボード、マウス等の入力装置１９と、演算処理を行う中央処理演算装置（ＣＰＵ）２０と、一時的な作業データ等が記録される主記憶装置２１と、計数結果等が記録される補助記憶装置としてのハードディスク２２等を備えている。上記のハードウェア資源は例えばバス２３を通じて電気的に接続されている。入力インターフェース１１は、例えばビデオカメラから入力される映像やビデオテープに記録された映像をコンピュータでの処理が可能なデータに変換する機能や、映像を構成する各フレームをそれぞれ画像データとして補助記憶装置２２に記録する機能を有する。出力装置１８は、例えばディスプレイであり、異常が検出された画像やユーザインターフェース画面などが表示される。
【００３８】
また、補助記憶装置２２には本発明の移動体計数プログラムが記録されており、当該プログラムがＣＰＵ２０に読み込まれ実行されることによって、コンピュータが移動体計数装置１６として機能する。また、図１４に示すように、移動体計数装置１６は、計数対象物候補画素抽出処理を行う計数対象物候補画素抽出部２４、ラベリング処理を行うラベリング部２５、追跡・計数処理を行う追跡・計数部２６とを備えるものである。
【００３９】
次に、各処理の内容を詳細に説明する。尚、本実施形態において計数を行うマングローブ葉は、川の水面を流れるものに限られるものではなく、水中を沈んだ状態で流れる葉であっても、色の識別が水面から可能な程度であれば計数が可能である。
【００４０】
本実施形態においては、ビデオカメラとコンピュータを用いて計数を行うこととしている。尚、映像データの取得は、ビデオカメラで撮影されている映像データをリアルタイムでコンピュータに取り込むようにしても、または撮影した映像を一旦ビデオテープ等に記録したうえで、コンピュータの補助記憶装置２２等に記憶させ、記憶された映像データに対して処理を行うようにしてもよい。さらに、リアルタイムでコンピュータに取り込んだ画像を同時に記憶装置に記憶させるようにしても良い。尚、以下に述べる画像処理は、ビデオカメラで撮影された映像データの各々のフレームに対して行われるものである。尚、フレームレートは、ＮＴＳＣの映像の場合であれば例えば２９．９７ｆｐｓ（枚／秒）であるが、フレームレート数はこれに限られるものではない。
【００４１】
図１に、水面または水中における移動体計数装置１６が行う全体の処理フローを示す。先ずフレームカウンタｎに１をセットする（Ｓ１）。ｎフレーム目の原画像が存在しなければ（Ｓ２；Ｎｏ）、移動体計数装置１６が行う処理は終了する。ｎフレーム目の原画像が存在する場合は（Ｓ２；Ｙｅｓ）、各フレーム画像から計数対象物の候補画素を抽出する計数対象物候補画素抽出処理（Ｓ１００）を行う。次に、ノイズの除去等を行うラベリング処理（Ｓ２００）を行い、さらに計数対象物の計数を行う追跡・計数処理（Ｓ３００）を行うものである。そして、フレームカウンタｎに１を加算し（Ｓ３）、次のフレームであるｎフレーム目の原画像について、Ｓ２以下の処理を繰り返すものである。以下、各処理毎に詳細に説明する。
【００４２】
［計数対象物候補画素抽出処理について］
まず、計数対象物候補画素抽出処理（Ｓ１００）について説明する。この計数対象物候補画素抽出処理は、３次元ヒストグラム１を作成し、作成した３次元ヒストグラム１を用いて色フィルタ処理を行うことにより、計数対象物の候補画素の値を１、非計数対象物の候補画素の値を０とする２値画像Ｓを作成するものである。即ち、本実施形態においては、川の水面が撮影された映像から、マングローブ葉が撮影されている候補となる領域の画素の値を１とする２値画像Ｓを作成するものである。尚、２値画像とは、濃淡がなく、画素の値が白（０）と黒（１）の２つの値しか取らない画像をいう。本実施形態においては、フレーム画像と解像度が等しい２値画像Ｓを作成するものとしている。尚、２値画像Ｓにおいて値が１の画素は、計数対象物を表していると推定される画素を、値が０の画素は、計数対象物を表していない推定される画素を意味する。
【００４３】
また、画素が取りうる色の値は一般にＲＧＢで表現され、ある色の値は(r,g,b)と表される。r,g,bそれぞれの値の取り得る範囲は、通常０以上max値以下の整数値であり、最も一般的な数値は、２５６階調でmax値＝２５５である。本実施形態においては、色空間として、２５６階調のＲＧＢ色空間を用いることとしているが、色空間はこれに限られるものではなく、例えば、ＨＳＶ（hue,saturation,value）、ＹＣｂＣｒ、Ｌ＊ｕ＊ｖ＊、Ｌ＊ａ＊ｂ＊等の他の色空間を用いることとしても良い。また、上記色空間は、例えばビデオカメラ等の計測系、および計数対象物が取り得るの色特性によりユーザが最適な色空間を選択することができるものである。
【００４４】
ここで、３次元ヒストグラム１について説明する。図２（ａ）〜（ｃ）に３次元ヒストグラム１の一例を図示する。本実施形態においては、３次元ヒストグラム１とは、図２（ａ）に示すように、色空間を３次元配列で表したものの各座標に対しパラメータとして投票値を与えたものをいうものとする。尚、本実施形態においては、３次元ヒストグラム１の各座標を(r,g,b)と表すこととし、また色空間として２５６階調のＲＧＢを用いることとしているので、各座標r,g,bはそれぞれ０から２５５までの整数値をとり、３次元ヒストグラム１の総座標数は２５６３となる。従って、色空間をＲＧＢとは異なる色空間を用いた場合には、その色空間に応じた３次元ヒストグラム１を用いることとなり、例えば総座標数も異なるものである。
【００４５】
次に、本実施形態において３次元ヒストグラム１がどのように作成されるかについて説明する。本実施形態においては、３次元配列である３次元ヒストグラム１の各座標(r,g,b)の投票値vの更新を行うことにより移動体の計数を行うための３次元ヒストグラム１を作成することとしている。尚、投票値ｖとは、３次元ヒストグラム１のすべての座標が有するパラメータであって、本実施形態においては、初期値が０である整数値とするが、これに限られるものではない。具体的には、出力装置１８に表示された計数対象物または、非計数対象物をユーザがマウスクリック等を行うと、マウスクリック等がされた画素位置の色値(r,g,b)に対応する３次元ヒストグラム１の各座標(r,g,b)に対して、計数対象物であるか非計数対象物であるかにより異なる値が投票値ｖに与えられる。さらに、この３次元ヒストグラム１の各座標(r,g,b)と投票値vとの対応関係を記述する３次元ヒストグラム設定ファイル（以下、設定ファイルという）が作成される。例えば、３次元ヒストグラム１の各座標(r,g,b)に対応する投票値vの値は、移動体計数処理が行われている間は、主記憶装置２１に記憶され、移動体計数処理の終了時に、設定ファイルとして補助記憶装置２２に記憶される。
【００４６】
図２（ｂ）に、３次元ヒストグラム１の各座標に投票値vの設定を行う処理の一例を示す。例えば、ユーザが出力装置１８に表示された計測対象物上でマウスクリックを行った場合は、クリックされた画素位置の色値(r,g,b)に対応する３次元ヒストグラム１の座標２ａ(r,g,b)が有するパラメータである投票値vに１が加えられる。また、非計数対象物上でマウスクリックを行った場合は、クリックされた画素位置の色値(r,g,b)に対応する３次元ヒストグラム１の座標２ｂ(r,g,b)が有するパラメータである投票値vから１が引かれる。以上のようにして、ユーザの操作により３次元ヒストグラム１の座標に対して投票値vが設定されていくと、例えば図２（ｃ）に示すように投票値vが正の値をとる座標の集合３ａや、投票値vが負の値となる座標の集合３ｂのような座標の集合が形成されていくこととなる。即ち、座標の集合３ａは、計数対象物が取り得る色の範囲、換言すれば計数対象物が有する色の特徴を示し、また、座標の集合３ｂは、非計数対象物が取り得る色の範囲、換言すれば計数対象物が有する色の特徴を示すものである。これは、例えばマングローブ葉等の計数対象物や、例えば川の水面等の非計数対象物は、一定の色値の範囲により表される（色におおよその類似性がある）ものであるからである。本実施形態においては、上記述べたように３次元ヒストグラム１は作成される。但し、図２（ａ）〜（ｃ）は、３次元ヒストグラム１の説明のためのイメージ図であって、符号１〜３ｂにより示した座標位置は、実際のマングローブ葉の色の特徴を反映したものではない。また、複数の色の特徴を有する計数対象物や非計数対象物も存在するので、必ずしも、図２（ｃ）に示すように、一つの座標の集合により計数対象物や非計数対象物が有する色の特徴があらわされるわけではない。
【００４７】
以下に、ユーザインタフェースの画面とフローチャートを用いて更に詳細に説明する。図３に、本実施形態にかかる移動体計数装置１６のユーザインタフェース画面の一例を示す。川面が撮影されたフレーム画像Ｉ内の矩形枠が計数対象領域Ａである。また、この計数対象領域Ａの内側において矢印で示しているのが、検出されたマングローブ葉である。尚、これらの矢印は、説明のために付記したものであり、実際のユーザインタフェース画面内には表示されない。また、フレーム画像Ｉ内の右下の矩形枠が計数結果表示領域Ｂであり、計数対象物の計数が表示される。尚、計数結果表示領域Ｂは必ずしもフレーム画像Ｉ内に設ける必要はなく、ユーザインタフェース画面内の他の場所に設けるようにしても良い。また、本実施形態においては、計数結果表示フィールド９で、同じく計数対象物の計数を表示することとしている。計数結果表示領域と計数結果表示フィールドが果たす機能は同じであるので、どちらか一方設けることとすればよいが、本実施形態においては、計数結果表示フィールド９をユーザによりわかりやすくするために計数結果表示領域Ｂをフレーム画像Ｉ内に設けることとしている。
【００４８】
また、図３に示すように、ユーザインタフェース画面内においては、以下のような機能が設けられている。撮影ボタン６は、再生中、またはリアルタイム処理を行っている場合は一時停止して静止画像を表示するものである。リリースボタン７は、一時停止を解除するものである。計数リセットボタン８は、計数値を０にするものである。計数結果表示フィールド９は、これまでに計数した葉の数を表示するものである。検知サイズ指定レバー１０は、計数対象領域Ａの大きさを変化させるものであり、具体的には計数対象領域の縦の長さを変化させるものである。
【００４９】
また、移動速度下限レバー１１は、計数対象物のフレーム間での最小移動画素数を指定するものである。例えば、３０分の1秒の間（１フレーム間）に５画素以上は動く物体を計数するのであれば５と指定する。移動速度上限レバー１２は、同様に、計数対象物のフレーム間での最大移動画素数を指定するものである。例えば、３０分の１秒に最大でも１５画素しか動かない物体を計数するのであれば、１５と指定する。連続移動フレーム数下限レバー１３は、何フレームに渡って追跡した場合に計数するかを指定するものである。即ち、本実施形態においては、計数対象物を複数フレームに渡って追跡して初めて計数対象物であることを確認し、計数結果に加えることとしている。サイズ下限レバー１４は、計数対象物の大きさの下限を指定するものであり、画素数で指定する。例えば、画面内で１０画素以上の計数対象物のみを計数する場合には、１０と指定する。サイズ上限レバー１５は、同様に、計数対象物の大きさの上限の画素数を指定するするものである。尚、上記述べたユーザインタフェース画面は、一例でありこれに限られるものではない。例えば、検知サイズ指定レバー１０により、計数対象領域Ａの縦の長さの指定だけでなく、併せて横の長さを指定できるようにしても良い。また、上記述べた指定数値は、すべて一例であり、計数対象物、実施する環境により最適な値を選択して設定することができるものである。
【００５０】
また、本実施形態においては、計数対象選択モードを選択することとしている。計数対象選択モードには、例えば、計数対象モード、非計数対象モード、非計数対象モード、非計数対象モード（広域）の３つのモードを設けるものとする。計数対象選択モードは、計数対象選択手段５によって選択されるものとしている。例えば、本実施形態においては、計数対象選択手段５は、「マングローブ葉」、「葉ではない」、「葉ではない（４０×４０）」の３つのラジオボタンからなり、ユーザはそのいずれかを選択することとしている。３つのラジオボタンのいずれか一つを画面内でマウスクリックすれば３つの項目の中の一つを選択できるようになっている。ラジオボタンにより、「マングローブ葉」を選択した場合には、計数対象モードとなり、「葉でない」を選択した場合には、非計数対象モードとなり、さらに、「葉でない（４０×４０）」を選択した場合には、非計数対象モード（広域）となる。尚、ラジオボタンの選択位置を変更しない限りは、選択したラジオボタンに対応したモードが継続されるものとしている。
【００５１】
計数対象モードが選択されている状態で、計数対象領域Ａ内においてマウスクリックがなされると、クリックした画素位置の画像の色値(r,g,b)に対応する３次元ヒストグラム１の座標(r,g,b)の投票値vに１が加えられる。即ち、クリックした画素位置の画像の色値(r,g,b)は、計数対象に特徴的な色値を表していることを意味する。換言すれば、計数対象モードが選択されている場合は、ユーザは出力装置１８上の計数対象領域Ａ内に表示された計数対象物、例えばマングローブの葉の上でマウスをクリックする必要があることとなる。
【００５２】
一方、非計数対象モードが選択されている状態で、計数対象領域Ａ内においてマウスクリックがなされると、クリックした画素位置の画像の色値(r,g,b)に対応する３次元ヒストグラム１の座標(r,g,b)の投票値ｖが−１される。即ち、クリックした画素位置の画像の色値(r,g,b)は、非計数対象に特徴的な色値を表すということを意味する。換言すれば、非計数対象モードが選択されている場合は、ユーザは出力装置１８上の計数対象領域Ａ内に表示された非計数対象物、例えば葉の浮かんでいない水面や、ゴミなどの上でマウスをクリックする必要があることとなる。
【００５３】
また、非計数対象（広域）モードが選択されている状態で、計数対象領域Ａ内においてマウスクリックがなされると、クリックした画素位置の画像の色値(r,g,b)に対応する３次元ヒストグラム１の座標(r,g,b)を中心とした一定の領域内のすべての座標の投票値ｖが−１される。本実施形態においては、例えば、マウスによりクリックされた画素位置を中心として、４０画素×４０画素の領域が指定され、それらのすべての画素について、３次元ヒストグラム１の座標(r,g,b)の投票値vを−１することとしている。一定の範囲に、計数対象物が撮影されていない場合に用いるものである。尚、上記領域の指定範囲は一例であり、計数対象物、撮影環境に応じて、最適な領域を予め設定することができるものである。また、領域の指定方法も上記の方法に限られるものではなく、例えばマウスでドラッグアンドドロップすることにより、また、タブレット等のポインティングデバイスにより範囲を選択できるようにして、広域の領域を指定することとしても良い。
【００５４】
また、上記述べたように、ユーザがマウスをクリックすることによりその画素位置の色値が３次元ヒストグラム１に登録されるが、計数対象物であるマングローブ葉も一定の速度で流されていく、即ち、ユーザから見ると画面上を移動していくものである。常時移動している移動体に対して、その移動体の上で正しく位置でクリックをすることが困難な場合がある。これに対応するため、本実施形態においては、撮影中の動画像または再生中の動画像をユーザが任意に一時停止することができるようにしている。具体的には、撮影ボタン６をユーザがクリックすることにより、動画像が一時停止し、停止した時点の静止画像が表示される。以下、この状態を静止画像モードという。
【００５５】
静止画像モードは、撮影された動画像の特定のフレームに対して上記述べた処理を行うものである。ユーザによる位置指定ミスを防ぎ、さらに投票値ｖの設定を迅速かつ、正確におこなうことができる。静止画像モードにおいても、画像が動画像であるか、静止画像であるかを除いては通常のモードと変わるところはなく、他の操作についてはすべて同様に行うことができる。ビデオテープに撮影された動画像を再生中の場合、静止画像モードがリリースボタン７により解除されると一時停止から再度動画像の再生へと移る。また、リアルタイム処理、即ち、撮影中の動画像をキャプチャ処理を行っている場合は、静止画像モードがリリースボタン７により解除されると一時停止から再度撮影中の動画像が表示される。尚、本実施形態においては、リアルタイム処理を行っていた場合に撮影ボタン６が押され静止画像モードとなった場合は、出力装置１８上は静止画像が表示されるが、移動体計数処理は、そのまま実行されるものとしている。また、撮影画像を記憶装置等にリアルタイムで取り込むようにしておくことにより、静止画像モードとなった時点で、移動体計数処理を一旦停止し、解除された時点から記憶された動画像に対して移動体計数処理を行うようにしても良い。このようにすることにより、リアルタイム処理を行っていた場合に、静止画像モードを選択し、タイムラグが生じた場合であっても、そのまま継続して処理を行うことができるものである。
【００５６】
なお、上記述べたように３次元ヒストグラム１の作成のための投票値ｖは、計数対象物、または非計数対象物をマウスでクリックすることによって設定されることとしているが、例えば、マウスボタンをドラッグしたまま動かす操作によっても投票値ｖの設定ができるようにしてもよい。また、入力装置１９はマウスに限られるものではなく、キーボード、タブレット等で投票値ｖの設定ができるようにしても良い。
【００５７】
次に、色フィルタ処理を行う。色フィルタ処理は、上記方法により作成された３次元ヒストグラム１を用いてフィルタリングを行うものである。本実施形態においては、色フィルタ処理は、現在対象となっているフレーム画像Ｉの計数対象領域Ａの全画素に対しておこなわれる。具体的には、色フィルタ処理は、計数対象領域Ａのすべての画素位置の色値に対応する３次元ヒストグラム１の座標の投票値ｖを参照し、参照した投票値を予め設定した閾値により判断して２値画像Ｓを作成するものである。
【００５８】
まず現在のフレーム画像Ｉ内の計数対象領域Ａの(x,y)座標の画素i(x,y)の色値(r,g,b)を取得する。取得した色値(r,g,b)に対応する３次元ヒストグラム１の座標(r,g,b)の投票値vを参照する。次に、予め設定した閾値ｋにより判断する。例えば、本実施形態においては、閾値ｋをｋ＝０とするがこれに限られるものではなく、計数対象物、撮影環境により最適な閾値ｋを任意に設定することができるものとしている。本実施形態においては、ｖ＞ｋである場合、即ち、座標に対しての投票数が１以上である場合には、２値画像Ｓの(x,y)座標の画素s(x,y)の値を１とし、投票数が０以下である場合には０とすることとしている。これを、計数対象領域Ａの全画素について行い、すべての画素位置において、１または０の値を取得する。このようにして、原画像と同じ解像度の２値画像Ｓを作成することとしている。尚、作成された２値画像Ｓは、例えば、主記憶装置２１に格納されることとしている。
【００５９】
ここで、あるフレームにおいて、計数対象物を検出したものをすべて計数結果に加えることとすると、例えば、画面内のチラツキなどのノイズが偶然に、色や速度の条件を満たしている場合、計数装置がこれを計数対象物と判断してしまうことが考えられる。しかし、複数フレームに渡ってノイズが計数条件を満たすことは考えにくいため本実施形態においては、連続移動フレーム数下限レバー１３により何フレームに渡って計数対象物を検出した場合に計数するかを指定することができることとしている。即ち、指定したフレーム数に渡って検出して初めて計数対象物とすることとしている。指定値としては３フレーム程度が、適していると考えられるが、これに限られるものではなく、計数対象物、撮影環境等により任意に設定することが可能である。尚、指定値を高く設定すると計数漏れを起こす可能性がある。
【００６０】
上記述べた計数対象物候補画素抽出処理の詳細を図４〜図７に示すフローチャートに沿って説明する。図４に計数対象物候補画素抽出処理（Ｓ１００）の全体のフローチャートを示す。先ず、撮影ボタン６が押された場合（Ｓ１０１；Ｙｅｓ）は、、図５のフローチャートに示す静止画像モード処理へ移行する（Ｓ１１０）。また、撮影ボタンが押されない場合（Ｓ１０１；Ｎｏ）であっても、表示装置上において動画像が再生されているいずれかの位置でマウスクリックがあれば（Ｓ１０２；Ｙｅｓ）、クリックがなされた時点のフレーム画像から色値を取り出し、図６のフローチャートに示す３次元ヒストグラムの作成処理を行う（Ｓ１２０）ものである。次に、３次元ヒストグラムの作成処理の有無に関係なく図７のフローチャートに示す色フィルタ処理が実施される（Ｓ１３０）。
【００６１】
図５に静止画像モード処理（Ｓ１１０）のフローチャートを示す。静止画像モードが選択されると、動画像が一時停止をする（Ｓ１１１）。画面には撮影ボタン６が選択された時点の画像が停止状態で表示される。この画像上を、ユーザがマウスクリックする（Ｓ１１２；Ｙｅｓ）と、クリックされた画素位置に応じて、３次元ヒストグラムの作成処理がなされる（Ｓ１２０）。その後、３次元ヒストグラムの作成処理の有無に関わらず色フィルタ処理が実施される（Ｓ１３０）。リリースボタン７が押されれば（Ｓ１１３；Ｙｅｓ）、静止画像モードが解除され、静止画像モード処理は終了する（Ｓ１１４）。
【００６２】
図６に３次元ヒストグラムの作成処理（Ｓ１２０）のフローチャートを示す。計数対象選択モードが「計数対象」であれば（Ｓ１２１；Ｙｅｓ）、クリックされた画素の色値に該当する３次元ヒストグラム１の投票値を＋１する（Ｓ１２２）。また、計数対象選択モードが「非計数対象」であれば（Ｓ１２３；Ｙｅｓ）、クリックされた画素の色値に対応する３次元ヒストグラム１の座標の投票値を−１する（Ｓ１２４）。また、計数対象選択モードが「非計数対象（広域）」であれば（Ｓ１２５；Ｙｅｓ）、クリックされた画素を中心とする一定の領域の範囲の色値に対応する３次元ヒストグラム１の座標の投票値をすべて−１する（Ｓ１２６）。以上で、３次元ヒストグラムの作成処理を終了する。
【００６３】
図７に色フィルタ処理（Ｓ１３０）のフローチャートを示す。先ず、処理を行っているフレーム画像Ｉの計数対象領域Ａに含まれ、かつ色フィルタ処理の実施されておらず、対応する２値画像Ｓの画素の値が設定されていない画素i(x,y)の色値(r,g,b)を取得する（Ｓ１３１）。次に、３次元ヒストグラム１の座標(r,g,b)における投票値vを参照し（Ｓ１３２）、v>k（kは、閾値）であれば（Ｓ１３３；Ｙｅｓ）、２値画像Ｓの画素s(x,y)の値を１とする（Ｓ１３４）。また、v>kでなければ（Ｓ１３３；Ｎｏ）、２値画素Ｓの画素s(x,y)の値を０とする（Ｓ１３５）。以上のように、計数対象領域のすべての画素に対して色フィルタ処理を行い、処理を行っているフレーム画像Ｉの計数対象領域Ａのすべての画素s(x,y)に０または１の値が入れられる（Ｓ１３６；Ｙｅｓ）と、色フィルタ処理は、終了する。
【００６４】
上記述べたように、計数対象物候補画素抽出処理によって、計数対象物の色の特徴が、３次元ヒストグラム１の各座標が有する投票値として設定ファイルに記憶される。この投票値は、計数対象物の色特徴を現す重要な情報となり、３次元ヒストグラム１内の座標について投票がされればされるほど、即ち、ユーザが指定すればするほど、計数対象物の計数の精度が向上する、いわゆる学習機能を有するものである。座標位置毎の投票数を記憶した設定ファイルは、補助記憶装置２２等に記憶させておき、次回の処理時にそのまま読み出して用いることができる。従って、計数対象物についてある程度、３次元ヒストグラム１の作成を行えば、以降はユーザは何らの操作もする必要がなくなり、計数処理の自動化が可能となる。
【００６５】
計数対象物や撮影環境を変更した場合等は、設定ファイルを別途作成し、また設定ファイルを初期化したい場合は、設定ファイルを新規作成するようにしても良い。さらに、作成した設定ファイルは、例えば他のコンピュータにコピーしたり、他のコンピュータから、ネットワーク網を通じて読み出すことができるものであるので、他のコンピュータにおいても、初めから３次元ヒストグラム１の作成を行うことなく、自動で計数処理をおこなうことができるものである。
【００６６】
さらに、各計数対象物、各撮影環境に応じて、上記の３次元ヒストグラム１の作成処理を予め行って、設定ファイルをコンピュータから読み出し可能な状態としておくことにより、ユーザの介在を一切必要としないで計数対象物の計数をおこなうことができるものである。また、一つのコンピュータに各計数対象物、各撮影環境に応じたファイルを予め複数登録しておき、状況に応じて、読み出す設定ファイルを選択するようにしても良い。このようにすることにより、一組のコンピュータとビデオカメラで、様々な計数対象物と撮影環境に応じた、最適な計数処理を実現することができる。
【００６７】
なお、上記計数対象モードでも、広域指定の機能を設けることとしても良いが、上記述べた３次元ヒストグラムの作成処理においては、計数対象物の指定および色値の入力にあたり、ユーザは、計数対象物のすべての色を装置に指示する必要はなく、計数対象物の有する色の特徴、即ち、計数対象物に共通して含まれるいくつかの色を指示すれば正しい計数が可能となる。また、ラベリング処理によって互いに近傍の画素は結合され、さらに追跡・計数処理により移動体のみが計数されるために２値画像Ｓとして完全な計数対象の形を抽出する必要はない。したがって特徴的な色値およびその領域をある程度指定することができればその後の計数処理をして正しい計数をすることが可能となるからである。
【００６８】
［ラベリング処理について］
続いて、ラベリング処理（Ｓ２００）について詳細に説明する。
【００６９】
計数対象物候補画素抽出処理により作成された２値画像Ｓにおいてs(x,y)＝１となっている画素の多くは計数対象物、即ちマングローブの葉を示すものであるが、以下の二つの原因から計数対象物を完全に反映していない可能性がある。一つは、例えば増水時に生じたゆらぎのように、計数対象ではないが明るさが計数対象に類似した他のものが画面に現れた場合である。もう一つの原因は、計数対象が何らかの不鮮明要因により部分的にしか反映されない場合である。不鮮明要因の例としては、霧や雨、曇りなど照明環境に変化が生じること、また計数対象に類似した画像特徴を持つ部分が背景に存在すること等が挙げられる。さらに、水面を流れるマングローブ葉などばかりでなく、水中を漂い流れるマングローブ葉などの水中物を計数対象としているので、水の透明度が低下する濁りや浮遊物が発生すること等も不鮮明要因たりうる。
【００７０】
これに対し、ラベリング処理では、二つの画像処理を行ってこれら問題への対策を行う。すなわち、一つは小さな独立した連接領域の削除によるノイズ除去であり、もう一つは近接した連接領域の結合による計数対象の確実な抽出である。以下に具体的に説明する。
【００７１】
ここで、まず連接領域Ｃを以下のように定義する。すなわち、連接領域Ｃとは、複数の半径ｄｐの円の重なり合いによって構成される領域である。尚、ここでいう半径（距離）はユークリッド距離である。この場合、一つの円は、少なくとも一つの他の円の中心をその領域内（円周内）に含んでいる必要がある。ある画素が連接領域Ｃに含まれるとは、その画素が連接領域Ｃを構成するいずれかの円の内部にあることをいう。例えば本実施形態において２値画像Ｓから連接領域Ｃを作成する場合であれば、２値画像Ｓで画素の値が１のすべての点を中心に半径ｄｐの円を描き、上述した連接領域Ｃの定義を満たすものを取り出すという処理が行われることになる。
【００７２】
なお、ここでユークリッド距離の定義について補足説明しておく。ある座標(a,b)と座標(c, d)の距離はこれら両画素の座標の距離であり、「ユークリッド距離」、つまり (a-c)2+(b-d)2 の平方根として表される。次に、ある画素ｓと連接領域Ｃとの距離を、この画素ｓと、連接領域Ｃに含まれる他のすべての画素（構成するすべての円の中心）との距離のうちの最小の値とする。また、連接領域Ｃ同士の距離は、二つの連接領域Ｃ1,Ｃ2に対して、それぞれに含まれるすべての画素（構成するすべての円の中心）の組 （c1,c2）∀c1∈Ｃ1，∀c2∈Ｃ2  に対して距離を計算し、その最小値と定義する。
【００７３】
ラベリング処理では、２値画像Ｓから、相互の距離が半径dpより大きな、複数の連接領域（Ｃ1,Ｃ2,…）を作成する。２値画像Ｓのすべての画素（値が１）は作成されたいずれかの連接領域に含まれるようにする。ここで、連接領域群を作成する際の最も単純な作成方法を示すと、ある画素一つのみを含む連接領域Ｃから始めて、その連接領域Ｃに対して距離がｄｐ 以下となる画素を結合し続け、一つもｄｐ以下の画素がなくなったら結合を終了し、今度は残りの画素を種として同じ処理を続ける方法がある。例えば、２値画像Ｓ中で値が１の画素数が少ない場合や、計算機がきわめて高速である場合は、この方法で連接領域Ｃを作成することができる。この場合、計算量は多いが、重心距離や、画素群を包含する長方形領域同士の距離を使うことで、連接領域Ｃの作成精度は多少低下させながらも計算量を大幅に削減することができる。一例を挙げると、連接領域Ｃを、画素群を包含する長方形領域で単純化して表現し、画素ｓと連接領域Ｃの距離は画素ｓと四辺の距離の最小値、また連接領域Ｃ同士の距離は辺同士の距離の最小値を使うというものがある。
【００７４】
ここで、本実施形態におけるラベリング処理では、[画素登録処理]と[連接領域の統合処理]とからなる２段階の連接領域作成を行うこととしているのでこれについて示す（図８、図９参照）。なお、特に図示はしていないが、本実施形態の連接領域Ｃは画素群を包含する長方形領域として表現され、画素と連接領域Ｃとの距離は画素と四辺の距離の最小値で表され、連接領域Ｃ同士の距離は辺同士の距離の最小値で表される。
【００７５】
[画素登録処理]
図８に画素登録処理のフローチャートを示す。画素登録処理を開始し（Ｓ２０１）、連接領域Ｃのリストを初期化する（Ｓ２０２）。ここで２値画像Ｓに属する値が１の画素を一つ選択し（Ｓ２０３）、さらに登録済みの連接領域Ｃを一つ選択した上で（Ｓ２０４）、画像Ｓ中における値が１の画素すべてに対して以下を実施する。すなわち、連接領域Ｃと対象の画素との距離を計算し（Ｓ２０５）、当該距離がｄｐ１以内かどうか判断する（Ｓ２０６）。ｄｐ１以内であるならば、当該画素を連接領域Ｃに加える処理を行い、当該画素に対する処理を終了する（Ｓ２０７、Ｓ２０９）。一方、距離がｄｐ１を超えている場合には、すべての連接領域Ｃとの比較を終えていない限り（Ｓ２０８）、別の連接領域Ｃを選択した上で対象画素との距離を計算するステップを繰り返す（Ｓ２０４、Ｓ２０５）。当該画素がいずれの連接領域Ｃにも属さない場合は、新たな連接領域を作成し、この画素はそれに属するとする（Ｓ２０８ａ）。すべての画素に対する処理を終えたら（Ｓ２０９）、画素登録処理を終了する（Ｓ２１０）。なお、この例からわかるように「dp1」は画素同士をくっつける時に使用する距離であり、計数対象の画面でのサイズよりも小さく、かつ、同じ対象を表す画素が画面上で分離してしまう距離よりも大きな値とする必要がある。
【００７６】
[連接領域の統合処理]
図９に連接領域の統合処理のフローチャートを示す。まず、連接領域Ｃの統合処理を開始する（Ｓ２１１）。すべての連接領域Ｃに対して以下を実施する。すなわち、二つの連接領域（例えばＣ1,Ｃ2）を選択し（Ｓ２１２）、当該連接領域Ｃ1,Ｃ2同士の距離を計算する（Ｓ２１３、Ｓ２１４）。この距離がｄｐ２以内であるならば、これら二つの連接領域Ｃ1,Ｃ2を統合して新たな連接領域Ｃ3として登録する（Ｓ２１５）。この際、もとの二つの連接領域Ｃ1,Ｃ2はリストから削除する。一方、距離がｄｐ２を超えている場合にはこれら二つの連接領域Ｃの統合・削除は行わない。すべての連接領域Ｃの組の距離について計算をし終えたら（Ｓ２１６）、連接領域Ｃの統合処理を終了する（Ｓ２１８）。その一方で、すべての連接領域Ｃの組について距離計算し終えていなければ、別の連接領域Ｃの組を選択し（Ｓ２１７）、当該二つの連接領域Ｃの距離の計算（Ｓ２１３）をするステップを繰り返す。
【００７７】
最後に、ノイズ除去を目的として、すべての連接領域Ｃのうち、属する画素数が一定数以下であるかを予め設定した閾値により判断して、属する画素数が一定数以下である連接領域を削除する。この場合の一定値は画面内の計数対象のサイズに依存する閾値となる。以上でラベリング処理を終了する。
【００７８】
［追跡・計数処理について］
続いて、追跡・計数処理（Ｓ３００）について詳細に説明する。
【００７９】
追跡・計数処理では、ラベリング処理により抽出された現在のフレームの連接領域群と一つ前のフレームの連接領域群との比較を行い、移動している対象を検出する。ここで、マングローブ葉を計数対象とした場合の特徴について簡単に説明しておくと、マングローブ葉等の川を流れる葉の場合には、例えば水中を泳ぐ魚類などを対象とした場合と比べればかなり遅い一定の速度で移動するという特徴があるため、このような流出葉の様子を、画像の特徴に多くの共通性があることが前提で尚かつゆっくり移動する対象（例えば建物への侵入者など）を検出するために用いられる従来の移動体検出手法で処理しようとすると多数の処理漏れや過剰検出が発生してしまうおそれがある。これに対し、本実施形態においては、低速かつほぼ同じ速度で移動するという流出葉の性質を生かし、例えばテンプレートマッチング等の画像特徴の比較などを行わずに移動体を検出することで、精度が高く尚かつ高速な検出を実現している。以下に、本実施形態における追跡および計数の内容について説明する。
【００８０】
まず、現在の画像の連接領域をＣc1,Ｃc2,…,Ｃcn、前フレームの連接領域をＣp1,Ｃp2,…,Ｃpmとする。Ｃck(k＝1,2,…,n)と、Ｃpj(j＝1,2,…,m)の距離を、すべての組み合わせ（Ｃck,Ｃpj）に対して比較する。この距離がある下限値以上、ある上限値以下の場合に、二つの領域は移動した同じ領域であると判定する。つまり距離をｄとし、上限をｄmax、下限をｄminとすると、ｄmin≦ｄ≦ｄmaxとなるＣckとＣpjの組があった場合に、ＣckはＣpjが動くことによって生じた同じ対象についての連接領域であると判定する。ここで下限ｄminを設定するのは、移動量の少ないノイズ状の領域を削除するのが目的である。ノイズ状の領域としては、主に水面の反射や屈折、あるいは揺れ動く影などが該当する。一方、上限ｄmaxを設定するのは当該連接領域Ｃを別の対象と混同しないようにするためであり、この値をある程度大きくとった場合にはフレーム間で大きく移動する対象も漏れなく検出することが可能となるが、複数の対象が同時に画面に現れた場合にそれらを混同する場合があるので、上限ｄmaxをあまり大きくとることはせず、計数対象の移動速度に関する事前知識に基づき適切に設定することが望ましい。例えば、１／３０秒間における画像中での平均移動距離が１０画素で、標準偏差σが３画素であれば、１σとして７画素をｄmin、１３画素をｄmaxとする。条件を満たす組が複数存在する場合は、より近い方を選択する。
【００８１】
なお、川面を流れる葉のように移動方向がほぼ一定の場合は、移動方向に関しての当該移動物の特徴点を加味することによって動作の制約事項と考えることができ、このような制約を設けることにより、迅速にかつ精度よく検出することが可能となる。例えば画面の上から下に川が流れていて、この流れに乗って同じく画面の上から下へと流れるマングローブ葉を検出する場合においては、画面を縦長の領域に区切り、当該領域内においてＣckとＣpjの組について判定すれば足りる。この場合には、Ｃck(k＝1,2,…,n)と、Ｃpj(j＝1,2,…,m)の距離をすべての組み合わせ（Ｃck,Ｃpj）に対して比較する必要がないのでより迅速にかつ精度よく検出できる。
【００８２】
さらには、色やテクスチャ（ここでいうテクスチャとは表面上の「きめ」や模様などのこと）など、画像の特徴にフレーム間で一貫性がある対象の場合には、ヒストグラムや相関などを利用した類似性判定を行って組み合わせの対象を限定することで精度を向上させるといった工夫も可能である。ただしこのような類似性判定を実施すると一般的に計算量が増えるため、目的に合わせて類似性判定を実施するかどうか適宜取捨選択することが好ましい。
【００８３】
上記手法により、現在の画像における連接領域Ｃと前フレームの連接領域Ｃとが同一の計数対象物を表していると判定できた場合には、計数対象の計数に１を加える。このカウント済みの対象に関しては、カウント以降も計数対象領域Ａから消えるまで追跡を継続するが再度のカウントは行わない。なお、本明細書でいう「追跡」とは、連続するフレーム（例えばIkとIk+1）間において上述した距離に関する条件 ｄmin≦ｄ≦ｄmax を満たすｄを有するものを同一の計数対象（この場合、マングローブ葉）であるとみなし、さらに、その次の連続するフレーム（Ik+1とIk+2）間において同一の計数対象とみなす、というように２フレーム以上連続するフレームで計数対象を同定し続けることを意味する。上記した手法により、現在の画像における連接領域Ｃと前フレームの連接領域Ｃとが同一の流出葉の像を表していると判定できた場合には、計数対象の計数に１をカウントして増やすことも可能ではあるが、追跡をさらに複数フレームにわたって行ってからカウントすることが望ましい。本実施形態においては、連続移動フレーム数下限レバー１３により、何フレームに渡って追跡した場合に計数するかを指定することができるようにしている。このようにすることにより、川の流れに乗って流れているだけであり動き自体にはそれほど大きな特徴のないマングローブ葉をより確実かつ正確にカウントすることが可能となる。このような観点からすれば、判定時にカウントするばかりでなく、画像中に存在している間追跡し、画像中から消滅した時にカウントする方法を採用することも好ましい。要は、計数対象となる連接領域一つに対し確実に１のカウントを実施することである。
【００８４】
また、計数対象物が重なった場合あるいは重なっている場合にどのように処理するかについて図１０〜図１２を用いて説明する。計数対象物が途中で重なったり分離したりすると、計数対象物を表す連接領域Ｃは移動体として何であるかを確定することが困難であるが、本実施形態ではこのような場合に一定の処理を施すことによってより正確な計数ができるようにしている。図１０〜図１２においては、移動体として未確定の連接領域を白抜きの矩形枠、移動体として確定した連接領域を黒塗りの矩形枠でそれぞれ表している。
【００８５】
まず、図１０に示すように画像中に連接領域が出現してすぐに分離した場合には、分離後の連接領域のそれぞれを＋１とし、計２枚のマングローブ葉としてカウントする。またこれとは逆に、図１１に示すように画像中に出現してからすぐに重なりその後は分離しない場合には、１枚としてカウントする。さらに、図１２に示すように画像中に出現してすぐ重なり、その後二つに分離した場合には、分離した方が未確定の連接領域となるが、その連接領域が動いたことが確認された時点でさらにカウントを増やすこととしている。これらの方法により、１フレームの画像内に類似の対象が同時に複数撮影され、さらには対象数が増減した場合にも安定かつ迅速に計数することができることとしている。なお、連接領域が分離した場合、いずれが分離した方なのかを判断する必要はなく、いずれか一方を分離した方とし、もう一方を元から流れていた葉とするだけで足りる。この場合、いずれが分離した方になるかは処理の順番により決まり、尚かつ、いずれを先にしても計数結果に変わりはない。
【００８６】
上記処理により、マングローブ葉の計数結果が計数結果表示領域Ｂ、並びに計数結果表示フィールド９に表示される。また同時に、計数対象物の計数時刻、連接領域Ｃの画素数（大きさ）、計数対象物の移動速度、計数対象物の経路等を出力装置１８上に表示し、もしくはファイルに記述して記憶装置に記憶するようにしても良い。
【００８７】
以上のように、本実施形態で説明した移動体計数方法、装置、およびプログラムによれば、川を撮影するビデオカメラの映像のみから、画像処理により、川を流れる葉等の計数対象物をごみ等の非計数対象物とを区別して計数することができる。また、人の介在を排除し、計数処理を自動で行うことができる。さらに、リアルタイムで処理をおこなうことが可能である。また、計数装置が市販ないし既存のビデオカメラとパーソナルコンピュータのみで構成することも可能であるため導入が簡便であり、設置費用や設置の際の手間を抑えることが可能である。
【００８８】
さらには、背景技術欄に記載の（２）ネット法（森林と河川の境界である河岸にネットを張り、川を流れてくる葉や流木など木に由来するものとごみを集めて定量計数する方法）と本実施形態の移動体計数装置１６とを組み合わせることでより精度の高い計数もできるようになる。つまり、ビデオカメラが撮影する範囲を一定時間ネット法により実測することで、移動体計数装置１６が水面と水面近くの水中を流れている葉の量を計数し、ネット法により、水中を流れる葉の量の実測値から、実際に流れている葉の全量を推定することが可能となる。また、このようにしてある推定式が得られた場合には、ビデオカメラ映像から得られた計数結果にこの推定式を適用して流出量の総量を推定することもできる。実際にネット法によって全量計数を行うのは膨大な手間がかかるが、このネット法を本計数装置の計数値をより正確な結果が得られるよう補正するために併用すれば、両者の不足点を補い合いつつさらに高度かつ正確な計数を実現することが可能となる。また、このように複数の手法を組み合わせた場合であれば、ネット法などの従来手法は比較的短い時間だけ実施すれば足りる場合もあるため手間も少なくて済むようになるという相乗的効果も期待できる。また、川底すべてをネット法により計数するのではなく、川底の一部分をネット法により計数し、川全体の川底付近の葉の流量を推定するようにして、さらに本実施形態の移動体計数装置１６と組み合わせるようにしても良い。また、（３）の光センサー法などと組み合わせて計数値補正することも同様に可能である。
【００８９】
また、本実施形態にて行う画像処理は、固定ビデオカメラに映った物体の画像（あるいは物体を表す画像データ）を取り出すという手法を基礎とし、以下の２点を特徴とするものである。すなわち、一つは、水面の反射や屈折などノイズ要素への対処をして精度のよい計数対象となる物体の画像を生成するために、３次元ヒストグラム１を利用する点であり、もう一つは一定の速度で移動するマングローブ葉という対象を検出するために、移動速度など動作の特徴的な部分を活用して追跡および計数を行う点である。これら特徴的な処理を行うことにより、画面内を低速で移動しており、尚かつ近傍の水面反射などを計数対象物と誤認してしまうおそれもあるような場合であっても、計数対象物を、高精度かつリアルタイムに計数できる手法が構築されている。
【００９０】
上記述べた方法により、計数対象物の色情報の特徴を十分にユーザの指定により、設定ファイルに記述された後は、ユーザの一切の介在を必要とせず、自動で計数処理を行うことが可能となる。このため、ビデオカメラによる撮影画像を、計数現場において、またはインターネット網等を通じてコンピュータに実時間処理を行うことが可能となる。例えば、ビデオカメラで撮影された映像データの毎フレームに対する処理を行い続け、計数結果を計数時刻とともにファイルに記録することが可能となる。実時間処理を行って、計数対象物の計数を、例えば出力装置１８上にグラフなどにより表示させ、リアルタイムに計数を更新させるようにするようにしても良い。
【００９１】
また、計数対象物も上記述べた実施形態においては、計数対象物として、マングローブ葉一つに限って説明を行ったが、計数対象物は一つに限られるものではなく、例えばマングローブの葉、流木、ゴミのすべてをを同時に計数対象として、上記のそれぞれを計数することも可能である。この場合において、それぞれの計数を例えばグラフ等に集計して、出力装置１８上に表示させるようにしてもよい。また、計数対象物の計数に加えて、各計数対象物の通過時刻、通過位置、通過経路、個々の面積、色情報等のデータも併せてファイルに記述して、補助記憶装置２２等に記憶させておいても良い。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施形態を示すフローチャートで、移動体計数装置により流出葉数を自動計数する際の全体の処理手順を表したものである。
【図２】（ａ）は、３次元ヒストグラムの一例を示す図である。（ｂ）は、３次元ヒストグラムに投票値vが設定された場合の一例を示す図である。（ｃ）は、３次元ヒストグラムに投票値vが一定数以上設定された場合の一例を示す図である。
【図３】本発明を適用した移動体計数装置のユーザインタフェース画面の一例を示す図である。
【図４】計数対象物候補画素抽出処理の全体を示すフローチャートである。
【図５】計数対象物候補画素抽出処理のうちの静止画像モード処理の詳細を示すフローチャートである。
【図６】計数対象物候補画素抽出処理のうちの３次元ヒストグラムの作成処理の詳細を示すフローチャートである。
【図７】計数対象物候補画素抽出処理のうちの色フィルタ処理の詳細を示すフローチャートである。
【図８】ラベリング処理のうち画素登録処理の詳細を示すフローチャートである。
【図９】ラベリング処理のうち画素統合処理の詳細を示すフローチャートである。
【図１０】移動体が重なる場合の処理例を説明するための図で、移動体が出現してすぐ離れる場合を示したものである。
【図１１】移動体が重なる場合の処理例を説明するための図で、移動体が出現してすぐ重なる場合を示したものである。
【図１２】移動体が重なる場合の処理例を説明するための図で、移動体が出現してすぐ重なり、その後離れる場合を示したものである。
【図１３】移動体計数装置の構成の一例を示す図である。
【図１４】移動体計数装置の機能ブロック図の一例である。
【符号の説明】
【００９３】
１  ３次元ヒストグラム
１６  移動体計数装置
１８  出力装置
１９  入力装置
２４  計数対象物候補画素抽出部
２５  ラベリング部
２６  追跡・計数部
Ａ  計数対象領域
Ｂ  計数結果表示領域
Ｃ  連接領域
Ｉ  フレーム画像
Ｓ  ２値画像
【図１】
2007065878.tif 000003
【図２】
2007065878.tif 000004
【図４】
2007065878.tif 000005
【図５】
2007065878.tif 000006
【図６】
2007065878.tif 000007
【図７】
2007065878.tif 000008
【図８】
2007065878.tif 000009
【図９】
2007065878.tif 000010
【図１０】
2007065878.tif 000011
【図１１】
2007065878.tif 000012
【図１２】
2007065878.tif 000013
【図１３】
2007065878.tif 000014
【図１４】
2007065878.tif 000015
【図３】
2007065878.tif 000016