(57)【要約】【課題】【解決手段】本発明は現場の断面情報、分析時間、分析間隔、分析領域に対してカメラが収集した連続映像からピクセル流速を算出し、これを実際の物理的な流速に換算して流速測定の効率性および正確性を高めた、オプティカルフロー映像処理を利用する河川流速測定装置および方法に関し、河川流速測定現場の連続映像を獲得する映像撮影部；映像撮影部の映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定をする映像変換分析部；分析地点の分析領域を抽出する分析領域抽出部；分析領域抽出部で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定部；ピクセル流速算定部で算定されたピクセル流速を実際流速に換算する実際流速算定部；を含むものである。
2021531450.tif 000002
【特許請求の範囲】
【請求項１】
河川流速測定現場の連続映像を獲得する映像撮影部；
映像撮影部の映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定をする映像変換分析部；
分析地点の分析領域を抽出する分析領域抽出部；
分析領域抽出部で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定部；
ピクセル流速算定部で算定されたピクセル流速を実際流速に換算する実際流速算定部；を含むことを特徴とする、オプティカルフロー映像処理を利用する河川流速測定装置。
【請求項２】
映像変換分析部は、
ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定のために、入力点の平均Ｘ座標とＹ座標を算定して該当座標を原点に移動させ、入力点と平均Ｘ座標とＹ座標間の距離を変換して映像データを正規化（Ｎｏｒｍａｌｉｚｅ）することを特徴とする、請求項１に記載のオプティカルフロー映像処理を利用する河川流速測定装置。
【請求項３】
ピクセル流速算定部はオプティカルフローを適用した表面流速場算定のために、
指定された格子設定を呼び出して分析する映像の個数（Ｎ）と分析結果を保存する配列宣言をして映像を配列に保存し、
映像間分析を格子点の個数だけ繰り返して表面流速場算定をすることを特徴とする、請求項１に記載のオプティカルフロー映像処理を利用する河川流速測定装置。
【請求項４】
ピクセル流速算定部は地点流速算定のために、
映像と格子点変数宣言をし、格子点の位置から映像抽出をしてピクセル流速算定をし、
格子点位置とピクセル流速、フィルタ係数変数を定めて、地点流速算定時に算定された誤差がフィルタ係数より大きいとフィルタリングをして地点流速算定をすることを特徴とする、請求項１に記載のオプティカルフロー映像処理を利用する河川流速測定装置。
【請求項５】
映像撮影部で撮影される映像歪み補正のために、
水位が変わってもカメラが見る参照点の映像座標が変わらないように４個の参照点を堤防高さに設置し、
カメラの実際の座標（Ｘｃ、Ｙｃ、Ｈ）、カメラと水面までの高さ（Ｈ）および堤防上の参照点（Ａ）の実際の座標（Ｘ０、Ｙ０、Ｚ０）を利用して水の表面と同じ高さの点Ａ’の実際の座標（Ｘ’０、Ｙ’０、Ｚ’０）を求めることを特徴とする、請求項１に記載のオプティカルフロー映像処理を利用する河川流速測定装置。
【請求項６】
河川流速測定現場の連続映像を獲得する映像撮影段階；
映像撮影段階で獲得された映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定をする映像変換分析段階；
分析地点の分析領域を抽出する分析領域抽出段階；
分析領域抽出段階で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定段階；
ピクセル流速算定段階で算定されたピクセル流速を実際流速に換算する実際流速算定段階；を含むことを特徴とする、オプティカルフロー映像処理を利用する河川流速測定方法。
【請求項７】
映像変換分析段階は、
ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定のために、入力点の平均Ｘ座標とＹ座標を算定して該当座標を原点に移動させ、入力点と平均Ｘ座標とＹ座標間の距離を変換して映像データを正規化（Ｎｏｒｍａｌｉｚｅ）することを特徴とする、請求項６に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
【請求項８】
ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定のためのホモジーニアス（Ｈｏｍｏｇｅｎｅｏｕｓ）形態は、
【数１】
2021531450.tif 000017
で定義され、
ここで、ｘ、ｙは映像変換前の座標であり、ｘ’、ｙ’は映像変換後の座標、ｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２は映像変換に必要な媒介変数であることを特徴とする、請求項６に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
【請求項９】
ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定のための形態は、
【数２】
2021531450.tif 000018
で定義されることを特徴とする、請求項８に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
【請求項１０】
ピクセル流速算定段階でオプティカルフローを適用した表面流速場算定のために、
Ｍ個の個数を有する分析する点で構成された格子変数を定義する段階と、
あらかじめ指定された格子設定を呼び出して分析する映像の個数（Ｎ）と分析結果を保存する配列を宣言する段階と、
カメラを通じて映像を配列に保存する段階と、
映像間分析を格子点の個数だけ繰り返して分析結果を配列に保存する段階を含むことを特徴とする、請求項６に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
【請求項１１】
ピクセル流速算定段階で地点流速算定のために、
映像と格子点変数宣言をし、格子点の位置から映像抽出をする段階と、
オプティカルフローピクセル流速算定アルゴリズムを適用して、格子点位置とピクセル流速、フィルタ係数変数宣言をして格子点位置とピクセル流速を実際流速に変換する段階と、
算定された流速誤差がフィルタ係数より大きいとフィルタリングをし、そうでなければ流速算定結果を出力する段階を含むことを特徴とする、請求項６に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
【請求項１２】
ピクセル流速算定段階に、
映像変数宣言をし、Ｘ方向、Ｙ方向、時間微分変数宣言をする段階と、
Ｘ方向映像微分、Ｙ方向映像微分、時間方向映像微分をしてピクセル流速を算定する段階を含むことを特徴とする、請求項６に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
【請求項１３】
ピクセル流速算定段階で、
ピクセル流速算定のための式が
【数３】
2021531450.tif 000019
で定義され、
ここで、Ｉは映像のピクセル値、ｘはＸ方向座標、ｙはＹ方向座標、ｔは時間、δｔは時間の変化量であることを特徴とする、請求項６に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
【請求項１４】
ピクセル流速算定のための式が、
【数４】
2021531450.tif 000020
で整理され、
右項の微分式の合計が０にならなければならないことを利用してピクセル流速算定のための式は
【数５】
2021531450.tif 000021
で定義され、
ここで、Ｉｘは映像のＸ方向微分行列、Ｉｙは映像のＹ方向微分行列、ＶｘはＸ方向ピクセル速度、ＶｙはＹ方向ピクセル速度、Ｉｔは映像の時間微分行列であることを特徴とする、請求項１３に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
【請求項１５】
ピクセル流速算定のための式は、
【数６】
2021531450.tif 000022
で定義され、
ここで、
【数７】
2021531450.tif 000023
ｑｎはｎ番目のピクセル、ｎは映像のピクセル個数であることを特徴とする、請求項１４に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
【請求項１６】
実際流速算定段階で実際流速は、
【数８】
2021531450.tif 000024
であり、
ここで、Ｖγは実際流速であり、Ｖｐはピクセル流速、ＬＰＰはピクセル当たりの距離、Ｋはスケールファクターであることを特徴とする、請求項６に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
【請求項１７】
ピクセル当たりの距離は、
【数９】
2021531450.tif 000025
であり、
ここで、ＬＰＰはピクセル当たりの距離、Ｎは映像変換の参照点の個数、Ｌγは映像変換の隣り合う両参照点がなす物理距離、Ｌｐは映像変換の隣り合う両参照点がなすピクセル距離であることを特徴とする、請求項１６に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
【請求項１８】
スケールファクターは、
【数１０】
2021531450.tif 000026
であり、
ここで、Ｋはスケールファクター、Ｄ１はセンサと映像変換の参照点間の初期平均標高差、Ｄ２はセンサと映像変換の参照点間の平均標高差であることを特徴とする、請求項１６に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
【請求項１９】
映像撮影段階で撮影される映像歪み補正のために、
水位が変わってもカメラが見る参照点の映像座標が変わらないように４個の参照点を堤防高さに設置してカメラの実際の座標（Ｘｃ、Ｙｃ、Ｈ）、カメラと水面までの高さ（Ｈ）および堤防上の参照点（Ａ）の実際の座標（Ｘ０、Ｙ０、Ｚ０）を利用して水の表面と同じ高さの点Ａ’の実際の座標（Ｘ’０、Ｙ’０、Ｚ’０）を求めることを特徴とする、請求項６に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
【請求項２０】
水の表面と同じ高さの点Ａ’の実際の座標（Ｘ’０、Ｙ’０、Ｚ’０）を、
【数１１】
2021531450.tif 000027
で求め、
【数１２】
2021531450.tif 000028
ここで、
【数１３】
2021531450.tif 000029
であることを特徴とする、請求項１９に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は河川流速測定に関し、具体的には現場の断面情報、分析時間、分析間隔、分析領域に対してカメラが収集した連続映像からピクセル流速を算出し、これを実際の物理的な流速に換算して流速測定の効率性および正確性を高めた、オプティカルフロー映像処理を利用する河川流速測定装置および方法に関する。
【背景技術】
【０００２】
一般的に河川に流れる流水の流速を測定するために、平水時にはプロペラ流速計、カップ型流速計、または電磁流速計などの検知器を利用する方法が、洪水時には浮子観測法が多く利用されている。
【０００３】
平水時の流速測定に利用される流速計は専ら一点での流速のみを測定できるだけであって、渦流の形成や流向  の分析などが困難な問題を有している。
【０００４】
したがって、万一、河川の全幅にかけての流速を測定しようとする場合、多くの時間、努力、および費用がかかることになる。
【０００５】
一方、河川に洪水が発生する場合、流速が速く水深が深いため、接近するのに多くの危険が伴われる。このため、プロペラ流速計や電磁流速計などの検知器を水中に入れなければならない従来の流速計は洪水の時には使い難い短所がある。
【０００６】
反面、洪水時に多く利用される浮子観測法は人員の問題、機敏性の欠如（尖頭流量の欠測可能性が高い点）、連続観測が不可能な点、浮子が流れの流速を正確について行くかという追随性の問題、浮子の長さ選択の問題などによって、高正確度の観測を期待できないのが現実である。
【０００７】
特に、小河川は国家および地方河川と異なって、流域面積が小さく、傾斜が急であるため尖頭到達時間が非常に短く、流れなどが複雑であるため浮子を利用した計測方法は信頼度が落ちる。併せて、小河川では浮子を利用するほどの一定の長さの直線区間と計測のための安全場所を探すことが困難であるため、小河川で活用可能な非接触式計測技術が要求される。
【０００８】
現在韓国には２２，８２３個の小河川が全国各地に分布しているにも関わらず、これを管理できる公務員の数は絶対的に足りないのが実情である。
【０００９】
このような理由から、現在まで政府が直接管理する国家河川でのみ計測が行われたが、生活の質の向上による地域共同体の小河川の洪水の被害低減の要求が増加しており、少ない人員によっても計測が可能な自動化計測技術が要求される。
【００１０】
したがって、このような計測を自動化したり容易にする方法が多様に摸索されてきた。その中で表面映像流速測定法は従来方法の多様な問題点を解消できる可能性が高い方法である。
【００１１】
表面映像流速測定法とは、河川の表面を撮影した航空写真やビデオ映像などで河川の表面映像を抽出して流速を算定することである。
【００１２】
表面映像流速測定法は大きく映像パーティクル一致法（ｔｅｍｐｌａｔｅ  ｐａｔｔｅｒｎ  ｍａｔｃｈｉｎｇ）を利用する方法と時空間映像（ＳＴＩ、ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ  ｉｍａｇｅ）を利用する方法に分けることができる。
【００１３】
映像パーティクル一致法は粒子映像流速計測法（ＰＩＶ、Ｐａｒｔｉｃｌｅ  Ｉｍａｇｅ  Ｖｅｌｏｃｉｍｅｔｒｙ）に基づいて、一対の映像を利用して河川の表面の２次元流速分布を計測する方法である。
【００１４】
このような映像パーティクル一致法はフレームを一定の大きさのブロックに分け、現在のブロックと最も類似する明暗値を有するブロックを次のフレームで探して移動距離を計算する方法であり、移動距離ベクター推定の正確度を高めるためにはブロック周辺のすべての変位に対して平均絶対値の差を計算しなければならないが、この時、ウインドウの大きさが大きくなるほど多くの演算時間が要求されてリアルタイム流速の測定が難しい。
【００１５】
一方、時空間映像分析法は多数枚の連続した映像（時空間映像）を一度に分析してその時間の間の平均流速を分析することである。
【００１６】
時空間映像を利用する例としては、時空間映像流速計測法（ＳＴＩＶ、Ｓｐａｃｅ−Ｔｉｍｅ  Ｉｍａｇｅ  Ｖｅｌｏｃｉｍｅｔｒｙ）が挙げられる。
【００１７】
ただし、ＳＴＩＶは実用性を高めるために計測対象を主流方向成分のみに限定して流速の横断分布を計測する問題点を有している。
【００１８】
また、時空間映像分析法は映像内の連続する多くのピクセルの明暗値が時間により変化するのを計算して流速を算定する方法であって、一定時間の間のピクセルの明暗値を求めなければならないため、時間平均した流速を計算するには優秀であるが河川の水面の波紋が多い場合、雑音が多く発生して正確度が落ち得る。
【００１９】
特に、明暗値を時間平均しなければならないため計算量が多く、リアルタイム流速の測定に適用するには限界がある。
【００２０】
このような従来技術の流速測定方法は映像獲得および映像の分析過程が複雑であり、参照点の測量が必要であるためリアルタイム自動流速測定が難しい。
【００２１】
特に、従来技術での映像獲得および映像の分析過程での映像変換には２次元投影座標変換法および３次元投影座標変換法が使われている。
【００２２】
２次元投影座標変換法は水面と同じ高さの参照点が最小４個必要であり、水位の変化により参照点の高さを再設定することが必要であるが、参照点の再設定が難しいため誤差が多く発生する問題がある。
【００２３】
また、３次元投影座標変換法は高さが異なる参照点６個と水面と同じ高さの参照点１個か必要であり、水位の変化により新しいマッピング係数の適用が必要である。
【００２４】
このような３次元投影座標変換法は、高さが異なる６個の参照点より水位が上昇する場合には適用が不可能であり、参照点が多いため測量誤差による正確度の低下問題がある。
【００２５】
したがって、新しい映像処理方法を活用して河川の流速を測定できる技術の開発が要求されている。
【発明の概要】
【発明が解決しようとする課題】
【００２６】
本発明はこのような従来技術の河川流速測定技術の問題を解決するためのもので、現場の断面情報、分析時間、分析間隔、分析領域に対してカメラが収集した連続映像からピクセル流速を算出し、これを実際の物理的な流速に換算して流速測定の効率性および正確性を高めた、オプティカルフロー映像処理を利用する河川流速測定装置および方法を提供することにその目的がある。
【００２７】
本発明は映像変換時に実際の座標と映像座標間の関係式をマトリックス形態で保存し、ピクセル流速で算定された流速をマトリックスを活用して実際流速に変換して流速算定の正確性を高めた、オプティカルフロー映像処理を利用する河川流速測定装置および方法を提供することにその目的がある。
【００２８】
本発明はあらかじめ指定された格子設定を呼び出して分析する映像の個数（Ｎ）と分析結果を保存する配列（マトリックス）宣言をして映像を配列に保存し、映像間分析を格子点の個数だけ繰り返して表面流速場算定の正確度を高めた、オプティカルフロー映像処理を利用する河川流速測定装置および方法を提供することにその目的がある。
【００２９】
本発明はピクセル流速算定をし、格子点位置とピクセル流速、フィルタ係数変数を定めて、地点流速算定時に算定された誤差がフィルタ係数より大きいとフィルタリングをして地点流速算定の正確度を高めた、オプティカルフロー映像処理を利用する河川流速測定装置および方法を提供することにその目的がある。
【００３０】
本発明は河川の水位の変化を考慮した映像歪み補正のための方法を適用して、水位が変わってもカメラが見る参照点の映像座標が変わらないようにして、測量した実際の座標と変換結果の誤差が発生しないようにして正確な映像歪み補正が可能であるようにした、オプティカルフロー映像処理を利用する河川流速測定装置および方法を提供することにその目的がある。
【００３１】
本発明の目的は以上で言及した目的に制限されず、言及されていないさらに他の目的は下記の記載から当業者に明確に理解され得るであろう。
【課題を解決するための手段】
【００３２】
このような目的を達成するための本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置は、河川流速測定現場の連続映像を獲得する映像撮影部；映像撮影部の映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定をする映像変換分析部；分析地点の分析領域を抽出する分析領域抽出部；分析領域抽出部で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定部；ピクセル流速算定部で算定されたピクセル流速を実際流速に換算する実際流速算定部；を含むことを特徴とする。
【００３３】
ここで、映像変換分析部は、ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定のために、入力点の平均Ｘ座標とＹ座標を算定して該当座標を原点に移動させ、入力点と平均Ｘ座標とＹ座標間の距離を変換して映像データを正規化（Ｎｏｒｍａｌｉｚｅ）することを特徴とする。
【００３４】
そして、ピクセル流速算定部はオプティカルフローを適用した表面流速場算定のために、指定された格子設定を呼び出して分析する映像の個数（Ｎ）と分析結果を保存する配列宣言をして映像を配列に保存し、映像間分析を格子点の個数だけ繰り返して表面流速場算定をすることを特徴とする。
【００３５】
そして、ピクセル流速算定部は地点流速算定のために、映像と格子点変数宣言をし、格子点の位置から映像抽出をしてピクセル流速算定をし、格子点位置とピクセル流速、フィルタ係数変数を定めて、地点流速算定時に算定された誤差がフィルタ係数より大きいとフィルタリングをして地点流速算定をすることを特徴とする。
【００３６】
そして、映像撮影部で撮影される映像歪み補正のために、水位が変わってもカメラが見る参照点の映像座標が変わらないように４個の参照点を堤防高さに設置し、カメラの実際の座標（Ｘｃ、Ｙｃ、Ｈ）、カメラと水面までの高さ（Ｈ）および堤防上の参照点（Ａ）の実際の座標（Ｘ０、Ｙ０、Ｚ０）を利用して水の表面と同じ高さの点Ａ’の実際の座標（Ｘ’０、Ｙ’０、Ｚ’０）を求めることを特徴とする。
【００３７】
他の目的を達成するための本発明に係るオプティカルフロー映像処理を利用する河川流速測定方法は、河川流速測定現場の連続映像を獲得する映像撮影段階；映像撮影段階で獲得された映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定をする映像変換分析段階；分析地点の分析領域を抽出する分析領域抽出段階；分析領域抽出段階で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定段階；ピクセル流速算定段階で算定されたピクセル流速を実際流速に換算する実際流速算定段階；を含むことを特徴とする。
【発明の効果】
【００３８】
このような本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置および方法は次のような効果を有する。
【００３９】
第１に、現場の断面情報、分析時間、分析間隔、分析領域に対してカメラが収集した連続映像からピクセル流速を算出し、これを実際の物理的な流速に換算して流速測定の効率性および正確性を高めることができる。
【００４０】
第２に、映像変換時に実際の座標と映像座標間の関係式をマトリックス形態で保存し、ピクセル流速で算定された流速をマトリックスを活用して実際流速に変換して流速算定の正確性を高める。
【００４１】
第３に、あらかじめ指定された格子設定を呼び出して分析する映像の個数（Ｎ）と分析結果を保存する配列（マトリックス）宣言をして映像を配列に保存し、映像間分析を格子点の個数だけ繰り返して表面流速場算定の正確度を高めることができる。
【００４２】
第４に、ピクセル流速算定をし、格子点位置とピクセル流速、フィルタ係数変数を定めて、地点流速算定時に算定された誤差がフィルタ係数より大きいとフィルタリングをして地点流速算定の正確度を高める。
【００４３】
第５に、河川の水位の変化を考慮した映像歪み補正のための方法を適用して、水位が変わってもカメラが見る参照点の映像座標が変わらないようにして、測量した実際の座標と変換結果の誤差が発生しないようにして正確な映像歪み補正を可能にする。
【図面の簡単な説明】
【００４４】
【図１】本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置の構成図。
【図２】映像変換座標の一例を示した構成図。
【図３】本発明に係るオプティカルフローを活用した表面流速場算定方法を示したフローチャート。
【図４】本発明に係る地点流速算定のための方法を示したフローチャート。
【図５】本発明に係るピクセル流速算定のための方法を示したフローチャート。
【図６】本発明に係るピクセル流速算定時の微分関数。
【図７】本発明に係るピクセル流速算定時の微分関数。
【図８】河川の水位の変化を考慮した映像歪み補正のための方法を示した構成図。
【図９】河川の水位の変化を考慮した映像歪み補正のための方法を示した構成図。
【図１０】河川の水位の変化を考慮した映像歪み補正のための方法を示した構成図。
【発明を実施するための形態】
【００４５】
以下、本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置および方法の好ましい実施例に関して詳細に説明すると次の通りである。
【００４６】
本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置および方法の特徴および利点は、以下での各実施例に対する詳細な説明を通じて明白になるであろう。
【００４７】
図１は本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置の構成図であり、図２は映像変換座標の一例を示した構成図である。
【００４８】
本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置および方法は、現場の断面情報、分析時間、分析間隔、分析領域に対してカメラが収集した連続映像からピクセル流速を算出し、これを実際の物理的な流速に換算して流速測定の効率性および正確性を高めることができるようにしたものである。
【００４９】
本発明によるオプティカルフロー映像処理は一フレームの特定の位置の明暗値分布と次のフレームでの明暗値分布が最もよくマッチングされる個所を探して移動距離を計算するものである。
【００５０】
このように映像内の各ピクセルの明暗値を利用して移動距離を計算するため時間が非常に短いという長所があり、河川での急激な流量変化時にもリアルタイム流速を非常に短い時間に計算できるためＬＳＰＩＶとＳＴＩＶ方法で遂行できない河川のリアルタイム流速の測定に効果的に適用され得る。
【００５１】
このために本発明は映像変換時に実際の座標と映像座標間の関係式をマトリックス形態で保存し、ピクセル流速で算定された流速をマトリックスを活用して実際流速に変換する構成を含むことができる。
【００５２】
本発明はあらかじめ指定された格子設定を呼び出して分析する映像の個数（Ｎ）と分析結果を保存する配列（マトリックス）宣言をして映像を配列に保存し、映像間分析を格子点の個数だけ繰り返して表面流速場算定の正確度を高める構成を含むことができる。
【００５３】
本発明はピクセル流速算定をし、格子点位置とピクセル流速、フィルタ係数変数を定めて、地点流速算定時に算定された誤差がフィルタ係数より大きいとフィルタリングをする構成を含むことができる。
【００５４】
本発明は表面流速を計測するために２次元投影座標変換プログラムと相互相関法を使うものであって、歪んだ映像を正射映像に変換する映像変換構成および、相互相関法（相関領域の大きさ内の明暗値分布の類似性を探索して追跡者群の変位を計算）プログラムで表面流速を計測する映像分析、計測された流速資料のうち相関係数が低い結果を除去するフィルタリング、計測された流速資料を時間平均して計測結果として保存する構成を含むことができる。
【００５５】
本発明は河川の水位の変化を考慮した映像歪み補正のための方法を適用して、水位が変わってもカメラが見る参照点の映像座標が変わらないようにして、測量した実際の座標と変換結果の誤差が発生しないようにして正確な映像歪み補正を可能にする構成を含むことができる。
【００５６】
本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置は、図１のように、河川流速測定現場の連続映像を獲得する映像撮影部１０と、映像撮影部１０の映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定をする映像変換分析部２０と、分析地点の分析領域を抽出する分析領域抽出部３０と、分析領域抽出部３０で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定部４０と、ピクセル流速算定部４０で算定されたピクセル流速を実際流速に換算する実際流速算定部５０を含む。
【００５７】
ここで、映像変換分析部２０は回転、スケール、平行性保存は原点［０、０］を基準として発生するため、ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定のために映像データを正規化（Ｎｏｒｍａｌｉｚｅ）するものである。
【００５８】
映像データの正規化は図２でのように、入力点の平均Ｘ座標とＹ座標を算定して該当座標を原点に移動させ、入力点と平均Ｘ座標とＹ座標間の距離を変換することである。
ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定を具体的に説明すると次の通りである。
数学式１はホモジーニアス（Ｈｏｍｏｇｅｎｅｏｕｓ）形態を示したものである。
【００５９】
【数１】
2021531450.tif 000003
【００６０】
ここで、ｘ、ｙは映像変換前の座標であり、ｘ’、ｙ’は映像変換後の座標、ｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２は映像変換に必要な媒介変数である。
【００６１】
数学式２および数学式３はホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定のための形態を示したものである。
【００６２】
【数２】
2021531450.tif 000004
【００６３】
【数３】
2021531450.tif 000005
【００６４】
そして、ピクセル流速算定部４０はオプティカルフローを適用した表面流速場算定のために、あらかじめ指定された格子設定を呼び出して分析する映像の個数（Ｎ）と分析結果を保存する配列（マトリックス）宣言をして映像を配列に保存し、映像間分析を格子点の個数だけ繰り返して表面流速場算定の正確度を高める。
【００６５】
そして、ピクセル流速算定部４０は地点流速算定のために、映像と格子点変数宣言をし、格子点の位置から映像抽出をしてピクセル流速算定をし、格子点位置とピクセル流速、フィルタ係数変数を定めて、地点流速算定時に算定された誤差がフィルタ係数より大きいとフィルタリングをして地点流速算定の正確度を高める。
【００６６】
本発明は分析地点を中心にした分析領域の映像を通じてピクセル流速を算定するために次のようなピクセル流速算出構成を含む。
【００６７】
客体の明るさ値は短い時間が過ぎても変わらないという仮定と各映像の動きは非常に小さいためピクセル流速算定のための式を数学式４でのように定義することができる。
【００６８】
【数４】
2021531450.tif 000006
【００６９】
ここで、Ｉは映像内ピクセルの明暗値、ｘはＸ方向座標、ｙはＹ方向座標、ｔは時間、δｔは時間の変化量である。
【００７０】
数学式４の右項をテイラー展開をすると、
【００７１】
【数５】
2021531450.tif 000007
【００７２】
で整理される。
【００７３】
数学式４と数学式５を同時に満足するためには数学式５の右項の微分式の合計が０にならなければならない。
【００７４】
【数６】
2021531450.tif 000008
【００７５】
したがって、ピクセル流速算定のための式は次のように定義される。
【００７６】
【数７】
2021531450.tif 000009
【００７７】
ここで、Ｉｘは映像のＸ方向微分行列、Ｉｙは映像のＹ方向微分行列、ＶｘはＸ方向ピクセル速度、ＶｙはＹ方向ピクセル速度、Ｉｔは映像の時間微分行列である。
【００７８】
数学式７を通じてピクセル速度を求めるためには数学式８のような行列式の形態に変換して解く。
【００７９】
【数８】
2021531450.tif 000010
【００８０】
ここで、
【００８１】
【数９】
2021531450.tif 000011
【００８２】
ｑｎはｎ番目のピクセル、ｎは映像のピクセル個数である。
【００８３】
そして、実際流速算定部５０でピクセル流速を実際流速に換算する過程は数学式９のように定義される。
【００８４】
【数１０】
2021531450.tif 000012
【００８５】
ここで、Ｖγは実際流速であり、Ｖｐはピクセル流速、ＬＰＰはピクセル当たりの距離、Ｋはスケールファクターである。
【００８６】
そして、ピクセル当たりの距離は数学式１０のように定義される。
【００８７】
【数１１】
2021531450.tif 000013
【００８８】
ここで、ＬＰＰはピクセル当たりの距離、Ｎは映像変換の参照点の個数、Ｌγは映像変換の隣り合う両参照点がなす物理距離、Ｌｐは映像変換の隣り合う両参照点がなすピクセル距離である。
【００８９】
そして、スケールファクターは数学式１１のように定義される。
【００９０】
【数１２】
2021531450.tif 000014
【００９１】
ここで、Ｋはスケールファクター、Ｄ１はセンサと映像変換の参照点間の初期平均標高差、Ｄ２はセンサと映像変換の参照点間の平均標高差である。
【００９２】
このような構成を有する本発明に係るオプティカルフロー映像処理を利用する流速測定装置を利用した実際流速算定方法を具体的に説明すると次の通りである。
【００９３】
図３は本発明に係るオプティカルフローを活用した表面流速場算定方法を示したフローチャートであり、図４は本発明に係る地点流速算定のための方法を示したフローチャートである。
【００９４】
本発明に係るオプティカルフロー映像処理を利用する流速測定方法は、大きく河川流速測定現場の連続映像を獲得する映像撮影段階と、映像撮影段階で獲得された映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定をする映像変換分析段階と、分析地点の分析領域を抽出する分析領域抽出段階と、分析領域抽出段階で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定段階と、ピクセル流速算定段階で算定されたピクセル流速を実際流速に換算する実際流速算定段階を含む。
【００９５】
ここで、ピクセル流速算定段階はオプティカルフローを適用した表面流速場算定のために、図３でのように、まずＭ個の個数を有する分析する点で構成された格子変数を定義する。（Ｓ３０１）
引き続き、あらかじめ指定された格子設定を呼び出して（Ｓ３０２）分析する映像の個数（Ｎ）と分析結果を保存する配列（マトリックス）を宣言する。（Ｓ３０３）
そして、カメラを通じて映像を配列に保存する。（Ｓ３０４）
映像間分析を格子点の個数だけ繰り返して分析結果を配列に保存する。（Ｓ３０５）
そして、ピクセル流速算定段階は地点流速算定のために、図４でのように、映像と格子点変数宣言をし（Ｓ４０１）、格子点の位置から映像抽出をする。（Ｓ４０２）
引き続き、オプティカルフローピクセル流速算定アルゴリズムを適用し（Ｓ４０３）、格子点位置とピクセル流速、フィルタ係数変数宣言をして（Ｓ４０４）格子点位置とピクセル流速を実際流速に変換する。（Ｓ４０５）
算定された流速誤差がフィルタ係数より大きいとフィルタリングをし、そうでなければ流速算定結果を出力して地点流速算定の正確度を高める。（Ｓ４０６）
そして、図５は本発明に係るピクセル流速算定のための方法を示したフローチャートであり、図６と図７は本発明に係るピクセル流速算定時の微分関数を示したものである。
【００９６】
ピクセル流速算定段階は図５でのように、映像変数宣言をし（Ｓ５０１）、Ｘ方向、Ｙ方向、時間微分変数宣言をする。（Ｓ５０２）
そして、Ｘ方向映像微分（Ｓ５０３）、Ｙ方向映像微分（Ｓ５０４）、時間方向映像微分をして（Ｓ５０５）ピクセル流速を算定する。（Ｓ５０６）
このような構成を有する本発明に係るオプティカルフロー映像処理を利用する流速測定装置および方法は、河川の水位の変化を考慮した映像歪み補正のための方法を適用して、水位が変わってもカメラが見る参照点の映像座標が変わらないようにして、測量した実際の座標と変換結果の誤差が発生しないようにして正確な映像歪み補正を可能にする。
【００９７】
図８〜図１０は、河川の水位の変化を考慮した映像歪み補正のための方法を示した構成図である。
【００９８】
４個の参照点を利用して簡便かつ正確に映像歪みを補正することがで水位の変化を考慮するために４個の参照点を図８でのように堤防高さに設置して堤防高さの参照点がすべて撮影されるように映像撮影をする。
【００９９】
このような構成によって図９でのように水位が変わってもカメラが見る参照点の映像座標が変わらない。
【０１００】
図１０でのようにカメラの実際の座標（Ｘｃ、Ｙｃ、Ｈ）、カメラと水面までの高さ（Ｈ）および堤防上の参照点（Ａ）の実際の座標（Ｘ０、Ｙ０、Ｚ０）を利用して水の表面と同じ高さの点Ａ’の実際の座標（Ｘ’０、Ｙ’０、Ｚ’０）を求めることができる。
【０１０１】
【数１３】
2021531450.tif 000015
【０１０２】
ここで、
【０１０３】
【数１４】
2021531450.tif 000016
【０１０４】
である。
【０１０５】
以上で説明した本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置および方法は、現場の断面情報、分析時間、分析間隔、分析領域に対してカメラが収集した連続映像からピクセル流速を算出し、これを実際の物理的な流速に換算して流速測定の効率性および正確性を高めることができるようにしたものである。
【０１０６】
本発明は表面流速を計測するために２次元投影座標変換プログラムと相互相関法を使うものであって、歪んだ映像を正射映像に変換する映像変換構成および、相互相関法（相関領域の大きさ内の明暗値分布の類似性を探索して追跡者群の変位を計算）プログラムで表面流速を計測する映像分析、計測された流速資料のうち相関係数が低い結果を除去するフィルタリング、計測された流速資料を時間平均して計測結果として保存するものである。
【０１０７】
本発明によるオプティカルフロー映像処理は一フレームの特定の位置の明暗値分布と次のフレームでの明暗値分布が最もよくマッチングされる個所を探して移動距離を計算するものである。
【０１０８】
このように映像内の各ピクセルの明暗値を利用して移動距離を計算するため時間が非常に短いという長所があり、河川での急激な流量変化時にもリアルタイム流速を非常に短い時間に計算できるためＬＳＰＩＶとＳＴＩＶ方法で遂行できない河川のリアルタイム流速の測定に効果的に適用され得る。
【０１０９】
以上での説明でのように、本発明の本質的な特性から逸脱しない範囲で変形された形態で本発明が具現されていることが理解できるであろう。
【０１１０】
したがって、明示された実施例は限定的な観点ではなく説明的な観点で考慮されるべきであり、本発明の範囲は前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差異点は本発明に含まれるものと解釈されるべきである。
産業上利用の可能性
本発明は現場の断面情報、分析時間、分析間隔、分析領域に対してカメラが収集した連続映像からピクセル流速を算出し、これを実際の物理的な流速に換算して流速測定の効率性および正確性を高めた、オプティカルフロー映像処理を利用する河川流速測定装置および方法に関する。
【図１】
2021531450.tif 000030
【図２】
2021531450.tif 000031
【図３】
2021531450.tif 000032
【図４】
2021531450.tif 000033
【図５】
2021531450.tif 000034
【図６】
2021531450.tif 000035
【図７】
2021531450.tif 000036
【図８】
2021531450.tif 000037
【図９】
2021531450.tif 000038
【図１０】
2021531450.tif 000039
【国際調査報告】
2021531450.tif 000040
2021531450.tif 000041
2021531450.tif 000042
2021531450.tif 000043