(57)【要約】【課題】時系列な画像の変化を予測する際の問題解決を図る。【解決手段】速度推定手段１２０は、連続する２枚の画像からオプティカルフローより速度を推定し、演算手段１３０が、最新の画像と当該速度から画像の変化を予測する。変動量更新手段１４０は、予測が実際の変化に追随するようにＣＯＮＤＥＮＳＡＴＩＯＮ法により、前記予測で得られる変化量を更新し、出力手段１５０が変化量更新手段１４０を介して得られる画像を出力（表示、印刷など）する。【選択図】図１
2007285762.tif 000002
【特許請求の範囲】
【請求項１】
画像変化予測装置に構成された入力手段が、時系列な複数の画像を入力し、
前記画像変化予測装置に構成された蓄積手段に該画像が蓄積され、
前記画像変化予測装置に構成された速度推定手段が、連続する２つの画像からオプティカルフローにより速度を推定し、
前記画像変化予測装置に構成された演算手段が、最新の画像と前記速度から画像の変化を予測し、
前記画像変化予測装置に構成された変化量更新手段が、前記予測が実際の変化に追随するようにＣＯＮＤＥＮＳＡＴＩＯＮ法により前記予測で得られる変化量を更新し、
前記画像変化予測装置に構成された出力手段が、前記変化量更新手段を介して得られる画像を出力する、
ことを特徴とする画像変化予測方法。
【請求項２】
前記変化量更新手段が、前記予測で得られる変化量を、ロバスト関数であるローレンツ分布関数を用いて、過去からの速度変化と画像強度変化に基づいて更新することを特徴とする請求項１記載の画像変化予測方法。
【請求項３】
前記演算手段が、画像強度の予測を移流拡散方程式で行い、速度の予測をナビエ・ストークス方程式および連続方程式で行うことを特徴とする請求項１または２記載の画像変化予測方法。
【請求項４】
時系列な複数の画像を入力する入力手段と、該画像が蓄積される蓄積手段と、連続する２つの画像からオプティカルフローにより速度を推定する速度推定手段と、最新の前記画像と前記速度から画像の変化を予測する演算手段と、前記予測が実際の変化に追随するようにＣＯＮＤＥＮＳＡＴＩＯＮ法により前記変化量を更新する変化量更新手段と、前記変化量更新手段を介して得られる画像を出力する出力手段とを備えることを特徴とする画像変化予測装置。
【請求項５】
前記変化量更新手段が、前記予測で得られる変化量を、ロバスト関数であるローレンツ分布関数を用いて、過去からの速度変化と画像強度変化に基づいて更新することを特徴とする請求項４記載の画像変化予測装置。
【請求項６】
前記演算手段が、画像強度の予測を移流拡散方程式で行い、速度の予測をナビエ・ストークス方程式および連続方程式で行うことを特徴とする請求項４または５記載の画像変化予測装置。
【請求項７】
請求項１ないし３のいずれかに記載の画像変化予測方法を画像変化予測装置に実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列な画像の変化を予測する画像変化予測方法および画像変化予測装置に関わる。
【背景技術】
【０００２】
映像やセンサーが観測される気象情報からの気象予測を行う分野において、気象現象に代表される非定常な挙動パターンが扱われる。この挙動パターンは、気流、雲物理、放熱、湿度、温度、気圧、潜熱、等、さまざまな気象物理量が絡み合い特徴的なパターンとなる。気象レーダ画像には、こういった特徴的なパターンが時々刻々観測され、経験者による視覚的かつ直感的なパターンの近未来の変化を予測することが現業で行われている。気象レーダ上では、２次元画像の場合、気流の上昇と下降に伴った対流現象がパターンの見え・隠れとなって映し出される。
【０００３】
計算機を用いる予測方法としては、連続した２枚の画像を用いて、画像処理分野でよく用いられているパターンマッチング法が適用されている。
【０００４】
信号処理方法では、カルマンフィルターがノイズに埋もれた時系列パターン（データ）からの最尤推定法として広く適用されている。しかし、信号の状態量の確率密度関数が単峰性であることが仮定されている。また、拡張カルマンフィルターや非線形カルマンフィルターなどのモデルもあり、データの急峻な変化への追従性が高められている。データの予測も各種カルマンフィルターを用いることで、ノイズの影響を抑制した精度ある予測が実現されている。
【０００５】
気象レーダ画像の予測には、これまで移流拡散方程式に基づいた方法がある（特許文献1や特許文献２）。この方法では、２枚の画像を用いて、そこからオプティカルフロー法により動きベクトル（速度）を推定して、その速度により最新の１枚の画像パターンを予測する。
【特許文献１】特許第３３７５０３８号
【特許文献２】特許第３３７７０７５号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
第１の問題点）レーダパターンからの計算機による予測を行う場合に精度を大きく低下させている要因の一つとなっている。時空間的に分解能の高い情報が精度を決定づけるが、一般に気象レーダ情報を超えた情報はほとんど得られないのが現状である。
【０００７】
第２の問題点）非定常性が強いことに加えて、見え・隠れが観測されることを決定論的に予測することは明らかに困難である。
【０００８】
第３の問題点）非定常性が強いことは、過去に類似したパターンがほとんど存在しないことが示唆されており、過去のパターンから現在のパターンと類似したものを検索しても、過去に類似したものがないことから予測することが困難である。
【０００９】
第４の問題点）カルマンフィルターが信号の状態量の確率密度関数に対して、単峰性やガウス性を仮定しているため、気象レーダパターンの見え・隠れによるデータの不連続性には、非ガウス分布となるため、単峰性では対応できない。
【００１０】
第５の問題点）古い時代の気象現象については、経験者の記憶にしか残っていないことが多く、学習・認識（システム）方法にどのようにその情熱をどのように映させるかが課題である。
【課題を解決するための手段】
【００１１】
本発明では、１）確率論的予測方法として、コンピュータビジョンにおいて非定常予測法の一つである、ＣＯＮＤＥＮＳＡＴＩＯＮ法と呼ばれる方法に基づいた気象パターン予測方法を適用する。また、２）データの状態量の確率密度関数を多峰性分布のものを扱えるようにする。また、３）移流拡散方程式と速度それぞれに変動量を付加したモデルを用いて、その変動量をＣＯＮＤＥＮＳＡＴＩＯＮ法により推定していく。また、４）変動量をロバスト関数のひとつであるローレンツ分布関数を通じて、過去からの速度の大きさ変化および画像強度の大きさ変化に基づいて更新する。
【発明の効果】
【００１２】
本発明によれば、画像データパターンを観測したときにみられる、画像パターンの強度や形状の、急峻な変化があった場合でも安定かつ精度ある予測を実現できる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態を図面を参照して説明する。
【００１４】
図１は、本実施の形態に係る画像変化予測装置の構成図である。
【００１５】
本装置は、入力手段１００、蓄積手段１１０、速度推定手段１２０、演算手段１３０、変化量更新手段１４０および出力手段１５０により構成される。
【００１６】
本装置では、データ入力手段１００が、時系列な複数の画像、例えば、気象レーダの画像や一般の画像を入力し、該画像が蓄積手段１１０に蓄積される。速度推定手段１２０は、連続する２枚の画像からオプティカルフローより速度を推定し、演算手段１３０が、最新の画像と当該速度から画像の変化を予測する。なお、演算手段１３０は、画像強度の予測を移流拡散方程式で行い、速度の予測をナビエ・ストークス方程式および連続方程式で行う。変動量更新手段１４０は、予測が実際の変化に追随するように、ＣＯＮＤＥＮＳＡＴＩＯＮ法により、予測で得られる変化量を更新する。なお、変動量更新手段１４０は、予測で得られる変化量を、ロバスト関数であるローレンツ分布関数を用いて、過去からの速度変化と画像強度変化に基づいて更新する。そして、出力手段１５０が変化量更新手段１４０を介して得られる画像（予測された画像）を出力（表示、印刷など）する。
【００１７】
これにより、急峻な発達や衰退などによる見え隠れに対する不連続な変化に関わらず安定した予測精度が確保される。また、ＣＯＮＤＥＮＳＡＴＩＯＮ法により、不連続性による速度変動や画像強度変動が吸収される。
【００１８】
なお、速度推定手段１２０、演算手段１３０、変化量更新手段１４０および出力手段１５０で装置を構成してもよい。つまり、入力手段１００および蓄積手段１１０を別装置に構成してもよい。
【００１９】
続いて、各手段による処理を詳細に説明する。
【００２０】
図２は、移流拡散方程式とオプティカルフローによる画像パターンの予測の例についての説明図である。
【００２１】
連続した２枚の画像に、気象レーダパターンが時刻ｎ−１と時刻ｎで観測され、その２枚からオプティカルフロー法（参考文献３）により速度を画素単位に推定する。次に、移流拡散方程式（式（１））により画像パターンの時刻ｎ＋１以降の変化を、時間発展を計算することによって得る。
【００２２】
速度を既知な量として、以下に述べる。画像強度をＩとし、画素（ｘ，ｙ）、時刻もしくは離散化した時間ｎとすると、Ｉ＝Ｉ（ｘ，ｙ，ｎ）と定義する（参考文献１）。Δｔはここでは１．０とする。Ｕは２次元速度場ベクトル、λは拡散係数であり、ここでは１．０とする。∇は１次の空間微分演算子、∇・∇は２次の空間微分演算子、［・］はベクトル内積である。
【数１】
2007285762.tif 000003
【００２３】
計算は、式（１）を差分法に従って離散化し、２次元画像面および離散時間軸に沿って積分を繰り返すことによりなされる。ただし、初期画像の画像強度Ｉは入力したときの画像（時刻ｎ）の強度であり、Ｕ＝（ｕ，ｖ）は速度ベクトルであり、（ｕ，ｖ）は２次元速度成分である。ここでは、所定の時間積分回数が設定され、その回数だけ計算がなされる。演算の安定条件から時間間隔は小さくとり、その分、積分回数を多くするのがよい。拡散効果を期待しなくても、λ＜０．０００１と小さい値を設定しておくことで、誤差からの振動を抑制して計算の安定化を達成できる。
【００２４】
観測された気象レーダの時系列画像の動き（移流速度成分）の検出は、オプティカルフロー法によるが、現時刻におけるものなので、特に、渦の移動と移流の未来にかけての動き予測が必要である。さらに、レーダ画像情報だけを用いるため、動き情報は画像パターンが存在している領域だけに限られる問題がある。これは画像パターンを予測する目的では、次の領域（画素）に進むための速度がないことから、大きな移流予測ができないことを意味している。このことから、画像パターンが存在しない領域にも何らか動きを推定する方法が不可欠である。残る問題は、セルの移動や変形が伴うことは、移流速度が変化していくことでもあるが、検出された移流速度をどのように変化させていくかである。そこで、本装置では、２段階の処理を行う。
【００２５】
第一段階では、検出された移流速度を初期値として、移動平均フィルタ（式（２））を繰り返し用いることで、画像全体に移流速度を補間する。
【００２６】
第二段階では、式（３）つまりナビエ・ストークス（ＮＳ）方程式と連続方程式（ＮＳ方程式と総称する）により速度変化を予測する。式（３）では、ρ，ｐ，νはそれぞれ密度、圧力（気圧）、粘性係数である。つまり、式（３）により、非線形かつ非定常な速度場予測を行うのである。連続方程式は、速度発散をゼロとすることで、対象に非圧縮性の条件を課すものである。
【００２７】
式（３）のＮＳ方程式は、これを非線形連立方程式として、ＨＳＭＡＣ法（参考文献４）に従って差分法によりＳＯＲ法で解くことができる。
【００２８】
なお、ＮＳ方程式は、数値流体力学の分野では層流から乱流まで幅広く適用されているが、画像予測ではほとんど用いられていない。
【数２】
2007285762.tif 000004
【００２９】
図３は、時系列データを予測するＣＯＮＤＥＮＳＡＴＩＯＮ法について示す図である。  本方法は、パーティクルフィルタ（ＰＦ）とも呼ばれている。ＰＦでは状態の確率密度関数に単峰性やガウス性という仮定は存在しない。そのため、ＰＦでは任意の確率密度関数を取り扱うことが可能である。これは、気象レーダパターンが急に発達して表れたり、衰退により消える、あるいは、人や車が建物や樹木の間から見え隠れする、といった時空間データとしての不連続性にも頑丈（ロバスト）であるという特徴がある。以下に、ＰＦの概要を述べる。
【００３０】
ＰＦは、各時刻における状態ベクトルを逐次的に推定するための手段の一つである。時刻ｔにおける状態ベクトルを状態空間Ｓ中のベクトルｘtとし、観測ベクトルをｙtとする。また、観測ベクトルｙtの履歴をＹｔ＝｛ｙ１，ｙ２，ｙ３・・・ｙｔ｝とする。一般の、状態の推定とは、状態ベクトルｘtの確率密度関数ｐ（ｘt／Ｙt）を推定する問題として定式化される。
【００３１】
ＰＦの場合は、図３に示すように、状態空間Ｓ中のＮ個の離散的な仮説ｓtとそれに対応する重みπtを用いて、確率密度関数ｐ（ｘt／Ｙt）を多数の離散的な仮説から形成される仮説群｛（ｓt；πt）｝（ｉ＝１・・・Ｎ）として表現する。そのため、ｐ（ｘt／Ｙt）により任意の非ガウス性の確率密度関数を近似することができる。
【００３２】
ＰＦの更新の手順を以下に示す。ここでは、予測部と観測部により処理を行う。
【００３３】
予測部では、（１−ａ）仮説群の確率分布に基づく仮説の選択を行った後、（１−ｂ）選択された仮説にあらかじめ定義した動きモデルを適用する。ここで、動きモデルｐ（ｘt／Ｙt）の変数は、移流拡散方程式（式（１））による画像強度変化と、ナビエ・ストークス（ＮＳ）方程式および連続方程式（式（３））による速度変化を示す。
【００３４】
（１−ｃ）これをＮ回繰り返すことにより、Ｎ個の新たな仮説を生成する。また、観測部では、（２−ａ）現時刻の観測量から得られる観測モデルをもとに各仮説に対応する重みを決定し、（２−ｂ）現時刻での仮説群を新たに獲得する。なお、（１−ｂ）で使用する動きモデルは一般に、移動と拡散で構成される。移動では予め定めた方法により仮説を移動し、拡散により移動された仮説にランダム雑音を加える。
【００３５】
ＰＦの問題点として、仮説の総数を制限したときの精度低下の問題が挙げられる。通常のＰＦにおいて状態ベクトルの次元が増加したとき、確率密度関数の近似精度を維持するために必要となる仮説の数はほぼ指数関数的に増加する。このため、実時間性を維持できる程度に仮説数を制限すると、状態ベクトルの次元によっては状態空間内の仮説の密度が不足するという現象が発生し、精度が大きく低下することがある。従って、ＰＦを用いて一定水準以上の精度を保つには、仮説の数を減らすための工夫が必要である。
【００３６】
そのための工夫として、リサンプリングやimportant sampling，partioned samplingなどの手法がある。
【００３７】
これらの手法により、計算コストをほとんどそのままに、推定精度を改善することが可能である。
【００３８】
仮説群｛（ｓt-1(i)；πt-1(i)）｝から新たな仮説群｛（ｓt(i)；πt(i)）｝を生成
予測部：新たな仮説｛ｓt(i)｝の生成
（１−ａ）｛（ｓt-1(i)；πt-1(i)）｝から重みπt-1(i)をもとに仮説ｓt-1’を選択
（１−ｂ）動きモデルｐ（ｘt｜ｘt-1＝ｓt-1'）から仮説ｓt(i)を生成
（１−ｃ）（１−ａ）と（１−ｂ）をＮ回繰り返しＮ個の仮説｛ｓt(i)｝を獲得
観測部：重み｛π(0)｝の計算と｛ｓt(i)；πt(i)｝の決定
（２−ａ）観測モデルｐ（ｙt｜ｘt＝ｓt(i)｝から重みπt(i)を計算
（２−ｂ）（２−ａ）をすべてのｓt(i)に適用し、｛ｓt(i)；πt(i)｝を獲得
上述した動きモデルは、本装置では、式（１）および式（３）が対応する。
【００３９】
（拡散制御法）
式（４）のｗ１とｗ２は、それぞれ画像強度、速度に関しての変動量を示し、これらが、ＣＯＮＤＥＮＳＡＴＩＯＮ法により推定・更新されていく。上述した拡散とは、各種外乱、データの不連続性などによる変化に関するものを示す。本装置では、拡散の幅を一定から状態に応じて、可変させる拡散制御法を適用して、より非定常な変化に対応できるようにする。ここでは、画像強度と速度について、２次元の各画素での時刻ｔとｔ−１での変化をｚ１，ｚ２（式（５））とした場合、式（６）に示すような非線形ロバスト関数にいれて、それに比例する大きさで、拡散の大きさｗ１，ｗ２を変えるようにする。σは分散であり、経験的に２．０とした。
【数３】
2007285762.tif 000005
【００４０】
図４は、画像パターンの変化を移流拡散方程式とＮＳ方程式を使って予測した従来法とＣＯＮＤＥＮＳＡＴＩＯＮ法に基づいて予測した本装置の比較例である。
【００４１】
ある時刻での画像パターン２００を従来法で予測すると、パターンの急な見え隠れが要因となり、実際の画像パターン２００とは異なる形状の画像パターン２１０が得られる。これに対して、本装置によれば、渦の特徴を含む的確な画像パターン２２０が得られた。
【００４２】
図５は、急峻に画像強度が変化する画像パターンを人工的に生成してそれを予測した結果の比較例である。本装置によれば、真の位置データとの位置誤差が極めて少なく、急峻な動きと画像強度変化に追随した。それに対して、従来法によれば、画像強度が大きく変化したときには、予測が大きくはずれてしまった。
【００４３】
以上のように、本装置によれば、時々刻々変化するパターンの発達・衰退に伴ったレーダ画像上の見え・隠れ問題が緩和され、複雑な動きパターンを簡易に精度よく予測できるようになる。なお、気象パターンに限らず、建物や樹木で見え隠れする走行車や歩行者の動きを安定かつ精度よく追従・予測する事象にも適用できるので、汎用性が高い。つまり、実環境変化でよく見られる、車や人の動き監視カメラや防犯システムなどに適用してもよい。
【００４４】
なお、これまで説明した画像変化予測方法を本装置に実行させるコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に格納し、陳列などして流通させたり、当該コンピュータプログラムをインターネットなどの通信網を介して伝送させてもよい。
【００４５】
（参考文献１）流体の非線形現象−数理解析とその応用−：池田駿介：朝倉書店
（参考文献２）M.Isard and A.Blake,“Icondensation: Unifying low-level and high-level tracking in a stochastic framework”, Proc. (European Conference on Computer Vision) ECCV '98, pp.893-908, 1998.
（参考文献３）J.L.Barron, D.J.Fleet, and S.S.Beauchemin,“Performance of optical flow techniques”, IJCV, vol.12, no.1, pp.43-77, 1994.
（参考文献４）荒川忠一、“数値流体工学”、東京大学出版会、1995．
【図面の簡単な説明】
【００４６】
【図１】本実施の形態に係る画像変化予測装置の構成図である。
【図２】移流拡散方程式とオプティカルフローによる画像パターンの予測の例についての説明図である。
【図３】時系列データを予測するＣＯＮＤＥＮＳＡＴＩＯＮ法について示す図である。
【図４】画像パターンの変化を移流拡散方程式とＮＳ方程式を使って予測した従来法とＣＯＮＤＥＮＳＡＴＩＯＮ法に基づいて予測した本装置の比較例である。
【図５】急峻に画像強度が変化する画像パターンを人工的に生成してそれを予測した結果の比較例である。
【符号の説明】
【００４７】
１００  入力手段
１１０  蓄積手段
１２０  速度推定手段
１３０  演算手段
１４０  変化量更新手段
１５０  出力手段
【図１】
2007285762.tif 000006
【図２】
2007285762.tif 000007
【図３】
2007285762.tif 000008
【図４】
2007285762.tif 000009
【図５】
2007285762.tif 000010