(57)【要約】【課題】半透明な対象のオプティカルフローを推定する。【解決手段】入力した時系列画像を前景、背景、透明度に分離し、分離した透明度について得られる拘束条件に基づいて目的関数を定義し、目的関数を最小化問題として解くことで、複雑な背景のある場合でも、半透明な対象のオプティカルフローを推定することができる。【選択図】図１
2011242963.tif 000002
【特許請求の範囲】
【請求項１】
半透明な対象を含む時系列画像を入力するステップと、
入力した前記時系列画像を蓄積手段に蓄積するステップと、
前記蓄積手段から前記時系列画像を読み出し、当該時系列画像から透明度を分離するステップと、
前記透明度について得られる拘束条件に基づいて目的関数を定義し、当該目的関数を最小化問題として解くことで前記半透明な対象のオプティカルフローを推定するステップと、
前記オプティカルフローを表示するステップと、
を有することを特徴とする動き推定方法。
【請求項２】
前記分離するステップは、前記時系列画像において各画素位置の最も輝度が低い画素を選択したものを背景とし、当該背景を用いて前記時系列画像の前景を抽出して透明度を分離することを特徴とする請求項１記載の動き推定方法。
【請求項３】
半透明な対象を含む時系列画像を入力する入力手段と、
入力した前記時系列画像を蓄積する蓄積手段と、
前記蓄積手段から前記時系列画像を読み出し、当該時系列画像から透明度を分離する分離手段と、
前記透明度について得られる拘束条件に基づいて目的関数を定義し、当該目的関数を最小化問題として解くことで前記半透明な対象のオプティカルフローを推定する推定手段と、
前記オプティカルフローを表示する表示手段と、
を有することを特徴とする動き推定装置。
【請求項４】
前記分離手段は、前記時系列画像において各画素位置の最も輝度が低い画素を選択したものを背景とし、当該背景を用いて前記時系列画像の前景を抽出して透明度を分離することを特徴とする請求項３記載の動き推定装置。
【請求項５】
請求項１又は２記載の動き推定方法をコンピュータに実行させることを特徴とする動き推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、半透明な対象の動きを推定する技術に関する。
【背景技術】
【０００２】
画像センシングの用途が急速に広まっている。画像を用いる利点は、センサでは扱えないような広範囲の観測が求められる場合や、視覚的な意味が重要な対象の場合などを挙げることができる。その一方で、対象はその光学的な反射特性がさまざまなものがあり、透明性がないものから透明性が高いものまである。
【０００３】
これまで、時系列的な画像間で移動する対象の動き特徴を捉えるために、画像処理やコンピュータビジョンではオプティカルフロー法と呼ばれる動画解析法が広く用いられている（非特許文献１参照）。その中で、画像の輝度やオプティカルフローに関する拘束条件は数多く提案されてきた。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】J. L. Barron, D. J. Fleet, and S. S. Beauchemin, "Performance of potical flow techniques", International Journal of Computer Vision, 1994, Vol. 12, No. 1, p.43-77
【非特許文献２】K. Garg and S. K. Nayar, "Detection and Removal of Rain from Videos", CVPR, 2004, p.528-535
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、透明性の高い対象の場合は従来からの技術の適用が困難であり、オプティカルフローが求められていなかった。これは、対象が透明であるために、対象自身と、その背後の背景が同時に同一画素に得られる問題があるためである。
【０００６】
背景が一様な場合は、例えば単純な背景差分法などにより対象を抽出することができるが、一般には背景は複雑であり、画像間の対応付けが阻害される。
【０００７】
一方で、対象の透明度については一定ではない場合の扱いも必要である。透明度がある対象として、生物ではくらげ、自然現象では雨、雪、霧など、人工物では、ガラスで覆われた車両がある。しかし、これまではこのような対象への扱いが稀であるか、もしくは透明でない表面形状やテクスチャが対応付けの特徴として用いられてきた。また、車などは形状モデルの適用があるが、透明度が時間と空間で変化することへの対処がなされていなかった。降雨の動きについては、雨が鉛直方向に落下することに対応付けの範囲を限定した方法がある（非特許文献２参照）。しかし、透明度の扱いがないことや、対象の動きの自由度が極めて限られており、用途が限定されているという問題があった。
【０００８】
また、いずれの場合も、背景が一定の場合は扱いが簡素化されるが、背景は環境外乱により変化をしており、その影響を緩和することも求められる。
【０００９】
本発明は、上記に鑑みてなされたものであり、半透明な対象のオプティカルフローを推定することを目的とする。
【課題を解決するための手段】
【００１０】
第１の本発明に係る動き推定方法は、半透明な対象を含む時系列画像を入力するステップと、入力した前記時系列画像を蓄積手段に蓄積するステップと、前記蓄積手段から前記時系列画像を読み出し、当該時系列画像から透明度を分離するステップと、前記透明度について得られる拘束条件に基づいて目的関数を定義し、当該目的関数を最小化問題として解くことで前記半透明な対象のオプティカルフローを推定するステップと、前記オプティカルフローを表示するステップと、を有することを特徴とする。
【００１１】
上記動き推定方法において、前記分離するステップは、前記時系列画像において各画素位置の最も輝度が低い画素を選択したものを背景とし、当該背景を用いて前記時系列画像の前景を抽出して透明度を分離することを特徴とする。
【００１２】
第２の本発明に係る動き推定装置は、半透明な対象を含む時系列画像を入力する入力手段と、入力した前記時系列画像を蓄積する蓄積手段と、前記蓄積手段から前記時系列画像を読み出し、当該時系列画像から透明度を分離する分離手段と、前記透明度について得られる拘束条件に基づいて目的関数を定義し、当該目的関数を最小化問題として解くことで前記半透明な対象のオプティカルフローを推定する推定手段と、前記オプティカルフローを表示する表示手段と、を有することを特徴とする。
【００１３】
上記動き推定装置において、前記分離手段は、前記時系列画像において各画素位置の最も輝度が低い画素を選択したものを背景とし、当該背景を用いて前記時系列画像の前景を抽出して透明度を分離することを特徴とする。
【００１４】
第３の本発明に係る動き推定プログラムは、上記動き推定方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、半透明な対象のオプティカルフローを推定することができる。   
【図面の簡単な説明】
【００１６】
【図１】本実施の形態における動き推定装置の構成を示す機能ブロック図である。
【図２】対象が不透明、半透明の場合のオプティカルフロー推定について比較する模式図である。
【図３】本実施の手法と従来法による動き推定精度について、正解のある動きと比較して評価したグラフである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を用いて説明する。
【００１８】
図１は、本実施の形態における動き推定装置の構成を示す機能ブロック図である。同図に示す動き推定装置１００は、データ入力部１１０、データ蓄積部１２０、画像分離部１３０、目的関数解析部１４０、及び表示部１５０を備える。動き推定装置１００が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは動き推定装置１００が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部について説明する。
【００１９】
データ入力部１１０は、カメラなどから時系列画像を取り込む。
【００２０】
データ蓄積部１２０は、データ入力部１１０が取り込んだ時系列画像を蓄積する。
【００２１】
画像分離部１３０は、データ蓄積部１２０から時系列画像を読み出し、読み出した画像を前景、背景、および透明度に分離する。
【００２２】
目的関数解析部１４０は、画像分離部１３０が分離した透明度について得られる拘束条件に基づいて目的関数を導き、この目的関数を最小化問題として解くことで対象のオプティカルフローを推定する。
【００２３】
表示部１５０は、目的関数解析部１４０が計算したオプティカルフローをベクトルや色を用いて表示する。
【００２４】
なお、動き推定装置１００の処理は、上記で説明した、データ入力部１１０、データ蓄積部１２０、画像分離部１３０、目的関数解析部１４０、表示部１５０の順で行われる。
【００２５】
図２は、対象が不透明、半透明の場合のオプティカルフロー推定について比較する模式図である。ある対象が複雑な背景の中を２つの時刻間で移動し、画像間で対応付けを行う場合について述べる。
【００２６】
図２（ａ）は、不透明な対象が移動する例を示す。対象の表面形状やテクスチャにより、背後の背景は画像上見えない。そのため、このような場合は、従来のオプティカルフロー推定法により、対象のオプティカルフローを推定することができる。画像間における対象の重心と重心の対応付けも利用できる。
【００２７】
図２（ｂ）は、半透明な対象が移動する例を示す。対象が半透明の場合、背景が対象中にも映し出される問題が生じてしまうため、従来の方法では、オプティカルフローを安定かつ精度よく推定できない。そこで、本実施の形態では、拘束条件にこれまでの画像の輝度を直接用いるのではなく、対象の透明度を用いる。
【００２８】
ここで、透明度のある対象を扱う上で必要とされる画像生成モデルについて説明する。このモデルは、画像が前景と背景の２つの画像が一定比率で合成されたものと見なすことができ、画像上の位置を（ｘ，ｙ）、時間をｔ、対象の透明度をα（＞０）とした場合、次式（１）で表すことができる。
【数１】
2011242963.tif 000003
【００２９】
ただし、Ｐは入力した１枚の画像、Ｆは前景である半透明な対象、Ｂは背景である。つまり、半透明な対象とその背後の背景が比率αにより画像Ｐに映し出されているものと考える。
【００３０】
続いて、画像分離部１３０の処理について説明する。本実施の形態では、対象が移動し、同時に背景が環境外乱により変化しているものとし、入力する時系列画像から背景や対象の透明度を推定する。時系列画像を観測したときの、一定の時間間隔をＴとする。ただし、ｔ∈Ｔであり、Ｔは例えば１秒とする。時間間隔Ｔにおいて背景は定常であると仮定する。対象が白色（輝度が高い）の半透明であるとしたときに、時間間隔Ｔで観測される入力画像Ｐ（ｘ，ｙ，ｔ）：１≦ｔ≦Ｔから最も輝度が低い画素を選択したものを背景Ｂ１とする。背景Ｂ１は、次式（２）により得ることができる。
【数２】
2011242963.tif 000004
【００３１】
なお、背景Ｂ１は時間に依存しないことに注意する。
【００３２】
続いて、時間間隔Ｔにおける前景Ｆ１を抽出する。これは、式（１）と式（２）を用いて、次式（３）により容易に得ることができる。
【数３】
2011242963.tif 000005
【００３３】
ただし、前景Ｆ１は時間と位置で変化する。
【００３４】
式（１）を変形すると次式（４）が得られる。
【数４】
2011242963.tif 000006
【００３５】
この式（４）に、上述の背景Ｂ１と前景Ｆ１を代入すると、次式（５）により、時間ｔにおける各画素（ｘ，ｙ）の透明度が得られる。
【数５】
2011242963.tif 000007
【００３６】
続いて、目的関数解析部１４０の処理について説明する。
【００３７】
本実施の形態では、半透明の対象の画像間のオプティカルフロー（ｕ，ｖ）を推定するために、画像間で透明度αが一定であると仮定した。即ち、
【数６】
2011242963.tif 000008
【００３８】
である。透明度αは、画像ごとに画素ごとで与えられるため、その時間と空間に関する微分値が存在する。画像間の透明度αに関する拘束条件は、式（６）をｘ，ｙ，ｔのまわりでテイラー展開による近似を一次オーダまで行うことで得ることができる。これにより得られた拘束条件に基づき、一定画像領域Ωにおいて次式（７）の目的関数を定義する。
【数７】
2011242963.tif 000009
【００３９】
そして、式（７）を最小化問題として解く。これについては推定する（ｕ，ｖ）に関して、次式（８）を式（７）を最小化するための必要条件として用いる。
【数８】
2011242963.tif 000010
【００４０】
なお、透明度αの時間と空間に関する成分の微分項はそれぞれ、αｘ，αｙ，αｔであり、次式（９）で求めることができる。
【数９】
2011242963.tif 000011
【００４１】
図３は、本実施の手法と非特許文献１に示す従来法による動き推定精度について、正解のある動きと比較して評価したグラフである。グラフの横軸は時間、縦軸は平均速度である。
【００４２】
図３では、点線で正解の動き３００、実線で本実施の形態により推定した動き３１０、一点鎖線で従来法により推定した動き３２０を示した。同図に示すように、本実施の形態により推定した動き３１０は、正解の動き３００と類似したものとなった。一方、従来法により推定した動き３２０は、正解の動き３００と大きく異なるものになった。これは、従来法が対象の輝度のみを考慮したためであり、対象の移動中、背景により対象の見かけの輝度が変化していたことが影響したものと考えられる。これに対し、本実施の手法では、対象自身の透明度に基づいていたため、対象の移動中の背景の輝度の変化は直接受けなくなった。
【００４３】
以上説明したように、本実施の形態によれば、入力した時系列画像を前景、背景、透明度に分離し、分離した透明度について得られる拘束条件に基づいて目的関数を定義し、目的関数を最小化問題として解くことで、複雑な背景のある場合でも、半透明な対象のオプティカルフローを推定することができる。
【符号の説明】
【００４４】
１００…動き推定装置
１１０…データ入力部
１２０…データ蓄積部
１３０…画像分離部
１４０…目的関数解析部
１５０…表示部
【図１】
2011242963.tif 000012
【図２】
2011242963.tif 000013
【図３】
2011242963.tif 000014