【手続補正書】
【提出日】平成26年2月13日(2014.2.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力される動画のデータ中の各フレームの画像の複数の特徴点の特徴量として構成される画像特徴量のそれぞれを、前記フレームの時刻に対応づけて出力する画像特徴量出力部と、
時刻ｓの画像特徴量に対して、前記画像の中の前景の画像の画像特徴量をパラメータとして有する前景のビューモデルに対して、幾何的な変換であるビュー変換を施すことで、時刻ｓの前景の画像を推定して推定前景ビューを出力する前景推定部と、
時刻ｓの画像特徴量に対して、前記画像の中の背景の画像の画像特徴量をパラメータとして有する背景のビューモデルに対して、幾何的な変換であるビュー変換を施すことで、時刻ｓの背景の画像を推定して推定背景ビューを出力する背景推定部と、
前記推定前景ビューおよび前記推定背景ビューを合成することで合成ビューを生成する合成ビュー生成部と、
前記合成ビューと、時刻ｓの画像特徴量を比較することで得られる評価値に基づいて、
前記前景のビューモデルのパラメータを確率的生成モデルに基づいて更新することで前記前景のビューモデルを学習する前景学習部と、
前記評価値に基づいて、前記背景のビューモデルのパラメータを確率的生成モデルに基づいて更新することで前記背景のビューモデルを学習する背景学習部と
を備える画像処理装置。
【請求項２】
前記前景推定部および前記背景推定部のそれぞれは、
前記評価値に基づいて、複数種類存在する前記ビュー変換のそれぞれについての事後確率を算出し、
前記画像特徴量および前記事後確率に基づいて、前記ビュー変換を推定し、
前記ビューモデルに対して前記ビュー変換を施すことで、前記推定前景ビューおよび前記推定背景ビューを出力する
請求項１に記載の画像処理装置。
【請求項３】
前記前景学習部および前記背景学習部のそれぞれは、
複数種類存在する前記ビュー変換のそれぞれが施された前記ビューモデルのパラメータを、前記評価値に基づいて算出される前記ビュー変換のそれぞれについての事後確率に基づいて重み付けし、
前記重み付されたパラメータに基づいて、前記前景のビューモデルのパラメータまたは前記背景のビューモデルのパラメータを更新する
請求項１または２に記載の画像処理装置。
【請求項４】
前記ビューモデルは、
前記前景または前記背景を、それぞれ異なる角度からみた画像に対応する複数のビューモデルから成るマルチビューモデルとして構成される
請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記前景のビューモデルまたは前記背景のビューモデルのいずれか一方が、前記前景または前記背景を、それぞれ異なる角度からみた画像に対応する複数のビューモデルから成るマルチビューモデルとして構成される
請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記前景推定部および前記背景推定部のそれぞれは、
前記評価値に基づいて、複数種類存在する前記ビューモデルのそれぞれについての事後確率を算出し、
前記画像特徴量および前記事後確率に基づいて、前記ビューモデルを推定し、
前記推定された遷移に対応するビューモデルに対して前記ビュー変換を施すことで、前記推定前景ビューおよび前記推定背景ビューを出力し、
前記ビューモデルの事後確率の算出においてビュー遷移に基づく事前確率を推定するためのダイナミクス学習推定モデルとして、ＨＭＭ、ＦＮＮ、ＲＮＮ、パーティクルフィルタ、または、カンマンフィルタが用いられる
請求項４または５に記載の画像処理装置。
【請求項７】
前記前景推定部および前記背景推定部のそれぞれは、さらに、
前記評価値に基づいて、複数種類存在する前記ビュー変換のそれぞれについての事後確率を算出し、
前記画像特徴量および前記事後確率に基づいて、前記ビュー変換を推定する
請求項６に記載の画像処理装置。
【請求項８】
前記前景学習部および前記背景学習部のそれぞれは、
複数種類存在する遷移に対応する前記ビューモデルのパラメータを、前記評価値に基づいて算出される前記遷移のそれぞれについての事後確率に基づいて重み付けし、
複数種類存在する前記ビュー変換のそれぞれが施された前記ビューモデルのパラメータを、前記評価値に基づいて算出される前記ビュー変換のそれぞれについての事後確率に基づいて重み付けし、
前記重み付されたパラメータに基づいて、前記前景のビューモデルのパラメータまたは前記背景のビューモデルのパラメータを更新する
請求項４から７のいずれかに記載の画像処理装置。
【請求項９】
前記確率的生成モデルにおいて、前記ビュー変換の事後確率の算出においてビュー変換運動に基づく事前確率を推定するためのダイナミクス学習推定モデルとして、
ＨＭＭ、ＦＮＮ、ＲＮＮ、パーティクルフィルタ、または、カンマンフィルタが用いられる
請求項１から８のいずれかに記載の画像処理装置。
【請求項１０】
前記前景学習部において用いられる前記確率的生成モデルと、前記背景学習部において用いられる前記確率的生成モデルとが、それぞれ異なる
請求項１から９のいずれかに記載の画像処理装置。
【請求項１１】
前記画像特徴量出力部は、
前記画像特徴量として、各画素の画素位置および画素値とを対応付けた情報を出力する
請求項１から１０のいずれかに記載の画像処理装置。
【請求項１２】
前記画像特徴量出力部は、
前記画像特徴量として、ハリスコーナー検出方法により検出された特徴点位置の集合を出力する
請求項１から１０のいずれかに記載の画像処理装置。
【請求項１３】
画像特徴量出力部が、入力される動画のデータ中の各フレームの画像の複数の特徴点の特徴量として構成される画像特徴量のそれぞれを、前記フレームの時刻に対応づけて出力し、
前景推定部が、時刻ｓの画像特徴量に対して、前記画像の中の前景の画像の画像特徴量をパラメータとして有する前景のビューモデルに対して、幾何的な変換であるビュー変換を施すことで、時刻ｓの前景の画像を推定して推定前景ビューを出力し、
背景推定部が、時刻ｓの画像特徴量に対して、前記画像の中の背景の画像の画像特徴量をパラメータとして有する背景のビューモデルに対して、幾何的な変換であるビュー変換を施すことで、時刻ｓの背景の画像を推定して推定背景ビューを出力し、
合成ビュー生成部が、前記推定前景ビューおよび前記推定背景ビューを合成することで合成ビューを生成し、
前景学習部が、前記合成ビューと、時刻ｓの画像特徴量を比較することで得られる評価値に基づいて、前記前景のビューモデルのパラメータを確率的生成モデルに基づいて更新することで前記前景のビューモデルを学習し、
背景学習部が、前記評価値に基づいて、前記背景のビューモデルのパラメータを確率的生成モデルに基づいて更新することで前記背景のビューモデルを学習するステップ
を含む画像処理方法。
【請求項１４】
コンピュータを、
入力される動画のデータ中の各フレームの画像の複数の特徴点の特徴量として構成される画像特徴量のそれぞれを、前記フレームの時刻に対応づけて出力する画像特徴量出力部と、
時刻ｓの画像特徴量に対して、前記画像の中の前景の画像の画像特徴量をパラメータとして有する前景のビューモデルに対して、幾何的な変換であるビュー変換を施すことで、時刻ｓの前景の画像を推定して推定前景ビューを出力する前景推定部と、
時刻ｓの画像特徴量に対して、前記画像の中の背景の画像の画像特徴量をパラメータとして有する背景のビューモデルに対して、幾何的な変換であるビュー変換を施すことで、時刻ｓの背景の画像を推定して推定背景ビューを出力する背景推定部と、
前記推定前景ビューおよび前記推定背景ビューを合成することで合成ビューを生成する合成ビュー生成部と、
前記合成ビューと、時刻ｓの画像特徴量を比較することで得られる評価値に基づいて、
前記前景のビューモデルのパラメータを確率的生成モデルに基づいて更新することで前記前景のビューモデルを学習する前景学習部と、
前記評価値に基づいて、前記背景のビューモデルのパラメータを確率的生成モデルに基づいて更新することで前記背景のビューモデルを学習する背景学習部とを備える画像処理装置として機能させる
プログラム。
【請求項１５】
請求項１４に記載のプログラムが記録されている記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本技術の一側面は、入力される動画のデータ中の各フレームの画像の複数の特徴点の特徴量として構成される画像特徴量のそれぞれを、前記フレームの時刻に対応づけて出力する画像特徴量出力部と、時刻ｓの画像特徴量に対して、前記画像の中の前景の画像の画像特徴量をパラメータとして有する前景のビューモデルに対して、幾何的な変換であるビュー変換を施すことで、時刻ｓの前景の画像を推定して推定前景ビューを出力する前景推定部と、時刻ｓの画像特徴量に対して、前記画像の中の背景の画像の画像特徴量をパラメータとして有する背景のビューモデルに対して、幾何的な変換であるビュー変換を施すことで、時刻ｓの背景の画像を推定して推定背景ビューを出力する背景推定部と、前記推定前景ビューおよび前記推定背景ビューを合成することで合成ビューを生成する合成ビュー生成部と、前記合成ビューと、時刻ｓの画像特徴量を比較することで得られる評価値に基づいて、前記前景のビューモデルのパラメータを確率的生成モデルに基づいて更新することで前記前景のビューモデルを学習する前景学習部と、前記評価値に基づいて、前記背景のビューモデルのパラメータを確率的生成モデルに基づいて更新することで前記背景のビューモデルを学習する背景学習部とを備える画像処理装置である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
本技術の一側面は、コンピュータを、入力される動画のデータ中の各フレームの画像の複数の特徴点の特徴量として構成される画像特徴量のそれぞれを、前記フレームの時刻に対応づけて出力する画像特徴量出力部と、時刻ｓの画像特徴量に対して、前記画像の中の前景の画像の画像特徴量をパラメータとして有する前景のビューモデルに対して、幾何的な変換であるビュー変換を施すことで、時刻ｓの前景の画像を推定して推定前景ビューを出力する前景推定部と、時刻ｓの画像特徴量に対して、前記画像の中の背景の画像の画像特徴量をパラメータとして有する背景のビューモデルに対して、幾何的な変換であるビュー変換を施すことで、時刻ｓの背景の画像を推定して推定背景ビューを出力する背景推定部と、前記推定前景ビューおよび前記推定背景ビューを合成することで合成ビューを生成する合成ビュー生成部と、前記合成ビューと、時刻ｓの画像特徴量を比較することで得られる評価値に基づいて、前記前景のビューモデルのパラメータを確率的生成モデルに基づいて更新することで前記前景のビューモデルを学習する前景学習部と、前記評価値に基づいて、前記背景のビューモデルのパラメータを確率的生成モデルに基づいて更新することで前記背景のビューモデルを学習する背景学習部とを備える画像処理装置として機能させるプログラムである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
本技術の一側面においては、入力される動画のデータ中の各フレームの画像の複数の特徴点の特徴量として構成される画像特徴量のそれぞれが、前記フレームの時刻に対応づけて出力され、時刻ｓの画像特徴量に対して、前記画像の中の前景の画像の画像特徴量をパラメータとして有する前景のビューモデルに対して、幾何的な変換であるビュー変換を施すことで、時刻ｓの前景の画像を推定して推定前景ビューが出力され、時刻ｓの画像特徴量に対して、前記画像の中の背景の画像の画像特徴量をパラメータとして有する背景のビューモデルに対して、幾何的な変換であるビュー変換を施すことで、時刻ｓの背景の画像を推定して推定背景ビューが出力され、前記推定前景ビューおよび前記推定背景ビューを合成することで合成ビューが生成され、前記合成ビューと、時刻ｓの画像特徴量を比較することで得られる評価値に基づいて、前記前景のビューモデルのパラメータを確率的生成モデルに基づいて更新することで前記前景のビューモデルが学習され、前記評価値に基づいて、前記背景のビューモデルのパラメータを確率的生成モデルに基づいて更新することで前記背景のビューモデルが学習される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
また、前景背景合成観測部１０３は、背景推定学習部１０５から背景推定ビューを取得する。いま、ビューモデルパラメータ１２２に、背景のビューモデルＭBGが記憶されているものとし、時刻ｓにおける背景のビューモデルのビュー変換をＴBG,sとすると、時刻ｓにおける推定背景ビューは、ＴBG,sＭBGとして表すことができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
背景推定学習部２０５は、マルチビューモデル・ビュー遷移学習部２２１、マルチビューモデルパラメータ２２２、ビュー遷移モデルパラメータ２２３、マルチビューモデル・ビュー遷移出力部２２４を有している。さらに、背景推定学習部２０５は、ビュー及び変換推定部２２５、ビュー変換運動推定部２２６、ビュー遷移推定部２２７、ビュー及び変換情報出力部２２８を有する構成とされている。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０３１０
【補正方法】変更
【補正の内容】
【０３１０】
また、ビューモデル学習部１２１は、各時刻の画像特徴量Ｘｓにおける前景のビューモデルに施された各ビュー変換ＴFG,kの事後確率Ｐ（ＴFG,k│Ｘｓ）を取得して、式（２１）に示される演算により、背景のビューモデルＭBGのビューモデルパラメータを算出する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０４７８
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０４７９
【補正方法】削除
【補正の内容】