【手続補正書】
【提出日】平成20年3月7日(2008.3.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】  時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理する画像処理装置において、
現実世界では複数であるオブジェクトの前記画素データにおける混合状態を示す混合比の値の範囲に対応させて、複数の重みを生成し、生成した個々の前記重みを示す重み付け情報を生成する重み付け情報生成手段と、
前記画像データの注目フレームの各画素と、前記画像データの前記注目フレームに隣接する隣接フレームの各画素との間で、前記重み付け情報で示される前記重みに基づく重み付け差分を検出し、前記注目フレームに対応する重み付け差分画像データとして出力する重み付け差分画像データ検出手段と、
前記注目フレームの前記画素データと前記隣接フレームの前記画素データとの間の相対的な動きを示す動きベクトルに応じて、前記注目フレームの前記重み付け差分画像データと前記隣接フレームの前記重み付け差分画像データとの相対的な位置を合わせて、前記注目フレームの前記重み付け差分画像データの各注目画素を中心とした少なくとも１画素からなる注目ブロックと、前記隣接フレームの前記重み付け差分画像データの少なくとも１画素からなる対応ブロックとの相関を演算し、重み付け差分画像間相関データとして出力する重み付け差分画像間相関データ検出手段と、
前記重み付け差分画像間相関データの少なくとも１画素からなる所定の単位毎に、前記重み付け差分画像データ間の相関が最大となる前記重みを検出し、前記注目フレームの前記単位に対応する前記混合比として出力する混合比検出手段と
を含むことを特徴とする画像処理装置。
【請求項２】  前記重み付け情報生成手段は、それぞれ異なる複数の前記混合比に対応する、それぞれ異なる複数の前記重みを示す前記重み付け情報を順次生成し、
前記重み付け差分画像データ検出手段は、それぞれ異なる複数の前記重みに対応して、前記重み付け差分を検出し、前記注目フレームに対応する前記重み付け差分画像データとして出力し、
前記重み付け差分画像間相関データ検出手段は、それぞれ異なる複数の前記重みに対応して、前記相関を演算し、重み付け差分画像間相関データとして出力し、
前記混合比検出手段は、それぞれ異なる複数の前記重みのうち、前記重み付け差分画像データ間の相関が最大となる前記重みを検出し、前記注目フレームの前記所定の単位に対応する前記混合比として出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】  前記重み付け差分画像間相関データ検出手段は、前記相関として、前記注目フレームの前記重み付け差分画像データの各注目画素を中心とした少なくとも１画素からなる前記注目ブロックと、前記隣接フレームの前記重み付け差分画像データの少なくとも１画素からなる前記対応ブロックとの差分絶対値を演算し、前記重み付け差分画像間相関データとして出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】  前記重み付け差分画像間相関データ検出手段は、前記相関として、前記注目フレームの前記重み付け差分画像データの各注目画素を中心とした少なくとも１画素からなる前記注目ブロックと、前記隣接フレームの前記重み付け差分画像データの少なくとも１画素からなる前記対応ブロックとの差分絶対値和を演算し、前記重み付け差分画像間相関データとして出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】  前記重み付け差分画像データ検出手段は、前記注目フレームの前記画素が、複数の前記オブジェクトが混合されている混合領域であって、前景のオブジェクトの動き方向先端部側に形成されるカバードバックグラウンド領域に属する場合、前記注目フレームの各画素と、前記注目フレームの前の前記フレームの各画素との間で、前記重み付け情報で示される前記重みによる重み付け差分を検出し、前記注目フレームの前記画素が、複数の前記オブジェクトが混合されている混合領域であって、前記前景のオブジェクトの動き方向後端部側に形成されるアンカバードバックグラウンド領域に属する場合、前記注目フレームの各画素と、前記注目フレームの次の前記フレームの各画素との間で、前記重み付け情報で示される前記重みによる重み付け差分を検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】  前記画像データにおいて複数の前記オブジェクトのうちの前景となるオブジェクトからなる前景領域、前記画像データにおいて複数の前記オブジェクトのうちの背景となるオブジェクトからなる背景領域、複数の前記オブジェクトが混合されている混合領域であって、前景のオブジェクトの動き方向先端部側に形成されるカバードバックグラウンド領域、および前記混合領域であって、前記前景のオブジェクトの動き方向後端部側に形成されるアンカバードバックグラウンド領域を特定し、前記前景領域、前記背景領域、並びに前記カバードバックグラウンド領域および前記アンカバードバックグラウンド領域を含む前記混合領域を示す領域情報を生成する領域情報生成手段をさらに含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】  前記注目フレームの前記画素データと前記隣接フレームの前記画素データとの間の相対的な動きを示す前記動きベクトルを検出する動きベクトル検出手段をさらに含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】  前記混合比検出手段は、複数の前記オブジェクトが混合されている混合領域に属する、前記注目フレームの前記画素の前記混合比を検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】  前記混合比を基に、前記画素データから、複数の前記オブジェクトのうちの少なくとも前景となるオブジェクトを分離する分離手段をさらに含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】  分離された前記前景となるオブジェクトの動きボケの量を調整する動きボケ調整手段をさらに含む
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】  前記混合比を基に、所望の他のオブジェクトと分離された前記前景となるオブジェクトとを合成する合成手段をさらに含む
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１２】  時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理する画像処理方法において、
現実世界では複数であるオブジェクトの前記画素データにおける混合状態を示す混合比の値の範囲に対応させて、複数の重みを生成し、生成した個々の前記重みを示す重み付け情報を生成する重み付け情報生成ステップと、
前記画像データの注目フレームの各画素と、前記画像データの前記注目フレームに隣接する隣接フレームの各画素との間で、前記重み付け情報で示される前記重みに基づく重み付け差分を検出し、前記注目フレームに対応する重み付け差分画像データとして出力する重み付け差分画像データ検出ステップと、
前記注目フレームの前記画素データと前記隣接フレームの前記画素データとの間の相対的な動きを示す動きベクトルに応じて、前記注目フレームの前記重み付け差分画像データと前記隣接フレームの前記重み付け差分画像データとの相対的な位置を合わせて、前記注目フレームの前記重み付け差分画像データの各注目画素を中心とした少なくとも１画素からなる注目ブロックと、前記隣接フレームの前記重み付け差分画像データの少なくとも１画素からなる対応ブロックとの相関を演算し、重み付け差分画像間相関データとして出力する重み付け差分画像間相関データ検出ステップと、
前記重み付け差分画像間相関データの少なくとも１画素からなる所定の単位毎に、前記重み付け差分画像データ間の相関が最大となる前記重みを検出し、前記注目フレームの前記単位に対応する前記混合比として出力する混合比検出ステップと
を含むことを特徴とする画像処理方法。
【請求項１３】  時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理するプログラムであって、
現実世界では複数であるオブジェクトの前記画素データにおける混合状態を示す混合比の値の範囲に対応させて、複数の重みを生成し、生成した個々の前記重みを示す重み付け情報を生成する重み付け情報生成ステップと、
前記画像データの注目フレームの各画素と、前記画像データの前記注目フレームに隣接する隣接フレームの各画素との間で、前記重み付け情報で示される前記重みに基づく重み付け差分を検出し、前記注目フレームに対応する重み付け差分画像データとして出力する重み付け差分画像データ検出ステップと、
前記注目フレームの前記画素データと前記隣接フレームの前記画素データとの間の相対的な動きを示す動きベクトルに応じて、前記注目フレームの前記重み付け差分画像データと前記隣接フレームの前記重み付け差分画像データとの相対的な位置を合わせて、前記注目フレームの前記重み付け差分画像データの各注目画素を中心とした少なくとも１画素からなる注目ブロックと、前記隣接フレームの前記重み付け差分画像データの少なくとも１画素からなる対応ブロックとの相関を演算し、重み付け差分画像間相関データとして出力する重み付け差分画像間相関データ検出ステップと、
前記重み付け差分画像間相関データの少なくとも１画素からなる所定の単位毎に、前記重み付け差分画像データ間の相関が最大となる前記重みを検出し、前記注目フレームの前記単位に対応する前記混合比として出力する混合比検出ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１４】  時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理するコンピュータに、
現実世界では複数であるオブジェクトの前記画素データにおける混合状態を示す混合比の値の範囲に対応させて、複数の重みを生成し、生成した個々の前記重みを示す重み付け情報を生成する重み付け情報生成ステップと、
前記画像データの注目フレームの各画素と、前記画像データの前記注目フレームに隣接する隣接フレームの各画素との間で、前記重み付け情報で示される前記重みに基づく重み付け差分を検出し、前記注目フレームに対応する重み付け差分画像データとして出力する重み付け差分画像データ検出ステップと、
前記注目フレームの前記画素データと前記隣接フレームの前記画素データとの間の相対的な動きを示す動きベクトルに応じて、前記注目フレームの前記重み付け差分画像データと前記隣接フレームの前記重み付け差分画像データとの相対的な位置を合わせて、前記注目フレームの前記重み付け差分画像データの各注目画素を中心とした少なくとも１画素からなる注目ブロックと、前記隣接フレームの前記重み付け差分画像データの少なくとも１画素からなる対応ブロックとの相関を演算し、重み付け差分画像間相関データとして出力する重み付け差分画像間相関データ検出ステップと、
前記重み付け差分画像間相関データの少なくとも１画素からなる所定の単位毎に、前記重み付け差分画像データ間の相関が最大となる前記重みを検出し、前記注目フレームの前記単位に対応する前記混合比として出力する混合比検出ステップと
を実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】削除
【補正の内容】
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】削除
【補正の内容】
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】削除
【補正の内容】
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】削除
【補正の内容】
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】削除
【補正の内容】
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】削除
【補正の内容】
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】削除
【補正の内容】
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】削除
【補正の内容】
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】削除
【補正の内容】
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】削除
【補正の内容】
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】削除
【補正の内容】
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】削除
【補正の内容】
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】削除
【補正の内容】
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】削除
【補正の内容】
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】削除
【補正の内容】