【手続補正書】
【提出日】平成18年3月17日(2006.3.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】  供給された映像音声信号の処理を行う映像音声信号処理方法であって、
上記映像音声信号の圧縮領域において上記映像音声信号の特性を表す少なくとも１以上の圧縮領域特徴点を抽出する工程と、
上記抽出工程によって抽出された特徴点の動き予測を実行する工程と、
上記映像音声信号を構成する所定の数のフレームにわたって、動きベクトルに関連付けられた特徴点を追跡する工程とを備えること
を特徴とする映像音声信号処理方法。
【請求項２】  上記抽出工程は、上記動き予測工程に基づいて次の特徴点として選択される特徴点の候補である高い関連性を有するブロックを決定するために、現フレームにおける全てのブロックのブロック関連距離を演算する工程を有すること
を特徴とする請求項１記載の映像音声信号処理方法。
【請求項３】  上記抽出工程は、上記距離演算工程によって選択された高い関連性を有するブロックのみに対して、上記圧縮領域を変換する逆変換を実行し、順方向予測マクロブロック又は双方向予測マクロブロックの場合には動き補償を施す工程を有すること
を特徴とする請求項２記載の映像音声信号処理方法。
【請求項４】  上記逆変換は、逆離散的コサイン変換であること
を特徴とする請求項３記載の映像音声信号処理方法。
【請求項５】  上記現フレームは、任意に形成されるビデオオブジェクトプレーンを含むこと
を特徴とする請求項２記載の映像音声信号処理方法。
【請求項６】  ブロックにおける離散的コサイン変換係数の一部又は全部を用いて、離散的コサイン変換領域にて選択された高い関連性を有する現ブロックに対するブロックシグネチャを演算して抽出する工程を有すること
を特徴とする請求項４記載の映像音声信号処理方法。
【請求項７】  ブロックにおける個々に重み付けられた離散的コサイン変換係数の一部又は全部を用いて、離散的コサイン変換領域にて選択された高い関連性を有する現ブロックに対するブロックシグネチャを演算して抽出する工程を有すること
を特徴とする請求項４記載の映像音声信号処理方法。
【請求項８】  ペル領域にて選択された高い関連性を有する現ブロックに対するブロックシグネチャを演算する工程を有すること
を特徴とする請求項４記載の映像音声信号処理方法。
【請求項９】  上記動き予測工程は、参照フレームにて、予測された動きベクトル、参照ブロックの位置及び検索範囲を演算する工程を有すること
を特徴とする請求項１記載の映像音声信号処理方法。
【請求項１０】  参照フレームの検索範囲内のイントラマクロブロックにおける全てのブロックに対して、上記圧縮領域を変換する逆変換を施す工程を有すること
を特徴とする請求項９記載の映像音声信号処理方法。
【請求項１１】  上記逆変換は、逆離散的コサイン変換であること
を特徴とする請求項１０記載の映像音声信号処理方法。
【請求項１２】  参照フレームの検索範囲内の順方向予測マクロブロック又は双方向予測マクロブロックにおける全てのブロックに対して逆離散的コサイン変換と動き補償とを施す工程を有すること
を特徴とする請求項１１記載の映像音声信号処理方法。
【請求項１３】  上記ブロック関連距離演算工程では、現マクロブロックがイントラマクロブロックであり且つ参照マクロブロックが順方向予測マクロブロック又は双方向予測マクロブロックである場合には、参照マクロブロックを考慮して関連付けられたブロックについての動きベクトル及び予測誤差エネルギに基づいて求められる関連測定基準を用いてブロック関連距離を演算すること
を特徴とする請求項４記載の映像音声信号処理方法。
【請求項１４】  現マクロブロックが順方向予測マクロブロック又は双方向予測マクロブロックである場合には、ブロック関連距離を０に設定する工程と、
参照フレームからすでに追跡された特徴点のリストをアップデートする工程とを有すること
を特徴とする請求項４記載の映像音声信号処理方法。
【請求項１５】  現マクロブロックがイントラマクロブロックであり且つ参照マクロブロックもイントラマクロブロックである場合には、現マクロブロックにおけるブロックからの離散的コサイン変換アクティビティと、参照マクロブロックを考慮して求められる離散的コサイン変換アクティビティとに基づいて求められる関連測定基準を用いてブロック関連距離を演算すること
を特徴とする請求項４記載の映像音声信号処理方法。
【請求項１６】  映像音声信号は、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＤＶ、ＭＪＰＥＧ、ＩＴＵ−Ｔ勧告Ｈ．２６１又はＨ．２６３による圧縮符号化がなされること
を特徴とする請求項１項記載の映像音声信号処理方法。
【請求項１７】  抽出された特徴点は、これらの特徴点に関連付けられたメタデータとともに、オブジェクトの動き予測に用いられること
を特徴とする請求項１記載の映像音声信号処理方法。
【請求項１８】  抽出された特徴点は、これらの特徴点に関連付けられたメタデータとともに、カメラ動き予測に用いられること
を特徴とする請求項１記載の映像音声信号処理方法。
【請求項１９】  抽出された特徴点は、これらの特徴点に関連付けられたメタデータとともに、ビデオの動きアクティビティモデルの演算に用いられること
を特徴とする請求項１記載の映像音声信号処理方法。
【請求項２０】  上記予測されたカメラ動きは、１の圧縮ビデオ表示から他の圧縮ビデオ表示への変換処理を容易にするのに用いられること
を特徴とする請求項１５記載の映像音声信号処理方法。
【請求項２１】  供給された映像音声信号の処理を行う映像音声信号処理装置であって、
上記映像音声信号の圧縮領域において上記映像音声信号の特性を表す少なくとも１以上の圧縮領域特徴点を抽出する手段と、
上記抽出手段によって抽出された特徴点の動き予測を実行する手段と、
上記映像音声信号を構成する所定の数のフレームにわたって、動きベクトルに関連付けられた特徴点を追跡する手段とを備えること
を特徴とする映像音声信号処理装置。
【請求項２２】  上記抽出手段は、上記動き予測手段に基づいて次の特徴点として選択される特徴点の候補である高い関連性を有するブロックを決定するために、現フレームにおける全てのブロックのブロック関連距離を演算する手段を有すること
を特徴とする請求項２１記載の映像音声信号処理装置。
【請求項２３】  上記抽出手段は、上記距離演算手段によって選択された高い関連性を有するブロックのみに対して、上記圧縮領域を変換する逆変換を実行し、順方向予測マクロブロック又は双方向予測マクロブロックの場合には動き補償を施す手段を有すること
を特徴とする請求項２２記載の映像音声信号処理装置。
【請求項２４】  上記逆変換は、逆離散的コサイン変換であること
を特徴とする請求項２３記載の映像音声信号処理装置。
【請求項２５】  上記現フレームは、任意に形成されるビデオオブジェクトプレーンを含むこと
を特徴とする請求項２２記載の映像音声信号処理装置。
【請求項２６】  上記抽出手段は、ブロックにおける離散的コサイン変換係数の一部又は全部を用いて、離散的コサイン変換領域にて選択された高い関連性を有する現ブロックに対するブロックシグネチャを演算して抽出すること
を特徴とする請求項２４記載の映像音声信号処理装置。
【請求項２７】  上記抽出手段は、ブロックにおける個々に重み付けられた離散的コサイン変換係数の一部又は全部を用いて、離散的コサイン変換領域にて選択された高い関連性を有する現ブロックに対するブロックシグネチャを演算して抽出すること
を特徴とする請求項２４記載の映像音声信号処理装置。
【請求項２８】  上記抽出手段は、ペル領域にて選択された高い関連性を有する現ブロックに対するブロックシグネチャを演算すること
を特徴とする請求項２４記載の映像音声信号処理装置。
【請求項２９】  上記動き予測手段は、参照フレームにて、予測された動きベクトル、参照ブロックの位置及び検索範囲を演算すること
を特徴とする請求項２１記載の映像音声信号処理装置。
【請求項３０】  上記動き予測手段は、参照フレームの検索範囲内のイントラマクロブロックにおける全てのブロックに対して、上記圧縮領域を変換する逆変換を施すこと
を特徴とする請求項２９記載の映像音声信号処理装置。
【請求項３１】  上記逆変換は、逆離散的コサイン変換であること
を特徴とする請求項３０記載の映像音声信号処理装置。
【請求項３２】  上記動き予測手段は、参照フレームの検索範囲内の順方向予測マクロブロック又は双方向予測マクロブロックにおける全てのブロックに対して逆離散的コサイン変換と動き補償とを施すこと
を特徴とする請求項３１記載の映像音声信号処理装置。
【請求項３３】  上記ブロック関連距離演算手段は、現マクロブロックがイントラマクロブロックであり且つ参照マクロブロックが順方向予測マクロブロック又は双方向予測マクロブロックである場合には、参照マクロブロックを考慮して関連付けられたブロックについての動きベクトル及び予測誤差エネルギに基づいて求められる関連測定基準を用いてブロック関連距離を演算すること
を特徴とする請求項２４記載の映像音声信号処理装置。
【請求項３４】  上記抽出手段は、現マクロブロックが順方向予測マクロブロック又は双方向予測マクロブロックである場合には、ブロック関連距離を０に設定し、参照フレームからすでに追跡された特徴点のリストをアップデートすること
を特徴とする請求項２４記載の映像音声信号処理装置。
【請求項３５】  上記抽出手段は、現マクロブロックがイントラマクロブロックであり且つ参照マクロブロックもイントラマクロブロックである場合には、現マクロブロックにおけるブロックからの離散的コサイン変換アクティビティと、参照マクロブロックを考慮して求められる離散的コサイン変換アクティビティとに基づいて求められる関連測定基準を用いてブロック関連距離を演算すること
を特徴とする請求項２４記載の映像音声信号処理装置。
【請求項３６】  映像音声信号は、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＤＶ、ＭＪＰＥＧ、ＩＴＵ−Ｔ勧告Ｈ．２６１又はＨ．２６３による圧縮符号化がなされること
を特徴とする請求項２１記載の映像音声信号処理装置。
【請求項３７】  抽出された特徴点は、これらの特徴点に関連付けられたメタデータとともに、オブジェクトの動き予測に用いられること
を特徴とする請求項２１記載の映像音声信号処理装置。
【請求項３８】  抽出された特徴点は、これらの特徴点に関連付けられたメタデータとともに、カメラ動き予測に用いられること
を特徴とする請求項２１記載の映像音声信号処理装置。
【請求項３９】  抽出された特徴点は、これらの特徴点に関連付けられたメタデータとともに、ビデオの動きアクティビティモデルの演算に用いられること
を特徴とする請求項２１記載の映像音声信号処理装置。
【請求項４０】  上記予測されたカメラ動きは、１の圧縮ビデオ表示から他の圧縮ビデオ表示への変換処理を容易にするのに用いられること
を特徴とする請求項３８記載の映像音声信号処理装置。
【請求項４１】  供給された映像音声信号の処理及びブラウジングを行う方法であって、
少なくとも１以上の主要なカメラ動き推移グラフを有するとともにビデオシーケンスのために表現される推移パスを有する他のカメラ動きを表す複数のノードを有するグラフのレイアウトを提供し、カメラ動き推移グラフを階層的に構築する工程と、
各ノードにおけるカメラ動きビデオシーケンスのキーフレームを描写することによってカメラ動き推移グラフを通してブラウジングする工程と、
各ノードにおけるカメラ動きのグラフ表現を描写することによってカメラ動き推移グラフを通してブラウジングする工程とを備えること
を特徴とする方法。
【請求項４２】  供給された映像音声信号の処理及びブラウジングを行う装置であって、
少なくとも１以上の主要なカメラ動き推移グラフを有するとともにビデオシーケンスのために表現される推移パスを有する他のカメラ動きを表す複数のノードを有するグラフのレイアウトを提供し、カメラ動き推移グラフを階層的に構築する手段と、
各ノードにおけるカメラ動きビデオシーケンスのキーフレームを描写することによってカメラ動き推移グラフを通してブラウジングする手段と、
各ノードにおけるカメラ動きのグラフ表現を描写することによってカメラ動き推移グラフを通してブラウジングする手段とを備えること
を特徴とする装置。
【請求項４３】  ブラウジングするために、複合されたビデオの選択の階層分解を抽出する方法であって、
ビデオを識別する工程と、
各ビデオセグメントを表すために上記ビデオのショットからキーフレームを収集する工程と、
カメラ動き又はグローバル動き情報にしたがって、収集されたキーフレームを分類する工程と、
ノードによってビデオのショットの各カテゴリを表現し、ビデオのショットの各部分に関連付けられたカメラ動き情報と同様にテンポラルに、上記分類工程の結果に基づくビデオのグラフ表示を構築する工程とを備えること
を特徴とする方法。
【請求項４４】  ブラウジングするために、複合されたビデオの選択の階層分解を抽出する装置であって、
ビデオを識別する手段と、
各ビデオセグメントを表すために上記ビデオのショットからキーフレームを収集する手段と、
カメラ動き又はグローバル動き情報にしたがって、収集されたキーフレームを分類する手段と、
ノードによってビデオのショットの各カテゴリを表現し、ビデオのショットの各部分に関連付けられたカメラ動き情報と同様にテンポラルに、上記分類工程の結果に基づくビデオのグラフ表示を構築する手段とを備えること
を特徴とする装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１５２
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１５３
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１５４
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１５５
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１５６
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１５７
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１５８
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１５９
【補正方法】削除
【補正の内容】