(57)【要約】【課題】  残差情報を伝送せずに、符号化されたデータを復号する。【解決手段】  基準フレームは基準フレーム符号化部１０２に供給されて符号化され、その他のフレームは、フレームメモリ１０５に供給される。フレームメモリ１０５に供給された現フレームと、フレームメモリ１０６に保存されている前フレームとはそれぞれハイパスフィルタを介して、ブロックマッチング動き探索部１０８に供給されて第１の動きベクトルが求められる。また、絶対値誤差算出部１０９は、第１の動きベクトルによる予測誤差を算出する。そして、予測誤差に基づいた重み付けにより、評価地変更ブロックマッチング動き探索部１１１により第２の動きベクトルが探索される。そして、画素ごとに、いずれの動きベクトルを復号時に用いるべきかが最適動き決定部１１２において決定される。本発明は、画像表示システム、符号化装置、および、復号装置に適用できる。【選択図】図３
2006238372.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームデータからなる画像データの供給を受けて符号化する符号化装置において、
第１のフレームデータ、および、前記第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定手段と、
前記処理ブロックにおいて、前記第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定手段と、
前記処理領域ごとに、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択手段と、
前記動きベクトル選択手段により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に基づいて、前記処理領域に対応する画素を抽出する抽出手段と、
前記抽出手段により抽出された前記画素を用いて、前記動きベクトル選択手段により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に対応する前記処理領域の画素データを予測するための予測データを算出する予測データ算出手段と
を備えることを特徴とする符号化装置。
【請求項２】
前記第１のフレームデータおよび前記第２のフレームデータに対して、画像のエッジを強調させる処理を施す画像処理手段
を更に備えることを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記画像処理手段は、ハイパスフィルタである
ことを特徴とする請求項２に記載の符号化装置。
【請求項４】
前記フレームデータにノイズを付加するノイズ付加手段
を更に備えることを特徴とする請求項１に記載の符号化装置。
【請求項５】
前記第１の動きベクトル推定手段により推定された前記第１の動きベクトルと、前記第１のフレームデータとを基に、前記第１の動きベクトルの検出誤差を算出する誤差算出手段を更に備え、
前記第１の動きベクトル推定手段は、前記第１のフレームデータおよび前記第２のフレームデータに対するブロックマッチング処理により、前記第１の動きベクトルを推定し、
前記第２の動きベクトル推定手段は、前記第１のフレームデータおよび前記第２のフレームデータに対して、前記誤差算出手段により算出された前記第１の動きベクトルの検出誤差に基づいて重み付けされたブロックマッチング処理により、前記第２の動きベクトルを推定する
ことを特徴とする請求項１に記載の符号化装置。
【請求項６】
前記予測データ算出手段は、前記抽出手段により抽出された複数の前記画素の画素値にそれぞれ所定の係数を乗算した値の和と、対応する前記第１のフレームデータ内の画素の画素値との関係を基に、最小自乗法を用いて、前記第１の動きベクトルに対応する場合の前記係数の最適値を第１の予測データとして、前記第２の動きベクトルに対応する場合の前記係数の最適値を第２の予測データとして、それぞれ算出する
ことを特徴とする請求項１に記載の符号化装置。
【請求項７】
予測データ算出手段により算出された前記予測データは、
前記第１の動きベクトルに対応する第１の予測データと、
前記第２の動きベクトルに対応する第２の予測データと
を含む
ことを特徴とする請求項６に記載の符号化装置。
【請求項８】
前記第１のフレームデータに対応する符号化結果を出力する出力手段を更に備え、
前記出力手段は、
前記第１の動きベクトル推定手段により推定された前記第１の動きベクトルと、
前記第２の動きベクトル推定手段により推定された前記第２の動きベクトルと、
前記動きベクトル選択手段による選択結果を示すデータと、
前記予測データ算出手段により算出された前記予測データと
を出力する
ことを特徴とする請求項１に記載の符号化装置。
【請求項９】
複数のフレームデータからなる画像データの供給を受けて符号化する符号化装置の符号化方法において、
第１のフレームデータ、および、前記第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定ステップと、
前記処理ブロックにおいて、前記第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップと、
前記処理領域ごとに、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップと、
前記動きベクトル選択ステップの処理により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に基づいて、前記処理領域に対応する画素を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記画素を用いて、前記動きベクトル選択ステップの処理により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に対応する前記処理領域の画素データを予測するための予測データを算出する予測データ算出ステップと
を含むことを特徴とする符号化方法。
【請求項１０】
前記第１のフレームデータおよび前記第２のフレームデータに対して、画像のエッジを強調させる処理を施す画像処理ステップ
を更に含むことを特徴とする請求項９に記載の符号化方法。
【請求項１１】
前記画像処理ステップの処理は、ハイパスフィルタを施す処理である
ことを特徴とする請求項１０に記載の符号化方法。
【請求項１２】
前記フレームデータにノイズを付加するノイズ付加ステップ
を更に含むことを特徴とする請求項９に記載の符号化方法。
【請求項１３】
前記第１の動きベクトル推定ステップの処理により推定された前記第１の動きベクトルと、前記第１のフレームデータとを基に、前記第１の動きベクトルの検出誤差を算出する誤差算出ステップを更に含み、
前記第１の動きベクトル推定ステップの処理では、前記第１のフレームデータおよび前記第２のフレームデータに対するブロックマッチング処理により、前記第１の動きベクトルが推定され、
前記第２の動きベクトル推定ステップの処理では、前記第１のフレームデータおよび前記第２のフレームデータに対して、前記誤差算出ステップの処理により算出された前記第１の動きベクトルの検出誤差に基づいて重み付けされたブロックマッチング処理により、前記第２の動きベクトルを推定する処理が実行される
ことを特徴とする請求項９に記載の符号化方法。
【請求項１４】
前記予測データ算出ステップの処理では、前記抽出ステップの処理により抽出された複数の前記画素の画素値にそれぞれ所定の係数を乗算した値の和と、対応する前記第１のフレームデータ内の画素の画素値との関係を基に、最小自乗法を用いて、前記第１の動きベクトルに対応する場合の前記係数の最適値が第１の予測データとして、前記第２の動きベクトルに対応する場合の前記係数の最適値が第２の予測データとして、それぞれ算出される
ことを特徴とする請求項９に記載の符号化方法。
【請求項１５】
予測データ算出ステップの処理により算出された前記予測データは、
前記第１の動きベクトルに対応する第１の予測データと、
前記第２の動きベクトルに対応する第２の予測データと
を含む
ことを特徴とする請求項１４に記載の符号化方法。
【請求項１６】
前記第１のフレームデータに対応する符号化結果を出力する出力ステップを更に含み、
前記出力ステップの処理では、
前記第１の動きベクトル推定ステップの処理により推定された前記第１の動きベクトルと、
前記第２の動きベクトル推定ステップの処理により推定された前記第２の動きベクトルと、
前記動きベクトル選択ステップの処理による選択結果を示すデータと、
前記予測データ算出ステップの処理により算出された前記予測データと
が出力される
ことを特徴とする請求項９に記載の符号化方法。
【請求項１７】
複数のフレームデータからなる画像データの供給を受けて符号化する処理をコンピュータに実行させるためのプログラムであって、
第１のフレームデータ、および、前記第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定ステップと、
前記処理ブロックにおいて、前記第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップと、
前記処理領域ごとに、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップと、
前記動きベクトル選択ステップの処理により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に基づいて、前記処理領域に対応する画素を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記画素を用いて、前記動きベクトル選択ステップの処理により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に対応する前記処理領域の画素データを予測するための予測データを算出する予測データ算出ステップと
を含むことを特徴とするプログラムが記録されたコンピュータにより読み取り可能な記録媒体。
【請求項１８】
複数のフレームデータからなる画像データの供給を受けて符号化する処理をコンピュータに実行させるためのプログラムであって、
第１のフレームデータ、および、前記第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定ステップと、
前記処理ブロックにおいて、前記第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップと、
前記処理領域ごとに、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップと、
前記動きベクトル選択ステップの処理により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に基づいて、前記処理領域に対応する画素を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記画素を用いて、前記動きベクトル選択ステップの処理により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に対応する前記処理領域の画素データを予測するための予測データを算出する予測データ算出ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラム。
【請求項１９】
符号化された画像データの供給を受けて復号する復号装置において、
複数の処理領域を有する処理ブロックにおける第１の動きベクトル、前記処理ブロックにおける第２の動きベクトル、および、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを前記処理領域ごとに示す最適動きベクトル情報の入力を受け、前記処理ブロックの前記処理領域ごとに最適な動きベクトルを決定する動きベクトル決定手段と、
前記処理領域に含まれる画素データを予測するための予測データの入力を受け、前記動きベクトル決定手段により決定された前記動きベクトルと、前記予測データとを基に、前記処理ブロック内の画素データを算出する算出手段と
を備えることを特徴とする復号装置。
【請求項２０】
前記算出手段により算出された前記画素データに、ノイズを付加するノイズ付加手段
を更に備えることを特徴とする請求項１９に記載の復号装置。
【請求項２１】
前記予測データは、
前記第１の動きベクトルに対応する第１の予測データと、
前記第２の動きベクトルに対応する第２の予測データと
を含む
ことを特徴とする請求項１９に記載の復号装置。
【請求項２２】
前記第１の予測データ、前記第２の予測データ、および、前記最適動きベクトル情報の入力を受け、前記処理領域ごとに、前記算出手段による処理に前記第１の予測データと前記第２の予測データとのいずれを用いるかを選択する予測データ選択手段
を更に備えることを特徴とする請求項２１に記載の復号装置。
【請求項２３】
前記予測データは、前記処理領域に対応する周辺画素にそれぞれ所定の係数を乗算した値の和と、対応する前記第１のフレームデータ内の画素の画素値との関係を基に、最小自乗法を用いて算出された、前記係数の最適値である
ことを特徴とする請求項２１に記載の復号装置。
【請求項２４】
前記算出手段は、
前記動きベクトル決定手段により決定された前記動きベクトルを基に、注目画素に対応する周辺画素の画素値を抽出し、
抽出された前記画素値に前記予測データを乗算することにより、前記処理ブロック内の画素データを算出する
ことを特徴とする請求項１９に記載の復号装置。
【請求項２５】
符号化された画像データの供給を受けて復号する復号装置の復号方法において、
複数の処理領域を有する処理ブロックにおける第１の動きベクトル、前記処理ブロックにおける第２の動きベクトル、および、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを前記処理領域ごとに示す最適動きベクトル情報の入力を受け、前記処理ブロックの前記処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップと、
前記処理領域に含まれる画素データを予測するための予測データの入力を受け、前記動きベクトル決定ステップの処理により決定された前記動きベクトルと、前記予測データとを基に、前記処理ブロック内の画素データを算出する算出ステップと
を含むことを特徴とする復号方法。
【請求項２６】
前記算出ステップの処理により算出された前記画素データに、ノイズを付加するノイズ付加ステップ
を更に含むことを特徴とする請求項２５に記載の復号方法。
【請求項２７】
前記予測データは、
前記第１の動きベクトルに対応する第１の予測データと、
前記第２の動きベクトルに対応する第２の予測データと
を含む
ことを特徴とする請求項２５に記載の復号方法。
【請求項２８】
前記第１の予測データ、前記第２の予測データ、および、前記最適動きベクトル情報の入力を受け、前記処理領域ごとに、前記算出ステップの処理による処理に前記第１の予測データと前記第２の予測データとのいずれを用いるかを選択する予測データ選択ステップ
を更に含むことを特徴とする請求項２７に記載の復号方法。
【請求項２９】
前記予測データは、前記処理領域に対応する周辺画素にそれぞれ所定の係数を乗算した値の和と、対応する前記第１のフレームデータ内の画素の画素値との関係を基に、最小自乗法を用いて算出された、前記係数の最適値である
ことを特徴とする請求項２７に記載の復号方法。
【請求項３０】
前記算出ステップの処理は、
前記動きベクトル決定ステップの処理により決定された前記動きベクトルを基に、注目画素に対応する周辺画素の画素値を抽出し、
抽出された前記画素値に前記予測データを乗算することにより、前記処理ブロック内の画素データを算出する
処理を含む
ことを特徴とする請求項２５に記載の復号方法。
【請求項３１】
符号化された画像データの供給を受けて復号する処理をコンピュータに実行させるためのプログラムであって、
複数の処理領域を有する処理ブロックにおける第１の動きベクトル、前記処理ブロックにおける第２の動きベクトル、および、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを前記処理領域ごとに示す最適動きベクトル情報の入力を受け、前記処理ブロックの前記処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップと、
前記処理領域に含まれる画素データを予測するための予測データの入力を受け、前記動きベクトル決定ステップの処理により決定された前記動きベクトルと、前記予測データとを基に、前記処理ブロック内の画素データを算出する算出ステップと
を含むことを特徴とするプログラムが記録されたコンピュータにより読み取り可能な記録媒体。
【請求項３２】
符号化された画像データの供給を受けて復号する処理をコンピュータに実行させるためのプログラムであって、
複数の処理領域を有する処理ブロックにおける第１の動きベクトル、前記処理ブロックにおける第２の動きベクトル、および、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを前記処理領域ごとに示す最適動きベクトル情報の入力を受け、前記処理ブロックの前記処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップと、
前記処理領域に含まれる画素データを予測するための予測データの入力を受け、前記動きベクトル決定ステップの処理により決定された前記動きベクトルと、前記予測データとを基に、前記処理ブロック内の画素データを算出する算出ステップと
を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
【請求項３３】
符号化部および復号部を含み、前記符号化部および前記復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、前記画像データが劣化するようになされている画像処理システムにおいて、
前記符号化部は、
前記画像データに含まれる第１のフレームデータ、および、前記第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定手段と、
前記処理ブロックにおいて、前記第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定手段と、
前記処理領域ごとに、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択手段と、
前記動きベクトル選択手段により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に基づいて、前記処理領域に対応する画素を抽出する抽出手段と、
前記抽出手段により抽出された前記画素を用いて、前記動きベクトル選択手段により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に対応する前記処理領域の画素データを予測するための予測データを算出する予測データ算出手段と
を備える
ことを特徴とする画像処理システム。
【請求項３４】
前記フレームデータにノイズを付加するノイズ付加手段を更に備え、
前記復号部から出力される前記画像データは、前記ノイズ付加手段により前記フレームデータにノイズが付加された後、前記符号化部に供給される
ことを特徴とする請求項３３に記載の画像処理システム。
【請求項３５】
符号化部および復号部を含み、前記符号化部および前記復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、前記画像データが劣化するようになされている画像処理システムの画像処理方法において、
第１のフレームデータ、および、前記第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定ステップと、
前記処理ブロックにおいて、前記第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップと、
前記処理領域ごとに、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップと、
前記動きベクトル選択ステップの処理により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に基づいて、前記処理領域に対応する画素を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記画素を用いて、前記動きベクトル選択ステップの処理により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に対応する前記処理領域の画素データを予測するための予測データを算出する予測データ算出ステップと
を含むことを特徴とする画像処理方法。
【請求項３６】
符号化部および復号部を含み、前記符号化部および前記復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、前記画像データが劣化するようになされている画像処理システムにおいて、
前記復号部は、
複数の処理領域を有する処理ブロックにおける第１の動きベクトル、前記処理ブロックにおける第２の動きベクトル、および、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを前記処理領域ごとに示す最適動きベクトル情報の入力を受け、前記処理ブロックの前記処理領域ごとに最適な動きベクトルを決定する動きベクトル決定手段と、
前記処理領域に含まれる画素データを予測するための予測データの入力を受け、前記動きベクトル決定手段により決定された前記動きベクトルと、前記予測データとを基に、前記処理ブロック内の画素データを算出する算出手段と
を備える
ことを特徴とする画像処理システム。
【請求項３７】
前記フレームデータにノイズを付加するノイズ付加手段を更に備え、
前記復号部から出力される前記画像データは、前記ノイズ付加手段により前記フレームデータにノイズが付加された後、前記符号化部に供給される
ことを特徴とする請求項３６に記載の画像処理システム。
【請求項３８】
符号化部および復号部を含み、前記符号化部および前記復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、前記画像データが劣化するようになされている画像処理システムの画像処理方法において、
複数の処理領域を有する処理ブロックにおける第１の動きベクトル、前記処理ブロックにおける第２の動きベクトル、および、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを前記処理領域ごとに示す最適動きベクトル情報の入力を受け、前記処理ブロックの前記処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップと、
前記処理領域に含まれる画素データを予測するための予測データの入力を受け、前記動きベクトル決定ステップの処理により決定された前記動きベクトルと、前記予測データとを基に、前記処理ブロック内の画素データを算出する算出ステップと
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラムに関し、特に、アナログ信号を利用した不正コピーを防止する符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
近年、テレビ番組などのコンテンツをデジタル信号でＨＤ（ハードディスク）やＤＶＤ（Digital Versatile Disk）などの記録媒体に記録するデジタル記録再生装置が急速に普及してきている。
【０００３】
ＨＤやＤＶＤを記録媒体とするデジタル記録再生装置の普及により、視聴者であるユーザが、テレビ番組などを高品質に記録媒体に記録することが容易にできるようになった。
【０００４】
一方で、デジタル記録再生装置の普及により、ＤＶＤなどで販売されている、テレビ番組や映画などのコンテンツを不正にコピーすることが容易になるという側面もある。
【０００５】
図１は、記録媒体に記録されたコンテンツを再生し、ディスプレイに表示させるとともに、再生されたコンテンツを他の記録媒体に記録する画像処理システムの構成の一例を示している。
【０００６】
図１において、画像処理システム１は、ＤＶＤなどの光ディスク等の記録媒体に記録されたコンテンツの画像信号を再生し、その結果得られるアナログ画像信号を出力する再生装置１１、再生装置１１が出力するアナログ画像信号を画像として表示するディスプレイ１２、および、再生装置１１が出力するアナログ画像信号を利用して、光ディスク等の記録媒体に記録する記録装置１３により構成されている。
【０００７】
再生装置１１は、復号部２１とＤ／Ａ（Digital-to-Analog）変換部２２とから構成されている。復号部２１は、図示せぬ記録媒体から読み出した符号化デジタル画像信号を復号し、その結果得られるデジタル画像信号をＤ／Ａ変換部２２に供給する。Ｄ／Ａ変換部２２は、復号部２１から供給されたデジタル画像信号をアナログ信号に変換し、その結果得られるアナログ画像信号を出力する。
【０００８】
ディスプレイ１２は、例えばＣＲＴ(Cathode-Ray Tube)やＬＣＤ（Liquid Crystal Display）等で構成され、Ｄ／Ａ変換部２２からのアナログ画像信号を画像として表示する。これにより、ユーザは、記録媒体に記録されている画像信号に対応する画像を見ることができる。
【０００９】
また、再生装置１１から出力されたアナログ画像信号は、記録装置１３にも供給(入力)される。
【００１０】
記録装置１３は、Ａ／Ｄ（Analog-to-Digital）変換部３１、符号化部３２、および記録部３３により構成され、入力されるアナログ画像信号を光ディスク等の図示せぬ記録媒体に記録する。
【００１１】
Ａ／Ｄ変換部３１には、再生装置１１が出力するアナログ画像信号が入力される。Ａ／Ｄ変換部３１は、入力されたアナログ画像信号をデジタル信号に変換し、その結果得られるデジタル画像信号を符号化部３２に供給する。符号化部３２は、Ａ／Ｄ変換部３１からのデジタル画像信号を符号化し、その結果得られる符号化デジタル画像信号を記録部３３に供給する。記録部３３は、符号化デジタル画像信号を記録媒体に記録する。
【００１２】
以上のように構成される画像処理システム１では、再生装置１１から出力されたアナログ画像信号を利用して、再生された記録媒体と異なる記録媒体に画像信号を記録することができる。即ち、再生装置１１が出力するアナログ画像信号を利用して、コンテンツ（の画像信号）が、不正にコピーされるおそれがある。
【００１３】
従来、このようなアナログ画像信号を利用した不正コピーを防止するために、著作権保護がなされている場合には、アナログ画像信号をスクランブル処理して出力する、あるいはアナログ画像信号の出力を禁止することが提案されている。
【００１４】
しかしながら、アナログ画像信号をスクランブル処理して出力する、あるいはアナログ画像信号の出力を禁止する方法では、不正コピーを防止することはできるが、ディスプレイ１２に正常な画像を表示することもできなくなるという問題が発生する。
【００１５】
そこで、画像が表示されなくなることや回路規模の増大を招くこと等の不都合を発生することなく、アナログ画像信号を利用した不正コピーを防止する手法が、本出願人により提案されている（例えば、特許文献１参照）。
【００１６】
【特許文献１】２００４−２８９６８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
特許文献１に記載の手法では、アナログ画像信号をＡ／Ｄ変換することにより得られるデジタル画像信号の位相ずれに着目し、そのデジタル画像信号に対して位相ずれに着目した符号化を施すことによってコピー前の画像の質を落とさずに、良好な質を維持したままでのコピーを不可能とし、これによりアナログ画像信号を利用した不正コピーを防止するが、デジタルコンテンツの流通が一般的になっている近年においては、上述のように不正コピーを防止するための別の手法の提案が要請されている。
【００１８】
本発明は、このような状況に鑑みてなされたものであり、アナログ信号を利用した不正コピーを防止することができるようにするものである。
【課題を解決するための手段】
【００１９】
本発明の符号化装置は、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定手段と、処理ブロックにおいて、第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定手段と、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択手段と、動きベクトル選択手段により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する画素を抽出する抽出手段と、抽出手段により抽出された画素を用いて、動きベクトル選択手段により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に対応する処理領域の画素データを予測するための予測データを算出する予測データ算出手段とを備えることを特徴とする。
【００２０】
第１のフレームデータおよび第２のフレームデータに対して、画像のエッジを強調させる処理を施す画像処理手段を更に備えさせるようにすることができる。
【００２１】
画像処理手段は、ハイパスフィルタであるものとすることができる。
【００２２】
フレームデータにノイズを付加するノイズ付加手段を更に備えさせるようにすることができる。
【００２３】
第１の動きベクトル推定手段により推定された第１の動きベクトルと、第１のフレームデータとを基に、第１の動きベクトルの検出誤差を算出する誤差算出手段を更に備えさせるようにすることができ、第１の動きベクトル推定手段には、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により、第１の動きベクトルを推定させるようにすることができ、第２の動きベクトル推定手段には、第１のフレームデータおよび第２のフレームデータに対して、誤差算出手段により算出された第１の動きベクトルの検出誤差に基づいて重み付けされたブロックマッチング処理により、第２の動きベクトルを推定させるようにすることができる。
【００２４】
予測データ算出手段には、抽出手段により抽出された複数の画素の画素値にそれぞれ所定の係数を乗算した値の和と、対応する第１のフレームデータ内の画素の画素値との関係を基に、最小自乗法を用いて、第１の動きベクトルに対応する場合の係数の最適値を第１の予測データとして、第２の動きベクトルに対応する場合の係数の最適値を第２の予測データとして、それぞれ算出させるようにすることができる。
【００２５】
予測データ算出手段により算出された予測データには、第１の動きベクトルに対応する第１の予測データと、第２の動きベクトルに対応する第２の予測データとを含ませるようにすることができる。
【００２６】
第１のフレームデータに対応する符号化結果を出力する出力手段を更に備えさせるようにすることができ、出力手段には、第１の動きベクトル推定手段により推定された第１の動きベクトルと、第２の動きベクトル推定手段により推定された第２の動きベクトルと、動きベクトル選択手段による選択結果を示すデータと、予測データ算出手段により算出された予測データとを出力させるようにすることができる。
【００２７】
本発明の符号化方法は、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定ステップと、処理ブロックにおいて、第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップと、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップと、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する画素を抽出する抽出ステップと、抽出ステップの処理により抽出された画素を用いて、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に対応する処理領域の画素データを予測するための予測データを算出する予測データ算出ステップとを含むことを特徴とする。
【００２８】
第１のフレームデータおよび第２のフレームデータに対して、画像のエッジを強調させる処理を施す画像処理ステップを更に含ませるようにすることができる。
【００２９】
画像処理ステップの処理は、ハイパスフィルタを施す処理であるものとすることができる。
【００３０】
フレームデータにノイズを付加するノイズ付加ステップを更に含ませるようにすることができる。
【００３１】
第１の動きベクトル推定ステップの処理により推定された第１の動きベクトルと、第１のフレームデータとを基に、第１の動きベクトルの検出誤差を算出する誤差算出ステップを更に含ませるようにすることができ、第１の動きベクトル推定ステップの処理では、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により、第１の動きベクトルを推定させ、第２の動きベクトル推定ステップの処理では、第１のフレームデータおよび第２のフレームデータに対して、誤差算出ステップの処理により算出された第１の動きベクトルの検出誤差に基づいて重み付けされたブロックマッチング処理により、第２の動きベクトルを推定する処理が実行させるようにすることができる。
【００３２】
予測データ算出ステップの処理では、抽出ステップの処理により抽出された複数の画素の画素値にそれぞれ所定の係数を乗算した値の和と、対応する第１のフレームデータ内の画素の画素値との関係を基に、最小自乗法を用いて、第１の動きベクトルに対応する場合の係数の最適値が第１の予測データとして、第２の動きベクトルに対応する場合の係数の最適値が第２の予測データとして、それぞれ算出されるようにすることができる。
【００３３】
予測データ算出ステップの処理により算出された予測データは、第１の動きベクトルに対応する第１の予測データと、第２の動きベクトルに対応する第２の予測データとを含むものとすることができる。
【００３４】
第１のフレームデータに対応する符号化結果を出力する出力ステップを更に含み、出力ステップの処理では、第１の動きベクトル推定ステップの処理により推定された第１の動きベクトルと、第２の動きベクトル推定ステップの処理により推定された第２の動きベクトルと、動きベクトル選択ステップの処理による選択結果を示すデータと、予測データ算出ステップの処理により算出された予測データとを出力させるようにすることができる。
【００３５】
本発明の第１の記録媒体に記録されているプログラムは、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定ステップと、処理ブロックにおいて、第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップと、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップと、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する画素を抽出する抽出ステップと、抽出ステップの処理により抽出された画素を用いて、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に対応する処理領域の画素データを予測するための予測データを算出する予測データ算出ステップとを含むことを特徴とする。
【００３６】
本発明の第１のプログラムは、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定ステップと、処理ブロックにおいて、第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップと、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップと、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する画素を抽出する抽出ステップと、抽出ステップの処理により抽出された画素を用いて、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に対応する処理領域の画素データを予測するための予測データを算出する予測データ算出ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００３７】
本発明の復号装置は、複数の処理領域を有する処理ブロックにおける第１の動きベクトル、処理ブロックにおける第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報の入力を受け、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定手段と、処理領域に含まれる画素データを予測するための予測データの入力を受け、動きベクトル決定手段により決定された動きベクトルと、予測データとを基に、処理ブロック内の画素データを算出する算出手段とを備えることを特徴とする。
【００３８】
算出手段により算出された画素データに、ノイズを付加するノイズ付加手段を更に備えさせるようにすることができる。
【００３９】
予測データには、第１の動きベクトルに対応する第１の予測データと、第２の動きベクトルに対応する第２の予測データとを含ませるようにすることができる。
【００４０】
第１の予測データ、第２の予測データ、および、最適動きベクトル情報の入力を受け、処理領域ごとに、算出手段による処理に第１の予測データと第２の予測データとのいずれを用いるかを選択する予測データ選択手段を更に備えさせるようにすることができる。
【００４１】
予測データは、処理領域に対応する周辺画素にそれぞれ所定の係数を乗算した値の和と、対応する第１のフレームデータ内の画素の画素値との関係を基に、最小自乗法を用いて算出された、係数の最適値であるものとすることができる。
【００４２】
算出手段には、動きベクトル決定手段により決定された動きベクトルを基に、注目画素に対応する周辺画素の画素値を抽出させ、抽出された画素値に予測データを乗算することにより、処理ブロック内の画素データを算出させるようにすることができる。
【００４３】
本発明の復号方法は、複数の処理領域を有する処理ブロックにおける第１の動きベクトル、処理ブロックにおける第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報の入力を受け、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップと、処理領域に含まれる画素データを予測するための予測データの入力を受け、動きベクトル決定ステップの処理により決定された動きベクトルと、予測データとを基に、処理ブロック内の画素データを算出する算出ステップとを含むことを特徴とする。
【００４４】
算出ステップの処理により算出された画素データに、ノイズを付加するノイズ付加ステップを更に含ませるようにすることができる。
【００４５】
予測データには、第１の動きベクトルに対応する第１の予測データと、第２の動きベクトルに対応する第２の予測データとを含ませるようにすることができる。
【００４６】
第１の予測データ、第２の予測データ、および、最適動きベクトル情報の入力を受け、処理領域ごとに、算出ステップの処理による処理に第１の予測データと第２の予測データとのいずれを用いるかを選択する予測データ選択ステップを更に含ませるようにすることができる。
【００４７】
予測データは、処理領域に対応する周辺画素にそれぞれ所定の係数を乗算した値の和と、対応する第１のフレームデータ内の画素の画素値との関係を基に、最小自乗法を用いて算出された、係数の最適値であるものとすることができる。
【００４８】
算出ステップの処理には、動きベクトル決定ステップの処理により決定された動きベクトルを基に、注目画素に対応する周辺画素の画素値を抽出し、抽出された画素値に予測データを乗算することにより、処理ブロック内の画素データを算出する処理を含ませるようにすることができる。
【００４９】
本発明の第２の記録媒体に記録されているプログラムは、複数の処理領域を有する処理ブロックにおける第１の動きベクトル、処理ブロックにおける第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報の入力を受け、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップと、処理領域に含まれる画素データを予測するための予測データの入力を受け、動きベクトル決定ステップの処理により決定された動きベクトルと、予測データとを基に、処理ブロック内の画素データを算出する算出ステップとを含むことを特徴とする。
【００５０】
本発明の第２のプログラムは、複数の処理領域を有する処理ブロックにおける第１の動きベクトル、処理ブロックにおける第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報の入力を受け、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップと、処理領域に含まれる画素データを予測するための予測データの入力を受け、動きベクトル決定ステップの処理により決定された動きベクトルと、予測データとを基に、処理ブロック内の画素データを算出する算出ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００５１】
本発明の第１の画像処理システムは、符号化部および復号部を含み、符号化部および復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムであって、符号化部は、画像データに含まれる第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定手段と、処理ブロックにおいて、第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定手段と、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択手段と、動きベクトル選択手段により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する画素を抽出する抽出手段と、抽出手段により抽出された画素を用いて、動きベクトル選択手段により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に対応する処理領域の画素データを予測するための予測データを算出する予測データ算出手段とを備えることを特徴とする。
【００５２】
フレームデータにノイズを付加するノイズ付加手段を更に備えさせるようにすることができ、復号部から出力される画像データは、ノイズ付加手段によりフレームデータにノイズが付加された後、符号化部に供給されるものとすることができる。
【００５３】
本発明の第１の画像処理方法は、符号化部および復号部を含み、符号化部および復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムの画像処理方法であって、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定ステップと、処理ブロックにおいて、第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップと、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップと、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する画素を抽出する抽出ステップと、抽出ステップの処理により抽出された画素を用いて、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に対応する処理領域の画素データを予測するための予測データを算出する予測データ算出ステップとを含むことを特徴とする。
【００５４】
本発明の第２の画像処理システムは、符号化部および復号部を含み、符号化部および復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムであって、復号部は、複数の処理領域を有する処理ブロックにおける第１の動きベクトル、処理ブロックにおける第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報の入力を受け、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定手段と、処理領域に含まれる画素データを予測するための予測データの入力を受け、動きベクトル決定手段により決定された動きベクトルと、予測データとを基に、処理ブロック内の画素データを算出する算出手段とを備えることを特徴とする。
【００５５】
フレームデータにノイズを付加するノイズ付加手段を更に備えさせるようにすることができ、復号部から出力される画像データは、ノイズ付加手段によりフレームデータにノイズが付加された後、符号化部に供給されるものとすることができる。
【００５６】
本発明の第２の画像処理方法は、符号化部および復号部を含み、符号化部および復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムの画像処理方法であって、複数の処理領域を有する処理ブロックにおける第１の動きベクトル、処理ブロックにおける第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報の入力を受け、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップと、処理領域に含まれる画素データを予測するための予測データの入力を受け、動きベクトル決定ステップの処理により決定された動きベクトルと、予測データとを基に、処理ブロック内の画素データを算出する算出ステップとを含むことを特徴とする。
【００５７】
本発明の符号化装置および符号化方法、第１のプログラム、並びに、第１の画像処理システムおよび画像処理方法においては、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域を有する処理ブロックにおける第１の動きベクトルが推定され、処理ブロックにおいて、第１の動きベクトルとは異なる第２の動きベクトルが推定され、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかが選択され、選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する画素が抽出され、抽出された画素を用いて、選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に対応する処理領域の画素データを予測するための予測データが算出される。
【００５８】
本発明の復号装置および復号方法、第２のプログラム、並びに、第２の画像処理システムおよび画像処理方法においては、複数の処理領域を有する処理ブロックにおける第１の動きベクトル、処理ブロックにおける第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報の入力を受け、処理ブロックの処理領域ごとに最適な動きベクトルが決定され、処理領域に含まれる画素データを予測するための予測データの入力を受け、動きベクトル決定ステップの処理により決定された動きベクトルと、予測データとを基に、処理ブロック内の画素データが算出される。
【発明の効果】
【００５９】
本発明によると、画像データを符号化することができ、特に、２つの動きベクトルを探索することにより、残差情報なしに、符号化および復号処理を行うことができる。
【００６０】
また、他の本発明によると、画像データを復号することができ、特に、２つの動きベクトルのいずれかを用いて画像データを復号することにより、残差情報なしに、符号化および復号処理を行うことができる。
【発明を実施するための最良の形態】
【００６１】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００６２】
更に、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００６３】
請求項１に記載の符号化装置（例えば、図２の符号化装置６３または符号化部８２）は、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域（例えば、画素）を有する処理ブロック（例えば、動き探索を実行するときのブロック）における第１の動きベクトルを推定する第１の動きベクトル推定手段（例えば、図３のブロックマッチング動き探索部１０８）と、処理ブロックにおいて、第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定手段（例えば、図３の評価値変更ブロックマッチング動き探索部１１１）と、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択手段（例えば、図３の最適動き決定部１１２）と、動きベクトル選択手段により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する画素（例えば、図１３の５つのタップ）を抽出する抽出手段（例えば、図１２の第１のタップ抽出部２４６および第２のタップ抽出部２４７）と、抽出手段により抽出された画素を用いて、動きベクトル選択手段により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に対応する処理領域の画素データを予測するための予測データ（例えば、フィルタ係数）を算出する予測データ算出手段（例えば、図１２の第１の近傍予測フィルタ係数算出部２４８および第２の近傍予測フィルタ係数算出部２４９）とを備えることを特徴とする。
【００６４】
第１のフレームデータおよび第２のフレームデータに対して、画像のエッジを強調させる処理を施す画像処理手段（例えば、図３のハイパスフィルタ１０６およびハイパスフィルタ１０７）を更に備えることができる。
【００６５】
フレームデータにノイズを付加するノイズ付加手段（例えば、図２のＡ／Ｄ変換部８１）を更に備えることができる。
【００６６】
第１の動きベクトル推定手段により推定された第１の動きベクトルと、第１のフレームデータとを基に、第１の動きベクトルの検出誤差を算出する誤差算出手段（例えば、図３の絶対値誤差算出部１０９）を更に備えることができ、第１の動きベクトル推定手段は、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により、第１の動きベクトルを推定することができ、第２の動きベクトル推定手段は、第１のフレームデータおよび第２のフレームデータに対して、誤差算出手段により算出された第１の動きベクトルの検出誤差に基づいて重み付けされたブロックマッチング処理により、第２の動きベクトルを推定することができる。
【００６７】
予測データ算出手段は、抽出手段により抽出された複数の画素の画素値にそれぞれ所定の係数を乗算した値の和と、対応する第１のフレームデータ内の画素の画素値との関係（例えば、式３および式４）を基に、最小自乗法を用いて、第１の動きベクトルに対応する場合の係数の最適値を第１の予測データとして、第２の動きベクトルに対応する場合の係数の最適値を第２の予測データとして、それぞれ算出することができる。
【００６８】
第１のフレームデータに対応する符号化結果を出力する出力手段（例えば、図３の符号出力部１１５）を更に備えることができ、出力手段は、第１の動きベクトル推定手段により推定された第１の動きベクトルと、第２の動きベクトル推定手段により推定された第２の動きベクトルと、動きベクトル選択手段による選択結果を示すデータと、予測データ算出手段により算出された予測データとを出力することができる。
【００６９】
請求項９に記載の符号化方法は、複数のフレームデータからなる画像データの供給を受けて符号化する符号化装置（例えば、図２の符号化装置６３または符号化部８２）の符号化方法であって、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域（例えば、画素）を有する処理ブロック（例えば、動き探索を実行するときのブロック）における第１の動きベクトルを推定する第１の動きベクトル推定ステップ（例えば、図１７のステップＳ７およびステップＳ８の処理）と、処理ブロックにおいて、第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップ（例えば、図１７のステップＳ１０の処理）と、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップ（例えば、図１７のステップＳ１１の処理）と、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する画素（例えば、図１３の５つのタップ）を抽出する抽出ステップ（例えば、図２０のステップＳ８３またはステップＳ８６の処理）と、抽出ステップの処理により抽出された画素を用いて、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に対応する処理領域の画素データを予測するための予測データ（例えば、フィルタ係数）を算出する予測データ算出ステップ（例えば、図２０のステップＳ８５またはステップＳ８８の処理）とを含むことを特徴とする。
【００７０】
第１のフレームデータおよび第２のフレームデータに対して、画像のエッジを強調させる処理を施す画像処理ステップ（例えば、図１７のステップＳ６の処理）を更に含むことができる。
【００７１】
フレームデータにノイズを付加するノイズ付加ステップを更に含むことができる。
【００７２】
第１の動きベクトル推定ステップの処理により推定された第１の動きベクトルと、第１のフレームデータとを基に、第１の動きベクトルの検出誤差を算出する誤差算出ステップ（例えば、図１７のステップＳ９の処理）を更に備えることができ、第１の動きベクトル推定ステップの処理では、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により、第１の動きベクトルを推定することができ、第２の動きベクトル推定ステップの処理では、第１のフレームデータおよび第２のフレームデータに対して、誤差算出ステップの処理により算出された第１の動きベクトルの検出誤差に基づいて重み付けされたブロックマッチング処理により、第２の動きベクトルを推定する処理を実行することができる。
【００７３】
予測データ算出ステップの処理では、抽出ステップの処理により抽出された複数の画素の画素値にそれぞれ所定の係数を乗算した値の和と、対応する第１のフレームデータ内の画素の画素値との関係（例えば、式３および式４）を基に、最小自乗法を用いて、第１の動きベクトルに対応する場合の係数の最適値が第１の予測データとして、第２の動きベクトルに対応する場合の係数の最適値が第２の予測データとして、それぞれ算出することができる。
【００７４】
第１のフレームデータに対応する符号化結果を出力する出力ステップ（例えば、図１７のステップＳ１４の処理）を更に含むことができ、出力ステップの処理では、第１の動きベクトル推定ステップの処理により推定された第１の動きベクトルと、第２の動きベクトル推定ステップの処理により推定された第２の動きベクトルと、動きベクトル選択ステップの処理による選択結果を示すデータと、予測データ算出ステップの処理により算出された予測データとを出力することができる。
【００７５】
また、請求項１７に記載の記録媒体に記録されているプログラム、および、請求項１８に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項９に記載の符号化方法と同様である。
【００７６】
請求項１９に記載の復号装置（例えば、図２の復号部７１または復号部８４、もしくは、図３のデコーダ１１４）は、複数の処理領域（例えば、画素）を有する処理ブロック（例えば、動き探索を実行するときのブロック）における第１の動きベクトル、処理ブロックにおける第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報の入力を受け、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定手段（例えば、図１４または図１６の動き対象位置算出部２７３）と、処理領域に含まれる画素データを予測するための予測データ（例えば、フィルタ係数）の入力を受け、動きベクトル決定手段により決定された動きベクトルと、予測データとを基に、処理ブロック内の画素データを算出する算出手段（例えば、図１４または図１６の画素切り出し部２７４およびフィルタ係数乗算部２７６）とを備えることを特徴とする。
【００７７】
算出手段により算出された画素データに、ノイズを付加するノイズ付加手段（例えば、図２のＤ／Ａ変換部７２またはＤ／Ａ変換部８５）を更に備えることができる。
【００７８】
第１の予測データ、第２の予測データ、および、最適動きベクトル情報の入力を受け、処理領域ごとに、算出手段による処理に第１の予測データと第２の予測データとのいずれを用いるかを選択する予測データ選択手段（例えば、図１４または図１６の係数選択部２７５）を更に備えることができる。
【００７９】
予測データは、処理領域に対応する周辺画素（例えば、図１３の５つのタップ）にそれぞれ所定の係数を乗算した値の和と、対応する第１のフレームデータ内の画素の画素値との関係（例えば、式３および式４）を基に、最小自乗法を用いて算出された、係数の最適値であるものとすることができる。
【００８０】
算出手段は、動きベクトル決定手段により決定された動きベクトルを基に、注目画素に対応する周辺画素の画素値を抽出し（例えば、図１４または図１６の画素切り出し部２７４の処理）、抽出された画素値に予測データを乗算する（例えば、図１４または図１６のフィルタ係数乗算部２７６の処理）ことにより、処理ブロック内の画素データを算出することができる。
【００８１】
請求項２５に記載の復号方法は、符号化された画像データの供給を受けて復号する復号装置（例えば、図２の復号部７１または復号部８４、もしくは、図３のデコーダ１１４）の復号方法であって、複数の処理領域（例えば、画素）を有する処理ブロック（例えば、動き探索を実行するときのブロック）における第１の動きベクトル、処理ブロックにおける第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報の入力を受け、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップ（例えば、図２１のステップＳ１１５の処理）と、処理領域に含まれる画素データを予測するための予測データ（例えば、フィルタ係数）の入力を受け、動きベクトル決定ステップの処理により決定された動きベクトルと、予測データとを基に、処理ブロック内の画素データを算出する算出ステップ（例えば、図２１のステップＳ１１８の処理）とを含むことを特徴とする。
【００８２】
算出ステップの処理により算出された画素データに、ノイズを付加するノイズ付加ステップを更に含むことができる。
【００８３】
第１の予測データ、第２の予測データ、および、最適動きベクトル情報の入力を受け、処理領域ごとに、算出ステップの処理による処理に第１の予測データと第２の予測データとのいずれを用いるかを選択する予測データ選択ステップ（例えば、図２１のステップＳ１１７の処理）を更に含むことができる。
【００８４】
予測データは、処理領域に対応する周辺画素（例えば、図１３の５つのタップ）にそれぞれ所定の係数を乗算した値の和と、対応する第１のフレームデータ内の画素の画素値との関係（例えば、式３および式４）を基に、最小自乗法を用いて算出された、係数の最適値であるものとすることができる。
【００８５】
算出ステップの処理は、動きベクトル決定ステップの処理により決定された動きベクトルを基に、注目画素に対応する周辺画素の画素値を抽出し（例えば、図２１のステップＳ１１６の処理）、抽出された画素値に予測データを乗算する（例えば、図２１のステップ１１８の処理）ことにより、処理ブロック内の画素データを算出する処理を含むことができる。
【００８６】
また、請求項３１に記載の記録媒体に記録されているプログラム、および、請求項３２に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項２５に記載の復号方法と同様である。
【００８７】
請求項３３に記載の画像処理システムは、符号化部（例えば、図２の符号化装置６３または符号化部８２）および復号部（例えば、図２の復号部７１または復号部８４、もしくは、図３のデコーダ１１４）を含み、符号化部および復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムにであって、符号化部は、画像データに含まれる第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域（例えば、画素）を有する処理ブロック（例えば、動き探索を実行するときのブロック）における第１の動きベクトルを推定する第１の動きベクトル推定手段（例えば、図３のブロックマッチング動き探索部１０８）と、処理ブロックにおいて、第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定手段（例えば、図３の評価値変更ブロックマッチング動き探索部１１１）と、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択手段（例えば、図３の最適動き決定部１１２）と、動きベクトル選択手段により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する画素（例えば、図１３の５つのタップ）を抽出する抽出手段（例えば、図１２の第１のタップ抽出部２４６および第２のタップ抽出部２４７）と、抽出手段により抽出された画素を用いて、動きベクトル選択手段により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に対応する処理領域の画素データを予測するための予測データ（例えば、フィルタ係数）を算出する予測データ算出手段（例えば、図１２の第１の近傍予測フィルタ係数算出部２４８および第２の近傍予測フィルタ係数算出部２４９）とを備えることを特徴とする。
【００８８】
フレームデータにノイズを付加するノイズ付加手段（例えば、図２のＡ／Ｄ変換部８１）を更に備えることができ、復号部から出力される画像データは、ノイズ付加手段によりフレームデータにノイズが付加された後、符号化部に供給されるものとすることができる。
【００８９】
請求項３５に記載の画像処理方法は、符号化部（例えば、図２の符号化装置６３または符号化部８２）および復号部（例えば、図２の復号部７１または復号部８４、もしくは、図３のデコーダ１１４）を含み、符号化部および復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムの画像処理方法であって、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータにおいて、複数の処理領域（例えば、画素）を有する処理ブロック（例えば、動き探索を実行するときのブロック）における第１の動きベクトルを推定する第１の動きベクトル推定ステップ（例えば、図１７のステップＳ７およびステップＳ８の処理）と、処理ブロックにおいて、第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップ（例えば、図１７のステップＳ１０の処理）と、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップ（例えば、図１７のステップＳ１１の処理）と、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する画素（例えば、図１３の５つのタップ）を抽出する抽出ステップ（例えば、図２０のステップＳ８３またはステップＳ８６の処理）と、抽出ステップの処理により抽出された画素を用いて、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に対応する処理領域の画素データを予測するための予測データ（例えば、フィルタ係数）を算出する予測データ算出ステップ（例えば、図２０のステップＳ８５またはステップＳ８８の処理）とを含むことを特徴とする。
【００９０】
請求項３６に記載の画像処理システムは、符号化部（例えば、図２の符号化装置６３または符号化部８２）および復号部（例えば、図２の復号部７１または復号部８４、もしくは、図３のデコーダ１１４）を含み、符号化部および復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムであって、復号部は、複数の処理領域（例えば、画素）を有する処理ブロック（例えば、動き探索を実行するときのブロック）における第１の動きベクトル、処理ブロックにおける第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報の入力を受け、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定手段（例えば、図１４または図１６の動き対象位置算出部２７３）と、処理領域に含まれる画素データを予測するための予測データ（例えば、フィルタ係数）の入力を受け、動きベクトル決定手段により決定された動きベクトルと、予測データとを基に、処理ブロック内の画素データを算出する算出手段（例えば、図１４または図１６の画素切り出し部２７４およびフィルタ係数乗算部２７６）とを備えることを特徴とする。
【００９１】
フレームデータにノイズを付加するノイズ付加手段（例えば、図２のＡ／Ｄ変換部８１）を更に備えることができ、復号部から出力される画像データは、ノイズ付加手段によりフレームデータにノイズが付加された後、符号化部に供給されるものとすることができる。
【００９２】
請求項３８に記載の画像処理方法は、符号化部（例えば、図２の符号化装置６３または符号化部８２）および復号部（例えば、図２の復号部７１または復号部８４、もしくは、図３のデコーダ１１４）を含み、符号化部および復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムの画像処理方法であって、複数の処理領域（例えば、画素）を有する処理ブロック（例えば、動き探索を実行するときのブロック）における第１の動きベクトル、処理ブロックにおける第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報の入力を受け、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップ（例えば、図２１のステップＳ１１５の処理）と、処理領域に含まれる画素データを予測するための予測データ（例えば、フィルタ係数）の入力を受け、動きベクトル決定ステップの処理により決定された動きベクトルと、予測データとを基に、処理ブロック内の画素データを算出する算出ステップ（例えば、図２１のステップＳ１１８の処理）とを含むことを特徴とする。
【００９３】
以下、図を参照して、本発明の実施の形態について説明する。
【００９４】
図２は、本発明を適用した画像表示システム５１の構成を示すブロック図である。
【００９５】
この画像表示システム５１は、アナログの画像データを出力する再生機６１と、再生機６１から出力される画像データによる画像を表示するディスプレイ６２と、再生機６１から出力されるアナログ画像データを符号化する符号化装置６３により構成されている。
【００９６】
再生機６１は、復号部７１およびＤ／Ａ（Digital-to-Analog）変換部７２を備えている。復号部７１は、図示しない光ディスク等の記録媒体から再生された、符号化されている画像データを復号し、Ｄ／Ａ変換部７２に供給する。Ｄ／Ａ変換部７２は、復号されて得られたデジタルの画像データをアナログの画像データに変換し、アナログの画像データを出力する。ディスプレイ６２は、例えばＣＲＴ（Cathode-Ray Tube）ディスプレイ、ＬＣＤ（Liquid Crystal Display）等で構成され、供給されたアナログ画像データを表示する。
【００９７】
符号化装置６３は、Ａ／Ｄ（Analog-to-Digital）変換部８１、符号化部８２、記録部８３、復号部８４、Ｄ／Ａ変換部８５、および、ディスプレイ８６で構成され、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるような処理を施すことができるように構成されている。Ａ／Ｄ変換部８１は、再生機６１より出力されるアナログの画像データを、Ａ／Ｄ変換し、符号化部８２に供給する。符号化部８２は、デジタルの画像データを符号化し、記録部８３および復号部８４に供給する。記録部８３は、供給されたデジタルの符号化画像データを、光ディスク等の記録媒体に記録する。復号部８４は、供給されたデジタルの符号化画像データを復号し、Ｄ／Ａ変換部８５に供給する。Ｄ／Ａ変換部８５は、復号されて得られたデジタルの画像データをアナログデータに変換し、アナログの画像データをディスプレイ８６に出力する。ディスプレイ８６は、例えばＣＲＴディスプレイ、ＬＣＤ等で構成され、供給されたアナログ画像データを表示する。
【００９８】
ところで、Ｄ／Ａ変換部７２においてデジタルの画像データをＤ／Ａ変換するとき、Ａ／Ｄ変換部８１においてアナログの画像データをＡ／Ｄ変換するとき、および、Ｄ／Ａ変換部８５においてデジタルの画像データをＤ／Ａ変換するとき、もしくは、再生機６１からディスプレイ６２または符号化装置６３にアナログデータを伝送するとき、画像データにノイズが付加されてしまう。
【００９９】
特に、Ａ／Ｄ変換、Ｄ／Ａ変換、または、アナログデータの伝送において、高周波成分の歪みや位相ずれなどが、画像データに発生する。この高周波成分の歪みや位相ずれなどは、アナログノイズとも称される。
【０１００】
このアナログノイズのうち、高周波成分の歪みは、主にホワイトノイズと呼ばれるノイズに起因するものである。
【０１０１】
Ｄ／Ａ変換部７２、および、Ｄ／Ａ変換部８５において、デジタルの画像データがアナログの画像データに変換される過程、Ａ／Ｄ変換部８１において、アナログの画像データがデジタルの画像データに変換される過程、または、アナログデータが伝送される過程において、周波数成分がほぼ均一なホワイトノイズが画像データに付加される。ホワイトノイズのレベルは、時系列でランダムに変化し、その分布はほぼ正規分布に従う。すなわち、各画素に対応するアナログの画像データに付加されるホワイトノイズのレベルはランダムに変化する。
【０１０２】
したがって、例えば、復号部７１から出力されるデジタル画像データにおいて、水平方向と垂直方向に整列して位置する画素のうちの所定の複数の画素が同一の画素値を有していたとしても、Ｄ／Ａ変換部７２よりＤ／Ａ変換されて伝送され、更に、Ａ／Ｄ変換部８１によりＡ／Ｄ変換された後のデジタルの画像データのうち、変換前は同一の画素値を有していた画素の画素値は、もとの値を中心値としたある程度の範囲内に分散された値となってしまう。これらの分散された値と、もとの値との差異は乱数で表現される性質のものであり、一律に決まるものではない。その結果、画像データに高周波成分の歪みが生じる。また、水平方向だけでなく、垂直方向にも同様に高周波成分の歪みが生じる。なお、各画素に付加されるホワイトノイズのレベルの散らばり具合によっては、高周波成分以外の成分の歪みが生じる場合もある。
【０１０３】
また、アナログノイズのうち、位相ずれによる歪みが付加されることにより、画像データの画素の位置は、本来の画像データの画素の位置と比べて、水平方向および垂直方向にずれてしまう。なお、水平方向の位相ずれの幅は、水平方向の画素間隔より小さくなったり大きくなったりする一方、垂直方向の位相ずれの幅は、垂直方向の画素間隔の整数倍となる。また、位相ずれは、水平方向または垂直方向の一方向のみ生じる場合がある。なお、位相がずれて空いてしまった画素には、例えば、本来の画像データの画素の画素値ではない、同期信号などに基づく値が設定される。
【０１０４】
この位相ずれが発生することにより、位相ずれの幅だけ画像の表示位置がずれ、ずれた部分に、画素値以外の同期信号などに基づく画像が表示されてしまうことになる。しかしながら、表示位置のずれはわずかであり、多くの場合、ユーザが視認することができるレベルにおける画像の画質にはほとんど影響を及ぼさない。
【０１０５】
なお、画像処理やデータ伝送において付加されるノイズには、上記したノイズ以外のノイズも含まれる場合があることはいうまでもない。
【０１０６】
なお、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５は、それぞれ、デジタルの画像データがアナログの画像データに変換される過程において、または、アナログの画像データがデジタルの画像データに変換される過程において、ノイズ成分（特に、ハイパスフィルタにより強調されるノイズ成分）を、出力されるデータに付加するようにしても良い。
【０１０７】
また、Ｄ／Ａ変換部７２は復号部７１と、Ａ／Ｄ変換部８１は、符号化部８２と、Ｄ／Ａ変換部８５は復号部８４と、それぞれ、１つの構成要素として構成とするようにしても良い。
【０１０８】
また、図２の再生機６１および符号化装置６３を構成する各部は、それぞれ、独立した装置として構成するようにしても良い。すなわち、例えば、Ｄ／Ａ変換部７２と復号部７１とをそれぞれ独立した装置として構成したり、２つの構成要素を持つ１つの装置として構成しても良い。また、符号化部８２や復号部８４をそれぞれ独立した装置として構成したり、Ａ／Ｄ変換部８１と符号化部８２との２つの構成要素を持つ１つの装置として構成したり、Ｄ／Ａ変換部８５と復号部８４との２つの構成要素を持つ１つの装置として構成するようにしてもよい。
【０１０９】
図３は、図２の符号化部８２の構成を示すブロック図である。
【０１１０】
符号化部８２は、複数のフレームデータのうちの所定のフレームを基準フレームとし、図４に示されるように、基準フレームをフレーム内符号化するとともに、基準フレーム以外のフレームを、１つ前のフレームに対する動き検出により符号化するものである。通常、動き検出による符号化においては、残差補償が行われるようになされているが、符号化部８２は、残差補償を行わず、２種類のブロックマッチングを行うことにより、予測精度を向上させるようになされている。
【０１１１】
基準フレーム抽出部１０１は、Ａ／Ｄ変換部８１によりデジタルデータに変換された画像データの供給を受け、基準フレームは、基準フレーム符号化部１０２に供給し、基準フレーム以外のフレームは、フレームメモリ１０５に供給する。
【０１１２】
基準フレーム符号化部１０２は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）やＡＤＲＣ（Adaptive Dynamic Range Coding）などのフレーム内符号化方法を用いて、供給された基準フレームを符号化し、基準フレームデコータ１０３、デコーダ１１４、および、符号出力部１１５に供給する。
【０１１３】
基準フレームデコータ１０３は、供給された符号化データを、対応する方法でデコードし、フレームメモリ１０４に供給する。
【０１１４】
フレームメモリ１０４は、基準フレームデコーダ１０３、または、後述するデコーダ１１４から供給されたフレームデータを一時保存し、ハイパスフィルタ（ＨＰＦ）１０７に供給する。
【０１１５】
フレームメモリ１０５は、基準フレーム抽出部１０１から供給されたフレームデータを一時保存し、ハイパスフィルタ（ＨＰＦ）１０６に供給する。
【０１１６】
すなわち、フレームメモリ１０４に一時保存されるフレームデータは、フレームメモリ１０５に一時保存されるフレームデータに対して、時間的に１つ前のフレームデータである。以下、フレームメモリ１０５に一時保存されるフレームデータを現フレームデータ、フレームメモリ１０４に一時保存されるフレームデータを前フレームデータと称するものとする。
【０１１７】
ハイパスフィルタ１０６およびハイパスフィルタ１０７は、供給されたフレームデータにハイパスフィルタをかけ、ブロックマッチング動き探索部１０８、評価値変更ブロックマッチング動き探索部１１１、最適動き決定部１１２、および、最適近傍予測フィルタ最小自乗設計部１１３に供給する。また、ハイパスフィルタ１０６は、絶対値誤差算出部１０９にもデータを供給する。
【０１１８】
すなわち、フレームメモリ１０４に一時保存されている前フレームデータが、図５のフレーム１３１である場合、ハイパスフィルタ１０７から出力される前フレームデータは、エッジ部分が強調されたフレーム１３２となり、フレームメモリ１０５に一時保存されている現フレームデータが、図５のフレーム１４１である場合、ハイパスフィルタ１０６から出力される現フレームデータは、エッジ部分が強調されたフレーム１４２となる。
【０１１９】
なお、ハイパスフィルタ１０６およびハイパスフィルタ１０７に代わって、例えば、Sobel（ゾーベル)フィルタなどのエッジ抽出フィルタのように、エッジなどの元の画像の特徴を抽出するとともに、ノイズも強調するフィルタを用いるようにしても良い。
【０１２０】
ブロックマッチング動き探索部１０８は、ハイパスフィルタ１０６およびハイパスフィルタ１０７から供給された現フレームデータと前フレームデータを用いて、ブロックマッチングを行い、算出された第１の動きベクトルを、符号メモリ１１０、最適動き決定部１１２、および最適近傍予測フィルタ最小自乗設計部１１３に供給する。
【０１２１】
ブロックマッチング処理とは、画像中の画素の輝度の差を利用して、移動物体の位置をブロックごとに割り出す技術である。具体的には、図６に示されるように、前フレームデータであるフレーム１５１および現フレームデータであるフレーム１５２が、それぞれ所定のブロックに分割され、フレーム１５２の探索元であるブロック１６３に対して、対応するフレーム１５１のブロック１６１周辺の探索範囲１６２内においてマッチング処理が行われて、フレーム１５３に示されるような第１の動きベクトルが算出される。
【０１２２】
ブロックマッチング動き探索部１０８は、更に、算出された第１の動きベクトルと前フレームデータから、第１の動きベクトルを用いた動き予測により、このフレームが復号された場合の予測フレームを算出し、絶対値算出部１０９に供給する。
【０１２３】
絶対値誤差算出部１０９は、ブロックマッチング動き探索部１０８から供給された予測フレームと、ハイパスフィルタ１０６から供給された現フレームデータを基に、ブロックマッチング動き探索部１０８により実行された動きベクトル探索処理により得られた第１の動きベクトルによる予測の野絶対値誤差を算出し、評価値変更ブロックマッチング動き探索部１１１に供給する。
【０１２４】
図７を用いて、絶対値誤差算出部１０９が実行する処理について説明する。
【０１２５】
例えば、図７のブロック１６１と、ブロック１６１を含むフレームの次のフレーム（現フレーム）に含まれるブロック１６２に示されるように、ブロック内に、複数の動きが混入した場合、ブロックマッチング動き探索部１０８による通常のブロックマッチングで算出される第１の動きベクトルは、いずれかの動きに引きずられ、ブロック内の一方の動きには合致するが、他方の動きには合致しないものとなってしまう。
【０１２６】
例えば、ブロックマッチング動き探索部１０８から供給された予測フレームの対応するブロックがブロック１６３である場合、通常のブロックマッチング処理では、ブロック１６３の一方の動き（右側のボールの上側への動き）は正確に反映されているが、他方の動き（左側のボールが下に向かって動く動き）は正確に反映されない。
【０１２７】
そこで、絶対値誤差算出部１０９は、ブロックマッチング動き探索部１０８から供給された予測フレームの対応するブロック１６３と、現フレームに含まれるブロック１６４とを比較して、絶対値誤差を求める。絶対値誤差算出部１０９により得られた絶対値誤差を視覚化すると、ブロック１６５に示されるようになる。そして、ブロック内を、例えば、４×４の正方行列として、この絶対値誤差を数値化すると、ブロック内の絶対値誤差の大きさと位置を示すマトリクス１６６を得ることができる。絶対値誤差算出部１０９は、このマトリクス１６６を絶対値誤差情報として、評価値変更ブロックマッチング動き探索部１１１に供給する。
【０１２８】
符号メモリ１１０は、供給された符号を一時保存し、デコーダ１１４および符号出力部１１５に供給する。
【０１２９】
評価値変更ブロックマッチング動き探索部１１１は、ハイパスフィルタ１０６およびハイパスフィルタ１０７から供給された現フレームデータと前フレームデータに対して、絶対値誤差算出部１０９により算出された絶対値誤差（図７を用いて説明したマトリクス１６６に対応する情報）で画素位置ごとに重み付けを行うことにより、ブロックマッチング動き探索部１０８で得られた第１の動きベクトルの誤差が大きい部分の重みが増すようにしてブロックマッチングを行い、算出された第２の動きベクトルを、符号メモリ１１０、最適動き決定部１１２、および、最適近傍予測フィルタ最小自乗設計部１１３に供給する。
【０１３０】
すなわち、ブロック内の位置（ｘ、ｙ）における差分自乗誤差値をｆ（ｘ、ｙ）とし、ブロック内の位置（ｘ、ｙ）におけるブロックマッチング動き探索部１０８による動き探索の絶対値誤差をｇ（ｘ、ｙ）とした場合、ブロックマッチング動き探索部１０８による動き探索が次の式（１）で表される場合、評価値変更ブロックマッチング動き探索部１１１による動き探索は、次の式（２）で表される。
【０１３１】
【数１】
2006238372.tif 000003
・・・（１）
【０１３２】
【数２】
2006238372.tif 000004
・・・（２）
【０１３３】
評価値変更ブロックマッチング動き探索部１１１の処理の詳細については後述する。
【０１３４】
最適動き決定部１１２は、ブロックマッチング動き探索部１０８から供給された第１の動きベクトル、評価値変更ブロックマッチング動き探索部１１１から供給された第２の動きベクトル、並びに、ハイパスフィルタ１０６およびハイパスフィルタ１０７から供給された現フレームデータと前フレームデータを用いて、各ブロックの画素位置ごとに、第１の動きベクトルと第２の動きベクトルとのいずれを用いるべきかを示す最適動きフラグを生成し、符号メモリ１１０および最適近傍予測フィルタ最小自乗設計部１１３に供給する。最適動き決定部１１２の処理の詳細と最適動きフラグについては後述する。
【０１３５】
最適近傍予測フィルタ最小自乗設計部１１３は、ブロックマッチング動き探索部１０８から供給された第１の動きベクトル、評価値変更ブロックマッチング動き探索部１１１から供給された第２の動きベクトル、最適動き決定部１１２から供給された最適動きフラグ、並びに、ハイパスフィルタ１０６およびハイパスフィルタ１０７から供給された現フレームデータと前フレームデータを用いて、２つの動きベクトルごとに、最適予測フィルタを設計し、そのフィルタ係数を、符号メモリ１１０に供給する。最適近傍予測フィルタ最小自乗設計部１１３の詳細については後述する。
【０１３６】
デコーダ１１４は、基準フレーム符号化部１０２から供給される基準フレームの符号化データ、符号メモリ１１４から供給される、第１の動きベクトル、第２の動きベクトル、最適動きフラグ、および、最適予測フィルタを基に、デコードを行い、デコードされたフレームデータを、フレームメモリ１０４に供給する。デコーダ１１４の詳細については後述する。
【０１３７】
符号出力部１１５は、符号メモリ１１４から供給される、第１の動きベクトル、第２の動きベクトル、最適動きフラグ、および、最適予測フィルタを、記録部８３または復号部８４に出力する。
【０１３８】
次に、図８は、評価値変更ブロックマッチング動き探索部１１１の更に詳細な機能を示す機能ブロック図である。
【０１３９】
評価値変更ブロックマッチング動き探索部１１１は、絶対値誤差取得部１７１、現フレームデータ取得部１７２、前フレームデータ取得部１７３、および、重み付けブロックマッチング動き探索部１７４で構成されている。
【０１４０】
絶対値誤差取得部１７１は、絶対値誤差算出部１０９から供給された絶対値誤差を取得し、重み付けブロックマッチング動き探索部１７４に供給する。
【０１４１】
現フレームデータ取得部１７２は、ハイパスフィルタ１０６から供給された現フレームデータを取得し、重み付けブロックマッチング動き探索部１７４に供給する。
【０１４２】
前フレームデータ取得部１７３は、ハイパスフィルタ１０７から供給された前フレームデータを取得し、重み付けブロックマッチング動き探索部１７４に供給する。
【０１４３】
重み付けブロックマッチング動き探索部１７４は、絶対値誤差取得部１７１により取得された絶対値誤差（図７を用いて説明したマトリクス１６６に対応する情報）で画素位置ごとに重み付けを行い、現フレームデータと前フレームデータに対してブロックマッチングを行い、検出された第２の動きベクトルを出力する。
【０１４４】
具体的には、図９に示されるように、前フレームデータであるフレーム１５１および現フレームデータであるフレーム１５２が、それぞれ所定のブロックに分割され、フレーム１５２の探索元であるブロック１６３に対して、対応するフレーム１５１のブロック１６１周辺の探索範囲１６２内とのマッチング処理が、絶対値誤差に基づいて重み付けされて実行される。したがって、第１の動きベクトルが、図６を用いて説明したように、人間の横方向の動きを検出したものであったのに対して、重み付けブロックマッチング動き探索部１７４においては、フレーム１８１に示されるように、例えば、手やボールの動きなど、第１の動きベクトルとは異なる縦方向や斜め方向の動きが、第２の動きベクトルとして検出される。
【０１４５】
図１０は、最適動き決定部１１２の更に詳細な機能を示す機能ブロック図である。
【０１４６】
最適動き決定部１１２は、第１の動き探索結果取得部２０１、第２の動き探索結果取得部２０２、前フレームデータ取得部２０３、現フレームデータ取得部２０４、第１の予測データ生成部２０５、第２の予測データ生成部２０６、第１の予測誤差検出部２０７、第２の予測誤差検出部２０８、および、最適動きフラグ検出部２０９で構成されている。
【０１４７】
第１の動き探索結果取得部２０１は、ブロックマッチング動き探索部１０８から供給された第１の動きベクトルを取得し、第１の予測データ生成部２０５に供給する。
【０１４８】
第２の動き探索結果取得部２０２は、評価値変更ブロックマッチング動き探索部１１１から供給された第２の動きベクトルを取得し、第２の予測データ生成部２０６に供給する。
【０１４９】
前フレームデータ取得部２０３は、ハイパスフィルタ１０６から供給された前フレームデータを取得し、第１の予測データ生成部２０５および第２の予測データ生成部２０６に供給する。
【０１５０】
現フレームデータ取得部２０４は、ハイパスフィルタ１０７から供給された現フレームデータを取得し、第１の予測誤差検出部２０７および第２の予測誤差検出部２０８に供給する。
【０１５１】
第１の予測データ生成部２０５は、第１の動き探索結果取得部２０１から供給された第１の動きベクトル、および、前フレームデータ取得部２０３から供給された前フレームデータを取得し、第１の動きベクトルを用いて復号処理を行った場合の画像データに対応する第１の予測データを生成し、第１の予測誤差検出部２０７に供給する。
【０１５２】
第２の予測データ生成部２０６は、第２の動き探索結果取得部２０２から供給された第２の動きベクトル、および、前フレームデータ取得部２０３から供給された前フレームデータを取得し、第２の動きベクトルを用いて復号処理を行った場合の画像データに対応する第２の予測データを生成し、第２の予測誤差検出部２０８に供給する。
【０１５３】
第１の予測誤差検出部２０７は、第１の予測データ生成部２０５から供給された第１の予測データ、および、現フレームデータ取得部２０４から供給された現フレームデータを取得し、第１の予測データと現フレームデータとの予測誤差である第１の予測誤差を検出し、最適動きフラグ検出部２０９に供給する。
【０１５４】
第２の予測誤差検出部２０８は、第２の予測データ生成部２０６から供給された第２の予測データ、および、現フレームデータ取得部２０４から供給された現フレームデータを取得し、第２の予測データと現フレームデータとの予測誤差である第２の予測誤差を検出し、最適動きフラグ検出部２０９に供給する。
【０１５５】
最適動きフラグ検出部２０９は、第１の予測誤差検出部２０７から供給された第１の予測誤差、および、第２の予測誤差検出部２０８から供給された第２の予測誤差を画素ごとに比較し、予測誤差が少ないのは、第１の予測データであるか第２の予測データであるかを判断し、ブロック内の画素ごとに、第１の動きベクトルを使うべきであるか、第２の動きベクトルを使うべきであるかを示す最適動きフラグを設定し、出力する。
【０１５６】
図１１を参照して、最適動きフラグの設定について説明する。
【０１５７】
第１の予測データ生成部２０５により第１の動きベクトルを用いて生成された第１の予測データに含まれるあるブロックがブロック２２１である場合、第１の予測誤差検出部２０７において、現フレームデータ取得部２０４により取得された現フレームデータの対応するブロック２２３とブロック２２１とが比較されて第１の予測誤差が検出される。そして、第２の予測データ生成部２０６により第２の動きベクトルを用いて生成された第２の予測データに含まれるあるブロックがブロック２２２である場合、第２の予測誤差検出部２０８において、現フレームデータ取得部２０４により取得された現フレームデータの対応するブロック２２３とブロック２２２とが比較されて第２の予測誤差が検出される。
【０１５８】
例えば、第１の動きベクトルを使うべき画素位置にフラグ０が、第２の動きベクトルを使うべき画素位置にフラグ１が設定される場合、最適動きフラグ検出部２０９は、第１の予測誤差検出部２０７から供給された第１の予測誤差、および、第２の予測誤差検出部２０８から供給された第２の予測誤差を画素ごとに比較し、予測誤差が少ないのが第１の予測データである場合に対応する画素位置にフラグ０を設定し、予測誤差が少ないのが第２の予測データである場合に対応する画素位置にフラグ１を設定する。
【０１５９】
図１１の動きフラグ２２４は、例えば、ブロック内の画素数が４×４である場合の最適動きフラグの例を示している。すなわち、図中右側のボールの動きは、ブロック２２１に示されるように、第１の動きベクトルで精度よく予測され、図中左側のボールの動きは、ブロック２２２に示されるように、第２の動きベクトルで精度よく予測されるので、それぞれの画素位置に、対応するフラグが設定される。
【０１６０】
なお、ここでは、各ブロックの画素位置ごとに、第１の動きベクトルと第２の動きベクトルとのいずれを用いるべきかを示す最適動きフラグを生成するものとして説明したが、最適動きフラグは、画素単位で設定する以外にも、例えば、２×２や３×３などの所定の範囲内の複数の画素における最適動きフラグとして設定するようにしても良い。
【０１６１】
次に、図１２は、最適近傍予測フィルタ最小自乗設計部１１３の更に詳細な機能を示す機能ブロック図である。
【０１６２】
最適近傍予測フィルタ最小自乗設計部１１３は、第１の動き探索結果取得部２４１、第２の動き探索結果取得部２４２、最適動きフラグ取得部２４３、前フレームデータ取得部２４４、現フレームデータ取得部２４５、第１のタップ抽出部２４６、第２のタップ抽出部２４７、第１の近傍予測フィルタ係数算出部２４８、および、第２の近傍予測フィルタ係数算出部２４９で構成されている。
【０１６３】
第１の動き探索結果取得部２４１は、ブロックマッチング動き探索部１０８から供給された第１の動きベクトルを取得し、第１のタップ抽出部２４６に供給する。
【０１６４】
第２の動き探索結果取得部２４２は、評価値変更ブロックマッチング動き探索部１１１から供給された第２の動きベクトルを取得し、第２のタップ抽出部２４７に供給する。
【０１６５】
最適動きフラグ取得部２４３は、最適動き決定部１１２から供給された最適動きフラグを取得し、第１の近傍予測フィルタ係数算出部２４８および第２の近傍予測フィルタ係数算出部２４９に供給する。
【０１６６】
前フレームデータ取得部２４４は、ハイパスフィルタ１０７から供給された前フレームデータを取得し、第１のタップ抽出部２４６および第２のタップ抽出部２４７に供給する。
【０１６７】
現フレームデータ取得部２４５は、ハイパスフィルタ１０６から供給された現フレームデータを取得し、第１の近傍予測フィルタ係数算出部２４８および第２の近傍予測フィルタ係数算出部２４９に供給する。
【０１６８】
第１のタップ抽出部２４６は、第１の動き探索結果取得部２４１から第１の動きベクトルの供給を受け、第１の近傍予測フィルタ係数算出部２４８から指定された注目画素に対して、第１の動きベクトルに基づいて予測される画素位置の周辺の複数画素を第１のタップとし、第１のタップのそれぞれの位置の情報と第１のタップに対応する画素値を抽出し、第１の近傍予測フィルタ係数算出部２４８に供給する。
【０１６９】
第２のタップ抽出部２４７は、第２の動き探索結果取得部２４２から第２の動きベクトルの供給を受け、第２の近傍予測フィルタ係数算出部２４９から指定された注目画素に対して、第２の動きベクトルに基づいて予測される画素位置の周辺の複数画素を第２のタップとし、第２のタップのそれぞれの位置の情報と第２のタップに対応する画素値を抽出し、第２の近傍予測フィルタ係数算出部２４９に供給する。
【０１７０】
例えば、第１のタップおよび第２のタップとして、５つの画素が抽出される場合、図１３に示されるように、第１の動きベクトルまたは第２の動きベクトルにあわせて、注目画素に対応する画素と、その周辺画素との５つの画素が、第１のタップまたは第２のタップとして抽出されて、それぞれの位置情報と、タップの位置に対応する画素値が、第１の近傍予測フィルタ係数算出部２４８または第２の近傍予測フィルタ係数算出部２４９に供給される。
【０１７１】
なお、図１３においては、注目画素に対応して予測される画素位置と、その上下左右に隣接する５つの画素を、予測フィルタを算出するための周辺画素として選択するものとして説明したが、予測フィルタを算出するための周辺画素は、これに限らず、例えば、５つ以外の数の画素を抽出することができるようにしても良いし、斜めの位置に隣接する画素や、隣接する２つ以上の連続する画素、または、隣接しない周辺画素などを、予測フィルタを算出するための周辺画素として選択することができるようにしても良い。
【０１７２】
第１の近傍予測フィルタ係数算出部２４８は、現フレームデータ取得部２４５から現フレームの供給を受け、最適動きフラグ取得部２４３から供給される最適動きフラグを基に、第１の動きフラグを使用するべき画素を注目画素とする。そして、第１の近傍予測フィルタ係数算出部２４８は、第１のタップ抽出部２４６に注目画素に対応する第１のタップを要求して、第１のタップに対応するそれぞれの位置における画素値を取得する。
【０１７３】
そして、第１の近傍予測フィルタ係数算出部２４８は、第１の動きフラグを使用するべきそれぞれの画素において、次の式（３）を求める。
【０１７４】
【数３】
2006238372.tif 000005
・・・（３）
【０１７５】
ここで、ｆt（ｘ、ｙ）は、現フレームの注目画素の画素値であり、ｆt-1（ｘ、ｙ）は、前フレームの対応する第１のタップのそれぞれの位置の画素値を示す。式（３）のａ1乃至ａ5は、第１の動きベクトルに対応する予測係数である。
【０１７６】
そして、第１の近傍予測フィルタ係数算出部２４８は、式（３）を基に、最小自乗法を用いて、第１の動きベクトルに対する予測係数ａ1乃至ａ5の最適の値を算出し、最適フィルタ係数として出力する。
【０１７７】
第２の近傍予測フィルタ係数算出部２４９は、現フレームデータ取得部２４５から現フレームの供給を受け、最適動きフラグ取得部２４３から供給される最適動きフラグを基に、第２の動きフラグを使用するべき画素を注目画素とする。そして、第２の近傍予測フィルタ係数算出部２４９は、第２のタップ抽出部２４７に注目画素に対応する第２のタップを要求して、第２のタップに対応するそれぞれの位置における画素値を取得する。
【０１７８】
そして、第２の近傍予測フィルタ係数算出部２４９は、第２の動きフラグを使用するべきそれぞれの画素において、次の式（４）を求める。
【０１７９】
【数４】
2006238372.tif 000006
・・・（４）
【０１８０】
ここで、ｆt（ｘ、ｙ）は、現フレームの注目画素の画素値であり、ｆt-1（ｘ、ｙ）は、前フレームの対応する第２のタップのそれぞれの位置の画素値を示す。式（３）のｂ1乃至ｂ5は、第２の動きベクトルに対応する予測係数である。
【０１８１】
第２の近傍予測フィルタ係数算出部２４９は、式（４）を基に、最小自乗法を用いて、第２の動きベクトルに対する予測係数ｂ1乃至ｂ5の最適の値を算出し、最適フィルタ係数として出力する。
【０１８２】
以上説明したように、符号化部８２においては、第１の動きベクトル、第２の動きベクトル、最適動きフラグ、並びに、第１の動きフラグに対応する最適フィルタ係数ａ1乃至ａ5および第２の動きフラグに対応する最適フィルタ係数ｂ1乃至ｂ5を生成して符号メモリ１１０に一時記憶させ、符号出力部１１５から出力するとともに、デコーダ１１４においてデコードさせて、次のフレーム符号化に利用する。
【０１８３】
次に、図１４は、図３のデコーダ１１４の更に詳細な機能を示す機能ブロック図である。
【０１８４】
デコーダ１１４は、基準フレームデコーダ２７１、フレームメモリ２７２、動き対象位置算出部２７３、画素切り出し部２７４、係数選択部２７５、フィルタ係数乗算部２７６、および、フレームメモリ２２７で構成されている。
【０１８５】
基準フレームデコーダ２７１は、基準フレームの符号を取得し、基準フレームを復号して出力するとともに、フレームメモリ２７２に供給する。
【０１８６】
フレームメモリ２７２は、基準フレームデコーダ２７１から供給された、復号された基準フレーム、または、後述するフレームメモリ２７７から供給された、復号された基準フレーム以外のフレームの供給を受け、これを一時保持し、画素切り出し部２７４に供給する。
【０１８７】
すなわち、デコーダ１１４においては、フレーム内符号化された基準フレームと、その他のフレームの動き成分である、上述した、第１の動きベクトル、第２の動きベクトル、最適動きフラグ、並びに、第１の動きフラグに対応する最適フィルタ係数ａ1乃至ａ5および第２の動きフラグに対応する最適フィルタ係数ｂ1乃至ｂ5の供給を受け、復号処理が行われるようになされている。したがって、図１５に示されるように、基準フレームは、基準フレームデコーダ２７１において、フレーム内での復号処理が行われ、動き成分を符号として供給されている基準フレーム以外のフレームは、前のフレームの復号結果を基に、復号処理が行われるようになされている。
【０１８８】
動き対象位置算出部２７３は、第１の動きベクトル、第２の動きベクトル、および、最適動きフラグの供給を受け、画素ごとに、第１の動きベクトルと第２の動きベクトルとのいずれを用いるかを決定し、注目画素の動き対象位置を算出し、画素切り出し部２７４に供給する。
【０１８９】
画素切り出し部２７４は、フレームメモリ２７２に保持されている、一つ前の復号画像データを読み出し、動き対象位置算出部２７３から供給される動き対象位置の周辺画素を、符号化時に近傍予測フィルタ係数を設定したときに用いたタップと同様に（例えば、図１３に示される５タップ）設定して切り出し、フィルタ係数乗算部２７６に供給する。
【０１９０】
係数選択部２７５は、最適動きフラグと最適フィルタ係数の供給を受け、注目画素を予測するためのフィルタ係数として、第１の動きフラグに対応する最適フィルタ係数ａ1乃至ａ5または第２の動きフラグに対応する最適フィルタ係数ｂ1乃至ｂ5のいずれを用いるかを決定し、フィルタ係数乗算部２７６に供給する。
【０１９１】
フィルタ係数乗算部２７６は、画素切り出し部２７４から、最適な動きベクトルを基に抽出された周辺画素（例えば、５タップ）の供給を受け、係数選択部２７５から供給されたフィルタ係数を乗算して注目画素の画素値を求める。フィルタ係数乗算部２７６は、このようにして求められた１フレーム分の画素値、すなわち、復号された画像データを、フレームメモリ２２７に供給する。
【０１９２】
フレームメモリ２２７は、フィルタ係数乗算部２７６から供給された復号された画像データを保持し、復号結果として出力するとともに、次のフレームの復号に用いるため、フレームメモリ２７２に供給して保持させる。
【０１９３】
デコーダ１１４から出力される復号結果は、フレームメモリ１０４に供給され、次のフレームの符号化に用いられる。
【０１９４】
図３乃至図１５を用いて説明したようにして、符号化部８２においてフレームデータが符号化される。
【０１９５】
次に、図１６は、図２の復号部８４の更に詳細な構成を示す機能ブロック図である。
【０１９６】
なお、図１４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１９７】
すなわち、図１６の復号部８４は、図１４のデコーダ１１４と基本的に同様の構成および機能を有しており、同様の処理を実行するものである。
【０１９８】
なお、図２の再生機６１が、符号化部８２により符号化され、記録部８３により所定の記録媒体に記録された画像データを再生することができるようになされている場合、復号部７１も、図１６に示される復号部８４と基本的に同様の構成および機能を有しており、同様の処理を実行することができるようになされている。
【０１９９】
次に、図１７のフローチャートを参照して、符号化部８２が実行する符号化処理について説明する。
【０２００】
ステップＳ１において、基準フレーム抽出部１０１は、供給されたフレームデータは、基準フレームであるか否かを判断する。ステップＳ１において、基準フレームではないと判断された場合、処理は、後述するステップＳ６に進む。
【０２０１】
このとき供給されたフレーム画像データは、再生機６１の復号部７１で復号され、Ｄ／Ａ変換部７２でアナログデータに変換されて、Ｄ／Ａ変換部７２からＡ／Ｄ変換部８１へアナログの画像データが伝送されて、Ａ／Ｄ変換部８１において、デジタルの画像データに変換されたものである。したがって、ステップＳ１において供給されたフレームデータには、Ｄ／Ａ変換部７２またはＡ／Ｄ変換部８１のデータ変換処理の過程で、または、その間の伝送路上で、例えば、上述したアナログノイズなどのノイズ成分が付加されている。
【０２０２】
なお、上述したように、Ｄ／Ａ変換部７２またはＡ／Ｄ変換部８１において、ノイズ成分が積極的に付加されている場合もある。そのような場合、ステップＳ１の前の段階において、Ａ／Ｄ変換部８１は、供給されたアナログの画像データをデジタルの画像データに変換するとともに、ノイズ成分を付加する処理を実行し、ノイズ成分が付加されたデジタルの画像データを、符号化部８２に供給する。
【０２０３】
ステップＳ１において、基準フレームであると判断された場合、ステップＳ２において、基準フレーム抽出部１０１は、供給されたフレームデータを、基準フレーム符号化部１０２に供給するので、基準フレーム符号化部１０２は、例えば、ＪＰＥＧやＡＤＲＣなどのフレーム内符号化方法を用いて、供給された基準フレームを符号化し、基準フレームデコータ１０３、デコーダ１１４、および、符号出力部１１５に供給する。
【０２０４】
ステップＳ３において、符号出力部１１５は、符号化された基準フレームを出力する。
【０２０５】
ステップＳ４において、基準フレームデコーダ１０３は、供給された基準フレームをデコードし、フレームメモリ１０４に供給する。
【０２０６】
ステップＳ５において、フレームメモリ１０４は、基準フレームデコーダ１０３においてデコードされた基準フレームをキャッシュし、処理は、後述するステップＳ１７に進む。
【０２０７】
ステップＳ１において、基準フレームではないと判断された場合、ステップＳ６において、基準フレーム抽出部１０１は、供給されたフレームデータを、フレームメモリ１０５に供給する。そして、フレームメモリ１０５は、供給されたフレームデータをハイパスフィルタ１０６に、フレームメモリ１０４は、保存されているフレームデータをハイパスフィルタ１０７に、それぞれ供給するので、ハイパスフィルタ１０６は現フレームにハイパスフィルタをかけて、ブロックマッチング動き探索部１０８、絶対値誤差算出部１０９、評価値変更ブロックマッチング動き探索部１１１、最適動き決定部１１２、および、最適近傍予測フィルタ最小自乗設計部１１３に供給し、ハイパスフィルタ１０７は前フレームにハイパスフィルタをかけて、ブロックマッチング動き探索部１０８、評価値変更ブロックマッチング動き探索部１１１、最適動き決定部１１２、および、最適近傍予測フィルタ最小自乗設計部１１３に供給する。
【０２０８】
ステップＳ７において、ブロックマッチング動き探索部１０８は、供給されたフレームから、未処理ブロックのいずれかを選択する。
【０２０９】
ステップＳ８において、ブロックマッチング動き探索部１０８は、第１の動きベクトルの探索処理を実行する。具体的には、ブロックマッチング動き探索部１０８は、図６を用いて説明したように、現フレームデータであるフレーム１５２のうちの選択された探索元であるブロック１６３に対して、対応する前フレームデータのブロック１６１周辺の探索範囲１６２内とのマッチング処理を実行し、第１の動きベクトルを算出し、算出された第１の動きベクトルを、符号メモリ１１０、最適動き決定部１１２、および最適近傍予測フィルタ最小自乗設計部１１３に供給する。
【０２１０】
ステップＳ９において、ブロックマッチング動き探索部１０８は、算出された第１の動きベクトルと前フレームデータから、予測フレームを算出し、絶対値算出部１０９に供給するので、絶対値誤差算出部１０９は、ブロックマッチング動き探索部１０８から供給された予測フレームと、ハイパスフィルタ１０６から供給された現フレームデータを基に、ブロックマッチング動き探索部１０８により実行された第１の動きベクトル探索処理の絶対値誤差（例えば、図７を用いて説明したマトリクス１６６に対応する情報）を算出し、評価値変更ブロックマッチング動き探索部１１１に供給する。
【０２１１】
ステップＳ１０において、図１８を用いて後述する評価値変更ブロックマッチング動き探索処理が実行される。
【０２１２】
ステップＳ１１において、図１９を用いて後述する最適動き決定処理が実行される。
【０２１３】
ステップＳ１２において、図２０を用いて後述する最適フィルタ係数算出処理が実行される。
【０２１４】
ステップＳ１３において、デコーダ１１４または符号出力部１１５は、フレーム内のすべてのブロックの処理が終了され、符号メモリ１１０に、１フレーム分の符号が記録されたか否かを判断する。ステップＳ１３において、フレーム内のすべてのブロックの処理が終了されていないと判断された場合、処理は、ステップＳ７に戻り、それ以降の処理が繰り返される。
【０２１５】
ステップＳ１３において、フレーム内のすべてのブロックの処理が終了されたと判断された場合、ステップＳ１４において、符号出力部１１５は、符号メモリ１１０から１フレーム分の符号を読み出して、符号データを出力する。
【０２１６】
ステップＳ１５において、図２１を用いて後述する復号処理が、デコーダ１１４において実行される。
【０２１７】
ステップＳ１６において、フレームメモリ１０４は、デコーダ１１４から供給された、デコードされたフレームデータをキャッシュする。
【０２１８】
ステップＳ１７において、基準フレーム抽出部１０１は、最後のフレームの処理が終了したか否かを判断する。ステップＳ１７において、最後のフレームの処理が終了していないと判断された場合、処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。ステップＳ１７において、最後のフレームの処理が終了したと判断された場合、処理は終了される。
【０２１９】
このような処理により、符号化部８２においてフレームデータが符号化される。
【０２２０】
次に、図１８のフローチャートを参照して、図１７のステップＳ１０において実行される、評価値変更ブロックマッチング動き探索処理について説明する。
【０２２１】
ステップＳ３１において、評価値変更ブロックマッチング動き探索部１１１の絶対値誤差取得部１７１は、絶対値誤差算出部１０９から供給された、第１の動きベクトルの探索処理結果と得られるべき画像との絶対値誤差（例えば、図７を用いて説明したマトリクス１６６に対応する情報）を取得し、重み付けブロックマッチング動き探索部１７４に供給する。
【０２２２】
ステップＳ３２において、現フレームデータ取得部１７２は、ハイパスフィルタ１０６から供給された現フレームデータを取得し、前フレームデータ取得部１７３は、ハイパスフィルタ１０７から供給された前フレームデータを取得し、それぞれ、重み付けブロックマッチング動き探索部１７４に供給する。
【０２２３】
ステップＳ３３において、重み付けブロックマッチング動き探索部１７４は、絶対値誤差取得部１７１により取得された絶対値誤差に対応する重み付けを施して、現フレームデータと前フレームデータに対してブロックマッチングを行い、第２の動きベクトルの探索処理を実行し、探索結果として第２の動きベクトルを出力する。具体的には、重み付けブロックマッチング動き探索部１７４は、図９を用いて説明したように、現フレームデータであるフレーム１５２の探索元であるブロック１６３に対して、対応する前フレームデータのフレーム１５１のブロック１６１周辺の探索範囲１６２内とのマッチング処理を、絶対値誤差に基づいた重み付けに基づいて実行する。ステップＳ３３の処理の終了後、処理は、図１７のステップＳ１０に戻り、ステップＳ１１に進む。
【０２２４】
このような処理により、通常のブロックマッチングとは異なる方法でブロックマッチングが行われ、通常のブロックマッチングによって求められる第１の動きベクトルとは異なる第２の動きベクトルが探索される。
【０２２５】
次に、図１９のフローチャートを参照して、図１７のステップＳ１１において実行される、最適動き決定処理について説明する。
【０２２６】
ステップＳ５１において、最適動き決定部１１２の第１の動き探索結果取得部２０１は、ブロックマッチング動き探索部１０８から供給された第１の動きベクトル探索結果を取得して、第１の予測データ生成部２０５に供給し、第２の動き探索結果取得部２０２は、評価値変更ブロックマッチング動き探索部１１１から供給された第２の動きベクトル探索結果を取得して、第２の予測データ生成部２０６に供給する。
【０２２７】
ステップＳ５２において、前フレームデータ取得部２０３は、ハイパスフィルタ１０７から供給された前フレームデータを取得し、第１の予測データ生成部２０５および第２の予測データ生成部２０６に供給する。
【０２２８】
ステップＳ５３において、第１の予測データ生成部２０５は、第１の動き探索結果取得部２０１から供給された第１の動きベクトル探索結果である第１の動きベクトル、および、前フレームデータ取得部２０３から供給された前フレームデータを取得し、第１の動きベクトルを用いて復号処理を行った場合の画像データに対応する第１の予測データを生成し、第１の予測誤差検出部２０７に供給する。
【０２２９】
ステップＳ５４において、第２の予測データ生成部２０６は、第２の動き探索結果取得部２０２から供給された第２の動きベクトル探索結果である第２の動きベクトル、および、前フレームデータ取得部２０３から供給された前フレームデータを取得し、第２の動きベクトルを用いて復号処理を行った場合の画像データに対応する第２の予測データを生成し、第２の予測誤差検出部２０８に供給する。
【０２３０】
ステップＳ５５において、現フレームデータ取得部２０４は、ハイパスフィルタ１０６から供給された現フレームデータを取得し、第１の予測誤差検出部２０７および第２の予測誤差検出部２０８に供給する。
【０２３１】
ステップＳ５６において、第１の予測誤差検出部２０７は、第１の予測データ生成部２０５から供給された第１の予測データ、および、現フレームデータ取得部２０４から供給された現フレームデータを取得し、第１の予測データと現フレームデータとの予測誤差である第１の予測誤差を画素ごとに検出し、最適動きフラグ検出部２０９に供給する。
【０２３２】
ステップＳ５７において、第２の予測誤差検出部２０８は、第２の予測データ生成部２０６から供給された第２の予測データ、および、現フレームデータ取得部２０４から供給された現フレームデータを取得し、第２の予測データと現フレームデータとの予測誤差である第２の予測誤差を画素ごとに検出し、最適動きフラグ検出部２０９に供給する。
【０２３３】
ステップＳ５８において、最適動きフラグ検出部２０９は、第１の予測誤差検出部２０７から供給された第１の予測誤差、および、第２の予測誤差検出部２０８から供給された第２の予測誤差を画素ごとに比較し、予測誤差が少ないのは、第１の予測データであるか第２の予測データであるかを判断し、ブロック内の画素ごとに、第１の動きベクトルを使うべきであるか、第２の動きベクトルを使うべきであるかを示す最適動きフラグを検出して出力し、処理は、図１７のステップＳ１１に戻り、ステップＳ１２に進む。
【０２３４】
このような処理により、ブロック内のそれぞれの画素を復号するに当たって、第１の動きベクトルを使うべきであるか、第２の動きベクトルを使うべきであるかを示す最適動きフラグが生成されて、出力される。
【０２３５】
次に、図２０のフローチャートを参照して、図１７のステップＳ１２において実行される、最適フィルタ係数算出処理について説明する。
【０２３６】
ステップＳ８１において、最適近傍予測フィルタ最小自乗設計部１１３の第１の動き探索結果取得部２４１は、ブロックマッチング動き探索部１０８から供給された第１の動きベクトルを取得し、第１のタップ抽出部２４６に供給し、第２の動き探索結果取得部２４２は、評価値変更ブロックマッチング動き探索部１１１から供給された第２の動きベクトルを取得し、第２のタップ抽出部２４７に供給する。
【０２３７】
ステップＳ８２において、前フレームデータ取得部２４４は、ハイパスフィルタ１０７から供給された前フレームデータを取得し、第１のタップ抽出部２４６および第２のタップ抽出部２４７に供給し、現フレームデータ取得部２４５は、ハイパスフィルタ１０６から供給された現フレームデータを取得し、第１の近傍予測フィルタ係数算出部２４８および第２の近傍予測フィルタ係数算出部２４９に供給する。
【０２３８】
ステップＳ８３において、第１の近傍予測フィルタ係数算出部２４８は、最適動きフラグ取得部２４３から供給される最適動きフラグを基に、第１の動きフラグを使用するべき画素を注目画素として、第１のタップ抽出部２４６に注目画素に対応する第１のタップを要求する。そして、第１のタップ抽出部２４６は、第１の動き探索結果取得部２４１から供給された第１の動きベクトル探索結果である第１の動きベクトルを基に、前フレームデータ取得部２４４により抽出された前フレームデータから、フィルタ検出用の所定数の第１のタップのそれぞれの位置と対応する画素値を抽出し、第１の近傍予測フィルタ係数算出部２４８に供給する。
【０２３９】
ステップＳ８４において、第１の近傍予測フィルタ係数算出部２４８は、抽出された第１のタップを基に、現フレームデータの対象となる画素値と、予測タップの画素値との関係式である、上述した式（３）を作成する。
【０２４０】
ステップＳ８５において、第１の近傍予測フィルタ係数算出部２４８は、最小自乗法を用いて、第１の近傍予測フィルタ係数を算出して出力する。
【０２４１】
ステップＳ８６において、第２の近傍予測フィルタ係数算出部２４９は、最適動きフラグ取得部２４３から供給される最適動きフラグを基に、第２の動きフラグを使用するべき画素を注目画素として、第２のタップ抽出部２４７に注目画素に対応する第１のタップを要求する。そして、第２のタップ抽出部２４７は、第２の動き探索結果取得部２４２から供給された第２の動きベクトル探索結果である第２の動きベクトルを基に、前フレームデータ取得部２４４により抽出された前フレームデータから、フィルタ検出用の所定数の第１のタップのそれぞれの位置と対応する画素値を抽出し、第２の近傍予測フィルタ係数算出部２４９に供給する。
【０２４２】
ステップＳ８７において、第２の近傍予測フィルタ係数算出部２４９は、抽出された第２のタップを基に、現フレームデータの対象となる画素値と、予測タップの画素値との関係式である、上述した式（４）を作成する。
【０２４３】
ステップＳ８８において、第２の近傍予測フィルタ係数算出部２４９は、最小自乗法を用いて、第２の近傍予測フィルタ係数を算出して出力し、処理は、図１７のステップＳ１２に戻り、ステップＳ１３に進む。
【０２４４】
このような処理により、最適近傍予測フィルタ最小自乗設計部１１３は、第１の動きベクトルに対する予測係数ａ1乃至ａ5の最適の値、および、第２の動きベクトルに対する予測係数ｂ1乃至ｂ5の最適の値を算出し、最適フィルタ係数として出力することができる。
【０２４５】
次に、図２１のフローチャートを参照して、図１７のステップＳ１５において実行されるとともに、復号部８４または復号部７１において実行される復号処理について説明する。
【０２４６】
ステップＳ１１１において、デコーダ１１４、復号部８４、または復号部７１は、供給された符号化フレームは、基準フレームであるか否かを判断する。ステップＳ１１１において、基準フレームではないと判断された場合、処理は、ステップＳ１１４に進む。
【０２４７】
なお、供給された符号化フレームが、上述した符号化処理により符号化されたフレームデータである場合、そのフレームデータには、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、または、Ｄ／Ａ変換部８５のデータ変換処理の過程で、または、その間の伝送路上で、例えば、上述したアナログノイズなどのノイズ成分が付加されている。
【０２４８】
ステップＳ１１１において、基準フレームであると判断された場合、ステップＳ１１２において、デコーダ１１４、復号部８４、または復号部７１の基準フレームデコーダ２７１は、供給された基準フレームを復号する。
【０２４９】
なお、復号処理では、以下の処理においても、デコーダ１１４、復号部８４、または復号部７１のうちのいずれにおいても同様の処理が実行されるので、デコーダ１１４、復号部８４、または復号部７１という記載は必要に応じて省略する。
【０２５０】
ステップＳ１１３において、基準フレームデコーダ２７１は、復号された基準フレームを出力するとともに、フレームメモリ２７２に供給する。フレームメモリ２７２は、供給されたフレームデータをキャッシュし、処理は、後述するステップＳ１２２に進む。
【０２５１】
ステップＳ１１１において、基準フレームではないと判断された場合、ステップＳ１１４において、動き対象位置算出部２７３は、供給された、基準フレーム以外のフレームの符号化データのうち、未処理ブロックのいずれかを選択する。
【０２５２】
第ステップＳ１１５において、動き対象位置算出部２７３は、１の動きベクトル、および、第２の動きベクトル、並びに、最適動きフラグを基に、画素ごとに、第１の動きベクトルと第２の動きベクトルとのいずれを用いるかを決定し、注目画素の動き対象位置を算出して、画素切り出し部２７４に供給する。
【０２５３】
ステップＳ１１６において、画素切り出し部２７４は、フレームメモリ２７２に保持されている、一つ前の復号画像データ（すなわち、前フレームデータ）から、符号化時に近傍予測フィルタ係数を設定したときに用いたタップ（例えば、図１３に示される５タップ）と同様に、注目画素の周辺画素を設定し、その画素値を取得して、フィルタ係数乗算部２７６に供給する。
【０２５４】
ステップＳ１１７において、係数選択部２７５は、供給された最適動きフラグに基づいて、フィルタ乗算部２７６の演算に用いる最適フィルタ係数を、画素ごとに選択し、フィルタ係数乗算部２７６に供給する。
【０２５５】
ステップＳ１１８において、フィルタ係数乗算部２７６は、画素切り出し部２７４から供給された周辺画素の画素値に係数選択部２７５から供給されたフィルタ係数を乗算して合計することにより、注目画素の画素値を求める。フィルタ係数乗算部２７６は、画素値とフィルタ係数との乗算結果の合計によって得られた画素値、すなわち、復号された画像データの１画素分の画素値を、フレームメモリ２２７に供給する。
【０２５６】
ステップＳ１１９において、デコーダ１１４、復号部８４、または復号部７１は、ブロック内のすべての画素の処理が終了されたか否かを判断する。ステップＳ１１９において、ブロック内のすべての画素の処理が終了されていないと判断された場合、処理は、ステップＳ１１５に戻り、それ以降の処理が繰り返される。
【０２５７】
ステップＳ１１９において、ブロック内のすべての画素の処理が終了されたと判断された場合、ステップＳ１２０において、デコーダ１１４、復号部８４、または復号部７１は、フレーム内のすべてのブロックの処理が終了されたか否かを判断する。ステップＳ１２０において、フレーム内のすべてのブロックの処理が終了されていないと判断された場合、処理は、ステップＳ１１４に戻り、それ以降の処理が繰り返される。
【０２５８】
ステップＳ１２０において、フレーム内のすべてのブロックの処理が終了されたと判断された場合、ステップＳ１２１において、フレームメモリ２７７は、１フレーム分の復号結果を出力するとともに、フレームメモリ２７２に供給する。フレームメモリ２７２は供給された復号結果をキャッシュする。
【０２５９】
ステップＳ１１３またはステップＳ１２１の処理の終了後、ステップＳ１２２において、デコーダ１１４、復号部８４、または復号部７１は、最後のフレームの処理が終了したか否かを判断する。ステップＳ１２１において、最後のフレームの処理が終了していないと判断された場合、処理は、ステップＳ１１１に戻り、それ以降の処理が繰り返される。ステップＳ１２１において、最後のフレームの処理が終了したと判断された場合、復号部８４、または復号部７１の処理は終了され、デコーダ１１４が復号処理を実行している場合、処理は、図１７のステップＳ１５に戻り、ステップＳ１６に進む。
【０２６０】
このような処理により、フレーム内符号化された基準フレームと、その他のフレームの動き成分、すなわち、上述した、第１の動きベクトル、第２の動きベクトル、最適動きフラグ、並びに、第１の動きフラグに対応する最適フィルタ係数ａ1乃至ａ5および第２の動きフラグに対応する最適フィルタ係数ｂ1乃至ｂ5で構成される符号化フレームを復号することができる。
【０２６１】
なお、上述したように、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５において、例えば、上述したアナログノイズなどのノイズ成分が積極的に付加されている場合もある。そのような場合、復号部７１または復号部８４において復号処理が行われた後、換言すれば、ステップＳ１２２の後の段階において、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５は、供給されたデジタルの画像データをアナログの画像データに変換するとともに、ノイズ成分を付加する処理を実行する。
【０２６２】
以上説明した処理により、符号化フレームデータに残差情報を含めることなく、符号化および復号処理を行うことができる。図２を用いて説明した画像表示システム５１において、復号部７１で復号されて出力される画像データは、Ｄ／Ａ変換部７２においてアナログ画像信号に変換され、伝送される。伝送されたアナログデータは、ディスプレイ６２で表示されるか、Ａ／Ｄ変換部８１でデジタルデータに変換されて、符号化装置６３に供給される。
【０２６３】
すなわち、符号化装置６３に供給される画像は、Ｄ／Ａ変換部７２やＡ／Ｄ変換部８１の変換処理により、または、データの伝送途中において、ノイズが付加された画像である。
【０２６４】
従来の符号化における場合のように、符号化情報に動き残差が含まれていた場合、Ｄ／Ａ変換部７２やＡ／Ｄ変換部８１の変換処理により、または、データの伝送途中において、ノイズが付加されても、残差情報を基に、画像の劣化を防ぐことができるようになされている。
【０２６５】
しかしながら、本発明を適用した場合、符号化フレームデータに残差情報を含めずに、符号化および復号処理を行うことができるので、Ｄ／Ａ変換部７２やＡ／Ｄ変換部８１の変換処理により、または、データの伝送途中において、ノイズが付加されることにより、再生機６１から出力されるアナログ画像信号を、良好な画質を維持したまま記録媒体に記録する（ダビングする、コピーする）ことができなくなる。
【０２６６】
更に、符号化装置６３には、図３を用いて説明したように、ハイパスフィルタ１０６およびハイパスフィルタ１０７が設けられ、エッジなどの元の画像の特徴を抽出するとともに、ノイズも強調するようになされている。したがって、画像を記録媒体に記録（いわゆる、ダビングまたはコピーを実行）し、再生させる場合、符号化処理および復号処理が繰り返されることにより、ノイズが強調され、画像は大きく劣化する。
【０２６７】
すなわち、本発明を適用した画像表示システムによると、再生機６１から出力されるアナログ画像信号を、良好な画質を維持したまま記録媒体に記録する（ダビングする、コピーする）ことが不可能となる。
【０２６８】
したがって、本発明を適用した図２の画像表示システム５１は、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるような静止画像の符号化および復号が行われるような構成となっている。
【０２６９】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図２を用いて説明した画像表示システムのすべてまたは一部は、図２２に示されるようなパーソナルコンピュータ３０１により構成される。
【０２７０】
図２２において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２７１】
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０２７２】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２７３】
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
【０２７４】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２７５】
この記録媒体は、図２２に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
【０２７６】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２７７】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０２７８】
【図１】従来の画像表示システムの構成を示すブロック図である。
【図２】本発明を適用した、画像表示システムの構成を示すブロック図である。
【図３】図２の符号化部８２の更に詳細な構成を示すブロック図である。
【図４】基準フレームとその他のフレームについて説明するための図である。
【図５】ハイパスフィルタの処理について説明するための図である。
【図６】第１の動きベクトルについて説明するための図である。
【図７】絶対値誤差について説明するための図である。
【図８】図３の評価値変更ブロックマッチング動き探索部の更に詳細な構成を示すブロック図である。
【図９】第２の動きベクトルについて説明するための図である。
【図１０】図３の最適動き決定部の更に詳細な構成を示すブロック図である。
【図１１】最適動きフラグについて説明するための図である。
【図１２】図３の最適近傍予測フィルタ最小自乗設計部の更に詳細な構成を示すブロック図である。
【図１３】最適近傍予測フィルタ係数を算出するためのタップと動きベクトルとの関係について説明するための図である。
【図１４】図３のデコーダの更に詳細な構成を示すブロック図である。
【図１５】基準フレームと復号について説明するための図である。
【図１６】図２の復号部８４の更に詳細な構成を示すブロック図である。
【図１７】符号化処理について説明するためのフローチャートである。
【図１８】評価値変更ブロックマッチング動き探索処理について説明するためのフローチャートである。
【図１９】最適動き決定処理について説明するためのフローチャートである。
【図２０】最適フィルタ係数算出処理について説明するためのフローチャートである。
【図２１】復号処理について説明するためのフローチャートである。
【図２２】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０２７９】
５１  画像表示システム，  ６１  再生機，  ６２  符号化装置，  ７１  復号部，  ７２  Ｄ／Ａ変換部，  ８１  Ａ／Ｄ変換部，  ８２  符号化部，  ８３  記録部，  ８４  復号部，  ８５  Ｄ／Ａ変換部，  ８６  ディスプレイ，  １０１  基準フレーム抽出部，  １０２  基準フレーム符号化部，  １０３  基準フレームデコーダ，  １０４，１０５  フレームメモリ，  １０６，１０７  ハイパスフィルタ，  １０８  ブロックマッチング動き探索部，  １０９  絶対値誤差算出部，  １１０  符号メモリ，  １１１  評価値変更ブロックマッチング動き探索部，  １１２  最適動き決定部，  １１３  最適近傍予測フィルタ最小自乗設計部，  １１４  デコーダ，  １１５  符号出力部，  １７１  絶対値誤差取得部，  １７２  現フレームデータ取得部，  １７３  前フレームデータ取得部，  １７４  重み付けブロックマッチング動き探索部，  ２０１  第１の動き探索結果取得部，  ２０２  第２の動き探索結果取得部，  ２０３  前フレームデータ取得部，  ２０４  現フレームデータ取得部，  ２０５  第１の予測データ生成部，  ２０６  第２の予測データ生成部，  ２０７  第１の予測誤差検出部，  ２０８  第２の予測誤差検出部，  ２４１  第１の動き探索結果取得部，  ２４２  第２の動き探索結果取得部，  ２４３  最適動きフラグ取得部，  ２４４  前フレームデータ取得部，  ２４５  現フレームデータ取得部，  ２４６  第１のタップ抽出部，  ２４７  第２のタップ抽出部，  ２４８  第１の近傍予測フィルタ係数算出部，  ２４９  第２の近傍予測フィルタ係数算出部，  ２７１  基準フレームデコーダ，  ２７２  フレームメモリ，  ２７３  動き対象位置検出部，  ２７４  画素切り出し部，  ２７５  係数選択部，  ２７６  フィルタ係数乗算部，  ２７７  フレームメモリ
【図１】
2006238372.tif 000007
【図２】
2006238372.tif 000008
【図３】
2006238372.tif 000009
【図４】
2006238372.tif 000010
【図５】
2006238372.tif 000011
【図６】
2006238372.tif 000012
【図７】
2006238372.tif 000013
【図８】
2006238372.tif 000014
【図９】
2006238372.tif 000015
【図１０】
2006238372.tif 000016
【図１１】
2006238372.tif 000017
【図１２】
2006238372.tif 000018
【図１３】
2006238372.tif 000019
【図１４】
2006238372.tif 000020
【図１５】
2006238372.tif 000021
【図１６】
2006238372.tif 000022
【図１７】
2006238372.tif 000023
【図１８】
2006238372.tif 000024
【図１９】
2006238372.tif 000025
【図２０】
2006238372.tif 000026
【図２１】
2006238372.tif 000027
【図２２】
2006238372.tif 000028