(57)【要約】【課題】適応フィルタが、サンプルの最初のパターン内にあるサンプルに適用される。【解決手段】最初のパターン内にあるサンプルは、サンプルを用いて予測される画像ピクセルの小集団に対応する。パターン内にあるそれぞれのサンプルのレベル値が変化する。レベル値は、サンプルの強度／信号値に対応し、サンプルの予測力に強い影響を与えることがある。最初の予測パターン（すなわち、サンプリングパターンに対応した予測信号）が、サンプルから生成される。サンプルの移動処理が、最初の予測パターン内の対象のサンプルに対して実行され、最初の予測パターン内にある対象のサンプルの現在の位置を変化させる。サンプルの位置が変化した場合には、サンプルによって影響を受けるピクセルの局所的な予測が更新される。【選択図】図１Ａ
2010004527.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ化された方法であって、
予測されるべきピクセルに対応しており、かつ、サンプルの最初のパターン内にあるサンプルに適応フィルタを適用するステップと、
前記予測されるべきピクセルに関連する前記サンプルの予測力に対応するレベル値を、各々のサンプルについて変化させるステップと、
前記サンプルから一番目の予測パターンを生成するステップと、
サンプル移動処理を実行して、前記最初のパターン内にある対象のサンプルの現在の位置を変化させるステップと、
前記対象のサンプルの前記現在の位置を変更した場合には、前記対象のサンプルによって影響を受けるピクセルの局所的予測を更新するステップと、
前記一番目の予測パターン内にある前記対象のサンプルに対して、サンプル除去処理を実行し、基準を満たした場合には、前記一番目の予測パターンから前記対象のサンプルを除去するステップと、
前記対象のサンプルが除去された場合には、前記対象のサンプルによって影響を受けたピクセルの局所的予測を更新を更新するステップと、
前記一番目の予測パターン内に残っているサンプルから二番目の予測パターンを生成するステップと、
前記二番目の予測パターンを出力するステップと、
を含むことを特徴とするコンピュータ化された方法。
【請求項２】
前記サンプル移動処理は、
前記対象のサンプルに対して別のサンプルの位置を計算するステップと、
前記現在の位置に対応した現在の予測エラーを計算するステップと、
前記別のサンプルの位置に対応した別の予測エラーを計算するステップと
前記対象のサンプルを最も低い予測エラーとなる位置へと移動するステップと、
を含むことを特徴とする請求項１に記載のコンピュータ化された方法。
【請求項３】
前記局所的予測を更新するステップは、
予測において前記サンプルが因子となるピクセルを含む前記サンプルの影響を受ける領域を計算するステップと、
前記対象のサンプルの影響を受ける前記領域内にあるピクセルに対する局所的予測エラーを更新するステップと、
前記対象のサンプルと前記ピクセルとの予測関係を定義する、前記領域内にある前記ピクセルに対するフィルタ係数を更新するステップと、
前記領域内にある前記ピクセルに前記適応フィルタを適用するステップと、
前記対象のサンプルに前記レベル変動を適用するステップと、
を含むことを特徴とする請求項２に記載のコンピュータ化された方法。
【請求項４】
前記サンプル除去処理は、
前記対象のサンプルの予測の重みを含んだ状態で、影響を受ける領域内にある前記ピクセルの現在の予測から、現在の予測エラーを求めるステップと、
前記対象のサンプルの前記予測の重みを除いた状態で、影響を受ける前記領域内にある前記ピクセルのテスト予測から、テスト予測エラーを求めるステップと、
前記現在の予測エラーと前記テスト予測エラーとの差の絶対値が、サンプル除去閾値より小さい場合に、前記対象のサンプルを除去するステップと、
を含むことを特徴とする請求項１に記載のコンピュータ化された方法。
【請求項５】
前記対象のサンプルを除去するステップは、
前記対象のサンプルの存在を除いた状態で、サンプルの密度を求めるステップと、
前記サンプルの密度が、最小のサンプルの密度を超えている場合に、前記対象のサンプルを除去するステップと、
をさらに含むことを特徴とする請求項４に記載のコンピュータ化された方法。
【請求項６】
予測においてサンプルが因子となるピクセルを含むサンプルの影響を受ける領域を計算するステップと、
前記対象のサンプルが除去された場合には、前記対象のサンプルの影響を受ける前記領域内にあるピクセルに対する局所的予測誤差を更新するステップと、
前記対象のサンプルが除去された場合には、前記対象のサンプルと前記ピクセルとの予測関係を定義する、前記領域内にある前記ピクセルに対するフィルタ係数を更新するステップと、
前記対象のサンプルが除去された場合には、前記領域内にある前記ピクセルに前記適応フィルタを適用するステップと、
前記対象のサンプルが前記一番目の予測パターン内に残っている場合には、前記レベル変動を前記対象のサンプルに適用するステップと、
をさらに含むことを特徴とする請求項４に記載のコンピュータ化された方法。
【請求項７】
データ処理システムによって実行されるとき、前記データ処理システムがデータを処理する動作を実行するようにする命令を格納するコンピュータ読み取り可能な格納媒体であって、前記動作は、
予測されるべきピクセルに対応しており、かつ、サンプルの最初のパターン内にあるサンプルに適応フィルタを適用するステップと、
前記予測されるべきピクセルに関連する前記サンプルの予測力に対応するレベル値を、各々のサンプルについて変化させるステップと、
前記サンプルから一番目の予測パターンを生成するステップと、
サンプル移動処理を実行して、前記最初のパターン内にある対象のサンプルの現在の位置を変化させるステップと、
前記対象のサンプルの前記現在の位置を変更した場合には、前記対象のサンプルによって影響を受けるピクセルの局所的予測を更新するステップと、
前記一番目の予測パターン内にある前記対象のサンプルに対して、サンプル除去処理を実行し、基準を満たした場合には、前記一番目の予測パターンから前記対象のサンプルを除去するステップと、
前記対象のサンプルが除去された場合には、前記対象のサンプルによって影響を受けたピクセルの局所的予測を更新を更新するステップと、
前記一番目の予測パターン内に残っているサンプルから二番目の予測パターンを生成するステップと、
前記二番目の予測パターンを出力するステップと、
を含むことを特徴とする媒体。
【請求項８】
前記サンプル移動処理は、
前記対象のサンプルに対して別のサンプルの位置を計算するステップと、
前記現在の位置に対応した現在の予測エラーを計算するステップと、
前記別のサンプルの位置に対応した別の予測エラーを計算するステップと
前記対象のサンプルを最も低い予測エラーとなる位置へと移動するステップと、
を含むことを特徴とする請求項７に記載のコンピュータ読み取り可能な格納媒体。
【請求項９】
前記局所的予測を更新するステップは、
予測において前記サンプルが因子となるピクセルを含む前記サンプルの影響を受ける領域を計算するステップと、
前記対象のサンプルの影響を受ける前記領域内にあるピクセルに対する局所的予測エラーを更新するステップと、
前記対象のサンプルと前記ピクセルとの予測関係を定義する、前記領域内にある前記ピクセルに対するものであり、フィルタ係数を更新するステップと、
前記領域内にある前記ピクセルに前記適応フィルタを適用するステップと、
前記対象のサンプルに前記レベル変動を適用するステップと、
を含むことを特徴とする請求項８に記載のコンピュータ読み取り可能な格納媒体。
【請求項１０】
前記サンプル除去処理は、
前記対象のサンプルの予測の重みを含んだ状態で、影響を受ける領域内にある前記ピクセルの現在の予測から、現在の予測エラーを求めるステップと、
前記対象のサンプルの前記予測の重みを除いた状態で、影響を受ける前記領域内にある前記ピクセルのテスト予測から、テスト予測エラーを求めるステップと、
前記現在の予測エラーと前記テスト予測エラーとの差の絶対値が、サンプル除去閾値より小さい場合には、前記対象のサンプルを除去するステップと、
を含むことを特徴とする請求項７に記載のコンピュータ読み取り可能な格納媒体。
【請求項１１】
前記対象のサンプルを除去するステップは、
前記対象のサンプルの存在を除いた状態で、サンプルの密度を求めるステップと、
前記サンプルの密度が、最小のサンプルの密度を超えている場合には、前記対象のサンプルを除去するステップと、
をさらに含むことを特徴とする請求項１０に記載のコンピュータ読み取り可能な格納媒体。
【請求項１２】
前記動作は、
予測においてサンプルが因子となるピクセルを含むサンプルの影響を受ける領域を計算するステップと、
前記対象のサンプルが除去された場合には、前記対象のサンプルの影響を受ける前記領域内にあるピクセルに対する局所的予測誤差を更新するステップと、
前記対象のサンプルが除去された場合には、前記対象のサンプルと前記ピクセルとの予測関係を定義する、前記領域内にある前記ピクセルに対するフィルタ係数を更新するステップと、
前記対象のサンプルが除去された場合には、前記領域内にある前記ピクセルに前記適応フィルタを適用するステップと、
前記対象のサンプルが前記一番目の予測パターン内に残っている場合には、前記レベル変動を前記対象のサンプルに適用するステップと、
をさらに含むことを特徴とする請求項１０に記載のコンピュータ読み取り可能な格納媒体。
【請求項１３】
サンプルの最初のパターンを含む画像データを受ける手段と、
予測されるべきピクセルに対応しており、かつ、前記サンプルの最初のパターン内にあるサンプルに適応フィルタを適用する手段と、
前記予測されるべきピクセルに関連する前記サンプルの予測力に対応するレベル値を、各々のサンプルについて変化させる手段と、
前記サンプルから一番目の予測パターンを生成する手段と、
サンプル移動処理を実行して、前記最初のパターン内にある対象のサンプルの現在の位置を変化させる手段と、
前記対象のサンプルの前記現在の位置を変更した場合には、前記対象のサンプルによって影響を受けるピクセルの局所的予測を更新する手段と、
前記一番目の予測パターン内にある前記対象のサンプルに対して、サンプル除去処理を実行し、基準を満たした場合には、前記一番目の予測パターンから前記対象のサンプルを除去する手段と、
前記対象のサンプルが除去された場合には、前記対象のサンプルによって影響を受けたピクセルの局所的予測を更新を更新する手段と、
前記一番目の予測パターン内に残っているサンプルから二番目の予測パターンを生成する手段と、
前記二番目の予測パターンを出力する手段と、
を含むことを特徴とする装置。
【請求項１４】
前記サンプル移動処理は、
前記対象のサンプルに対して別のサンプルの位置を計算する手段と、
前記現在の位置に対応した現在の予測エラーを計算する手段と、
前記別のサンプルの位置に対応した別の予測エラーを計算する手段と
前記対象のサンプルを最も低い予測エラーとなる位置へと移動する手段と、
を含むことを特徴とする請求項１３に記載の装置。
【請求項１５】
前記局所的予測を更新する手段は、
予測において前記サンプルが因子となるピクセルを含む前記サンプルの影響を受ける領域を計算する手段と、
前記対象のサンプルの影響を受ける前記領域内にあるピクセルに対する局所的予測エラーを更新する手段と、
前記対象のサンプルと前記ピクセルとの予測関係を定義する、前記領域内にある前記ピクセルに対するフィルタ係数を更新する手段と、
前記領域内にある前記ピクセルに前記適応フィルタを適用する手段と、
前記対象のサンプルに前記レベル変動を適用する手段と、
を含むことを特徴とする請求項１４に記載の装置。
【請求項１６】
前記サンプル除去処理は、
前記対象のサンプルの予測の重みを含んだ状態で、影響を受ける領域内にある前記ピクセルの現在の予測から、現在の予測エラーを求める手段と、
前記対象のサンプルの前記予測の重みを除いた状態で、影響を受ける前記領域内にある前記ピクセルのテスト予測から、テスト予測エラーを求める手段と、
前記現在の予測エラーと前記テスト予測エラーとの差の絶対値が、サンプル除去閾値より小さい場合に、前記対象のサンプルを除去する手段と、
を含むことを特徴とする請求項１３に記載の装置。
【請求項１７】
前記対象のサンプルを除去する手段は、
前記対象のサンプルの存在を除いいた状態で、サンプルの密度を求める手段と、
前記サンプルの密度が、最小のサンプルの密度を超えている場合には、前記対象のサンプルを除去する手段と、
をさらに含むことを特徴とする請求項１６に記載の装置。
【請求項１８】
予測においてサンプルが因子となるピクセルを含むサンプルの影響を受ける領域を計算する手段と、
前記対象のサンプルが除去された場合には、前記対象のサンプルの影響を受ける前記領域内にあるピクセルに対する局所的予測誤差を更新する手段と、
前記対象のサンプルが除去された場合には、前記対象のサンプルと前記ピクセルとの予測関係を定義する、前記領域内にある前記ピクセルに対するフィルタ係数を更新する手段と、
前記対象のサンプルが除去された場合には、前記領域内にある前記ピクセルに前記適応フィルタを適用する手段と、
前記対象のサンプルが前記一番目の予測パターン内に残っている場合には、前記レベル変動を前記対象のサンプルに適用する手段と、
をさらに含むことを特徴とする請求項１６に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、以下の共通に所有され、同時に提出された“空間的サブサンプル画像のための試料レベルの変動”という名称の、2008年4月29日に出願された、出願一連番号第12/111,927号(代理人整理番号第080398.P712号)の出願、及び、“不規則で空間的にサブサンプルされる画像に対するフィルタによる影響を受ける適応領域”という名称の、2008年4月29日に出願された、出願一連番号第12/111,928号(代理人整理番号第080398.P718号)の出願と関連している。
【０００２】
本発明は、概して、画像処理、及び、動画処理に関し、特に、画像及び動画のサブサンプリングに関する。
【０００３】
この開示された特許書類の一部は、著作権により保護を受ける内容を含む。特許商標庁においてみることができる特許出願、或いは、特許のファイル又は記録を何人が複製しても、著作権者はこれに異議を申し立てないが、それ以外については、全ての著作権を留保する。以下の通告、すなわち、全ての著作権（2007年）は、ソニーエレクトロニクス社が所有する、との通告を適用する。
【背景技術】
【０００４】
画像処理及び動画処理の評価は、三つの手法、すなわち、計算の複雑性、処理済みのデータに必要な容量、及び、復元画像又は動画データの画質について行われる。画像処理及び動画処理は、通常、サブサンプリングの形式を利用する。サブサンプリングとは、例えば、原画内におけるサンプルの周囲にあるピクセルを良好に予測するものとなる特定のピクセルを画像から選択する処理である。格納又は送信は、データサイズを小さくするために、画像全体ではなく選択されたサブサンプルに対して行われる。復元された画像の質は、画像内にあるピクセルを予測する因子としての、サブサンプルの有効性に左右される。不規則なサブサンプリングは、予測力を改善するように画像内のサンプルを選択するものであり、このことは、一般的に、規則的なサンプリングパターンではなく不規則なサンプリングパターンが（例えば、物体の縁及び高いテクスチャ領域の近傍には、多くのサンプルが存在し、均一な低いテクスチャバックグラウンド領域には、少ないサンプルが存在する。）用いられる結果をもたらす。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
予測力を改善するためには、より良好なサブサンプルを見つけるか、又は、より多くのサブサンプルを利用する必要がある。より多くのサブサンプルを利用すると、記憶部の空き容量が小さくなるが、一方で、より良好なサブサンプルを見つけるためには、計算の複雑性を増す必要がある。画像処理及び動画処理に用いられていた従来の技術は、主として、単純なフィルタを用いることによるブロックを基本とする技術である。しかしながら、これらの技術は、サンプルの位置、サンプルのレベルの変動、及び、適応可能なフィルタという、ピクセルに基盤をおく選択の結合した性質を十分に利用していない。
【課題を解決するための手段】
【０００６】
適応フィルタが、サンプルの最初のパターン内にあるサンプルに適用される。最初のパターン内にあるサンプルは、サンプルを用いて予測される画像ピクセルの小集団に対応する。パターン内にあるそれぞれのサンプルのレベル値が変化する。レベル値は、サンプルの強度／信号値に対応し、サンプルの予測力に強い影響を与えることがある。最初の予測パターン（すなわち、サンプリングパターンに対応した予測信号）が、サンプルから生成される。サンプルの移動処理が、最初の予測パターン内の対象のサンプルに対して実行され、最初の予測パターン内にある対象のサンプルの現在の位置を変化させる。サンプルの位置が変化した場合には、サンプルによって影響を受けるピクセルの局所的な予測が更新される。サンプルの除去処理が、対象のサンプルに対して実行され、基準を満たした場合には、最初のパターンからサンプルを除去する。対象のサンプルが除去された場合には、ピクセルの局所的な予測が更新される。二番目の予測パターン（すなわち、新しい／二番目のサンプリングに対応する予測信号）が、最初のパターン内に残っているサンプルから生成される。二番目のパターンが、出力される。
【図面の簡単な説明】
【０００７】
【図１Ａ】本発明の実施形態の動作の概略を示す図である。
【０００８】
【図１Ｂ】本発明の実施形態に従って、プロセッサによって実行される方法を示す流れ図である。
【０００９】
【図１Ｃ】本発明の実施形態のデータフローの概略を示す図である。
【００１０】
【図２Ａ】本発明の実施形態の動作を示す図である。
【図２Ｂ】本発明の実施形態の動作を示す図である。
【図２Ｃ】本発明の実施形態の動作を示す図である。
【００１１】
【図３】均一にサンプリングする方法を示す例である。
【００１２】
【図４】本発明の実施形態に従って、不規則にサンプリングする方法の結果を示す例である。
【００１３】
【図５】本発明の実施形態に従って、プロセッサにより実行されるサンプル移動方法を示す流れ図である。
【００１４】
【図６Ａ】本発明の実施形態に従う、サンプルの移動を示す例である。
【図６Ｂ】本発明の実施形態に従う、サンプルの移動を示す例である。
【図６Ｃ】本発明の実施形態に従う、サンプルの移動を示す例である。
【００１５】
【図７】本発明の実施形態に従って、プロセッサにより実行されるサンプルの除去方法を示す流れ図である。
【００１６】
【図８】本発明の実施形態に従って、プロセッサにより実行されるサンプルの除去ループを示す流れ図である。
【００１７】
【図９】本発明の実施形態に従って、プロセッサにより実行されるサンプルの密度方法を示す流れ図である。
【００１８】
【図１０Ａ】本発明の実施形態に従う、サンプルの除去を示す例である。
【図１０Ｂ】本発明の実施形態に従う、サンプルの除去を示す例である。
【図１０Ｃ】本発明の実施形態に従う、サンプルの除去を示す例である。
【００１９】
【図１１】本発明の実施形態に従って、プロセッサにより実行されるサンプルのレベル変動方法を示す流れ図である。
【００２０】
【図１２】本発明の実施形態に従って、プロセッサにより実行されるサンプルのレベル変動ループを示す流れ図である。
【００２１】
【図１３】本発明の実施形態に従う、サンプル及びピクセルを示す例である。
【００２２】
【図１４】本発明の実施形態に従う、サンプル及びサンプルの影響を受ける領域を示す例である。
【００２３】
【図１５】本発明の実施形態に従って、プロセッサにより実行されるフィルタの方法による影響を受ける適応領域を示す流れ図である。
【００２４】
【図１６】一連のサンプルに対するサンプルセルの例である。モーション／オブジェクト／テクスチャの境界によるサンプルセルの修正も又、示されている。
【００２５】
【図１７】本発明の実施形態に従って、プロセッサにより実行される、最初のサンプルセルの構築方法を示す流れ図である。
【００２６】
【図１８】本発明の実施形態に従う、サンプル及びサンプルセルを示す例である。
【００２７】
【図１９Ａ】本発明の実施形態に従う、共通領域のないサンプルセルの境界を示す例である。
【００２８】
【図１９Ｂ】本発明の実施形態に従う、サンプルセルの境界がピクセル上を通っていることを示す例である。
【００２９】
【図１９Ｃ】本発明の実施形態に従う、共通領域を持つサンプルセルの境界を示す例である。
【００３０】
【図２０】サンプルセルの境界の下に、ピクセルを含むサンプルの区切りがあることを示す例である。
【００３１】
【図２１Ａ】本発明の実施形態に従う、オブジェクトの境界によって、区別されたオブジェクトを示す例である。
【００３２】
【図２１Ｂ】本発明の実施形態に従う、オブジェクトの境界によって、修正されたサンプルセルの例である。
【００３３】
【図２２】本発明の実施形態に従って、プロセッサにより実行される複数のピクセルセルの構築方法を示す流れ図である。
【００３４】
【図２３Ａ】本発明の様々な実施形態に従う、ピクセルのサンプリングタイプを示す図である。
【図２３Ｂ】本発明の様々な実施形態に従う、ピクセルのサンプリングタイプを示す図である。
【図２３Ｃ】本発明の様々な実施形態に従う、ピクセルのサンプリングタイプを示す図である。
【図２３Ｄ】本発明の様々な実施形態に従う、ピクセルのサンプリングタイプを示す図である。
【図２３Ｅ】本発明の様々な実施形態に従う、ピクセルのサンプリングタイプを示す図である。
【図２３Ｆ】本発明の様々な実施形態に従う、ピクセルのサンプリングタイプを示す図である。
【図２３Ｇ】本発明の様々な実施形態に従う、ピクセルのサンプリングタイプを示す図である。
【００３５】
【図２４Ａ】本発明の様々な実施形態に従う、ピクセルのサンプリングに由来するピクセルセルの例である。
【図２４Ｂ】本発明の様々な実施形態に従う、ピクセルのサンプリングに由来するピクセルセルの例である。
【図２４Ｃ】本発明の様々な実施形態に従う、ピクセルのサンプリングに由来するピクセルセルの例である。
【図２４Ｄ】本発明の様々な実施形態に従う、ピクセルのサンプリングに由来するピクセルセルの例である。
【００３６】
【図２５】本発明の実施形態に従う、フィルタ係数の計算例である。
【００３７】
【図２６Ａ】本発明の実施形態に従って、プロセッサによって実行されるタップの拡張の計算方法を示す流れ図である。
【００３８】
【図２６Ｂ】本発明の実施形態に従う、ピクセルとサンプルの距離を示す例である。
【００３９】
【図２７Ａ】本発明の様々な実施形態に従う、ピクセルのサンプリングタイプ及びタップの拡張の組み合わせを示す例である。
【図２７Ｂ】本発明の様々な実施形態に従う、ピクセルのサンプリングタイプ及びタップの拡張の組み合わせを示す例である。
【図２７Ｃ】本発明の様々な実施形態に従う、ピクセルのサンプリングタイプ及びタップの拡張の組み合わせを示す例である。
【００４０】
【図２８】本発明の実施形態に従って、プロセッサによって実行されるサンプルセルの形状を局所的に変化させる方法を示す図である。
【００４１】
【図２９Ａ】本発明の実施形態に従う、水平方向に伸縮させたサンプルの区切りを示す例である。
【００４２】
【図２９Ｂ】本発明の実施形態に従う、垂直方向に伸縮させたサンプルの区切りを示す例である。
【００４３】
【図３０Ａ】本発明の実施に適したコンピュータ環境の図である。
【図３０Ｂ】本発明の実施に適したコンピュータ環境の図である。
【００４４】
本発明の実施形態についての以下の詳細な説明は、添付図面を参照するものであり、図において、同様の参照符号は同様の要素を示しており、図は、本発明を実施するための特定の形態を例によって示すものである。これらの実施形態の説明は、本技術分野の当業者による本発明の実施を可能にするために十分詳細に記載されている。本技術分野の当業者には、本発明の範囲から外れることなく、その他の実施形態を利用でき、かつ、論理的、機械的、電気的、機能的及びその他の変更をすることができることがわかるであろう。したがって、以下に示す詳細な説明は、限定的な意味ではなく、本発明の権利範囲は、添付の特許請求の範囲のみによって定義されるものである。
【００４５】
本発明の動作を概観することから始めると、図１Ａは、画像に対する不規則な空間的サブサンプリングのための適応発生器の実施形態を示す。例えば、画像データは、静止画又は動画のフレームデータとすることができる。図１Ｂに関連して以下に詳しく記載するように、ブロック１０５において、画像データ１００及びサブサンプル画像データ１００を受け取り、拡大縮小した画像データ１１０又は圧縮した画像データ１１５を生成する。ディスプレイデバイス１２０は、拡大縮小した画像データ１１０を表示する。例えば、画像データ１００を拡大縮小することによって、高精度動画データを標準画質テレビに表示することができる。あるいは、送信デバイス１２５は、圧縮した画像データ１１５を送信する。例えば、画像データ１００を圧縮することによって、ウェブサイトからエンドユーザへの動画のより高速なストリーミングが可能になる。
【００４６】
図１Ｂは、適応発生器１０５によって実行されるサブサンプリング方法１５０の実施形態を示す。図２Ａから図２Ｃまでに、方法１５０の結果を示す。ブロック１５５において、サブサンプリング方法１５０は、サンプルの最初のパターンを受け取る。ブロック１６０において、方法１５０は、適応フィルタを該最初のパターンに適用する。ブロック１６０で表された動作の一実施形態は、図１５に関連して以下に詳述される。図１１、図１２に関連して以下に説明するように、ブロック１６５において、方法１５０は、サンプルの全体のパターンを横切って、サンプルのレベル値を変化させる。パターン状態２００は、最初のサンプルパターンの前処理に基づくブロックに由来するブロック２０５を含む、最初のパターンを示す。パターン状態２００を、最初のサンプリングパターンと呼ぶ。
【００４７】
ブロック１７０において、方法１５０は、最初のパターンのそれぞれのサンプルに対するサンプルの移動処理を実行する。ブロック１７０によって示される動作の一実施形態は、図５から図６Ｃに関連して、以下に詳述される。パターン状態２１５は、サンプルの移動処理１７０の実行後のパターン状態２００を示す。パターン状態２００内にあるサンプル２１０は、サンプルの移動処理の結果として、パターン状態２１５内にあるサンプル位置２２０に移動する。
【００４８】
図７から図１０Ｃに関連して以下に詳述されるように、ブロック１７５において、方法１５０は、最初のパターンにおけるそれぞれのサンプルに対し、除去処理を実行する。パターン状態２３０は、サンプルの除去処理１７５の実行後のパターン状態２１５を示す。サンプルの除去処理１７５は、パターン状態２１５からサンプル２２５を除去するので、サンプル位置２３５は、サンプル状態２３０において空になる。決定ブロック１８０において、この方法は、残っているサンプルの数がサンプルの目標の数を上回っている場合には、サンプルの移動処理１７０に制御を戻す。パターン状態２３０を、二番目のサンプリングパターンと呼ぶ。
【００４９】
図１Ｃは、適応発生器１９１を通るデータの流れを示す。入力１９０は、適応発生器１９１に向けられる画像データを受け取る。処理の後には、適応発生器１９１は処理済データを、出力ディスプレイデバイス１９２、又は、出力送信デバイス１９３のような、出力デバイスに送る。
【００５０】
図３は、サブサンプリング方法１５０によって受け取られる、最初のサンプルパターンを示す。サンプル行３００及びサンプル列３０５の位置は、原画のデータ空間全体にわたり一様であり、原画のデータ空間内における複雑な領域上にはない。反対に、図４は、図１に示す実施形態のような、画像に対する不規則な空間的サブサンプリングの適応発生を行う実施形態により得られるパターンを示す。サンプル群４０５は、原画のデータにおいて、あまり複雑でない領域上に存在し、それゆえ、これに対応して、サンプルの密度も低い。なぜなら、許容可能な画像の質に対する必要なサンプルが、少なくてもよいからである。一方で、サンプル群４００は、原画のデータにおいて高度の複雑性を持った領域上に存在しており、それゆえ、予測力及び結果としての画像の質を、相応に改善をするため、高いサンプル密度を持つ。
【００５１】
図５から図６Ｃを参照すると、サンプル移動方法５００は、サンプル移動処理１７０の一実施形態を示し、図６Ａから図６Ｃは、この処理の結果を示す。サンプルセット５０５を受け取った後、サンプルの移動ループ５１０は、サンプルセットの処理を開始する。パターン状態６００は、サンプル移動方法によって、処理をされるために選択されたサンプル６０５を示す。ブロック５１５において、パターン６１０に見られるように、この方法は、サンプル位置６１５のような異なったサンプルの位置に対する局所的な予測誤差を計算する。局所的な予測誤差は、対象のサンプルによって影響を受ける領域にある個別のピクセルの予測誤差の合計である。任意のサンプルにより影響を受ける領域は、フィルタ予測内にあるサンプルを使用する、取り囲まれた一連のピクセルである。影響を受ける領域は、図１２に関連して以下に詳述される。ブロック５２０において、この方法は、別の位置に比べ、最も局所的な予測エラーが低くなるように、サンプル位置６２５を決定し、パターン状態６２０に見られるように、サンプル６０５をサンプル位置６２５に移動させる。ブロック５２５において、この方法は、対象のサンプルの影響を受ける領域の中にあるピクセルに対する局所的な予測誤差、及び、フィルタ係数を更新する。任意のピクセルに対するフィルタ係数は、ピクセル及びその周囲のサンプルの間の予測の関係を決める。
【００５２】
サンプル移動方法５００は、サンプルセットの全てのサンプルを処理した後に、ループエンド５３０において終了する。図１５に関連して以下に詳述されるように、ブロック５３５において、方法５００は、適応フィルタを適用する。図１１及び図１２に関連して以下に詳述されるように、ブロック５４０において、方法５００は、局所的にサンプルの値を変化させる。方法５００は、適応フィルタを適用し、新しいサンプルの位置によって決められるようなサンプルレベルの値を局所的に変化させる。サンプルレベルの変更処理は、それぞれのサンプルに対するレベルの値を変化させ、局所的な予測誤差を最も減少させる値を選択する。
【００５３】
図７を参照すると、サンプルの除去方法７００が、サンプルの除去処理１７５の一実施形態を示す。サンプルの除去方法は、除去が基準を満たす場合に、サンプルのパターンからサンプルを除去する。一実施形態においては、サンプルパターンからサンプルを除去したことによる予測力の低下の観点から、基準が決められる。方法７００は、ブロック７０５において、サンプルセットを受け取り、ブロック７１０において、サンプル除去の閾値を選択する。図８に関連して以下に詳述するように、方法７００は、７１５において、サンプルの除去ループを進行させる。サンプル除去ループ７１５が、決定ブロック７２０において、目標の数のサンプルを除去することに失敗した場合には、この方法は、ブロック７１０において、新しいサンプル除去のための閾値を選択し、再開する。サンプル除去の閾値は、小さい値で始まり、通過する度に、最終的に目標の除去の数を満たすまで、増加する。このサンプルの目標とする除去の数は、サンプルの除去処理の前に決められた固定値である。
【００５４】
その他の点については、図１５に関連して以下に詳述されるように、ブロック７２５において、この方法は、除去されたサンプルの影響を受けた領域にあるピクセルに、適応フィルタを適用する。図１１及び図１２に関連して以下に詳述されるように、ブロック７３０において、方法７００は、サンプルの値を局所的に変化させる。サブサンプリング方法１５０の決定ブロック１８０において、遂行し続ける。
【００５５】
図８及び図１０Ａから図１０Ｃまでを参照すると、サンプルの除去ループ８００が、サンプルの除去ループ７１５の一実施形態を示しており、図１０Ａから図１０Ｃは、このループの結果を示す。図９に関連して以下に示されるように、ループ８００は、ブロック８０５において開始し、ブロック８１０において、サンプルを除去することによって、サンプルの密度が小さくなり過ぎないか否かを判断する。ブロック８１３において、サンプルの除去ループが、目標の数のサンプルを除去した場合には、このループは、ブロック８４５において終了する。パターン状態１０００は、対象のサンプル１００５を示すものである。ブロック８１５において、パターン状態１０００のようなパターン内において、対象のサンプル１００５が存在することに基づいて、ループ８００が、対象の局所的な予測誤差を計算する。ブロック８２０において、パターン状態１０１０のようなパターン内に、位置１０１５に対象のサンプル１００５が存在しないことに基づいて、ループ８００が、対象の局所的な予測誤差を計算する。決定ブロック８２５において、対象のサンプルを取り除くことにより、式１に示すような除去の閾値より低く、予測誤差が変化する場合に、ループ８００は、ブロック８３５において、サンプルを除去する。一実施形態においては、除去の閾値は、次の式に従って決められる。
【数１】
2010004527.tif 000003
ここでＥ0は、対象の局所的予測誤差を表し、Ｅ1は、対象のサンプルを除去した際の局所的予測誤差を表し、Ｔはサンプル除去の閾値を表す。
【００５６】
パターン状態１０２０は、この除去を示し、サンプル位置１０２５が空であることを示す。ブロック８４０において、このループは、サンプル１００５により影響を受ける領域にあるピクセルに対する局所的予測誤差及びフィルタ係数を更新する。そうでなければ、局所的予測誤差が変化して、閾値を超えたと、ループ８００が判定する場合には、このループは、ブロック８３０においてサンプルを除去しない。
【００５７】
図９を参照すると、サンプル密度方法９００が、サンプルの密度決定ブロック８１０の一実施形態を示す。ブロック９０５において、方法９００は、対象のサンプル及び最大のサンプル間の距離のパラメータを含む。この方法は、ブロック９１０において、対象のサンプルに最も近いサンプルを特定し、ブロック９１５において、該最も近いサンプルから該対象のサンプルまでの距離を計算する。ブロック９２０において、該サンプルとそれに最も近いサンプルの間の距離がサンプル間の距離の最大を越えている場合には、サンプルの除去は行われず、サンプル除去ループ８００のブロック８３０において、処理を再開する。そうでなければ、サンプル除去ループ８００のブロック８１３において、処理は続く。サンプル間の距離の最大値は、画像の低い複雑性の領域における最小のサンプル密度を保つ。
【００５８】
図１１を参照すると、サンプルレベル変更方法１１００が、サブサンプリング方法１５０により、ブロック１６５において実行されるサンプルのレベル変更の一実施形態示す。ブロック１１０５において、方法１１００は、最初のサンプルレベルの値を、サンプリングパターン内の全てのサンプルに対して計算する。ここで、サンプルレベルは、Ｌkによって表される。本発明の一実施形態においては、サンプルパターンに基づいたピクセルデータの平均を利用して、最初のサンプルレベルを計算するが、これに限定されず、当業者によって知られている別の技術を用いてもよい。ブロック１１１０において、方法１１００は、全てのピクセルに対して最初の予測値を計算する。ここでピクセルの予測値は、
2010004527.tif 000004
により表されている。
【数２】
2010004527.tif 000005
ここで、
2010004527.tif 000006
は、ピクセル
2010004527.tif 000007
の予測のためのサンプルｋから求められるフィルタの重みであり、
2010004527.tif 000008
は、ピクセル
2010004527.tif 000009
の予測に含まれる一連のサンプルである。図１２に関連して以下に詳述されるように、ブロック１１１５において、方法１１００は、サンプルの変化ループをパターン内の全てのサンプルに対して、実行する。フィルタの重みは、図２２に関連して以下に詳述される。
【００５９】
図１２を参照すると、変化ループ１２５０が、ブロック１１１５において、サンプルレベル変更方法１１００によって実行されるサンプル変更ループの一実施形態を示す。サンプルレベルの変更ループは、計算的な効果及び視覚的な性能のバランスに応じて、一又はそれ以上の回数を反復する。一般的に、視覚的な性能の利得は、ループ１２５５を約４回繰り返すことにより、飽和する。
【００６０】
サンプルレベル変更ループ１２５５を反復する度に、パターン内にある全てのサンプルが処理される。図１３におけるサンプル１３１０は、ピクセル１３０５のような一連のピクセルに含まれるサンプルの例である。ブロック１２６０において、対象のサンプルによって影響を受ける領域を計算する。任意のサンプルｋに対して、影響を受ける領域Ａ(ｋ)は、予測値
2010004527.tif 000010
がサンプルｋによって影響を受ける一連のピクセル
2010004527.tif 000011
である。一実施形態においては、対応するフィルタの重みがゼロより大きい場合に、ピクセルが、サンプルにより影響を受ける領域に含まれる。別の実施形態においては、対応するフィルタの重みがサンプルの影響閾値Ｔ2より大きい場合に、ピクセルが、サンプルにより影響を受ける領域に含まれる。サンプルの影響閾値が高くなるほど影響を受ける領域は狭くなり、処理に必要な計算の複雑性は、影響を受ける領域内にあるピクセルの量によるため、減少する。図１４にあるサンプル１４０５は、影響を受けるエリア内にあるピクセル１４１０を含む。Ａ(ｋ)は、以下の式に従って定義をすることができる。
【数３】
2010004527.tif 000012
【００６１】
決定ブロック１２６５において、対象のサンプルの誤差は、閾値Ｔ1に対して、試験される。一連のデータの予測エラーｅは、以下のように定義することができる。
【数４】
2010004527.tif 000013
【数５】
2010004527.tif 000014
ここで、ｅiは、任意のピクセル
2010004527.tif 000015
に対する予測エラーであり、ｅは画像にあるＮピクセルに対する全予測誤差であり、
2010004527.tif 000016
は、原画の画像における
2010004527.tif 000017
のレベルであり、
2010004527.tif 000018
は、
2010004527.tif 000019
の予測されたレベルである。
【００６２】
サンプルの予測誤差ｅ(ｋ)は、サンプルｋにより、影響を受ける領域内にある全てのピクセルに基づく、平均予測誤差であり、以下のように定義することができる。
【数６】
2010004527.tif 000020
ここで、ＮkはセットＡ(ｋ)にあるピクセルの数である。
【００６３】
予測エラーの閾値Ｔ1は、本発明の計算的な複雑性と視覚的な性能の利得のバランスを取るために用いられる。一実施形態においては、閾値は以下のように定義される。
【数７】
2010004527.tif 000021
したがって、決定ブロック１２６５は、閾値より小さい又は同値のエラーとなるサンプルを処理しないように、方法１２５０に影響を及ぼすことになる。この方法によって、本発明の実施形態を、様々な計算的な性能及び視覚的な性能に対する要求に関して、最適化することができる。計算的な複雑性を重視する実施形態では、Ｔ1を高い値にする。一方で、視覚的な性能を重視する実施形態では、Ｔ1を低い値にする。
【００６４】
ブロック１２７０において、方法１２５０は、対象のサンプル
2010004527.tif 000022
に対する、サンプルレベルの変化Δ(ｋ)を計算する。サンプルレベルの変化Δ(ｋ)は、サンプルの予測誤差を局所的に最小化する結果となり、以下のように定義することができる。
【数８】
2010004527.tif 000023
サンプルレベルの変化を直接的に計算することによって、方法１２５０は、値の範囲上における局所的な最小値を探す必要がなくなる。これは、潜在的にある広範囲な値を計算する必要がないため、計算の複雑性を有意に低下させる。決定ブロック１２７５において、サンプルレベルの変化が、レベルの変化の閾値Ｃに対して測定され、サンプルレベルの変化の大きさに対する制限を生み出す。方法１２５０は、Ｃを用いて、サンプルの値の変化可能な範囲を制限し、一連のデータにおける構造の不安定性、又は、視覚的な副作用を防ぐ。ブロック１２８０において、方法１２５０は、サンプルレベルの変化に基づいて、対象のサンプルレベルに新しい値を採用する。ブロック１２８５において、方法１２５０は、新しいサンプルレベルの値を用いて、対象のサンプルによる影響を受ける領域Ａ(ｋ)内にある全てのピクセルに対する予測を更新する。
【００６５】
ブロック１６０及び１６５において、図１Ｂを再び参照すると、サブサンプリング方法１５０は、画像全体に対して、適応フィルタリング及びサンプルレベルの変更を実行する。上述したようにサンプル移動方法５００は、ブロック５３５及び５４０において、適応フィルタリング及び局所的なサンプルレベルの変更を実行し、サンプルの除去方法７００は、ブロック７２５及び７３０において、適応フィルタリング及び局所的なサンプルレベルの変更を実行する。サンプルの移動及びサンプルの除去の両方が、サンプルパターン全体を変更する結果となり、適応フィルタリング及び局所的なサンプルレベルの変更によって、ピクセルの予測誤差をさらに減少させることを可能にする。サンプル移動方法及び除去方法によって、実行される局所的なフィルタリングは、これらの方法によって作用されるサンプルの影響を受ける領域内にピクセルのみをフィルタリング及び変更するという意味で、局所的である。この方法において、本発明は、調整されたサンプルパターンの予測力を最適化する機会として、サンプルパターンの調整を行う。この有機的な方法は、従来の技術に対して、視覚的な性能に関する有意な改善を提供する。
【００６６】
図１５を参照すると、フィルタ方法１５００による影響を受ける適応領域は、ブロック１６０において、方法１５０により適用された、適応フィルタの一実施形態を示す。図１８に関連して以下に詳述されるように、ブロック１５０５において、方法１５００は、サンプルパターン内のサンプルの各々についての最初のサンプルセルを計算する。例のように、図１６におけるサンプル１６０５を、サンプルセルの境界１６１０によって決められた最初のサンプルセルに与えることができる。サンプルセルは又、境界１６１５のような、モーション、オブジェクト及びテクスチャクラスの境界の輪郭を確認することもできる。図２２に関連して以下に詳述されるように、ブロック１５１０において、方法１５００は、追加的なセル、及び、それぞれのターゲットピクセルに対する予測フィルタを計算し、最適化されたフィルタのパラメータを導く。図２８に関連して以下に詳述されるように、ブロック１５１５において、方法１５００は、サンプルの形状を局所的に変化させる。
【００６７】
図１７を参照すると、最初のサンプルセルの構築方法１７００が、方法１５００によって、実行されるブロック１５０５の一実施形態を示す。方法１７００は、サンプルセルを有するサンプルパターンにおいて、全てのサンプルを統合する。一実施形態においては、サンプルセルの基準は、最初のサンプルセルが、任意のサンプルに最も近いピクセルを含むことである。ブロック１７０５において、方法１７００は、対象となる一連のピクセルデータに関するモーションクラス及びテクスチャクラスを受け取る。ブロック１７１０において、ピクセルデータセットにおけるターゲットピクセルに対して、方法１７００は、同様のモーションクラス及びテクスチャクラスにあるピクセルと最も近いサンプルを決定する。一実施形態においては、ピクセルとサンプルの距離
2010004527.tif 000024
は以下のように定義される。
【数９】
2010004527.tif 000025
ここで、
【数１０】
2010004527.tif 000026
は、画像内のピクセルを示し、ｋは位置を伴うサンプル
【数１１】
2010004527.tif 000027
を示す。γk及びβkは、サンプルセルの形状を変化させるパラメータである。サンプルセルの形状は、図２８に関連して以下に詳述される。
【００６８】
2010004527.tif 000028
は、ピクセル
2010004527.tif 000029
に関して、ピクセルとサンプルの距離
2010004527.tif 000030
が最も小さいサンプルを示す。
2010004527.tif 000031
は、この最小のピクセルとサンプルの距離の値である。一実施形態においては、ピクセルに対する最小のピクセルとサンプルの距離は、以下のように定義される。
【数１２】
2010004527.tif 000032
ここで、最も近いサンプルが
2010004527.tif 000033
である。一より多いサンプルに対するピクセル・サンプル間距離が最小となるように、ピクセルが位置させられるため、量
2010004527.tif 000034
は、複数の値を持つことができる。
【００６９】
従って、サンプルセルＣkは、以下のように定義することができる。
【数１３】
2010004527.tif 000035
この式は、サンプルｋに対するサンプルセルが、それに最も近いピクセルを含み、同様のテクスチャクラス及びモーションクラスを有することを示している。ピクセルのテクスチャクラスは、
2010004527.tif 000036
として表され、一方、ピクセルのモーションクラスは、
2010004527.tif 000037
として表されている。
【００７０】
例えば、図１８において、サンプル１８１５は、セルの境界１８２０によって決められたサンプルセルと関連している。それぞれのピクセルは、一又はそれ以上のセルに属している。ピクセル１８２５は、サンプル１８１５に関連しているサンプルセルの境界１８２０に属している。それぞれのピクセルは、サンプルを伴うピクセルに関連しているメンバーシップ値を持っている。ピクセルのメンバーシップ値は、いくつのサンプルセルの境界の下に、サンプルセルが存在するか、を示している。例えば、ピクセル１９１５がサンプル１９２０に関連したサンプルセルの境界内に存在するのと同様に、図１９Ａにあるピクセル１９１０は、サンプル１９０５と関連したサンプルセルの境界内に存在する。サンプルセルの間の境界１９２５は、重なりあわない。その結果、サンプル１９０５との関連では、ピクセルは、メンバーシップ値として１を持つことになる。同様に、サンプル１９２０との関連では、ピクセル１９２０は、メンバーシップ値として１を持つことになる。反対に、サンプル１９０５との関連では、ピクセル１９２０は、メンバーシップ値として０を持つことになる。なぜなら、ピクセルは、サンプル１９０５に関連したサンプルセルと関連しないからである。
【００７１】
図１９Ｂにおいて、サンプル１９３０及び１９４０に関連したサンプルセルの間にある境界は、ピクセル１９３５上にある。したがって、サンプル１９３０との関連では、ピクセル１９３５のメンバーシップ値は、１／２となる。同様に、ピクセル１９３５の関連性が、両方のサンプル間で分割されるので、サンプル１９４０との関連でも又、ピクセル１９３５のメンバーシップ値は、１／２となる。図１９Ｃにおいて、サンプルセルの境界１９６０は、サンプル１９４５と関連し、サンプルセルの境界１９５５と重なりあって、サンプル１９６５とも関連する。したがって、サンプル１９６５との関連におけるピクセル１９５０と同様に、ピクセル１９５０は、サンプル１９４５との関連において、メンバーシップ値として１を持つことになる。
【００７２】
図２０は、最初のサンプルセルの構築の例を示す。方法１８００は、ピクセル２０１０及び２０１５を含むサンプルセル２０２０とサンプル２００５を関連付ける。サンプル２００５との関連において、ピクセル２０１０は、メンバーシップ値として１／３を持つ。なぜなら、ピクセル２０１０は、三つのサンプルに対応するサンプルセルの境界にあらからである。ピクセル２０１５は、サンプル２００５との関連において、メンバーシップ値として１を持つ。
【００７３】
図２１Ａ及び２１Ｂは、モーションオブジェクト及びテクスチャオブジェクト、及び、サンプルセルとこれらのオブジェクトの相互作用の例を示す。最初のサンプルセル構築方法１８００のブロック１８０５において、オブジェクト２１０５、２１１０及び２１１５を受け取る。一実施形態においては、本分野において知られた一又はそれ以上の技術を用いて、プリプロセッサ（示されていない。）が、オブジェクト２１０５、２１１０及び２１１５を生成する。サンプル２１２５及び２１３０の両方はオブジェクトの境界２１２０及び２１３５によって影響を受けたサンプルセルを持つ。テクスチャオブジェクト及び／又はモーションオブジェクトが、特定のサンプルの予測力に新たな視点を与える。例えば、ピクセル２１４０は、距離的にはサンプル２１２５に近い。したがって、サンプル２１２５の予測力がピクセル２１４０との距離によってのみ判定されるならば、見かけの予測力は、高くなる。しかしながら、例えば、オブジェクトの境界２１２０によって示されるように、ピクセル２１４０が背景（壁）であり、一方で、サンプル２１２５が壁の前で動くもの（人間）を表す場合がある。したがって、ピクセルセルの大きさ及び形状に影響を与えるためにオブジェクトの境界を用いると、サンプルセットの予測力が向上する。サンプルセットの予測力は、サンプルセット内にある個別のサンプルの予測力の集合となる。
【００７４】
図２２を参照すると、複数のピクセルセルの構築方法２２００が、新たなセル及びフィルタ構築方法１５１０の一実施形態を示している。ブロック２２１０において、方法２２００は、以下に示すターゲットピクセルセルの基準に従って、ターゲットピクセルセル
2010004527.tif 000038
を計算する。
【数１４】
2010004527.tif 000039
ここで、
2010004527.tif 000040
は、サンプリングタイプｉによって定義されるサンプリングウインドウに含まれるピクセルを表す。固定した大きさのウインドウ
2010004527.tif 000041
は、ターゲットピクセルの周囲に位置する。この方法は、一連のピクセルのサンプリングタイプを用いて、ウインドウ内にあるピクセル
2010004527.tif 000042
を走査する。サンプリングウインドウ及びサンプリングタイプは、図２３Ａから図２３Ｇに関連して以下に詳述される。距離は、以下の式に従って、測定される。
【数１５】
2010004527.tif 000043
ここでｘ1及びｘ1′、縦軸の座標を表し、ｘ2及びｘ2′は、横軸の座標を表す。
【００７５】
ブロック２２１５において、方法２２００は、ターゲットセルに対するフィルタ係数を計算する。この方法は、それぞれのサンプルｋに対する重み因子
2010004527.tif 000044
計算する。この方法は、サンプルｋに対する重み因子を０に初期化する。次いで、この方法は、以下の集合に属するターゲットピクセルセルにおけるそれぞれのピクセル
2010004527.tif 000045
に対して、Ｍｅｍkによって重み因子を増加させる。
【数１６】
2010004527.tif 000046
（例えば、サンプルセル及びターゲットピクセルセルの両方に属するピクセルである。）この方法は、以下の式に従って重み因子を計算することができる。
【数１７】
2010004527.tif 000047
ここで、
2010004527.tif 000048
は、ターゲットピクセル
2010004527.tif 000049
に含まれる全てのピクセルを参照する。式１６は、概して、ピクセルセル及びサンプルセルの共通集合を示す。一実施形態においては、以下の式で決められるように、ピクセル
2010004527.tif 000050
に対するフィルタタップ
2010004527.tif 000051
は、
2010004527.tif 000052
のゼロでない値を持つ一連のサンプルｋである。
【数１８】
2010004527.tif 000053
サンプリングタイプｉにおけるターゲットピクセル
2010004527.tif 000054
に対するサンプルｋからのフィルタ係数
2010004527.tif 000055
は以下のように計算することができる。
【数１９】
2010004527.tif 000056
ここでＮｏｒｍとは、以下の規格化条件に従って求められる定数である。
【数２０】
2010004527.tif 000057
【００７６】
フィルタ係数の計算例が、図２５に関連して以下に説明される。ブロック２２２０において、方法２２００は、対象のサンプリングタイプに対するタップ拡張部を計算する。タップ拡張部は、フィルタタップ
2010004527.tif 000058
を拡張し、ターゲットピクセル
2010004527.tif 000059
からより遠くにあるサンプルを含むようにする。タップ拡張部の計算については、図２６に関連して、以下に詳述される。
【００７７】
図２３Ａから図２３Ｇは、本発明の様々な実施形態に応じたサンプリングタイプの例を示す。図２３Ａに示されるターゲットピクセル２３１０は、サンプルウインドウ２３０５の中心に位置する。図２３Ａは、１ｘ１走査を用いたサンプリングタイプ、すなわち、ウインドウの中にある全てのピクセルが一連のピクセル
2010004527.tif 000060
に含まれているもの、を示す。図２３Ｂに示されるターゲットピクセル２３２０は、サンプルウインドウ２３１５の中心に位置する。図２３Ｂは、２ｘ１水平走査を用いたサンプリングタイプ、すなわち、ピクセルの列を交互にしたもの、を示す。ターゲットピクセル２３３０は、サンプルウインドウ２３２５の中心に位置する。図２３Ｃは、２ｘ１鉛直走査を用いたサンプリングタイプ、すなわち、ピクセルの行を交互にしたもの、を示す。
【００７８】
図２３Ｄは、拡大した画像のサンプリングピクセルの例を示す。ターゲットピクセル２３４０は、ピクセルウインドウ２３３５の中心に位置する。ピクセル２３４２は、拡大後のピクセルである。別の方法では、サンプリングタイプは、図２３Ａ、すなわち１ｘ１走査と類似している。図２３Ｅは、ピクセルウインドウ２３４５の中心に位置するターゲットピクセル２３５０を含む拡大後のピクセル領域の２ｘ１水平走査を示す。
【００７９】
図２３Ｆは、可変２ｘ１の鉛直走査の例を示す。ターゲットピクセル２３６０は、ピクセルウインドウ２３５５の中心に位置する。方法２２２０は、２ｘ１鉛直走査を用いて、サンプルセル２３６２に含まれるピクセルを走査し、一方で、１ｘ１走査を用いてピクセル２３６４のようなピクセルを走査する。図２３Ｇは、局所的な１ｘ１走査の例を示す。ターゲットピクセル２３７０は、ピクセルウインドウ２３６５の中心に位置する。ターゲットピクセル２３７０は又、走査されたピクセルの局所的な帯の中心となる。本発明のその他の実施形態は、その他のサンプリングタイプを用いることができる。それぞれのサンプリングタイプは、異なったフィルタの重み、特に好ましい指向性に合わせたフィルタの重み、を生成するであろう。様々なサンプリングタイプは、指向性に応じた、フィルタを構築することを可能にする。指向性は、図２８に関連して、以下に詳述する。
【００８０】
図２４Ａから２４Ｄは、様々なサンプリングタイプ及びオブジェクトの境界に対するターゲットピクセルセルの例を示す。図２４Ａは、ピクセルセルを決定するためのサンプルの距離の要素を示す。ターゲットピクセル２４０５及び２４１５の間の距離（すなわち
2010004527.tif 000061
）が、矢印２４１０によって、示されている。ピクセル２４１５及びサンプル２４２５の間の距離（すなわち
2010004527.tif 000062
）が、矢印２４２０によって示されている。ピクセル２４１５は、サンプル２４２５のサンプルセルに属しているので、サンプル２４２５は、ピクセル２４１５に対応して、選択される。矢印２４１０及び矢印２４２０の長さは、等しいので、ピクセル２４１５及びサンプル２４２５の間の距離は、ピクセル２４１５に対する最小のサンプルの距離より短い。ピクセル２４１５は、ターゲットピクセル２４０５に対するターゲットピクセルセルに含まれるという距離の要件が満たされる。
【００８１】
図２４Ｂは、ターゲットピクセル２４３０に関する２ｘ１鉛直走査を用いたピクセルセル２４３５を示す。図２４Ｃは、ターゲットピクセル２４４５に関する１ｘ１のサブピクセル走査を用いたピクセルセル２４４０を示す。図２４Ｄは、ピクセル２４５５に関する１ｘ１サブピクセル走査を用いたピクセルセル２４５０を示す。オブジェクトの境界２４６０は、ピクセルセル２４５０の境界を調整した。
【００８２】
図２５は、方法２２００により、ブロック２２１５において実行された計算のような、フィルタ係数の計算例を示す。ターゲットピクセル２５０５は、ピクセルセル２５３０に関連している。この方法は、一連のサンプルに対する重み因子を求める。例えば、サンプル２５１５及びピクセルセル２５３０に関連するするサンプルセルの共通部分は、ピクセルを含まない。したがって、ターゲットピクセル２５０５に対するサンプル２５１５の重み因子は、式１７より、ゼロとなる。サンプル２５５５及びピクセルセル２５３０に関するサンプルセルの共通部分は、４ピクセルという結果となる。ピクセル２５２０及びピクセル２５５０は、サンプルセルの境界の下にあるため、それぞれ、サンプル２５５５の重み因子に１／２ずつ寄与することになる。ピクセル２５６０のような、残りの二つのピクセルは、１に寄与し、サンプル２５５５に対して３の重みを持たせる。サンプル２５１０、２５２５及び２５３５は又、ピクセルセル２５３０に対して、空値でない共通部を持つ。したがって、サンプル２５２０、２５２５及び２５３５は、ゼロでない重み因子を持ち、サンプル２５５５といっしょに、ターゲットピクセル２５０５に関連するフィルタタップを形成するであろう。フィルタタップ内にある四つのサンプルは、ターゲットピクセルに関係する四つのサンプルの予測力に対応した四つのサンプルフィルタの係数をもたらす。サンプルがピクセルの予測力の因子となるそれぞれのピクセルは、対応する自身のサンプルフィルタ係数を持つ。
【００８３】
図２６Ａを参照すると、タップ拡張部の計算２６００が、方法２２００のブロック２２２０の一実施形態を示す。一実施形態においては、タップを拡張する基準は、次に最も近いサンプルに関連したピクセルを包含することによって、ターゲットセルを拡大する。ブロック２６０５において、方法２６００は、対象のタップの拡張タイプに応じて、次に最も近いサンプルを決定する。方法２６００は、図２６Ｂにあるターゲットピクセル２６２０から他のサンプルまでの距離を測定し、次に最も近いサンプルを決定する。この実施形態においては、一回反復すると、ターゲットピクセル２６２０に最も近いサンプル２６２５を利用することになる。次のタップの拡張においては、次に最も近いようなサンプル２６３０を利用し、その次においては、次の次に最も近いサンプル２６５０を利用することになる。視覚的な性能の向上に関しては、三回または四回繰り返すと飽和する傾向があるが、別の実施形態では、さらに繰り返して利用することができる。
【００８４】
ブロックにおいて、方法２６００は、対象のタップの拡張のために、ターゲットピクセルに対するピクセルセルを再び計算し、ピクセルセル
2010004527.tif 000063
を求める。ここで、ｉは、対象のサンプリングタイプに対応し、ｊは、対象のタップの拡張に対応し、
2010004527.tif 000064
は、対象のターゲットピクセルとなる。
2010004527.tif 000065
は、以下のように定義することができる。
【数２１】
2010004527.tif 000066
【００８５】
ブロック２６１５において、方法２６００は、タップの拡張ｊ及びサンプリングタイプｉに対応したターゲットピクセルに対するフィルタの係数を計算する。フィルタ係数は、図２２に関連して上述したように、計算される。
【００８６】
図２７Ａは、拡張したターゲットピクセルセルを生成するフィルタのタップ拡張の例を示す。方法２６００は、まず、ターゲットピクセル２７０５をピクセルセル２７１０に関連付ける。フィルタタップの拡張の後、方法２６００は、ターゲットピクセル２７０５をピクセルセル２７１５と関連付ける。三つの等しく隣接したサンプルが、タップを拡張した結果として、加えられる。図２７Ｂは、フィルタタップの拡張及びサンプリングタイプの例を示す。方法２６００は、まず、ターゲットピクセル２７２０をピクセルセル２７２５に関連付ける。フィルタタップの拡張の後、方法２６００は、ターゲットピクセル２７２０を拡張したピクセルセル２７３０に関連付けるピクセルセル２７３０は、ピクセルセル２７２０より滑らかな境界を持ち、より滑らかなフィルタ係数を生成する。図２７Ｃは、ピクセルセル２７４０に関連したピクセルセルを、最初のセル２７４５、二番目のセル２７５０、三番目のセル２７５５と三回反復させた様子を、説明している。
【００８７】
図１５のブロック１５１５に戻ると、方法１５００は、上述した様々な予測フィルタから最適なフィルタの重みを求める。それぞれのピクセルの上述したサンプリングタイプ及びタップの拡張は、画像内の全てのピクセル
2010004527.tif 000067
に対して、特定の予測フィルタを生成し、以下のように定義することができる。
【数２２】
2010004527.tif 000068
ここで、ｉ＝１，２，..ｎは、ピクセルのサンプリングタイプを表示し、ｊ＝１，２，..ｍは、タップの拡張を表示する。ｊ＝０の場合は、タップの拡張を用いないことを意味する。複数の予測フィルタは、重みパラメータ
2010004527.tif 000069
と結合することができ、最終的な予測を、以下のように定義して、形成する。
【数２３】
2010004527.tif 000070
ここで、インデックスｓ＝１，２，..ｐは、ターゲットピクセル
2010004527.tif 000071
に対して用いられる、テクスチャクラス、モーションクラス、オブジェクトクラスなどのような画像クラスを示している。最終的な予測も又、次のように定義することができる。
【数２４】
2010004527.tif 000072
ここで最終的なフィルタ係数は、以下のように定義することができる。
【数２５】
2010004527.tif 000073
一方で、フィルタタップは、以下のように定義することができる。
【数２６】
2010004527.tif 000074
したがって、
2010004527.tif 000075
は、タップ
2010004527.tif 000076
のうち少なくとも一つに含まれているサンプルｋを含む。最小二乗の重さパラメータ
2010004527.tif 000077
は、原画の／ターゲットの画像データを利用して、最小二乗トレーニングによって求められる。最小二乗トレーニングを用いて、最適なパラメータを求めることは、本分野において、よく知られている。本方法１５００によって、ｎ(ｍ＋１)ｐのパラメータ
2010004527.tif 000078
に対して適用され、分類された最小二乗トレーニングは、いずれのサンプリングパターンにも適用可能な適応した予測フィルタを生成する。
【００８８】
図２８を参照すると、局所的にセルの形状を変化させる方法２８００が、方法１５００のブロック１５１５の一実施形態を示す。ブロック２８０５において、方法２８００は、以下の式に従って、対象のサンプルに対して影響のある領域を計算することができる。
【数２７】
2010004527.tif 000079
ブロック２８１０において、方法２８００は、対象のサンプルによって影響を受けるピクセルに対する全予測誤差を以下の式に従って、計算することができる。
【数２８】
2010004527.tif 000080
ここで、ｅkは、サンプルｋによって影響を受けるピクセルに対する全予測誤差である。ブロック２８１５において、サンプルセルの形状パラメータ｛γk,βk｝は、変更される。一実施形態においては、予め決められた一連の値を、以下のように用いることができる。
【数２９】
2010004527.tif 000081
しかしながら、その他の実施形態は、その他の予め決められた一連の値を用いることができ、又は、動的に形状パラメータの変化を決定することができる。図２２及び図２６に関連して上述したように、ブロック２８２０において、方法２８００は、影響のある領域内にあるピクセルに対する、新しいフィルタ係数及び予測誤差を計算する。ブロック２８２５において、方法２８００は、対応する最も小さい予測誤差となるセルの形状パラメータを選択する。ブロック２８３０において、影響のある領域内にあるそれぞれのピクセルに対して、方法２８００は、サンプルセルの区切り方、フィルタ係数及び予測誤差を更新する。
【００８９】
図２９Ａ及び図２９Ｂは、サンプルセルの形状及び指向性を示す。図２９Ａは、セル２９０５のような、水平に引き伸ばされたピクセルセルを示す。図２８に関連して上述したように、方法２８００は、ピクセルセルの形状を変化させ、予測値を改善する。壁にあるレンガのような、ピクセルデータの特定の“現実の”物体は、水平に伸びたセルの形状を用いることでよりよく予測される傾向がある。なぜなら、“現実の”物体は、それ自身鉛直よりも水平に近いからである。そのような傾向は、“有機的”と呼ぶことができる。この方法において、画像データに表現された“現実の”物体と関連した方法でピクセルの形状を調整することによって、方法２８００は、有機的に、より正確な予測は、セルを得ることができる。図２９Ｂ２９１０のような鉛直方向に引き伸ばされたサンプルセルの例を示す。旗棒のような特定の“現実の”物体は、鉛直に伸びたセルの形状が適している。有機的な方法で一連のサンプルを調整することによって、本発明は、画像データに含まれる“現実の”物体の特徴を含む最適な処理を決定する。
【００９０】
本発明の特定の方法を、一連のフロー図２、５、７、８、９、１１、１２、１５、１７、２２、２６Ａ、及び２８を参照して、コンピュータソフトウェアについて説明した。フロー図を参照して、本発明の方法を記載することにより、本技術分野の当業者は、そのような指示を含むそのようなプログラムを開発し、適切に構成されたコンピュータ（メモリを含むコンピュータに読み取り可能な媒体からの指示を実行するコンピュータのプロセッサ）で本発明の方法を実行することができる。コンピュータにより実行可能な指示は、コンピュータプログラミング言語によって書くか、又は、ファームウェアの論理によって実装することができる。認識された水準に達するプログラミング言語で書かれた場合、そのような指示を、様々なハードウェアプラットフォーム、及び、インターフェースを介して、様々なオペレーティングシステムにより、実行する。その上、本発明の記載は、特定のプログラミング言語に関連してなされているわけではない。ここに記載されたように本発明の要素を実行するために、様々なプログラミング言語を使用することができることが理解されるであろう。さらに、本技術分野において、行動を取ること、又は、結果に影響することのように、ソフトウェアを一の形又はその他の形（例えば、プログラム、手順、処理、アプリケーション、モジュール、論理）で話すことが本技術分野において、一般的である。そのような表現は、コンピュータによってソフトウェアを実行することによって、コンピュータのプロセッサが行動を起こすか、又は、結果を生成することを言う明瞭な方法に過ぎない。本発明の範囲から外れることなく、より多くの処理又はより少ない処理は、図２、５、７、８、９、１１、１２、１５、１７、２２、２６Ａ及び２８に示された方法に包含されること、及び、特定の命令が、ここに示され、記載されるブロックの処理によって示唆されないこと、が理解できるであろう。
【００９１】
一実施形態においては、図３０Ａが示すように、サーバコンピュータ３００１は、インターネット３００５に接続しており、インターネット３００５を介して、データを供給する。クライアントコンピュータ３００３は、ＩＳＰ（Internet Service Provider）３００７を介して、インターネット３００５と接続しており、アプリケーションを閲覧するために標準的なインターネットを実行し、サーバ３００１とデータを交換する。例えば、適応発生器１９１は、ＩＳＰ３００７及びインターネット３００５を介して、コンピュータ３００３から送信されてきたユーザの要求に応答して、コンピュータ３００１を実行することができる。任意であるが、サーバ３００１は、クライアントシステムで、インターネットにアクセスするＩＳＰの一部とすることができる。ここで用いられている“インターネット”という語は、ＴＣＰ／ＩＰプロトコルのような特定のプロトコル、及び、ワールドワイドウェブ（Ｗｅｂ）上に準備されたハイパーテキストマークアップ言語（ＨＴＭＬ）文書のために用いられるハイパーテキストトランスファープロトコル（ＨＴＴＰ）のようなその他の可能なプロトコル、を用いて、複数のネットワークの中にある一のネットワークを参照することである。インターネットの物理的な接続、及び、インターネットのプロトコル及び通信手順は、本分野の当業者によく知られている。インターネットにアクセスすることで、クライアントコンピュータシステムを利用するユーザは、情報を交換し、Ｅメールを受信及び送信し、ＨＴＭＬフォーマットにより準備された文書のような文書を閲覧し、コンテンツを受け取ることができる。本発明は、インターネットにアクセスすること及びインターネットのウェブ上にあるサイトに限定されないことは、直ちに明らかであり、直接的に接続されたネットワーク及び独立のネットワークも又、意図されている。
【００９２】
サーバ３００１のような使い方に適したコンピュータシステムの一実施形態を、図３０Ｂに示す。コンピュータシステム３０１０は、プロセッサ３０２０、メモリ３０２５、システムバス３０３５と接続している入力／出力設備３０３０を含む。メモリ３０２５は、プロセッサ３０２０によって実行されることにより、個々に記載された方法を実施する命令を格納するように構成されている。メモリ３０２５は、適応発生器のための／についてのデータも格納する。入力／出力３０３０は、適応発生器のための／についてのデータ又は、それらの一部分若しくは代表部分の配信器、表示器、及び、格納、処理若しくは表示のためのさまざまな種類のデータの入力器を備える。入力／出力３０３０は又、プロセッサ３０２０によってアクセス可能ないずれの種類の格納デバイスを含む、様々な種類のコンピュータに読み取り可能な格納媒体を含む。例えば、入力／出力３０３０は、入力器１９０、出力ディスプレイデバイス１９２及び出力送信デバイス１９３に対応する。本分野における当業者は、サーバ３００１が、メモリ３０２５内で実行されるオペレーティングシステムのソフトウェアにより制御されることを直ちに理解するであろう。入力／出力３０３０及び関連する媒体は、オペレーティングシステム、及び、適応発生器のための／についてのデータ同様の本発明の方法、に関する装置により実行可能な命令を格納する。
【００９３】
図３０Ａ及び図３０Ｂの記載は、コンピュータハードウェア、及び、その他の発明の実行に適した作動要素の概略を提示することを意図しており、適応可能な環境を限定する意図はない。コンピュータシステム３０１０は、異なる構造を持つ多くの可能なコンピュータシステムの一例であることが理解されるであろう。典型的なコンピュータシステムは、通常は、少なくともプロセッサ、メモリ及びプロセッサとメモリを接続するバスを備えるであろう。マルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ及びそれに類似したものを含むその他のコンピュータシステムの構成を用いて、本発明を実施できることを、本分野の当業者は、直ちに理解するであろう。本発明は又、通信ネットワークを介して接続された遠隔にあるプロセッシングデバイスによって、タスクを実行する、分散型計算環境によって、実施することが可能である。
【００９４】
不規則で空間的にサブサンプルされる画像に対するフィルタによる影響を受ける適応領域を記載した。ここに特定の実施形態が説明され、記載されたが、本分野における当業者は、同様の目的を達成するために計算されたいずれの変更形態に、ここに示された特定の実施形態から置き換えてもよいことを理解できるであろう。本出願は、本発明のいずれの適用、又は、変更をも含むことを意図されている。
【符号の説明】
【００９５】
１００ 画像データ
１０５ 適応発生器
１１０ 拡大縮小した画像データ
１１５ 圧縮した画像データ
１２０ ディスプレイデバイス
１２５ 送信デバイス
１５０ サブサンプリング方法
１７０ サンプルの移動処理
１７５ サンプルの除去処理
１９０ 入力器
１９１ 適応発生器
１９２ 出力ディスプレイデバイス
１９３ 出力送信デバイス
２００ パターン状態
２１５ パターン状態
２２０ サンプル位置
２２５ サンプル
２３０ パターン状態
２３５ サンプル位置
３００ サンプル行
３０５ サンプル列
４００ サンプル群
４０５ サンプル群
５００ サンプル移動方法
５０５ サンプルセット
５１０ サンプルの移動ループ
６００ パターン状態
６０５ サンプル
６１０ パターン
６１５ サンプル位置
６２０ パターン状態
６２５ サンプル位置
７００ サンプルの除去方法
７１５ サンプルの除去ループ
８００ サンプルの除去ループ
９００ サンプルの密度方法
１０００ パターン状態
１００５ サンプル
１０１０ パターン状態
１０１５ 位置
１０２０ パターン状態
１０２５ サンプル位置
１１００ サンプルレベル変更方法
１２５０ 変化ループ
１２５５ サンプルレベル変更ループ
１３０５ ピクセル
１３１０ サンプル
１４０５ サンプル
１４１０ ピクセル
１５００ フィルタ方法
１５１０ セル及びフィルタの構築法右方
１６０５ サンプル
１６１０ サンプルセルの境界
１６１５ サンプルセルの境界
１７００ 最初のサンプルセルの構築方法
１８１５ サンプル
１８２０ セルの境界
１８２５ ピクセル
１９０５ サンプル
１９１０ ピクセル
１９２０ ピクセル
１９２５ 境界
１９３０ サンプル
１９３５ ピクセル
１９４０ サンプル
１９４５ サンプル
１９５０ ピクセル
１９５５ サンプルセルの境界
１９６０ サンプルセルの境界
１９６５ サンプル
２００５ サンプル
２０１０ ピクセル
２０１５ ピクセル
２０２０ サンプルセル
２１０５ オブジェクト
２１１０ オブジェクト
２１１５ オブジェクト
２１２０ オブジェクトの境界
２１２５ サンプル
２１３０ サンプル
２１４０ ピクセル
２２００ 複数のピクセルセルの構築方法
２３０５ サンプリングウインドウ
２３１０ ターゲットピクセル
２３１５ サンプルウインドウ
２３２０ ターゲットピクセル
２３２５ サンプルウインドウ
２３３０ ターゲットピクセル
２３３５ ピクセルウインドウ
２３４０ ターゲットピクセル
２３４２ ピクセル
２３４５ ピクセルウインドウ
２３５０ ターゲットピクセル
２３５５ ピクセルウインドウ
２３６０ ターゲットピクセル
２３６２ サンプルセル
２３６４ ピクセル
２３６５ ピクセルウインドウ
２３７０ ターゲットピクセル
２４０５ ターゲットピクセル
２４２０ 矢印
２４１５ ターゲットピクセル
２４２０ 矢印
２４２５ サンプル
２４３０ ターゲットピクセル
２４３５ ピクセルセル
２４４０ ピクセルセル
２４４５ ターゲットピクセル
２４５０ ピクセルセル
２４６０ オブジェクトの境界
２５０５ ターゲットピクセル
２５１０ サンプル
２５１５ サンプル
２５２０ ピクセル
２５２５ サンプル
２５３０ ピクセルセル
２５３５ サンプル
２５５０ ピクセル
２５５５ サンプル
２５６０ ピクセル
２６００ タップの拡張の計算
２６２０ ターゲットピクセル
２６２５ サンプル
２６３０ サンプル
２６５０ サンプル
２７０５ ターゲットピクセル
２７１０ ピクセルセル
２７１５ ピクセルセル
２７２０ ターゲットピクセル
２７２５ ピクセルセル
２７３０ ピクセルセル
２７４０ ピクセルセル
２７４５ 最初のセル
２７５０ 二番目のセル
２７５５ 三番目のセル
２８００ 局所的にセルの形状を変化させる方法
２９０５ セル
２９１０ セル
３００１ サーバコンピュータ
３００３ クライアントコンピュータ
３００５ インターネット
３００７ ＩＳＰ(Internet Service Provider)
３０１０ コンピュータシステム
３０２０ プロセッサ
３０２５ メモリ
３０３０ 入力／出力
３０３５ システムバス
【図１Ａ】
2010004527.tif 000082
【図１Ｂ】
2010004527.tif 000083
【図１Ｃ】
2010004527.tif 000084
【図２Ａ】
2010004527.tif 000085
【図２Ｂ】
2010004527.tif 000086
【図２Ｃ】
2010004527.tif 000087
【図３】
2010004527.tif 000088
【図４】
2010004527.tif 000089
【図５】
2010004527.tif 000090
【図６Ａ】
2010004527.tif 000091
【図６Ｂ】
2010004527.tif 000092
【図６Ｃ】
2010004527.tif 000093
【図７】
2010004527.tif 000094
【図８】
2010004527.tif 000095
【図９】
2010004527.tif 000096
【図１０Ａ】
2010004527.tif 000097
【図１０Ｂ】
2010004527.tif 000098
【図１０Ｃ】
2010004527.tif 000099
【図１１】
2010004527.tif 000100
【図１２】
2010004527.tif 000101
【図１３】
2010004527.tif 000102
【図１４】
2010004527.tif 000103
【図１５】
2010004527.tif 000104
【図１６】
2010004527.tif 000105
【図１７】
2010004527.tif 000106
【図１８】
2010004527.tif 000107
【図１９Ａ】
2010004527.tif 000108
【図１９Ｂ】
2010004527.tif 000109
【図１９Ｃ】
2010004527.tif 000110
【図２０】
2010004527.tif 000111
【図２１Ａ】
2010004527.tif 000112
【図２１Ｂ】
2010004527.tif 000113
【図２２】
2010004527.tif 000114
【図２３Ａ】
2010004527.tif 000115
【図２３Ｂ】
2010004527.tif 000116
【図２３Ｃ】
2010004527.tif 000117
【図２３Ｄ】
2010004527.tif 000118
【図２３Ｅ】
2010004527.tif 000119
【図２３Ｆ】
2010004527.tif 000120
【図２３Ｇ】
2010004527.tif 000121
【図２４Ａ】
2010004527.tif 000122
【図２４Ｂ】
2010004527.tif 000123
【図２４Ｃ】
2010004527.tif 000124
【図２４Ｄ】
2010004527.tif 000125
【図２５】
2010004527.tif 000126
【図２６Ａ】
2010004527.tif 000127
【図２６Ｂ】
2010004527.tif 000128
【図２７Ａ】
2010004527.tif 000129
【図２７Ｂ】
2010004527.tif 000130
【図２７Ｃ】
2010004527.tif 000131
【図２８】
2010004527.tif 000132
【図２９Ａ】
2010004527.tif 000133
【図２９Ｂ】
2010004527.tif 000134
【図３０Ａ】
2010004527.tif 000135
【図３０Ｂ】
2010004527.tif 000136
【外国語明細書】
2010004527.tif 000137
2010004527.tif 000138
2010004527.tif 000139
2010004527.tif 000140
2010004527.tif 000141
2010004527.tif 000142
2010004527.tif 000143
2010004527.tif 000144
2010004527.tif 000145
2010004527.tif 000146
2010004527.tif 000147
2010004527.tif 000148
2010004527.tif 000149
2010004527.tif 000150
2010004527.tif 000151
2010004527.tif 000152
2010004527.tif 000153
2010004527.tif 000154
2010004527.tif 000155
2010004527.tif 000156
2010004527.tif 000157
2010004527.tif 000158
2010004527.tif 000159
2010004527.tif 000160
2010004527.tif 000161
2010004527.tif 000162
2010004527.tif 000163
2010004527.tif 000164
2010004527.tif 000165
2010004527.tif 000166
2010004527.tif 000167
2010004527.tif 000168
2010004527.tif 000169
2010004527.tif 000170
2010004527.tif 000171
2010004527.tif 000172
2010004527.tif 000173
2010004527.tif 000174
2010004527.tif 000175
2010004527.tif 000176
2010004527.tif 000177
2010004527.tif 000178
2010004527.tif 000179
2010004527.tif 000180
2010004527.tif 000181
2010004527.tif 000182
2010004527.tif 000183
2010004527.tif 000184
2010004527.tif 000185
2010004527.tif 000186
2010004527.tif 000187
2010004527.tif 000188
2010004527.tif 000189
2010004527.tif 000190
2010004527.tif 000191
2010004527.tif 000192
2010004527.tif 000193
2010004527.tif 000194
2010004527.tif 000195
2010004527.tif 000196
2010004527.tif 000197
2010004527.tif 000198
2010004527.tif 000199
2010004527.tif 000200
2010004527.tif 000201
2010004527.tif 000202
2010004527.tif 000203
2010004527.tif 000204
2010004527.tif 000205
2010004527.tif 000206
2010004527.tif 000207
2010004527.tif 000208
2010004527.tif 000209
2010004527.tif 000210
2010004527.tif 000211
2010004527.tif 000212
2010004527.tif 000213
2010004527.tif 000214
2010004527.tif 000215
2010004527.tif 000216
2010004527.tif 000217
2010004527.tif 000218