(57)【要約】【課題】従来技術の中に存在している、非局所的超解像再構成された画像の解像度が低い問題を解決すべく、本発明は、デジタル画像補強技術分野に属し、特に非局所的超解像度の再構成の方法及び装置に関する。【解決手段】本発明の実施例の方法において、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定し、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおける各画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定し、各画素ブロックの類似度の値に基づいて、各画素ブロックの最適化された中心画素値をそれぞれ特定する。本発明の実施例を採用することにより、非局所的超解像再構成された画像の解像度を向上させることが可能である。【選択図】図１
2015502120.tif 000002
【特許請求の範囲】
【請求項１】
再構成すべき各フレームの画像に対して補間処理を行い、各フレームの画像を複数の同じ大きさのマクロブロックに分割し、
各フレームの画像におけるそれぞれのマクロブロックに対して、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する操作を行い、
各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定し、
各フレームの画像におけるそれぞれの画素ブロックに対して、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する操作を行い、
それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定することを特徴とする非局所的超解像再構成の方法。
【請求項２】
現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置の特定において、
現在のマクロブロックから他の各フレームの画像への動きベクトルをそれぞれ特定し、
1フレームの画像に対して、特定された現在のマクロブロックから当該1フレームの画像への動きベクトルを、現在のマクロブロックの当該1フレームの画像における検索ウィンドウの動きベクトルとすると共に、検索ウィンドウの位置を再位置決めすることを特徴とする請求項1に記載の方法。
【請求項３】
下記式、即ち、
2015502120.tif 000009
2015502120.tif 000010
（式中、現在のマクロブロックが第mフレームの画像に位置する；A1は現在のマクロブロックから第nフレームの画像への動きベクトルである；Aiは現在のマクロブロックの第i−1フレームの画像上に対応するマクロブロックから第iフレームの画像への動きベクトルである；A2は現在のマクロブロックから第xフレームの画像への動きベクトルである；Ajは現在のマクロブロックの第j＋1フレームの画像上に対応するマクロブロックから第jフレームの画像への動きベクトルである）に基づいて、現在のマクロブロックから他の各フレームの画像への動きベクトルを特定することを特徴とする請求項2に記載の方法。
【請求項４】
下記のステップによりAiを特定し、即ち、
現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAiを取得し、
下記のステップによりAjを特定し、即ち、
現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAjを取得することを特徴とする請求項3に記載の方法。
【請求項５】
現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックの初期予測ベクトルの特定において、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像でなければ、前フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルの特定において、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像でなければ、後フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとすることを特徴とする請求項4に記載の方法。
【請求項６】
検索ウィンドウにおける各画素ブロックと現在の画素ブロックの類似度の値の特定において、
検索ウィンドウにおける各画素ブロックと現在の画素ブロックの局所的構造記述子及び局所的輝度記述子をそれぞれ特定し、
特定された局所的構造記述子及び局所的輝度記述子に基づいて正規化された類似度の総合数値を特定し、
特定された局所的構造記述子、局所的輝度記述子及び正規化された類似度の総合数値に基づいて、検索ウィンドウにおける各画素ブロックと現在の画素ブロックとの類似度の値をそれぞれ特定することを特徴とする請求項1に記載の方法。
【請求項７】
下記式、即ち、
2015502120.tif 000011
に基づいて正規化された類似度の総合数値を特定し、
2015502120.tif 000012
（式中、C(k,l)は正規化された類似度の総合数値であり、W(k,l,i,j)は画素点(k,l) に対応する画素ブロックと、画素点(i,j)に対応する画素ブロックの類似度の値であり、kは現在の画素ブロックに対応する画素点の横座標であり、lは現在の画素ブロックに対応する画素点の縦座標であり、 iは他の画素ブロックに対応する画素点の横座標であり、 jは他の画素ブロックに対応する画素点の縦座標であり、rは半径であり、P(i,j,r)は他の画素ブロックの局所的構造記述子であり、P(k,l,r)は現在の画素ブロックの局所的構造記述子であり、I(i,j,r)は他の画素ブロックの局所的な輝度記述子であり、I(k,l,r)は現在の画素ブロックの局所的輝度記述子であり、σ１は局所的構造記述子に対応する重み付け値であり、σ２は局所的輝度記述子に対応する重み付け値であり、N(k,l)は(k,l)の近傍である）に基づいて類似度の値を特定することを特徴とする請求項6に記載の方法。
【請求項８】
前記局所的構造記述子に対応する重み付け値は、下記式、
2015502120.tif 000013
（式中、σ0は初期値であり、Lは区分関数の長さである）に基づいて特定されていることを特徴とする請求項7に記載の方法。
【請求項９】
現在の画素ブロックの最適化された中心画素値の特定において、
1つの画素ブロックに対して、それぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれに重み付け値とし、それぞれの画素ブロックの最適化される前の中心画素値を重み付けして平均値を求め、現在の画素ブロックの最適化された中心画素値を得ることを特徴とする請求項1〜8の何れか1項に記載の方法。
【請求項１０】
再構成すべき各フレームの画像に対して補間処理を行い、各フレームの画像を複数の同じ大きさのマクロブロックに分割する第1の処理モジュールと、
各フレームの画像におけるそれぞれのマクロブロックに対して、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する操作を行う位置特定モジュールと、
各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定する第2の処理モジュールと、
各フレームの画像におけるそれぞれの画素ブロックに対して、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する操作を行う類似度特定モジュールと、
それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定する画素値特定モジュールと、
を備えることを特徴とする非局所的超解像再構成の装置。
【請求項１１】
前記位置特定モジュールは、具体的に、
現在のマクロブロックから他の各フレームの画像への動きベクトルを特定し、
1フレームの画像に対して、特定された現在のマクロブロックから当該1フレームの画像への動きベクトルを、現在のマクロブロックの当該1フレームの画像における検索ウィンドウの動きベクトルとすると共に、検索ウィンドウの位置を再位置決めすることを特徴とする請求項10に記載の装置。
【請求項１２】
前記位置特定モジュールは、下記式、即ち、
2015502120.tif 000014
2015502120.tif 000015
（式中、現在のマクロブロックが第mフレームの画像に位置する；A1は現在のマクロブロックから第nフレームの画像への動きベクトルである；Aiは現在のマクロブロックの第i−1フレームの画像上に対応するマクロブロックから第iフレームの画像への動きベクトルである；A2は現在のマクロブロックから第xフレームの画像への動きベクトルである；Ajは現在のマクロブロックの第j＋1フレームの画像上に対応するマクロブロックから第jフレームの画像への動きベクトルである）に基づいて、現在のマクロブロックから他の各フレームの画像への動きベクトルを特定することを特徴とする請求項11に記載の装置。
【請求項１３】
前記位置特定モジュールは、具体的に、
現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAiを取得し、
現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAjを取得することを特徴とする請求項12に記載の装置。
【請求項１４】
前記位置特定モジュールは、具体的に、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像でなければ、前フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルの特定において、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像でなければ、後フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとすることを特徴とする請求項13に記載の装置。
【請求項１５】
前記類似度特定モジュールは、具体的に、
検索ウィンドウにおける各画素ブロックと現在の画素ブロックの局所的構造記述子及び局所的輝度記述子をそれぞれ特定し、特定された局所的構造記述子及び局所的輝度記述子に基づいて正規化された類似度の総合数値を特定し、特定された局所的構造記述子、局所的輝度記述子及び正規化された類似度の総合数値に基づいて、検索ウィンドウにおける各画素ブロックと現在の画素ブロックとの類似度の値をそれぞれ特定することを特徴とする請求項10に記載の装置。
【請求項１６】
前記画素値特定モジュールは、具体的に、
1つの画素ブロックに対して、それぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれに重み付け値とし、それぞれの画素ブロックの最適化される前の中心画素値を重み付けして平均値を求め、現在の画素ブロックの最適化された中心画素値を得ることを特徴とする請求項10〜15の何れか1項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像補強の技術分野に関し、特に非局所的超解像再構成の方法及び装置に関する。
【背景技術】
【０００２】
マルチフレームの超解像再構成（Super-Resolution Image Reconstruction）の目標は、一連の低解像度画像を融合して1枚の高解像度画像に生成することである。副画素のオフセットが存在しているので、低解像度画像の間に、幾つかの相補的な情報が含まれている。これら画像間のオフセットを知っておけば、これらの低解像度の画像を融合してジャギーを除去して高解像度画像を生成することが可能となる。
【０００３】
従来のマルチフレーム融合算出法では、各々の低解像度画像間のオフセットを知る必要があった。従って、精確な動き推定は、従来のマルチフレームの融合では決定的な役割を果たしている。動き推定が誤ったら、ひどい歪みが生じてしまう。動き推定を回避するために、動き推定を必須としない超解像度方法が現れてきた。この算出法では、ブロックの間の類似度を計測し、重み付けにより中心画素値を算出する。しかし、当該算出法は平行移動の場合しか考慮していない。ところが、自然な動画では、常に複雑な動きが含まれており、更には、1フレーム内で、あるテクスチャーも回転するから、非局所的算出法により見つけることのできる相似ブロックの数が減ってしまう。非局所的超解像再構成又は非局所的雑音除去の算出法に基づいて、適応型パラメータ選択と変性しない類似度測度という2種類の改善案が提案されている。
【０００４】
適応型パラメータ選択は、ブロックの大きさ及び検索ウィンドウの大きさと非局所的方法の性能との間の関係を検討することによって、これらのパラメータを適応的に選択する。しかし、当該算出法の移動ウィンドウポリシーは画素に基づくものであり、かつ局所的最適化に拘りやすいので、再構成された画像の解像度を低下させてしまう。
【０００５】
上述のように、従来の、非局所的超解像再構成された画像の解像度が低かった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施例に提供される非局所的超解像再構成の方法及び装置は、従来技術の中に存在している、非局所的超解像再構成された画像の解像度が低かった問題を解決するためになされたものである。
【課題を解決するための手段】
【０００７】
本発明の実施例に提供される非局所的超解像再構成の方法において、
再構成すべき各フレームの画像に対して補間処理を行い、各フレームの画像を複数の同じ大きさのマクロブロックに分割し、
各フレームの画像におけるそれぞれのマクロブロックに対して、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する操作を行い、
各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定し、
各フレームの画像におけるそれぞれの画素ブロックに対して、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する操作を行い、
それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定する。
【０００８】
好ましくは、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置の特定において、
現在のマクロブロックから他の各フレームの画像への動きベクトルをそれぞれ特定し、
1フレームの画像に対して、特定された現在のマクロブロックから当該1フレームの画像への動きベクトルを、現在のマクロブロックの当該1フレームの画像における検索ウィンドウの動きベクトルとすると共に、検索ウィンドウの位置を再位置決めする。
【０００９】
好ましくは、検索ウィンドウにおける各画素ブロックと現在の画素ブロックの類似度の値の特定において、
検索ウィンドウにおける各画素ブロックと現在の画素ブロックの局所的構造記述子及び局所的輝度記述子をそれぞれ特定し、
特定された局所的構造記述子及び局所的輝度記述子に基づいて正規化された類似度の総合数値を特定し、
特定された局所的構造記述子、局所的輝度記述子及び正規化された類似度の総合数値に基づいて、検索ウィンドウにおける各画素ブロックと現在の画素ブロックとの類似度の値をそれぞれ特定する。
【００１０】
好ましくは、現在の画素ブロックの最適化された中心画素値の特定において、
1つの画素ブロックに対して、それぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれに重み付け値とし、それぞれの画素ブロックの最適化される前の中心画素値を重み付けして平均値を求め、現在の画素ブロックの最適化された中心画素値を得る。
【００１１】
本発明の実施例に提供される非局所的超解像再構成の装置は、
再構成すべき各フレームの画像に対して補間処理を行い、各フレームの画像を複数の同じ大きさのマクロブロックに分割する第1の処理モジュールと、
各フレームの画像におけるそれぞれのマクロブロックに対して、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する操作を行う位置特定モジュールと、
各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定する第2の処理モジュールと、
各フレームの画像におけるそれぞれの画素ブロックに対して、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する操作を行う類似度特定モジュールと、
それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定する画素値特定モジュールとを備える。
【００１２】
好ましくは、前記位置特定モジュールは、現在のマクロブロックから他の各フレームの画像への動きベクトルを特定し、
1フレームの画像に対して、特定された現在のマクロブロックから当該1フレームの画像への動きベクトルを、現在のマクロブロックの当該1フレームの画像における検索ウィンドウの動きベクトルとすると共に、検索ウィンドウの位置を再位置決めする。
【００１３】
好ましくは、前記類似度特定モジュールは、検索ウィンドウにおける各画素ブロックと現在の画素ブロックの局所的構造記述子及び局所的輝度記述子をそれぞれ特定し、特定された局所的構造記述子及び局所的輝度記述子に基づいて正規化された類似度の総合数値を特定し、特定された局所的構造記述子、局所的輝度記述子及び正規化された類似度の総合数値に基づいて、検索ウィンドウにおける各画素ブロックと現在の画素ブロックとの類似度の値をそれぞれ特定する
【００１４】
好ましくは、1つの画素ブロックに対して、前記画素値特定モジュールは、それぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれに重み付け値とし、それぞれの画素ブロックの最適化される前の中心画素値を重み付けして平均値を求め、現在の画素ブロックの最適化された中心画素値を得る。
【００１５】
現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおける各画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定し、各画素ブロックの類似度の値に基づいて、各画素ブロックの最適化された中心画素値をそれぞれ特定することにより、非局所的超解像再構成された画像の解像度を向上させ、非局所的超解像算出法によるブロック歪みをさらに解消することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施例における非局所的超解像再構成の方法のプロセス概略図である。
【図２】本発明の実施例における非局所的超解像再構成の装置の構造概略図である。
【発明を実施するための形態】
【００１７】
本発明の実施例では、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する。各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定する。現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する。それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定する。現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定すると共に、それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定するため、非局所的超解像再構成された画像の解像度を向上させている。
【００１８】
以下で、明細書の添付図面に基づいて本発明の実施例を更に詳しく説明する。
【００１９】
図1に示すように、本発明の実施例における非局所的超解像再構成の方法は下記のステップを含み、
ステップ101：再構成すべき各フレームの画像に対して補間処理を行い、各フレームの画像を複数の同じ大きさのマクロブロックに分割する；
ステップ102：各フレームの画像におけるそれぞれのマクロブロックに対して、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する操作を行う；
ステップ103：各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定する；
ステップ104：各フレームの画像におけるそれぞれの画素ブロックに対して、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する操作を行う；
ステップ105：それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定する。
【００２０】
好ましくは、ステップ101では、まず、空域補間法により、再構成する必要のある全ての各フレームの低解像度画像に画素数を挿入して必要な高解像度を生成する。例えば、再構成すべき低解像度画像が640×320であり、必要な高解像度が800×600である場合に、空域補間法により、640×320の画像上に画素数を挿入して800×600となる。
【００２１】
各フレームの画像を複数の同じ大きさのマクロブロックに分割し、例えば16×16個のマクロブロックに分割する。具体的にどれぐらいのマクロブロックに分割するかは、必要や経験に応じて設定し得る。
その後、それぞれのマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する必要がある。
【００２２】
実施中では、それぞれのマクロブロックの処理方式が同じである。以下で、1つのマクロブロックについて例を挙げて説明する。他のマクロブロックと区別するように、現在に処理を行っているマクロブロックが現在のマクロブロックと呼ばれる。
【００２３】
好ましくは、ステップ102では、マクロブロックによる検索を利用して、現在のマクロブロックの他の画像における検索ウィンドウの位置を再位置決めする。
具体的には、現在のマクロブロックから他の各フレームの画像への動きベクトルをそれぞれ特定する。
1フレームの画像に対して、特定された現在のマクロブロックから当該1フレームの画像への動きベクトルを、現在のマクロブロックの当該1フレームの画像における検索ウィンドウの動きベクトルとすると共に、検索ウィンドウの位置を再位置決めする。
【００２４】
実施中では、下記式一又は式二、即ち、
2015502120.tif 000003
2015502120.tif 000004
（式中、現在のマクロブロックが第mフレームの画像に位置する；A1は現在のマクロブロックから第nフレームの画像への動きベクトルである；Aiは現在のマクロブロックの第i−1フレームの画像上に対応するマクロブロックから第iフレームの画像への動きベクトルである；A2は現在のマクロブロックから第xフレームの画像への動きベクトルである；Ajは、現在のマクロブロックの第j＋1フレームの画像上に対応するマクロブロックから第jフレームの画像への動きベクトルである）に基づいて、現在のマクロブロックから他の各フレームの画像への動きベクトルを特定することができる。
【００２５】
式一は、現在のマクロブロックから、それ自身が属するフレーム画像の後の各フレーム画像への動きベクトルを特定するものである。式二は、現在のマクロブロックから、それ自身が属するフレーム画像の前の各フレーム画像への動きベクトルを特定するものである。
【００２６】
好ましくは、ステップ102では、下記のステップによりAiを特定し、即ち、
現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAiを取得する。
【００２７】
好ましくは、ステップ102では、第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像でなければ、前フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとする。
【００２８】
好ましくは、ステップ102では、下記のステップによりAjを特定し、即ち、
現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAjを取得する。
【００２９】
好ましくは、ステップ102では、第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像でなければ、後フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとする。
【００３０】
以下で、第t0フレームの現在のマクロブロック（x，y）から第tフレーム（t>t0と仮定する）への動きベクトルを算出することを例として、本発明の動きベクトルの算出方法について詳細に説明する。
【００３１】
(dx,dy)を初期予測ベクトルとしたとき、 (x,y)は最も左側の1列にあるマクロブロックであれば、(dx,dy)の初期値をゼロベクトルとし、現在のマクロブロック (x,y)は最も左側の1列にあるマクロブロックでなければ、現在のマクロブロック (x,y) の左側に隣り合うマクロブロック（現在のマクロブロックと同一行にある）の動きベクトルを(dx,dy)の初期値とする。
【００３２】
(dx,dy)を初期予測ベクトルとし、第t0フレームの現在のマクロブロック (x,y)に対して適応型ルードパターンサーチを行い、現在のマクロブロック(x,y)から第t0＋1フレームへの動きベクトルを得る。その後、現在のマクロブロック (x,y)の第t0＋1フレーム上に対応するマクロブロックA（即ち、第t0＋1フレームの画像上であって、現在のマクロブロックの位置に、現在のマクロブロックから第t0＋1フレームへの動きベクトルを加算した位置でのマクロブロック）を検索すると共に、現在のマクロブロックの動きベクトルを、マクロブロックAの初期予測ベクトルとして（dx,dy)に付加し、引き続き適応型ルードパターンサーチを行い、マクロブロックAから第t0＋2フレームへの動きベクトルを得る。その後、マクロブロックAの第t0＋1フレーム上に対応するマクロブロックB（即ち、第t0＋2フレームの画像上であって、マクロブロックAの位置に、マクロブロックAから第t0＋2フレームへの動きベクトルを加算した位置でのマクロブロック）を検索すると共に、マクロブロックAの動きベクトルを、マクロブロックBの初期予測ベクトルとして（dx,dy)に付加し、引き続き適応型ルードパターンサーチを行い、マクロブロックBから第t0＋3フレームへの動きベクトルを得る。現在のマクロブロック（x,y）の第t-1フレーム上に対応するマクロブロックから、第tフレームへの動きベクトルを算出するまで、以上のように類推すればよい。最後に、あらゆる動きベクトルを加算して、第t0フレーム上の現在のマクロブロック（x,y）から第tフレームへの動きベクトルを最終的に得る。前記内容は式一を解釈するものである。
【００３３】
本発明の実施例のt<t0の場合の方式は、t> t0の場合の方式と類似するので、ここでは詳しく説明することを省く。
【００３４】
好ましくは、ステップ103では、再構成すべきフレームのそれぞれの画素に対して、画素を中心として設定された距離を半径とし、複数の画素ブロックを形成し、ここで、それぞれの画素ブロックはただ1つの画素点に対応しており、それぞれの画素ブロックの円心は当該画素ブロックに対応する画素点である。
【００３５】
それぞれの画素点に対応する画素ブロックを特定した後、各フレームの画像中のそれぞれの画素ブロックに対して、変性しない測度を回転することにより、各画像の検索ウィンドウにおけるそれぞれの画素ブロックと他のそれぞれの画素ブロックとの類似度を特定することができる。
【００３６】
検索ウィンドウの大きさ及び半径の長さは必要や経験に応じて設定し得る。例えば、半径を6画素と設定し、検索ウィンドウを（27×27）画素と設定してもよい。
【００３７】
好ましくは、本発明の実施例において、それぞれの画素ブロックに対して、局所的構造及び局所的輝度を用いて表現する。こうすると、それぞれの画素ブロックと他の画素ブロックとの類似度は、局所的構造及び局所的輝度で表示することができる。
【００３８】
実施中では、それぞれのマクロブロックの処理方式が同じである。以下で、1つのマクロブロックについて例を挙げて説明する。他のマクロブロックと区別するように、現在に処理を行っているマクロブロックが現在のマクロブロックと呼ばれる。
【００３９】
具体的には、ステップ104では、検索ウィンドウにおける各画素ブロックと現在の画素ブロックの局所的構造記述子及び局所的輝度記述子をそれぞれ特定し、
特定された局所的構造記述子及び局所的輝度記述子に基づいて正規化された類似度の総合数値を特定し、
特定された局所的構造記述子、局所的輝度記述子及び正規化された類似度の総合数値に基づいて、検索ウィンドウにおける各画素ブロックと現在の画素ブロックとの類似度の値をそれぞれ特定する。
【００４０】
ここで、画素ブロックが属するマクロブロックから各フレームへの動きベクトルを検索ウィンドウの動きベクトルとして、検索ウィンドウの位置を再位置決めすれば、検索ウィンドウにおけるそれぞれの画素ブロックを特定することができる。
【００４１】
本発明の実施例では、局所的構造はSIFT（Scale-invariant feature transform、スケール不変特徴変換）演算子により描画することができる。
局所的輝度は、下記式三、即ち、
2015502120.tif 000005
（式中、Y(i,j)は(i,j)位置における画素値である；It(k,l,r)は局所的輝度値であり、第t+1個の分量であり、この分量は、中心画素(k,l)とのマンハッタン距離がtであるあらゆる画素輝度の平均値である；meanは平均値の求めである；s.t.は「満足」の意味である；i,j,k,lは、前記式での意味と同じである）に基づいて特定可能である。
【００４２】
好ましくは、ステップ104では、現在の画素ブロックと検索ウィンドウにおけるそれぞれの画素ブロックとの類似度の値は、構造距離と輝度距離が変数であるガウス関数により表示可能である。
【００４３】
これに応じて、ステップ104では、下記式四、即ち、
2015502120.tif 000006
に基づいて正規化された類似度の総合数値を特定し、
これに応じて、ステップ104では、下記式五、即ち、
2015502120.tif 000007
（式中、C(k,l)は正規化された類似度の総合数値であり、W(k,l,i,j),は画素点(k,l) に対応する画素ブロックと、画素点(i,j)に対応する画素ブロックの類似度の値であり、kは現在の画素ブロックに対応する画素点の横座標であり、lは現在の画素ブロックに対応する画素点の縦座標であり、 iは他の画素ブロックに対応する画素点の横座標であり、 jは他の画素ブロックに対応する画素点の縦座標であり、rは半径であり、P(i,j,r)は他の画素ブロックの局所的構造記述子であり、P(k,l,r)は現在の画素ブロックの局所的構造記述子であり、I(i,j,r)は他の画素ブロックの局所的な輝度記述子であり、I(k,l,r)は現在の画素ブロックの局所的輝度記述子であり、σ１は局所的構造記述子に対応する重み付け値であり、σ２は局所的輝度記述子に対応する重み付け値であり、N(k,l)は(k,l)の近傍域である。ここで、（k,l）の各フレームにおける検索ウィンドウの総称はこの近傍域である）に基づいて類似度を特定する。
【００４４】
類似度の算出における局所的構造と輝度の重み付けのバランスが適応的にとれるように、好ましい処理方式は、σ２を固定させ、その後、現在の画素ブロックと検索ウィンドウにおけるそれぞれの画素ブロックとの最短距離に基づいてσ１を適応的に変化させることである。
【００４５】
局所的構造記述子に対応する重み付け値は、下記式六、即ち、
2015502120.tif 000008
（式中、σ0は初期値であり、経験によって設定でき、Lは区分関数の長さである）に基づいて特定されている。
【００４６】
好ましくは、ステップ105では、1つの画素ブロックに対して、それぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれに重み付け値とし、それぞれの画素ブロックの最適化される前の中心画素値を重み付けして平均値を求め、現在の画素ブロックの最適化された中心画素値を得る。
【００４７】
それぞれの画素ブロックの最適化された中心画素値を特定すれば、非局所的超解像再構成の技術案を実現することができる。
【００４８】
本発明の実施例において検索ウィンドウを再位置決めするとき、動きの時間及び空間での連続性が考慮されているため、マクロブロックの検索により局所的最適化に陥るリスクが効果的に低減されている。ブロックの類似度を計測するときに、SIFT演算子により局所的構造を描くと共に、適応型パラメータ選択により局所的構造と輝度の類似度計算における重み付けを両立させることによって、類似度計算の正確性をより一層高めている。
【００４９】
試験により比較した結果、本発明の実施例は、双三次補間法、非局所的超解像算出法に比べれば、より多くの細かいところまで回復されると共に、非局所的超解像算出法によるブロック歪みが解消されていることが分かった。同一の画像を同じ解像度に拡大した場合で行われたPSNRの対比において、本発明の実施例は28.61dBであり、双三次補間値は28.45dBであり、非局所的超解像算出法は27.81dBである。前記結果に基づいて明らかになるように、本発明の実施例の再構成結果が更に原図に近いものである。
【００５０】
同一の発明構想に基づいて、本発明の実施例はさらに非局所的超解像再構成の装置を提供する。当該装置により問題を解決する原理は、本発明の実施例における非局所的超解像再構成の方法と類似するので、当該装置の実施について、方法の実施を参照すればよい。ここでは詳しく説明することを省く。
【００５１】
図2に示すように、本発明の実施例における非局所的超解像再構成の装置は、第1の処理モジュール20と、位置特定モジュール21と、第2の処理モジュール22と、類似度特定モジュール23と画素値特定モジュール24とを備える。
【００５２】
第1の処理モジュール20は、再構成すべき各フレームの画像に対して補間処理を行い、各フレームの画像を複数の同じ大きさのマクロブロックに分割し、
位置特定モジュール21は、各フレームの画像におけるそれぞれのマクロブロックに対して、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する操作を行い、
第2の処理モジュール22は、各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定し、
類似度特定モジュール23は、各フレームの画像におけるそれぞれの画素ブロックに対して、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する操作を行い、
画素値特定モジュール24は、それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定する。
【００５３】
好ましくは、位置特定モジュール21は、現在のマクロブロックから他の各フレームの画像への動きベクトルをそれぞれ特定し、1フレームの画像に対して、特定された現在のマクロブロックから当該1フレームの画像への動きベクトルを、現在のマクロブロックの当該1フレームの画像における検索ウィンドウの動きベクトルとすると共に、検索ウィンドウの位置を再位置決めする。
【００５４】
好ましくは、位置特定モジュール21は、式一又は式二に基づいて現在のマクロブロックから他の各フレームの画像への動きベクトルを特定する。
【００５５】
好ましくは、位置特定モジュール21は、現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAiを取得し、現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAjを取得する。
【００５６】
好ましくは、第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、位置特定モジュール21は、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、位置特定モジュール21は、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像でなければ、位置特定モジュール21は、前フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、位置特定モジュール21は、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、位置特定モジュール21は、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像でなければ、位置特定モジュール21は、後フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとする。
【００５７】
好ましくは、類似度特定モジュール23は、検索ウィンドウにおける各画素ブロックと現在の画素ブロックの局所的構造記述子及び局所的輝度記述子をそれぞれ特定し、特定された局所的構造記述子及び局所的輝度記述子に基づいて正規化された類似度の総合数値を特定し、特定された局所的構造記述子、局所的輝度記述子及び正規化された類似度の総合数値に基づいて、検索ウィンドウにおける各画素ブロックと現在の画素ブロックとの類似度の値をそれぞれ特定する。
【００５８】
好ましくは、類似度特定モジュール23は、式四に基づいて、正規化された類似度の総合数値を特定する。
【００５９】
好ましくは、類似度特定モジュール23は、式五に基づいて、類似度を特定する。
【００６０】
好ましくは、類似度特定モジュール23は、式六に基づいて、局所的構造記述子に対応する重み付け値を特定する。
【００６１】
好ましくは、1つの画素ブロックに対して、画素値特定モジュール24は、それぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれに重み付け値とし、それぞれの画素ブロックの最適化される前の中心画素値を重み付けして平均値を求め、現在の画素ブロックの最適化された中心画素値を得る。
【００６２】
当業者であれば分かるように、本明細書の実施例を、方法、システム、またはコンピュータ・プログラム製品として具体化しても良い。したがって、本発明の実施形態は、完全なハードウェア実施形態、完全なソフトウェア実施形態、またはソフトウェアおよびハードウェア態様を組み合わせた実施形態という形を取っても良い。さらに、本発明は、コンピュータ利用可能なプログラム・コードが媒体中に具体化された任意の有形の表現媒体中に具体化されたコンピュータ・プログラム製品という形を取っても良い（磁気メモリ、CD-ROM、光学メモリなどを含むが、これらに限られるものではない）。
【００６３】
本発明の実施形態を、本発明の実施形態による方法、設備（システム）およびコンピュータ・プログラム製品のデータ・フロー説明図および／またはブロック図を参照して、本明細書で説明する。データ・フロー説明図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図内のブロックの組み合わせを、コンピュータ・プログラム命令によって実施することができる。これらのコンピュータ・プログラム命令を、多目的コンピュータ、専用コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに送って、マシンの生成を、フローチャートおよび／またはブロック図ブロック内で特定される機能／行為を実施するための手段が命令（コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される）によって形成されるように、行なっても良い。
【００６４】
またこれらのコンピュータ・プログラム命令を、コンピュータまたは他のプログラマブル・データ処理装置に特定の方法で機能するように命令を出すことができるコンピュータ読取可能媒体に記憶して、フローチャートおよび／またはブロック図ブロック内で特定される機能／行為を実施する命令手段を含む製造品がコンピュータ読取可能媒体に記憶された命令によって形成されるようにしても良い。
【００６５】
またコンピュータ・プログラム命令をコンピュータまたは他のプログラマブル・データ処理装置上にロードして、一連の動作ステップをコンピュータまたは他のプログラマブル設備上で実行させてコンピュータ実施処理を形成して、フローチャートおよび／またはブロック図ブロック内で特定される機能／行為を実施するための処理がコンピュータまたは他のプログラマブル設備上で実行される命令によって実現されるようにしても良い。
【００６６】
開示された実施形態及びその他の実施形態と当該明細書に描画されている機能的操作はデジタル回路または当該明細書に開示された構造及び構造同等物であるコンピュータソフトウェア、ファームウェア又はハードウェアにより実施するか、或いはこれらのうちの1つ又は複数の組み合わせにより実施することができる。データ処理装置によりその操作を実行又は制御するように、開示された実施形態及びその他の実施形態は1つ又は複数のコンピュータプログラム製品として、即ち、コンピュータ読取可能な媒体にコードされるコンピュータプログラム命令の1つ又は複数のモジュールとして実施することができる。前記コンピュータ読取可能な媒体としては、機器読取可能な記憶デバイス、機器読取可能な記憶基板、メモリデバイス、機器読取可能な伝送信号に影響し得る合成物質又はこれらのうちの1つ又は複数からなる組み合わせが挙げられる。術語「データ処理装置」は、データを処理するためのあらゆる装置、デバイス及び機器、例えばプログラム可能なプロセッサ、コンピュータ、複数のプロセッサ又はコンピュータを含む。ハードウェアを除き、前記装置は、検討されるコンピュータプログラムの実行環境を作成するコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム及び操作システム又はこれらのうちの1つ又は複数からなる組み合わせを構成するコードをさらに含む。伝送信号は人工に生成された信号であり、例えば機器により生成された電気、光又は電磁信号が挙げられ、情報をコードして適当な受信機装置に伝送するために生成されたものである。
【００６７】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト又はコードとも言われる）は、コンバイル言語又は解釈性言語を含め、任意の形式のプログラム言語で書き込むことができ、かつ独立プログラムとするか、或いはモジュール、コンポーネント、サブルーチン又はコンピュータ環境下での使用に適するほかの手段とする形式を含め、任意の形式で配置されている。コンピュータプログラムはファイルシステム中のファイルに対応する必要がない。プログラムは、他のプログラム又はデータ（例えば、標記言語文書に記憶されている1つ又は複数のスクリプト）を格納するファイルの一部、検討されるプログラムに用いられる単一のファイル、又は複数の協同ファイル（例えば、1つ又は複数のモジュール、サブルーチン又はコードを記憶するファイル）に記憶されている。コンピュータプログラムは1つのコンピュータ、或いは、1つの地点に位置するか又は複数の地点に分布しかつ通信ネットワークを経由して互いに接続されている複数のコンピュータにより実行可能である。
【００６８】
当該明細書に描画されている処理及びロジックプロセスは、1つ又は複数のコンピュータを実行して入力データを操作すると共に出力を生成して機能を実行する1つ又は複数のプログラム可能なプロセッサにより実行される。前記処理及びロジックプロセスは、さらに、例えばFPGA（フィールド・プログラマブル・ゲート・アレイ）及びASIC（専用集成回路）のような特別な機能を有するロジック回路により実行され、かつ装置は前記特別な機能を有するロジック回路として実現することもできる。
【００６９】
例示として、コンピュータプログラムの実行に適するプロセッサは、通用及び特別な用途を有するマイクロプロセッサ、及び任意の類型のデジタルコンピュータのいずれか1つ又は複数のプロセッサを含む。通常に、プロセッサは読み取り専用のメモリまたはランダムアクセスメモリ或いはこの両者から指令及びデータを受信する。コンピュータの基本的な素子は、指令を実行するプロセッサと、記憶指令及びデータを格納する1つ以上のメモリデバイスである。通常に、コンピュータはさらにデータを記憶するための1つ以上の大容量記憶デバイス、例えば磁気、磁気−光ディスク又はディスクを、前記1つ以上の大容量記憶デバイスに操作可能に結合してその中からデータを受信するか、或いはこれにデータを送信する。コンピュータプログラムの指令及びデータを記憶するコンピュータ読取可能な媒体は、あらゆる形式の不揮発性メモリ、媒体及びメモリデバイスを含み、例えば半導体メモリデバイスと、EPROM、EEPROM及びキャッシュデバイス：磁気ディスク、例えば内部ハードディスク又は移動可能なディスク：磁気−光ディスク、及びCD−ROM及びDVD−ROMディスクを含む。前記プロセッサ及びメモリは特別な用途を有するロジック回路を追加とするか、或いはその中に結合することができる。
【００７０】
ユーザとのインタラクションを提供するために、開示された実施例はコンピュータ上で実施することができる。前記コンピュータは、ユーザに情報を表示するCRT（陰極線管）又はLCD（液晶表示器）モニターのような表示デバイス及びキーボードとマウス又は軌跡ボールのような指示デバイスを有する。ユーザはこれを利用してコンピュータに入力を提供することができる。他の類型のデバイスを使用してユーザとのインタラクションを提供することもできる。例えば、ユーザに提供されるフィードバックは任意の形式の感応フィードバック、例えば視覚フィードバック、聴覚フィードバック又は触覚フィードバックであってもよく、かつユーザからの入力、例えば音、音声又はタッチ入力は任意の形式で受信することができる。
【００７１】
開示された実施例は、例えばデータサーバであるバックエンドコンポーネント、又はアプリケーションサーバであるミドルコンポーネント、またはクライアントコンピュータであるフロントエンドコンポーネント、又は1つ以上のこのようなバックエンド、ミドル又はフロントエンドコンポーネントの任意の組み合わせを含むコンピュータシステムで実施することができる。前記クライアントコンピュータはグラフィカル・ユーザー・インターフェース又はウェブブラウザを有し、ユーザはこれを経由してここで開示された実施形態とインタラクションを行うことができる。前記システムのコンポーネントは任意の形式、又は例えば通信ネットワークのデジタルデータ通信媒体により互いに接続することができる。通信ネットワークの例示はローカルエリアネットワーク（LAN）及びワールドエリアネットワーク（WAN）、例えばインタネットを含む。
【００７２】
開示された実施例を実施するためのシステムは、クライアントコンピュータ（クライアント）とサーバコンピュータ（サーバ）を含む。クライアント及びサーバは通常に互いに離間し、かつ典型的に通信ネットワークを介してインタラクションを行う。クライアントとサーバの関係は各々のコンピュータで運行しかつ互いにクラインと、サーバ関係を有するコンピュータプログラムにより発生可能である。
【００７３】
当該明細書は複数の特定の内容を含むが、これらは任意の発明又は要求される範囲の制限を構成せず、特定の実施例の特定の特徴の描画として使用される。本明細書では、単独の実施例の環境下で描画される幾つかの特徴はさらに単独の実施例で組み合わせて実施することができる。逆に、単独の実施例の環境下で描画されている様々な特徴は、分散する形で、或いは任意の適当なサブ組み合わせで複数の実施例において実施することもできる。また、以上で、特徴がある組み合わせで機能し、更には最初にこのように要求されるが、要求される組み合わせの1つ又は複数の特徴がある状況下で前記組み合わせから削除され、かつ要求される組み合わせがサブ組み合わせに指向する変化形式に描画することができる。
【００７４】
これと類似するように、操作は図面で特定の順序で描画されているが、示される特定の順序又は連続の順序でこれらの操作を実行するか、またはあらゆる図示される操作を実行することにより必要な結果を実現することが要求されるものとして理解すべきではない。ある状況下で、マルチタスク及び並行処理は有利である。また、以上で描画されている実施例における様々なシステムコンポーネントの離間は、あらゆる実施例でこのような離間を行うことが要求されると理解すべきではない。かつ、描画されているプログラムコンポーネントとシステムは通常に単独のソフトウェア製品中で1つに集成するか、或いは複数のソフトウェアにパッケージすることができる。
【００７５】
このように、特定の実施例が描画されている。他の実施例は添付される請求項の範囲内に該当する。
【００７６】
本出願の最適な実施例が描画されているが、当業者は一旦基本的な進歩性の概念を知ったら、これらの実施例を別の変更や補正を行うことができる。そのため、添付される請求項は、最適な実施例及び本願の範囲に該当するあらゆる変更や補正を含むことが意図されている。
【００７７】
本発明の精神及び範囲から逸脱しないかぎり、当業者は本発明に対して様々な変更や変形を行うことができるのが明らかである。これらの変更や変形は本発明の特許請求の範囲及び均等的な範囲に該当すれば、本発明の範囲内に含まれる。
【図１】
2015502120.tif 000016
【図２】
2015502120.tif 000017
【国際調査報告】
2015502120.tif 000018
2015502120.tif 000019
2015502120.tif 000020
2015502120.tif 000021
2015502120.tif 000022
2015502120.tif 000023