(57)【要約】      （修正有）【課題】動画像のフレーム間の動きベクトルを補正する動きベクトル補正装置を提供する。【解決手段】動きベクトル補正部（動きベクトル補正装置）１２は、動画像における所定の単位ブロック毎に検出された動きベクトルｖに対して、四分位平均ベクトル算出部２２によって、補正対象ベクトルｖｔの周辺ベクトルｖｎの内から偏差の大きい不正ベクトルを除外した四分位平均ベクトルｖｑを算出する。そして、補正処理部２３によって、補正対象ベクトルｖｔと四分位平均ベクトルｖｑとの差分の絶対値が所定の値ｔｈｒ１よりも大きい場合は、四分位平均ベクトルｖｑを選択し、差分の絶対値が所定の値ｔｈｒ１以下の場合は、補正対象ベクトルｖｔを選択し、補正ベクトルｖｃｒｒとして出力する。【選択図】図２
2008124956.tif 000002
【特許請求の範囲】
【請求項１】
動画像における所定の単位領域毎に検出された動きベクトルを補正する動きベクトル補正装置であって、
補正対象の動きベクトルである補正対象ベクトルが検出された前記単位領域の周辺の単位領域において検出された動きベクトルである周辺ベクトルにおいて、所定の基準に基づいて、当該周辺ベクトルの内で偏差の大きなベクトルを除外して、前記周辺ベクトルの平均ベクトルを算出する平均ベクトル算出手段と、
前記補正対象ベクトルと前記平均ベクトルとの差分の絶対値が所定の値よりも大きい場合は、前記平均ベクトルを選択し、前記差分の絶対値が前記所定の値以下の場合は、前記補正対象ベクトルを選択し、前記補正対象ベクトルが検出された単位領域における動きベクトルとする補正処理手段と、
を備えることを特徴とする動きベクトル補正装置。
【請求項２】
前記平均ベクトル算出手段は、前記周辺ベクトルの成分毎に、成分値の大きさが上位の４分の１及び下位の４分の１の成分値を除外して平均値を算出し、当該平均値を成分とするベクトルを前記平均ベクトルとすることを特徴とする請求項１に記載の動きベクトル補正装置。
【請求項３】
動画像における所定の単位領域毎に検出された動きベクトルを補正するために、コンピュータを、
補正対象の動きベクトルである補正対象ベクトルが検出された前記単位領域の周辺の単位領域において検出された動きベクトルである周辺ベクトルにおいて、所定の基準に基づいて、当該周辺ベクトルの内の偏差の大きなベクトルを除外して、前記周辺ベクトルの平均ベクトルを算出する平均ベクトル算出手段、
前記補正対象ベクトルと前記平均ベクトルとの差分の絶対値が所定の値よりも大きい場合は、前記平均ベクトルを選択し、前記差分の絶対値が前記所定の値以下の場合は、前記補正対象ベクトルを選択し、前記補正対象ベクトルが検出された単位領域における動きベクトルとする補正処理手段、
として機能させることを特徴とする動きベクトル補正プログラム。
【請求項４】
動画像における２つのフレーム間における動きベクトルを、所定の単位領域毎に検出する動きベクトル検出手段と、
前記動きベクトル検出手段によって検出された動きベクトルを補正する請求項１又は請求項２に記載の動きベクトル補正装置と、
前記２つのフレームと、前記動きベクトル補正装置によって補正された動きベクトルとに基づいて、前記２つのフレーム間を補間する補間フレームを生成する補間フレーム生成手段と、
を備えることを特徴とする補間フレーム生成装置。
【請求項５】
動画像において時間的に前の前フレーム及び時間的に後の後フレームに対して輝度変動が大きい輝度変動領域を含むフレームを補正する映像補正装置であって、
前記輝度変動領域を含む補正対象フレームに対して、前記前フレーム及び前記後フレーム間の動きベクトルを、所定の単位領域毎に検出する動きベクトル検出手段と、
前記動きベクトル検出手段によって検出された動きベクトルを補正する請求項１又は請求項２に記載の動きベクトル補正装置と、
前記前フレームと、前記後フレームと、前記動きベクトル補正装置によって補正された動きベクトルとに基づいて、前記動画像において、前記補正対象フレームの位置における補間フレームを生成する補間フレーム生成手段と、
前記前フレーム又は前記後フレームと、前記補正対象フレームとを比較して、前記補正対象フレームにおいて、前記単位領域毎に、所定の基準に基づいて、輝度変動が大きい輝度変動領域かどうかを検出する輝度変動領域検出手段と、
前記輝度変動領域検出手段によって前記単位領域が輝度変動領域として検出された場合は、当該単位領域の画素データとして前記補間フレーム生成装置によって生成された補間フレームの画素データを選択し、前記単位領域が輝度変動領域でない場合は、前記補正対象フレームの画素データを選択することによって、前記補間フレームと前記補正対象フレームとを合成して補正フレームを生成するフレーム合成手段と、
を備えることを特徴とする映像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の動きを表す動きベクトルを補正する動きベクトル補正装置及び動きベクトル補正プログラム、並びにその動きベクトル補正装置を用いた補間フレーム生成装置及び映像補正装置に関する。
【背景技術】
【０００２】
ニュース映像などには、他の報道者などが静止画撮影のために発光したフラッシュによる明滅が含まれている場合がある。その急激な輝度変化はニュース映像の視聴者に不快感を与えることがある。また、このような映像を符号化やフレームレート変換する際に、映像圧縮率や品質の低下などの要因となる。また、放送局において映像を利用する際に編集上の制限となる場合があり、一種の映像雑音ともいうことができる。
【０００３】
このような映像の補正方法としては、部分的に消失した輝度値を近傍映像などから修復する方法がある（非特許文献１）。これは、劣化領域が小さい場合には有効であるが、フラッシュのように輝度変動がフレームの広範囲にわたる場合には適用が難しい。
フレーム全体の明滅に対しては、時間方向の低域通過フィルタを適用する方法がある（非特許文献２）。この手法では、明滅を低減することはできるが完全に取り除くことは原理的に難しい。
【０００４】
そこで、フラッシュによる明滅等を補正するために、補正対象の映像フレームの前後の、フラッシュの影響のない映像フレームから、その間の映像の動き情報を考慮して補間フレームを作成して代替挿入することが考えられる。この場合、動き情報として動きベクトルを検出して補間フレーム作成のために使用する。
【０００５】
このように、動きベクトルを検出して使用するものとしては、他にも、動画像の符号化処理やフレームレート変換における補間フレームの生成処理などがある。
何れの用途においても、検出された動きベクトルが適切でないと画質が劣化してしまうため、検出された動きベクトルが適切かどうかを判断して、補正する方法が従来から提案されている（例えば、特許文献１〜６、非特許文献３）。
【０００６】
通常、動画像における動きベクトルは、その周囲の動きベクトル（以下、周辺ベクトルという）と相関を持った大きさと向きとを有しており。周囲と極端に異なる値を持つことは少ない。そのため、周辺ベクトルとの差が極端に大きいベクトルを補正する手法が用いられる。
また、動きベクトルを補正する手法としては、周辺ベクトルの平均ベクトルに基づいて補正する手法（特許文献２〜６）や、周辺ベクトルの内の中間ベクトルに置き換える手法（特許文献１、非特許文献３）などがある。
【特許文献１】特開平６−１７８２８５号公報（段落００２７）
【特許文献２】特開平７−１３１７８３号公報（段落００４５）
【特許文献３】特開平７−１７７５０１号公報（段落００１２）
【特許文献４】特開平７−２３１４４６号公報（段落００２１）
【特許文献５】特開２００４−１８００４４号公報（段落００３９）
【特許文献６】特開２００４−２７４６２８号公報（段落００２６）
【非特許文献１】小川ほか，「ＧＭＲＦモデルを用いた静止画像における失われた輝度値の復元」，信学論（Ｄ），ｖｏｌ．Ｊ８９−Ｄ，ｎｏ．６，ｐｐ．１３２７−１３３５，Ｊｕｎ．２００６
【非特許文献２】Ｎ．Ｎｏｍｕｒａ  ｅｔ  ａｌ．，“Ａ  ｎｅｗ  ａｄａｐｔｉｖｅ  ｔｅｍｐｏｒａｌ  ｆｉｌｔｅｒ：  Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｐｈｏｔｏｓｅｎｓｉｔｉｖｅ  ｓｅｉｚｕｒｅ  ｐａｔｉｅｎｔｓ”，Ｐｓｙｃｈｉａｔｒｙ  ａｎｄ  Ｃｌｉｎｉｃａｌ  Ｎｅｕｒｏｓｃｉｅｎｃｅｓ，ｖｏｌ．５４，ｐｐ．６８５−６９０，Ｄｅｃ．２０００
【非特許文献３】Ｊ．Ａｓｔｏｌａ，Ｐ．Ｈａａｖｉｓｔａ  ａｎｄ  Ｙ．Ｎｅｕｖｏ，“Ｖｅｃｔｏｒ  ｍｅｄｉａｎ  Ｆｉｌｔｅｒｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ，ｖｏｌ．７８，ｎｏ．４，ｐｐ．６７８−６８９，Ａｐｒ．１９９０
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、単純に周辺ベクトルの平均ベクトルを求めて、この平均ベクトルに基づいて補正対象の動きベクトルを補正するものや、周辺ベクトル内における中間ベクトルを用いる手法においては、周辺ベクトル内に他と比較して異常なベクトル（以下、不正ベクトルという）が存在する場合、平均ベクトルや中間ベクトルそのものに信頼性がなく、動きベクトルを適切に補正できないという問題があった。
すなわち、周囲に存在する不正ベクトルの偏差が大きく、また不正ベクトルの数が多くなる程、平均ベクトルや中間ベクトルへの影響が大きく、動きベクトルの適切な補正が困難であった。
【０００８】
そこで、本発明は、不正ベクトルの影響を適切に除去して動きベクトルを補正する動きベクトル補正装置及び動きベクトル補正プログラムを提供することを目的とする。
また、この動きベクトル補正装置によって補正した動きベクトルを用いて、フレーム間を補間する補間フレームを生成する補間フレーム生成装置を提供することを他の目的とする。
さらに、この動きベクトル補正装置によって補正した動きベクトルを用いて、フラッシュなどの影響により大きく輝度変動した領域を含むフレームを補正する映像補正装置を提供することを他の目的とする。
【課題を解決するための手段】
【０００９】
そのために、請求項１に記載の動きベクトル補正装置は、動画像における所定の単位領域毎に検出された動きベクトルを補正する動きベクトル補正装置であって、動きベクトル保持手段と、平均ベクトル算出手段と、補正処理手段とを備えた構成とした。
【００１０】
かかる構成によれば、動きベクトル補正装置は、平均ベクトル算出手段によって、補正対象の動きベクトルである補正対象ベクトルが検出された単位領域の周辺の、例えば、８近傍や２４近傍の単位領域において検出された動きベクトルである周辺ベクトルにおいて、所定の基準に基づいて、当該周辺ベクトルの内で向きや大きさの偏差の大きなベクトルを除外して、周辺ベクトルの平均ベクトルを算出する。
【００１１】
そして、動きベクトル補正装置は、補正処理手段によって、補正対象ベクトルと平均ベクトル算出手段によって算出された平均ベクトルとの差分の絶対値が所定の値よりも大きい場合は、平均ベクトルを選択し、差分の絶対値が所定の値以下の場合は、補正対象ベクトルを選択し、補正対象ベクトルが検出された単位領域における動きベクトルとして出力する。
これによって、補正対象ベクトルが周辺ベクトルとの相関が低い不正なベクトルであると判断される場合に、選択的に平均ベクトルに置き換えることができる。
【００１２】
請求項２に記載の動きベクトル補正装置は、請求項１に記載の動きベクトル補正装置において、前記平均ベクトル算出手段は、前記周辺ベクトルの成分毎に、成分値の大きさが上位の４分の１及び下位の４分の１を除外して成分値の平均値を算出し、当該平均値を成分とするベクトルを前記平均ベクトルとするように構成した。
【００１３】
かかる構成によれば、動きベクトル補正装置は、周辺ベクトルの中から、他のベクトルとの偏差が大きなベクトルから順に、全体の２分の１のベクトルを除外して平均値を算出した四分位平均ベクトルを平均ベクトルとして算出する。
これによって、周囲の動きベクトルとの相関が低い不正ベクトルが複数含まれる場合であっても、これらの不正ベクトルを適切に除外して平均ベクトルを算出することができる。
【００１４】
請求項３に記載の動きベクトル補正プログラムは、動画像における所定の単位領域毎に検出された動きベクトルを補正するために、コンピュータを、動きベクトル保持手段、平均ベクトル算出手段、補正処理手段、として機能させる構成とした。
【００１５】
かかる構成によれば、動きベクトル補正プログラムは、平均ベクトル算出手段によって、補正対象の動きベクトルである補正対象ベクトルが検出された単位領域の周辺の、例えば、８近傍や２４近傍の単位領域において検出された動きベクトルである周辺ベクトルにおいて、所定の基準に基づいて、当該周辺ベクトルの内で向きや大きさの偏差の大きなベクトルを除外して、周辺ベクトルの平均ベクトルを算出する。
【００１６】
そして、動きベクトル補正プログラムは、補正処理手段によって、補正対象ベクトルと平均ベクトル算出手段によって算出された平均ベクトルとの差分の絶対値が所定の値よりも大きい場合は、平均ベクトルを選択し、差分の絶対値が所定の値以下の場合は、補正対象ベクトルを選択し、補正対象ベクトルが検出された単位領域における動きベクトルとして出力する。
これによって、補正対象ベクトルが周辺ベクトルとの相関が低い不正なベクトルであると判断される場合に、選択的に平均ベクトルに置き換えることができる。
【００１７】
請求項４に記載の補間フレーム生成装置は、動きベクトル検出手段と、請求項１又は請求項２に記載の動きベクトル補正装置と、補間フレーム生成手段とを備えた構成とした。
【００１８】
かかる構成によれば、補間フレーム生成装置は、動きベクトル検出手段によって、動画像における２つのフレーム間における動きベクトルを、所定の単位領域毎に検出し、動きベクトル補正装置によって、動きベクトル検出手段によって検出された動きベクトルを補正する。
そして、補間フレーム生成装置は、補間フレーム生成手段によって、２つのフレームと、動きベクトル補正装置によって補正された動きベクトルとに基づいて、当該２つのフレームの間を補間する補間フレームを生成する。
これによって、補間フレーム生成装置は、不正ベクトルの影響が除去された動きベクトルに基づいて、補間フレームを生成することができる。
【００１９】
請求項５に記載の映像補正装置は、動画像における時間的に前後のフレームに対して、輝度変動が大きい輝度変動領域を含むフレームを補正する映像補正装置であって、動きベクトル検出手段と、請求項１又は請求項２に記載の動きベクトル補正装置と、補間フレーム生成手段と、輝度変動領域検出手段と、フレーム合成手段とを備えた構成とした。
【００２０】
かかる構成によれば、映像補正装置は、動きベクトル検出によって、輝度変動領域を含む補正対象フレームに対して、時間的に前の前フレームおよび時間的に後の後フレーム間の動きベクトルを、所定の単位領域毎に検出する。
続いて、映像補正装置は、動きベクトル補正装置によって、動きベクトル検出手段で検出した動きベクトルを補正する。
そして、映像補正装置は、補間フレーム生成手段によって、前フレームと、後フレームと、動きベクトル補正装置で補正した動きベクトルとに基づいて、動画像において、補正対象フレームの位置における補間フレームを生成する。
【００２１】
一方、映像補正装置は、輝度変動領域検出手段によって、前フレーム又は後フレームと、補正対象フレームとを比較して、補正対象フレームにおいて、所定の単位領域毎に、所定の基準に基づいて、輝度変動が大きい輝度変動領域かどうかを検出する。
そして、この単位領域が輝度変動領域として検出された場合は、この単位領域の画素データとして補間フレーム生成装置によって生成された補間フレームの画素データを選択し、この単位領域が輝度変動領域でない場合は、補正対象フレームの画素データを選択することによって、補間フレームと補正対象フレームとを合成して補正フレームを生成する。
これによって、映像補正装置は、例えば、フラッシュなどの影響により、前後のフレームと輝度が大きく変動した領域のみを選択的に、不正ベクトルの影響が除去された動きベクトルに基づいて生成された補間フレームに置き換えて補正フレームを生成することができる。
【発明の効果】
【００２２】
請求項１又は請求項３に記載の発明によれば、補正対象ベクトルが周辺ベクトルとの相関が低い不正ベクトルであると判断される場合に、選択的に平均ベクトルに置き換えるため、必要以上に平均化処理をされることなく補正対象ベクトルを補正することができる。
請求項２に記載の発明によれば、周辺ベクトルの中に不正ベクトルが複数含まれる場合であっても、これらの不正ベクトルを適切に除外して平均ベクトルを算出するため、動きベクトルの検出精度が悪い領域においても適切な動きベクトルに補正することができる。
請求項４に記載の発明によれば、不正ベクトルの影響が除去された動きベクトルに基づいて、補間フレームを生成するため、補間フレームにブロックノイズなどの画質劣化の発生を抑制することができる。
請求項５に記載の発明によれば、前後のフレームと輝度が大きく変動した領域のみを選択的に、補間フレームに置き換えて補正フレームを生成するため、フラッシュなどの影響を受けずに輝度変動していない領域は、元のフレームの先鋭な画像を維持することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施形態について図面を参照して説明する。
＜フレーム補正装置の構成＞
まず、図１を参照して、本発明の実施形態であるフレーム補正装置（映像補正装置）１の構成について説明する。ここで、図１は、本発明の実施形態のフレーム補正装置の構成を示すブロック図である。
【００２４】
図１に示したように、フレーム補正装置（映像補正装置）１は、補間フレーム生成装置１０と、フラッシュ非到達領域検出部１４と、フレーム合成部１５とを備えて構成される。本実施形態のフレーム補正装置１は、フラッシュによる明滅が含まれるフラッシュフレーム（補正対象フレーム）ｆｎを、フラッシュの影響を受けていない直前のフレーム（前フレーム）ｆｎ−１と、直後のフレーム（後フレーム）ｆｎ＋１とに基づき、直前のフレームｆｎ−１と、直後のフレームｆｎ＋１との間の動きベクトルを使用して補正フレームｆ’ｎを算出する装置である。
以下、各部の構成について説明する。
【００２５】
補間フレーム生成装置１０は、動きベクトル検出部１１と、動きベクトル補正部１２と、補間フレーム生成部１３とを備えて構成される。
補間フレーム生成装置１０は、フラッシュフレームｆｎの直前のフレームｆｎ−１と直後のフレームｆｎ＋１とに基づき、フラッシュフレームｆｎに代えて使用する補間フレームｆｉｎを生成し、フレーム合成部１５に出力する。
【００２６】
動きベクトル検出部１１は、フラッシュフレームｆｎの直前のフレームｆｎ−１と、直後のフレームｆｎ＋１とに基づき、これらのフレーム間の動きベクトルｖを、単位ブロック（所定の単位領域）毎に検出して、動きベクトル補正部１２に出力する。
例えば、フレームの画素サイズが７２０×４８０のときに、単位ブロックを１６×１６の画素サイズとすると、フレームを４５×３０＝１３５０個の単位ブロックに分割し、動きベクトル検出部１１は、この単位ブロック毎に動きベクトルｖを検出して出力する。
【００２７】
ここで、動きベクトルの検出方法について説明する。
２つのフレーム間の動きベクトルｖは、例えば、ブロックマッチング法によって検出することができる。ブロックマッチング法によれば、動きベクトルｖを検出する一方のフレーム（例えば、ｆｎ−１）を、前記したように所定の単位ブロックに分割する。そして、他方のフレームｆｎ＋１における同サイズの単位ブロックの位置を様々に変化させ、フレームｆｎ−１における補正対象ブロックとのブロック間のコストが最小となる位置を探索する方法である。このときの両フレームにおける単位ブロックの相対位置として動きベクトルｖが検出される。
なお、ブロック間のコストは、例えば、両フレームのブロックの対応する画素同士の差分の絶対値の和（絶対差分和）や差分の二乗の和（差分二乗和）として算出すことができる。このブロックマッチングを、最初に単位ブロックに分割したフレームｆｎ−１のすべての単位ブロックについて行うことによって、単位ブロック毎の動きベクトルｖを得ることができる。
【００２８】
また、動きベクトルｖの検出のために、フラッシュフレームｆｎも参照するようにしてもよい。例えば、フラッシュフレームｆｎの直前のフレームｆｎ−１と直後のフレームｆｎ＋１との間におけるブロック間のコストとして、ｆｎ−１（ｒ）とｆｎ＋１（ｒ＋ｖ）との差分二乗和を算出すると共に、直前のフレームｆｎ−１とフラッシュフレームｆｎとの間のブロック間のコストとして、ｆｎ−１（ｒ）とｆｎ（ｒ＋ｖ／２）との差分二乗和を算出し、２つのブロック間のコストに基づいて、例えば、これらのブロック間のコストの和が最小になる動きベクトルｖを検出する。ただし、ベクトルｒは各単位ブロック内における座標を示し、ｆｎ（ｒ）などは、フレームｆｎの座標ｒにおける輝度値（画素データ）を示す。
これによって、フラッシュフレームｆｎにおける動きベクトルｖの推定精度を向上することができる。
【００２９】
ここで、フラッシュフレームｆｎは、フラッシュの影響を受けて高輝度になっている領域では、輝度値が上昇しているため、ブロックマッチングを精度よく行うことができない。そこで、直前のフレームｆｎ−１とフラッシュフレームｆｎとの間のブロック間のコストは、これらのフレームの輝度値に代えてエッジ情報を用いて行うようにすればよい。エッジ情報としては、例えば、ソーベルフィルタなどの１次微分フィルタやラプラシンアンフィルタなどの２次微分フィルタを用いてエッジ抽出したエッジ抽出画像を用いることができる。フラッシュの影響を受けて高輝度になった領域においても、エッジ情報は比較的変化せずに保存されているため、このエッジ抽出画像に対してブロックマッチングを行うことで、適切にブロック間のコストを算出することができるようになる。
また、フラッシュフレームｆｎと直前のフレームｆｎ−１との間のブロック間のコストに代えて、あるいは加えて、フラッシュフレームｆｎと直後のフレームｆｎ＋１との間のブロック間のコストを算出して用いるようにしてもよい。
【００３０】
なお、単位ブロックの形状は、１６×１６の正方形領域に限定されるものではなく、８×１６や１６×８などの長方形領域としてもよいし、正三角形や正六角形領域としてフレームを稠密に単位ブロックに分割するようにしてもよい。
また、ブロック間のコストを他のコスト関数によって算出するようにしてもよく、さらに、ブロックマッチング法以外の方法により動きベクトルｖを検出するようにしてもよい。
【００３１】
動きベクトル補正部（動きベクトル補正装置）１２は、動きベクトル検出部１１によって単位ブロック毎に検出された動きベクトルｖを入力し、各単位ブロックにおける動きベクトル（補正対象ベクトル）ｖを、当該単位ブロック（補正対象ブロック）の周辺の複数の単位ブロック（周辺ブロック）における動きベクトル（周辺ベクトル）を参照して補正し、得られた補正ベクトルｖｃｒｒを補間フレーム生成部１３に出力する。
【００３２】
ここで、図２を参照（適宜図１参照）して、動きベクトル補正部１２の詳細な構成について説明する。なお、図２は、本発明の実施形態における動きベクトル補正部の構成を示すブロック図である。
【００３３】
図２に示したように、動きベクトル補正部１２は、動きベクトル保持部２１と、四分位平均ベクトル算出部２２と、補正処理部２３とを備えて構成される。
【００３４】
ここで、図３を参照して、本発明による動きベクトルの補正方法について説明する。なお、図３は、フレーム中の補正対象ブロック及びその周辺ブロックで検出された動きベクトルを示す図である。
図３は、単位ブロックに分割されたフレームの一部分を示すものであり、３×３の９個のブロック領域を示している。
【００３５】
動画像における動きベクトルは、通常は、その周囲の動きベクトルと相関をもった大きさと向きとを有しており、周囲と極端に異なる値を持つことは少ない。そのため、周辺ベクトルとの差が極端に大きな動きベクトルを補正する。本発明では、周辺ベクトルの中から外れた値の動きベクトル（不正ベクトル）を除外した上で、周辺ベクトルの平均ベクトルを算出し、補正対象ベクトルと、その平均ベクトルとの差が極端に大きい場合に、補正対象ベクトルを補正する。
【００３６】
例えば、図３に示した例では、補正対象ベクトルｖ１は、周辺ベクトルｖ２〜ｖ９とは異なる向きを示しており、補正すべきベクトルである。また、周辺ベクトルｖ２〜ｖ９においても、周辺ベクトルｖ２は、他の周辺ベクトルｖ３〜ｖ９とは、その向きと大きさとが大きく異なる不正ベクトルである。
本発明は、このような不正ベクトルを除外して平均ベクトルを算出することにより、補正対象ベクトルｖ１の周囲に不正ベクトルが存在した場合でも、その影響を受けずに適切な補正を行うものである。
【００３７】
図３において、３×３のブロックの中心に位置するブロック“１”が補正対象ブロックであり、ブロック“２”〜ブロック“９”が周辺ブロックである。図３に示した例では、８近傍の周辺ブロックにおける周辺ベクトルｖ２〜ｖ９を参照して、補正対象ベクトルｖ１を補正する。
【００３８】
図４は、他の実施形態の補正対象ブロックとその周辺ブロックの関係を示す図である。図４に示した例では、５×５の２５個のブロック領域を示しており、中心のブロックを補正対象ブロックとすると、２４近傍の周辺ブロックにおける２４個の動きベクトルを周辺ベクトルとして参照して、補正対象ベクトルを補正する場合の例である。
なお、参照する周辺ブロックはこれらに限定されるものではなく、例えば、５×５ブロックの内で、中心から離れた、四隅のブロックを除く２０近傍の周辺ブロックにおける動きベクトルを参照するようにしてもよい。
【００３９】
図２に戻って、動きベクトル補正部１２の各部の構成について説明する。
動きベクトル保持部２１は、動きベクトル検出部１１（図１参照）によって、単位ブロック毎に検出された動きベクトルｖを一時的に保持する記憶手段である。そして、少なくとも補正対象ベクトルｖｔと、この補正対象ベクトルｖｔを補正するために参照する周辺ベクトルｖｎとを保持し、これらのベクトル値を同時に参照することができるようにするための記憶手段である。動きベクトル保持部２１は、保持した動きベクトルｖの内で、補正対象ベクトルｖｔを補正処理部２３の選択部２３ａ及び差分算出部２３ｂに出力し、周辺ベクトルｖｎを四分位平均ベクトル算出部２２に出力する。
例えば、図３に示したように、３×３のブロック領域を参照する場合は、動きベクトル保持部２１は、補正対象ベクトルｖｔとして動きベクトルｖ１を出力し、周辺ベクトルｖｎとして動きベクトルｖ２〜ｖ９を出力する。
【００４０】
なお、動きベクトル保持部２１は、補正対象ベクトルｖｔ及び周辺ベクトルｖｎのみを保持するようにし、補正対象ベクトルｖｔを更新する際に、保持する周辺ベクトルｖｎも順次更新するようにしてもよいし、フレーム内のすべての単位ブロックにおける動きベクトルｖを保持し、補正対象となるベクトルに応じて、補正対象ベクトルｖｔと、対応する周辺ベクトルｖｎとを出力するようにしてもよい。
【００４１】
四分位平均ベクトル算出部（平均ベクトル算出手段）２２は、動きベクトル保持部２１から出力された周辺ベクトルｖｎに基づき、不正ベクトルを除外した平均ベクトルとして四分位平均ベクトルｖｑを算出し、補正処理部２３の選択部２３ａ及び差分算出部２３ｂに出力する。
【００４２】
ここで、図５を参照して、四分位平均ベクトルｖｑの算出方法について説明する。なお、図５は、四分位平均ベクトルを算出する方法を説明するためのグラフ図である。
図５は、周辺ベクトルｖｎ（図３に示した例では、ベクトルｖ２〜ｖ９）のｘ成分値（又は、ｙ成分値）の大きさを横軸に示し、その累積頻度を縦軸に示したグラフである。四分位平均ベクトルｖｑは、図５に示した累積頻度の中で、ｘ成分値（又は、ｙ成分値）の大きさが、下位の４分の１のｘ成分値（又は、ｙ成分値）と、上位の４分の１のｘ成分値（又は、ｙ成分値）をもつ周辺ベクトルを不正ベクトルであると判定して除外し、残りの２分の１のｘ成分値（又は、ｙ成分値）の平均値をｘ成分値（又は、ｙ成分値）とする平均ベクトルである。なお、本実施形態では、ｘ成分とｙ成分とは、それぞれ独立に順位付けして四分位平均を算出するようにした。
これによって、周辺ベクトルｖｎから不正ベクトルの影響を除去した適切な平均ベクトルを算出することができる。
【００４３】
四分位平均ベクトルｖｑを、補正対象ブロックを囲むＮ個の単位ブロックからなるＮ近傍の周辺ブロックにおけるＮ個の周辺ベクトルｖｎのｘ成分値とｙ成分値とから求める場合の算出式は、式（１）のようになる。
【００４４】
【数１】
2008124956.tif 000003
【００４５】
式（１）において、ｘ（ｉ）は、周辺ベクトルｖｎのｘ成分値のうちｉ番目に大きい値を示し、ｙ（ｉ）は、周辺ベクトルｖｎのｙ成分値のうちｉ番目に大きい値を示す。
例えば、図３に示したように、３×３のブロック領域における周辺ベクトルｖｎを参照する場合は、Ｎ＝８であり、上位４分の１、すなわち、１番目及び２番目のｘ成分値（又は、ｙ成分値）と、下位４分の１、すなわち、７番目及び８番目のｘ成分値（又は、ｙ成分値）を除外して、３番目から６番目までの４個のｘ成分値（又は、ｙ成分値）の平均値が、四分位平均ベクトルｖｑのｘ成分値（又は、ｙ成分値）となる。
【００４６】
同様に、図４に示したように、５×５のブロック領域において、２４近傍の周辺ブロックにおける周辺ベクトルｖｎを参照する場合は、Ｎ＝２４であり、上位４分の１及び下位４分の１を除外した残りの、７番目から１８番目までの１２個のｘ成分値（又は、ｙ成分値）の平均値が、四分位平均ベクトルｖｑのｘ成分値（又は、ｙ成分値）となる。
【００４７】
なお、本実施形態では、動きベクトルｖをｘ成分とｙ成分とによって表現する直交座標表現としたが、これに限定されるものではなく、例えば、方向と大きさとを成分とする極座標表現のベクトルとして、四分位平均ベクトルを算出するようにしてもよい。
【００４８】
また、本実施形態では、上位４分の１及び下位４分の１の成分値を除外して周辺ベクトルｖｎの中の不正ベクトルによる影響を除外するようにしたが、これに限定されるものではなく、上位３分の１及び下位３分の１や、上位２個及び下位２個の成分を除外するというように、除外する範囲を適宜変更してもよい。
あるいは、平均値との絶対差分を算出し、この絶対差分が所定の閾値以上である場合に不正ベクトルであると判断してこの成分値を除外するようにしてもよい。
また、周辺ベクトルｖｎの成分値の平均値及び標準偏差を算出し、各成分値の平均値からの偏差と標準偏差に基づいて、例えば、平均値からの偏差が標準偏差を超える成分値を除外するようにしてもよい。
【００４９】
このように、平均ベクトルを算出する際に、不正ベクトルと判断される成分を除外することにより適切な平均ベクトルを得ることができる。また、不正ベクトルが含まれない場合においても、周辺ベクトルｖｎの中の中央値に近い成分値に限定して平均値を算出することにより、過度にベクトルを平均化することがなく、このベクトルを用いて、例えば、補間フレームを生成する場合において、画像のボケなどの画質劣化を抑制することができる。
【００５０】
図２に戻って、動きベクトル補正部１２の構成について説明を続ける。
図２に示したように、補正処理部２３は、選択部２３ａと、差分算出部２３ｂと、判定部２３ｃとを備えて構成される。補正処理部２３は、動きベクトル保持部２１から出力された補正対象ベクトルｖｔを、四分位平均ベクトル算出部２２から出力された周辺ベクトルの四分位平均ベクトルｖｑに基づいて補正し、得られた補正ベクトルｖｃｒｒを補間フレーム生成部１３（図１参照）に出力する。
【００５１】
差分算出部２３ｂは、補正対象ベクトルｖｔと四分位平均ベクトルｖｑとの差分の絶対値｜ｖｔ−ｖｑ｜を算出し、判定部２３ｃに出力する。
判定部２３ｃは、差分算出部２３ｂが算出した差分の絶対値｜ｖｔ−ｖｑ｜と、所定の閾値ｔｈｒ１とを比較して、補正対象ベクトルｖｔが補正すべき不正なベクトルかどうかを判定し、判定結果を選択部２３ａに出力する。
選択部２３ａは、式（４）に示したように、判定部２３ｃの判定結果に基づき、差分の絶対値が閾値ｔｈｒ１よりも小さい場合は、補正対象ベクトルｖｔをそのまま補正ベクトルｖｃｒｒとして出力し、差分の絶対値が閾値ｔｈｒ１以上の場合は、四分位平均ベクトルｖｑを補正ベクトルｖｃｒｒとして出力する。
【００５２】
【数２】
2008124956.tif 000004
【００５３】
すなわち、補正対象ベクトルｖｔが、周辺ベクトルｖｎと向き又は大きさが大きく異なる不正ベクトルである場合は、四分位平均ベクトルｖｑに置き換えられ、適切なベクトルに補正されると共に、補正対象ベクトルｖｔが不正ベクトルでない場合は、元のベクトルのまま出力される。
【００５４】
このため、例えば、図１に示したように、補間フレーム生成部１３によって、補間フレームｆｉｎを生成する際に、補正対象ベクトルｖｔが不正ベクトルであった場合に、補間フレームｆｉｎにブロックノイズが発生することを防止することができると共に、補正対象ベクトルｖｔが不正ベクトルでない場合に、ベクトルの平均化処理による画像のボケやにじみの発生を回避し、先鋭さを維持した補間フレームｆｉｎを得ることができる。
【００５５】
図１に戻って、フレーム補正装置１の構成について説明を続ける。
補間フレーム生成部１３は、フラッシュフレームｆｎの直前のフレームｆｎ−１と、直後のフレームｆｎ＋１と、動きベクトル補正部１２によって出力された動きベクトルｖの補正ベクトルｖｃｒｒとに基づいて、フラッシュフレームｆｎに代えて使用するための補間フレームｆｉｎを生成してフレーム合成部１５に出力する。
【００５６】
本実施形態における補間フレーム生成部１３は、動きベクトル補正部１２よって出力された、フラッシュ直前のフレームｆｎ−１からフラッシュ直後のフレームｆｎ＋１への動きベクトルｖの補正ベクトルｖｃｒｒを使用して、式（３）に示すように、その補正ベクトルｖｃｒｒから推定されるフレーム間の動きの中点に画素を配することによって補間フレームｆｉｎを生成する。
ただし、式（３）において、ベクトルｒは各単位ブロック内における座標を示し、ｆｎ（ｒ）などは、フレームｆｎの座標ｒにおける輝度値などの画素データを表わす。
【００５７】
【数３】
2008124956.tif 000005
【００５８】
補間フレームｆｉｎの品質は、動きベクトルｖの推定精度に依存するが、前記したように、本実施形態では、動きベクトル補正部１２によって、動きベクトルｖが適切に補正された補正ベクトルｖｃｒｒを用いるためブロックノイズの発生やボケを抑えた高品質な補間フレームを生成することができる。
【００５９】
フラッシュ非到達領域検出部（輝度変動領域検出手段）１４は、フラッシュフレームｆｎと、フラッシュの影響を受けていないフラッシュフレームｆｎの直前のフレームｆｎ−１とに基づいて、フラッシュフレームｆｎの単位ブロック毎に、当該単位ブロックがフラッシュの影響を受けていないフラッシュ非到達領域かどうかを検出し、検出結果であるフラッシュ非到達領域検出信号をフレーム合成部１５に出力する。
【００６０】
本実施形態では、フラッシュ非到達領域の検出には、動きベクトル検出部１１と同様のブロックマッチング法を用いる。すなわち、フラッシュフレームｆｎを所定の単位ブロックに分割し、式（４）に示したように、もう一方のフレームｆｎ−１においてブロックの位置ｕを様々に変化させ、ブロック間のコスト関数ｄ（ｕ）が最小となる位置ｕを探索して、動きベクトルｖを求める。ただし、式（４）において、Ｓは位置ｕを変化させる探索領域を表す。
【００６１】
【数４】
2008124956.tif 000006
【００６２】
通常、フラッシュによる影響があるフラッシュ領域では、元の状態よりも輝度が上昇する。そこで、本実施形態では、式（５）に示したように、各画素毎に輝度の上昇に対してペナルティを課すコスト関数ｄ（ｕ）を導入し、フラッシュ領域が誤った位置で検出されることを回避するようにした。
【００６３】
【数５】
2008124956.tif 000007
【００６４】
ただし、式（５）において、ｆｎ（ｒ）はフラッシュフレームｆｎの座標ｒにおける輝度値（画素データ）を示す。また、Ｂはフレームにおける検出対象の単位ブロック領域を示し、｜Ｂ｜は、当該ブロック内の画素の総数を示す。また、ｗは、輝度の上昇に対するペナルティ値を示し、ｔｈｒ２は、各画素毎に輝度が上昇したかどうかを判断するための閾値である。
【００６５】
そして、ブロック間のコスト ｍｉｎ ｄ（ｕ）、すなわちｄ（ｖ）が予め定めた閾値ｔｈｒ３以下となった場合は、この単位ブロックをフラッシュ非到達領域（輝度変動領域でない）と判断し、例えば、フラッシュ非到達領域検出信号“１”を出力し、ｍｉｎ ｄ（ｕ）が閾値ｔｈｒ３を超えた場合は、この単位ブロックをフラッシュ到達領域（輝度変動領域である）と判断してフラッシュ非到達領域検出信号“０”を出力する。
これによって、フラッシュが到達して輝度が上昇した近景領域と、フラッシュが到達せずに輝度変動しない背景（遠景）領域とを適切に判別することができる。
【００６６】
なお、フラッシュ非到達領域検出部１４においてフレームを分割する際の単位ブロックと、動きベクトル検出部１１においてフレームを分割する際の単位ブロックは、位置及び形状を一致させる必要はないが、両者を一致させて、フラッシュ非到達領域検出部１４で動きベクトルｖを求める代わりに、例えば、動きベクトル補正部１２で補正した補正ベクトルｖｃｒｒを用い、式（５）によってｄ（ｖｃｒｒ／２）をフラッシュ非到達領域検出のためのブロック間のコストとして算出するようにしてもよい。これによって、フラッシュ非到達領域検出部１４は、動きベクトルｖの検出を省略することができる。
【００６７】
フレーム合成部１５は、フラッシュフレームｆｎと、補間フレーム生成装置１０の補間フレーム生成部１３から出力された補間フレームｆｉｎとを、フラッシュ非到達領域検出部１４によって検出されたフラッシュ非到達領域検出信号に基づいて、所定の単位ブロック毎に選択的に出力することにより合成し、合成したフレームを補正フレームｆ’ｎとして出力する。
【００６８】
これによって、フラッシュフレームｆｎにおいて、フラッシュの影響を受けている領域では、前後のフレームｆｎ−１、ｆｎ＋１に基づいて生成した補間フレームｆｉｎを用いるため、フラッシュによる明滅を除去することができると共に、フラッシュの影響を受けていない領域では、当該フレームｆｎの画像をそのまま用いるため、補間処理による画質の劣化を避けることができ、良好な品質の補正フレームｆ’ｎを合成することができる。
【００６９】
以上説明したフレーム補正装置１は、一部またはすべてを専用のハードウェアを作成して実施することができるが、一般的なコンピュータプログラムを実行させ、コンピュータ内の演算装置、記憶装置、入力装置などを動作させることにより実現することもできる。このプログラム（動きベクトル補正プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００７０】
＜フレーム補正装置の動作＞
次に、図６を参照（適宜図１参照）して、フレーム補正装置（映像補正装置）１の動作について説明する。ここで、図６は、本発明の実施形態のフレーム補正装置の処理の流れを示すフローチャートである。
【００７１】
フレーム補正装置１は、動画像において、フラッシュの影響を受けているフラッシュフレームｆｎと、フラッシュの影響を受けていない直前のフレームｆｎ−１と、直後のフレームｆｎ＋１とが入力されると（ステップＳ１１）、動きベクトル検出部１１によって、直前のフレームｆｎ−１と直後のフレームｆｎ＋１との間の動きベクトルｖを、所定の単位ブロック毎に順次検出する（ステップＳ１２）。続いて、検出した動きベクトルｖを、動きベクトル補正部１２によって補正し、補正ベクトルｖｃｒｒを出力する（ステップＳ１３）。そして、この補正ベクトルｖｃｒｒを用いて、直前のフレームｆｎ−１と直後のフレームｆｎ＋１との補正ベクトルｖｃｒｒの中点における補間フレームｆｉｎを生成する（ステップＳ１４）。
【００７２】
また、フレーム補正装置１は、フラッシュ非到達領域検出部１４によって、直前のフレームｆｎ−１とフラッシュフレームｆｎとに基づいて、所定の単位ブロック毎にフラッシュ非到達領域かどうかを検出し、フラッシュ非到達領域検出信号を出力する（ステップＳ１５）。
【００７３】
そして、フレーム補正装置１は、フレーム合成部１５によって、ステップＳ１５で出力したフラッシュ非到達領域検出信号に基づいて、単位ブロック毎に、その単位ブロックがフラッシュの影響を受けているフラッシュ到達領域の場合は、ステップＳ１４で生成した補間フレームの画素データを選択し、そのブロックがフラッシュの影響を受けていないフラッシュ非到達領域の場合は、フラッシュフレームｆｎの画素データを選択することによって、補正フレームｆ’ｎを合成する（ステップＳ１６）。
【００７４】
これによって、フレーム補正装置１は、補正対象であるフラッシュフレームｆｎのフラッシュの影響を受けた領域を選択的に補正することができる。
なお、ステップＳ１２からステップＳ１４までの補間フレームを生成するための処理と、ステップＳ１５のフラッシュ非到達領域を検出する処理とは、処理の順序が入れ替わってもよく、また、並行して処理を行うようにしてもよい。
＜動きベクトル補正部の動作＞
次に、図７を参照（適宜図１及び図２参照）して、動きベクトル補正部１２の動作について説明する。ここで、図７は、本発明の実施形態の動きベクトル補正部の処理の流れを示すフローチャートである。なお、図７に示したフローチャートの処理は、図６に示したフローチャートのステップＳ１３に相当する動きベクトル補正処理である。
【００７５】
動きベクトル補正部１２は、動きベクトル保持部２１によって、動きベクトル検出部１１で所定の単位ブロック毎に検出された動きベクトルｖの内の、少なくとも補正対象ベクトルｖｔとその周辺ベクトルｖｎとを保持する（ステップＳ２１）。これによって、これらのベクトルを同時に参照することができる。
【００７６】
次に、動きベクトル補正部１２は、四分位平均ベクトル算出部２２によって、動きベクトル保持部２１で保持された周辺ベクトルｖｎの中から不正ベクトルを除外した、四分位平均ベクトルｖｑを算出する（ステップＳ２２）。
【００７７】
そして、動きベクトル補正部１２は、補正処理部２３の差分算出部２３ｂによって、動きベクトル保持部２１に保持された補正対象ベクトルｖｔと、四分位平均ベクトル算出部２２で算出された四分位平均ベクトルｖｑとの差分の絶対値を算出し（ステップＳ２３）、判定部２３ｃによって、差分算出部２３ｂで算出された差分の絶対値が予め定められた所定の閾値ｔｈｒ１以上かどうかを判定する（ステップＳ２４）。
【００７８】
ここで、差分の絶対値が閾値ｔｈｒ１以上の場合は（ステップＳ２４でＹｅｓ）、選択部２３ａによって、補正ベクトルｖｃｒｒとして四分位平均ベクトルｖｑを出力し（ステップＳ２５）、差分が閾値ｔｈｒ１未満の場合は（ステップＳ２４でＮｏ）、選択部２３ａによって、補正ベクトルｖｃｒｒとして補対対象ベクトルｖｔをそのまま出力する（ステップＳ２６）。
【００７９】
これによって、補正対象ベクトルｖｔが、周辺ベクトルｖｎと比較して、その大きさや向きが大きく異なる場合にのみ補正することにより、動きベクトルｖｔを適切に補正することができる。また、補正が必要な場合も、四分位平均ベクトルｖｑを用いることにより、周辺ベクトルｖｎ内に不正ベクトルが複数存在するような場合であっても、それらの不正ベクトルを適切に除外して平均ベクトルを算出することができる。
【００８０】
＜実験例＞
次に、図８から図１０を参照して、本発明の動きベクトル補正部１２によって、動きベクトルの補正処理を行った実験結果について説明する。ここで、図８は、動きベクトルを補正するフレームの例の概要を示す図であり、図９は、図８に示したフレームから動きベクトルを検出した結果を示す図であり、図１０は、図９に示した動きベクトルを補正した結果を示す図である。
【００８１】
図８に示したように、本実験例で用いた動画像のフレームは、大相撲の放送番組において、優勝力士が土俵上で優勝杯を受け取ったシーンである。また、フレームの右端には優勝旗の一部が撮影されている。このうち、力士と優勝杯と優勝旗とが、フラッシュの影響を受けて輝度が上昇した領域であり、その他の領域はフラッシュの影響を受けていない背景領域である。
【００８２】
フレームサイズは７２０×４８０画素であり、動きベクトルを検出するための単位ブロックは１６×１６画素とした。また、四分位平均ベクトルを算出するために、図４に示した２４近傍の周辺ベクトルを参照した。
【００８３】
図９は、単位ブロック毎にブロックマッチング法によって検出した動きベクトルを線分で示している。
図９に示したように、力士や優勝杯の輝度値が平坦な領域に、周囲のベクトルと向きや大きさが極端に異なる不正ベクトルが多く検出されていることが分る。
【００８４】
図１０に示したように、本発明の動きベクトル補正部１２によって、図９において不正ベクトルとみられる動きベクトルが選択的に、周囲のベクトルと相関をもったベクトルに適切に補正されているのが分る。
【００８５】
さらに、図９に示した動きベクトルを用いて、当該フレームの前後のフレームから補間フレームを作成すると、ブロックノイズが目立っていたが、図１０に示した補正後の動きベクトルを用いて作成した補間フレームでは、ブロックノイズの発生が抑制され、フレーム全面で連続性のある画像が得られることを確認した。
また、本発明のフレーム補正装置１によって、このフラッシュフレームを補正することにより、フラッシュの影響がない背景領域の輝度値は変化せず、人物領域のみが適切に補正されて、動画像として閲覧した場合にはフレーム間の動きに連続性のある良好な結果が得られることを確認した。
【００８６】
以上説明したように、本発明による動きベクトル補正部（動きベクトル補正装置）１２は、周囲に不正ベクトルが複数存在する場合でも良好に動きベクトルを補正することが可能となる。これによって動きベクトルに基づいた動画像の符号化や、フレームレート変換、フレーム補間処理などにおいて、画質の向上を図ることが可能となる。また、カメラの動きの推定や、被写体の動き検出などにおいても不正な動きベクトルを補正することによって、推定精度を向上させることができる。従って、本発明の動きベクトル補正装置は、画像処理や動画処理の広い分野での利用が可能である。
【図面の簡単な説明】
【００８７】
【図１】本発明の実施形態のフレーム補正装置の構成を示すブロック図である。
【図２】本発明の実施形態の動きベクトル補正部の構成を示すブロック図である。
【図３】フレーム中の補正対象ブロック及びその周辺ブロックで検出された動きベクトルを示す図である。
【図４】他の実施形態の補正対象ブロックとその周辺ブロックの関係を示す図である。
【図５】四分位平均ベクトルを算出する方法を説明するためのグラフ図である。
【図６】本発明の実施形態のフレーム補正装置の処理の流れを示すフローチャートである。
【図７】本発明の実施形態の動きベクトル補正部の処理の流れを示すフローチャートである。
【図８】動きベクトルを補正するフレームの例の概要を示す図である。
【図９】図８に示したフレームから動きベクトルを検出した結果を示す図である。
【図１０】図９に示した動きベクトルを補正した結果を示す図である。
【符号の説明】
【００８８】
１      フレーム補正装置（映像補正装置）
１０    補間フレーム生成装置
１１    動きベクトル検出部（動きベクトル検出手段）
１２    動きベクトル補正部（動きベクトル補正装置）
１３    補間フレーム生成部（補間フレーム生成手段）
１４    フラッシュ非到達領域検出部（高輝度領域検出手段）
１５    フレーム合成部（フレーム合成手段）
２１    動きベクトル保持部
２２    四分位平均ベクトル算出部（平均ベクトル算出手段）
２３    補正処理部（補正処理手段）
ｖ      動きベクトル
ｖｃｒｒ  補正ベクトル
ｖｎ    周辺ベクトル
ｖｑ    四分位平均ベクトル（平均ベクトル）
ｖｔ    補正対象ベクトル
ｆｎ    フラッシュフレーム（補正対象フレーム）
ｆｎ−１  直前のフレーム（前フレーム）
ｆｎ＋１  直後のフレーム（後フレーム）
ｆｉｎ  補間フレーム
ｆ’ｎ  補正フレーム
【図１】
2008124956.tif 000008
【図２】
2008124956.tif 000009
【図３】
2008124956.tif 000010
【図４】
2008124956.tif 000011
【図５】
2008124956.tif 000012
【図６】
2008124956.tif 000013
【図７】
2008124956.tif 000014
【図８】
2008124956.tif 000015
【図９】
2008124956.tif 000016
【図１０】
2008124956.tif 000017