(57)【要約】【課題】誤って検出した動きベクトルを正しく補正し、動きベクトルの検出精度を向上させること。【解決手段】動きベクトル検出部１２は、入力された動画像のフレーム間の画素の動きから動きベクトルを検出する。動きベクトル補正部１４は、予め動きベクトルの大きさを所定のサイズで区分しそれぞれに動きベクトルの代表値を付与した複数の補正グループ１００を設定しておく。そして、検出した動きベクトルをその大きさにより補正グループのいずれかに分類し、分類された補正グループの動きベクトルの代表値に置き換える補正を行う。【選択図】図１
2008293097.tif 000002
【特許請求の範囲】
【請求項１】
入力する動画像のフレーム間での動きベクトルを検出する動きベクトル検出装置において、
入力された動画像の第１のフレームと該第１のフレームに続く第２のフレームとの間の画素の動きから動きベクトルを検出する動きベクトル検出部と、
該動きベクトル検出部で検出した動きベクトルを演算処理によって補正する動きベクトル補正部とを備え、
該動きベクトル補正部は、予め動きベクトルの大きさを所定のサイズで区分しそれぞれに動きベクトルの代表値を付与した複数の補正グループを設定し、上記検出した動きベクトルをその大きさにより該補正グループのいずれかに分類し、分類された補正グループの動きベクトルの代表値に置き換える補正を行うことを特徴とする動きベクトル検出装置。
【請求項２】
請求項１に記載の動きベクトル検出装置において、
前記動きベクトル検出部で検出した動きベクトルの発生頻度を示すヒストグラムを作成する動きベクトルヒストグラム作成部を備え、
前記動きベクトル補正部は、上記動きベクトルヒストグラム作成部で作成した動きベクトルのヒストグラムを参照し、発生頻度が所定の範囲に含まれる動きベクトルを抽出し、抽出した動きベクトル及びその動きベクトルが属する前記補正グループ内の他の動きベクトルについて該補正グループの代表値に置き換える補正を行うことを特徴とする動きベクトル検出装置。
【請求項３】
請求項１に記載の動きベクトル検出装置において、
前記動きベクトル検出部で検出した動きベクトルの発生頻度を示すヒストグラムをフレーム毎に作成する動きベクトルヒストグラム作成部と、
前記動きベクトル検出部で検出した各動きベクトルについて、上記動きベクトルヒストグラム作成部で作成したヒストグラムを参照し、現在のフレーム及び過去のフレームにおいて発生頻度が最大となる代表動きベクトルとの類似度を判定する動きベクトル類似判定部とを備え、
前記動きベクトル補正部は、上記代表動きベクトルと類似すると判定した動きベクトルについて、該動きベクトルの属する補正グループの代表値に置き換える補正を行うことを特徴とする動きベクトル検出装置。
【請求項４】
請求項１に記載の動きベクトル検出装置において、
前記動きベクトル補正部は、前記補正グループとして、動きベクトルのｘ成分（ただしｘ≠０）及びｙ成分（ただしｙ≠０）の大きさが隣接する一対の動きベクトル毎に区分して設定し、前記補正グループ内で大きさが最小の動きベクトルをその補正グループの代表値として付与することを特徴とする動きベクトル検出装置。
【請求項５】
請求項３に記載の動きベクトル検出装置において、
前記動きベクトル類似判定部は、現在のフレームと過去のフレームとにおいて前記代表動きベクトルが等しく、前記動きベクトル検出部で検出した動きベクトルが前記代表動きベクトルと同一の補正グループに属する場合に類似すると判定することを特徴とする動きベクトル検出装置。
【請求項６】
入力する動画像のフレーム間での動きベクトルを検出する動きベクトル検出方法において、
入力された動画像の第１のフレームと該第１のフレームに続く第２のフレームとの間の画素の動きから動きベクトルを検出するステップと、
動きベクトルの大きさを所定のサイズで区分しそれぞれに動きベクトルの代表値を付与した複数の補正グループを設定するステップと、
上記検出した動きベクトルをその大きさにより上記補正グループのいずれかに分類し、分類された補正グループの動きベクトルの代表値に置き換える補正を行うステップと、を備えることを特徴とする動きベクトル検出方法。
【請求項７】
請求項６に記載の動きベクトル検出方法において、
前記検出した動きベクトルの発生頻度を示すヒストグラムを作成するステップと、
該作成した動きベクトルのヒストグラムを参照し、発生頻度が所定の範囲に含まれる動きベクトルを抽出するステップとを備え、
該抽出した動きベクトル及びその動きベクトルが属する前記補正グループ内の他の動きベクトルについて該補正グループの代表値に置き換える補正を行うことを特徴とする動きベクトル検出方法。
【請求項８】
請求項６に記載の動きベクトル検出方法において、
前記検出した動きベクトルの発生頻度を示すヒストグラムをフレーム毎に作成するステップと、
前記検出した各動きベクトルについて、上記作成したヒストグラムを参照し、現在のフレーム及び過去のフレームにおいて発生頻度が最大となる代表動きベクトルとの類似度を判定するステップとを備え、
上記代表動きベクトルと類似すると判定した動きベクトルについて、該動きベクトルの属する補正グループの代表値に置き換える補正を行うことを特徴とする動きベクトル検出方法。
【請求項９】
請求項１ないし５のいずれか１項に記載の動きベクトル検出装置を有し、動画像の擬似輪郭発生を抑制する擬似輪郭補正装置において、
入力する動画像のフレームデータからサブフィールドデータを生成するサブフィールド変換部と、
入力する動画像のフレーム間での動きベクトルを検出し補正する上記動きベクトル検出装置と、
該動きベクトル検出装置で補正した動きベクトルを使用して、擬似輪郭を抑制するように、上記サブフィールド変換部で生成したサブフィールドデータを再構成するサブフィールド再構成部とを備え、
該サブフィールド再構成部で再構成したサブフィールドデータを画像表示部にて表示させることを特徴とする擬似輪郭補正装置。
【請求項１０】
請求項１ないし５のいずれか１項に記載の動きベクトル検出装置を有し、動画像のフレームレートを変換するフレームレート変換装置において、
入力する動画像のフレーム間での動きベクトルを検出し補正する上記動きベクトル検出装置と、
該動きベクトル検出装置で検出した動きベクトルを用いて、入力する動画像のフレームの補間フレームを作成する補間フレーム作成部と、
該補間フレーム作成部で作成した補間フレームと入力する動画像のフレームを切替えて出力する画像切替え部とを備え、
該画像切替え部より出力された画像フレームを画像表示部にて表示させることを特徴とするフレームレート変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の動きベクトルを利用するフレームレート変換装置、動画解像度改善装置、擬似輪郭補正装置等における動きベクトル検出装置及び検出方法に関する。
【背景技術】
【０００２】
フレームレート変換装置では、動きベクトルを使用した動き補正により、フレーム数の変換によるギクシャクした動きをなめらかな動きに補正する。また、動画解像度改善装置や擬似輪郭補正装置では、動きベクトルを使用した画素補正により、人の視線方向に画素の発光方向を補正する。
【０００３】
このような動画像の動きベクトルの検出方法として、特許文献１には、ｍ画素×ｎライン（ｍ、ｎは整数）のブロック単位に動きベクトルを検出するパターンマッチング法が開示されている。また特許文献２には、勾配法や位相相関法等を用いた動きベクトル検出方法が開示されている。さらに特許文献３には、不必要に大きな動きベクトルを選択することを防止し符号化効率を向上させるため、所定の閾値未満であれば従来の動きベクトルを選択し、閾値を超えた場合は小領域から特定のベクトルを選択することが開示されている。
【０００４】
【特許文献１】特開昭５５−１６２６８３号公報
【特許文献２】特開昭６０−１５８７８６号公報
【特許文献３】特開２００４−８８３０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来方法においてブロック単位もしくは画素単位に動きベクトルを検出する際、画像内の移動領域（人や物等）が同じ方向に移動する時、フレーム間やフレーム内の同じ移動領域内でありながら、周囲の大きさや方向と異なる動きベクトルの値として検出する場合がある。
【０００６】
図１０は、動きベクトルの誤検出の具体例を示す図である。図１０（ａ）に示すように、例えば移動する背景画像内の特定の領域Ａ（例えば白色の看板）に注目する。背景はフレーム毎に１画素だけ右へ移動しているものとする。フレーム（ｎ−１）と（ｎ＋１）では、領域Ａを構成する各画素の動きベクトルは（１，０）と正しく検出されるが、フレームｎでは、（２，０）と誤って検出される場合がある。また、図１０（ｂ）に示すように、類似色で構成する領域Ｂ（例えばズームアップする画像内のプールサイドのような場合）に注目する。あるフレームｎにおいて、領域Ｂ内に、例えば（２，２）や（２，１）、もしくは（２，２）や（１，２）などのようにサイズや方向の異なる動きベクトルを検出する場合がある。このように、フレーム間や同一画像内で動きベクトルがばらつき、異なる値を含むことがあり問題となる。図１０（ｃ）は誤検出の各パターンを示したもので、画素が動きベクトル（ｘ，ｙ）で移動しているにもかかわらず、類似した８種類の動きベクトルのいずれかとして検出してしまう。誤検出の原因は、周囲の画素の動きベクトル情報との関連（以後、周囲相関と呼ぶ）や、過去フレームの画素の動きベクトル情報との関連（以後、過去相関と呼ぶ）等によるものである。
【０００７】
フレームレート変換や擬似輪郭補正において、誤って検出した動きベクトルをそのまま適用すると、画像の揺れが発生し画質を劣化させるという問題がある。従来、このような周囲相関や過去相関に起因する動きベクトルの誤検出については、対策がなされていなかった。
【０００８】
本発明は、上記課題を鑑みてなされたものであり、誤って検出した動きベクトルを正しく補正し、動きベクトルの検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の動きベクトル検出装置は、入力された動画像の第１のフレームと第１のフレームに続く第２のフレームとの間の画素の動きから動きベクトルを検出する動きベクトル検出部と、動きベクトル検出部で検出した動きベクトルを演算処理によって補正する動きベクトル補正部とを備える。動きベクトル補正部は、予め動きベクトルの大きさを所定のサイズで区分しそれぞれに動きベクトルの代表値を付与した複数の補正グループを設定し、検出した動きベクトルをその大きさにより補正グループのいずれかに分類し、分類された補正グループの動きベクトルの代表値に置き換える補正を行う。
【００１０】
本発明の動きベクトル検出装置は、さらに、動きベクトル検出部で検出した動きベクトルの発生頻度を示すヒストグラムを作成する動きベクトルヒストグラム作成部を備え、動きベクトル補正部は、動きベクトルヒストグラム作成部で作成した動きベクトルのヒストグラムを参照し、発生頻度が所定の範囲に含まれる動きベクトルを抽出し、抽出した動きベクトル及びその動きベクトルが属する補正グループ内の他の動きベクトルについて補正グループの代表値に置き換える補正を行う。
【００１１】
本発明の動きベクトル検出装置は、さらに、動きベクトル検出部で検出した動きベクトルの発生頻度を示すヒストグラムをフレーム毎に作成する動きベクトルヒストグラム作成部と、動きベクトル検出部で検出した各動きベクトルについて、動きベクトルヒストグラム作成部で作成したヒストグラムを参照し、現在のフレーム及び過去のフレームにおいて発生頻度が最大となる代表動きベクトルとの類似度を判定する動きベクトル類似判定部とを備える。動きベクトル補正部は、代表動きベクトルと類似すると判定した動きベクトルについて、動きベクトルの属する補正グループの代表値に置き換える補正を行う。
【００１２】
また本発明の動きベクトル検出方法は、入力された動画像の第１のフレームと第１のフレームに続く第２のフレームとの間の画素の動きから動きベクトルを検出するステップと、動きベクトルの大きさを所定のサイズで区分しそれぞれに動きベクトルの代表値を付与した複数の補正グループを設定するステップと、検出した動きベクトルをその大きさにより補正グループのいずれかに分類し、分類された補正グループの動きベクトルの代表値に置き換える補正を行うステップとを備える。
【発明の効果】
【００１３】
本発明によれば、動きベクトルの誤検出やばらつきを低減し、動きベクトルを利用するフレームレート変換や擬似輪郭補正を好適に実行させることができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施例を、図面を参照して説明する。
【実施例１】
【００１５】
図１は、本発明による動きベクトル検出方法の第１の実施例を示す説明図である。
まず図１（ｂ）は、動きベクトルの検出範囲、即ち、フレーム間で検出可能な動きベクトルの範囲を○印で表している。ここでは簡単のために、基準位置（０，０）からｘ方向、ｙ方向に、それぞれ±４（画素単位）の範囲で検出可能とする。図中矢印で示す動きベクトルＡ（１，１）は、フレーム間で、画素がｘ方向に＋１、ｙ方向に＋１移動したことを示す。
【００１６】
図１（ａ）は、本実施例による動きベクトルの補正方法を示す図である。
図中の点線枠は、検出した動きベクトル（ｘ，ｙ）を予め設定した４種類のパターン（補正グループ１００）に分類する仕方を示す。補正グループ１００ａはｘ＝ｙ＝０の場合（すなわち移動量ゼロ）、補正グループ１００ｂはｘ＝０，ｙ≠０の場合、補正グループ１００ｃはｘ≠０，ｙ＝０の場合、補正グループ１００ｄはｘ≠０，ｙ≠０の場合である。そして各補正グループは、原点（ｘ＝ｙ＝０）を中心に、ｘ方向及びｙ方向に隣接する一対のベクトル毎に区切って１つのグループを形成する。補正グループ１００ａは１個のベクトル（０，０）のみとなるが、補正グループ１００ｂ，１００ｃは２個のベクトルを含み、補正グループ１００ｄは４個のベクトルを含む。
【００１７】
次に、各補正グループ内のベクトル値のグループ代表値として、グループ内でｘ，ｙのそれぞれの絶対値が最小となる値（すなわちベクトルの大きさが最小で、原点に最も近い値）を採用する。そして、グループ内の各ベクトル値をそのグループ代表値に置き換えるように補正を行う。その結果、検出されたベクトル（○印）は矢印方向の補正を受け、◎印のベクトルに置換される。例えば、グループ１００ｂの動きベクトル（０，２）はグループ代表値（０，１）に、グループ１００ｃの（２，０）は（１，０）に、グループ１００ｄの（２，２）、（２，１）、（１，２）は（１，１）に補正される。
【００１８】
この補正を演算式で表す。補正前の動きベクトルを（ｘ，ｙ）（ただしｘ，ｙは整数）、αをｘ／２の剰余、βをｙ／２の剰余とするとき、グループの代表値である補正後の動きベクトル（ｘ’，ｙ’）は、次式（１）で求めることができる。
α＝０、ｘ＝０の場合：ｘ’＝０
α＝０、ｘ＞０の場合：ｘ’＝ｘ−１
α＝０、ｘ＜０の場合：ｘ’＝ｘ＋１
α≠０の場合：ｘ’＝ｘ
β＝０、ｙ＝０の場合：ｙ’＝０
β＝０、ｙ＞０の場合：ｙ’＝ｙ−１
β＝０、ｙ＜０の場合：ｙ’＝ｙ＋１
β≠０の場合：ｙ’＝ｙ                      以上（１）
例えば、この補正を前記図１０のような動きベクトルのばらつきに適用すると、図１１に示すように補正することができる。図１０（ａ）では、フレームｎで領域Ａの動きベクトルが（２，０）にばらついたが、これを図１１（ａ）のように（１，０）に揃えることができる。また、図１０（ｂ）のように、領域Ｂ内でばらついていた動きベクトルを、図１１（ｂ）のように全て（１，１）に揃えることができる。
【００１９】
このように、動きベクトルをそれが属する補正グループの代表値に置き換える補正を行うことで、フレーム間およびフレーム内の動きベクトルのばらつきを低減できる。この演算は簡単に実行できるので、補正処理の負担が少ないというメリットがある。
【００２０】
本実施例では、補正グループのサイズをｘ方向、ｙ方向とも２画素単位（２×２）で区分した。勿論このサイズは（２×２）に限定することなく、（３×３）またはそれ以上に拡大することができる。サイズを拡大すればそれだけばらつきに対する低減効果が増大するが、反面、検出した動きベクトルの分解能自身が低下することになるので、使用目的に応じてサイズを設定すればよい。例えば擬似輪郭補正の場合は、（２×２）が好適である。またグループ代表値の選択について、本実施例ではグループ内での動きの最小値（原点に最も近い値）を採用するようにした。これにより、擬似輪郭補正装置において安定した制御が可能となる。勿論、代表値の選択についてもこれに限らず、グループ内の平均値を採用するなど他の選択法でもよい。
【００２１】
図２は、本実施例の動きベクトル検出方法のフローチャートを示す図である。
ステップＳ１０１では動きベクトルを検出する。これには、対象フレームの画像データと、対象フレームより前のフレームの画像データとを比較し、各画素について動きベクトルを検出する。ステップＳ１０２では、検出した動きベクトルを対象フレーム分だけメモリに格納する。ステップＳ１０３では、メモリから動きベクトル（ｘ，ｙ）を読み出し、演算式（１）に従い、動きベクトル（ｘ’，ｙ’）に補正する。これは前述したように、補正グループ内のベクトル値を代表値に置き換える補正である。ステップＳ１０４では、対象フレームの全ての画素について動きベクトルの補正が完了したかを判定する。補正が完了したら、補正した動きベクトル（ｘ’，ｙ’）を出力する。または補正値をメモリに再度格納しておき、必要なタイミングで出力する。また、検出した動きベクトルを対象フレーム分メモリに格納し終える前に、画素毎に動きベクトルを検出した時点で、ステップＳ１０３の動きベクトル補正を行ってもよい。
【００２２】
図３は、本実施例における動きベクトル検出装置の構成を示すブロック図である。本実施例の動きベクトル検出装置１では、入力部１１、動きベクトル検出部１２、動きベクトル格納部１３、動きベクトル補正部１４、制御部１５を備えている。
【００２３】
次に各部の動作を説明する。入力部１１には動画像データが入力される。例えば入力部は、ＴＶ放送用のチューナー、画像入力端子、ネットワーク接続端子などを備える。また、入力された動画像データに対して必要に応じてデータ処理等を行う。動きベクトル検出部１２では、入力した動画像データについて、対象フレームと時間的に前のフレームとを比較することで画素毎の動きベクトルを検出する。動きベクトル格納部１３では、動きベクトル検出部１２で検出した動きベクトルをメモリ等に格納する。
【００２４】
動きベクトル補正部１４では、演算式（１）に従って、動きベクトル格納部１３で格納した画素毎の動きベクトルを補正し、補正後の各画素の動きベクトルを出力する。制御部１５は、上記各要素に対してデータの伝送を制御し、入力する動画像データをフレーム単位で動きベクトルの補正を行わせ、外部に出力する。動きベクトル検出部１２や動きベクトル補正部１４は専用のＬＳＩにて構成してもよいし、あるいはマイコンにて処理プログラムを実行させることで実現することもできる。
【００２５】
本実施例によれば、過去相関が原因となるフレーム間の動きベクトルのばらつきや、周囲相関が原因となるフレーム内の動きベクトルのばらつきを低減することで、動きベクトルの検出精度を向上させることができる。その際、画面内の移動領域に発生する動きベクトルの誤検出を簡単な処理にて補正することができ、その演算処理量を低減するという効果を有する。
【実施例２】
【００２６】
図４は、本発明による動きベクトル検出方法の第２の実施例を示す説明図である。本実施例の動きベクトルの補正は、画面内の全画素に対してではなく、一斉に移動する特定の領域内の画素に対して行うものである。
【００２７】
まず図４（ａ）のように、画面内の移動領域を把握するために、フレーム毎に検出した動きベクトルの発生頻度を示すヒストグラムを作成する。このヒストグラムにより、画面内での移動領域の大きさと移動速度の分布を把握することができる。
【００２８】
続いて、作成したヒストグラムにおいて、発生頻度が閾値ａ以上でかつ閾値ｂ以下に該当する動きベクトルを補正対象動きベクトルとして抽出する。このとき、発生頻度の閾値ａ以上とすることで移動領域の大きさが微小である場合を排除し、また閾値ｂ以下とすることで、例えば静止画像が画面の大部分を占める場合を排除する。このようにして、図では、補正対象動きベクトルとして４個のベクトルＡ（２，１）、Ｂ（−２，０）、Ｃ（３，０）、Ｄ（−３，１）を抽出した場合を示す。
【００２９】
次に図４（ｂ）のように、補正対象動きベクトルが属する補正グループに含まれる他の動きベクトル（以下、「類似動きベクトル」と呼ぶ）を求める。補正グループ２００は点線枠で示すように、前記実施例１の場合と同様に、ｘ方向、ｙ方向とも２画素単位（２×２）のサイズで区分している。抽出した動きベクトルＡ（２，１）は補正グループ２００ａに属し、このグループ２００ａには類似動きベクトルとして（２，２）、（１，２）、（１，１）が含まれる。また、動きベクトルＢ（−２，０）は補正グループ２００ｂに属し、このグループ２００ｂには類似動きベクトル（−１，０）が含まれる。同様に、動きベクトルＣ（３，０）は補正グループ２００ｃに、動きベクトルＤ（−３，１）は補正グループ２００ｄに属する。
【００３０】
そして、補正対象動きベクトルとその類似動きベクトルについて（すなわち補正グループ内の全ての動きベクトルについて）、前記演算式（１）に従い動きベクトルの補正を行う。その結果、補正グループ２００ａ内の各ベクトルはグループ代表値（１，１）に、補正グループ２００ｂ内の各ベクトルは（−１，０）に、補正グループ２００ｃ内の各ベクトルは（３，０）に、補正グループ２００ｄ内の各ベクトルは（−３，１）に置き換えられる。
【００３１】
ここで、補正対象動きベクトル（ｘ，ｙ）に対する類似動きベクトルを求めるために、次の演算式（２）を用いる。式（２）では簡単のため、ｘ≧０かつｙ≧０の場合についてのみ記載している。他の場合（ｘ≧０かつｙ＜０、ｘ＜０かつｙ≧０、ｘ＜０かつｙ＜０）に関しても、式（２）と同様に演算することができる。ここで、αはｘ／２の剰余、βはｙ／２の剰余とする。
α＝β＝０、ｘ＞０、ｙ＞０の場合：
（ｘ，ｙ−１）、（ｘ−１，ｙ）、（ｘ−１，ｙ−１）
α＝β＝０、ｘ＞０、ｙ＝０の場合：（ｘ−１，ｙ）
α＝β＝０、ｘ＝０、ｙ＞０の場合：（ｘ，ｙ−１）
α＝β＝０、ｘ＝０、ｙ＝０の場合：類似動きベクトルなし
α＝０、β≠０、ｘ＞０、ｙ＞０の場合：
（ｘ，ｙ＋１）、（ｘ−１，ｙ）、（ｘ−１，ｙ＋１）
α＝０、β≠０、ｘ＝０、ｙ＞０の場合：（ｘ，ｙ＋１）
α≠０、β＝０、ｘ＞０、ｙ＞０の場合：
（ｘ，ｙ−１）、（ｘ＋１，ｙ）、（ｘ＋１，ｙ−１）
α≠０、β＝０、ｘ＞０、ｙ＝０の場合：（ｘ＋１，ｙ）
α≠０、β≠０、ｘ＞０、ｙ＞０の場合：
（ｘ，ｙ＋１）、（ｘ＋１，ｙ）、（ｘ＋１，ｙ＋１）以上（２）
【００３２】
本実施例においても、前記実施例１と同様に、図１１（ａ）に示すようにフレーム間やフレーム内でばらついていた動きベクトルを揃えることができる。特に本実施例では、画面内の全画素に対してではなく、補正対象を所定の大きさの移動領域内の画素に限定して補正を行う。そして、補正グループ内の他の動きベクトルに対しても補正を施すことで、同じ移動量で移動する領域内の動きベクトルを揃えることができる。
【００３３】
図５は、本実施例の動きベクトル検出方法のフローチャートを示す図である。
ステップＳ２０１では動きベクトルを検出する。これには、対象フレームの画像データと、対象フレームより前のフレームの画像データとを比較し、各画素について動きベクトルを検出する。ステップＳ２０２では、検出した動きベクトルを対象フレーム分だけメモリに格納する。ステップＳ２０３では、メモリから動きベクトル（ｘ，ｙ）を読み出し、フレーム毎に動きベクトルのヒストグラムを作成する。ステップＳ２０４では、ヒストグラムの各動きベクトルについて、発生頻度が閾値ａ以上かつ閾値ｂ以下となる動きベクトルを補正対象動きベクトルとして抽出する。
【００３４】
ステップＳ２０５では、前記抽出した補正対象動きベクトルについて、それが属する補正グループに含まれる他の動きベクトル（類似動きベクトル）を、式（２）により求める。ステップＳ２０６では、補正対象動きベクトル及び類似動きベクトルの値を有する対象画素について、式（１）に従い動きベクトル（ｘ’，ｙ’）に補正する。ステップＳ２０７では、ステップＳ２０４で抽出した全ての補正対象動きベクトルについて補正処理が完了したかを判定する。処理が完了したら、補正した動きベクトル（ｘ’，ｙ’）を出力する。または補正値をメモリに格納しておき、必要なタイミングで出力する。
【００３５】
図６は、本実施例における動きベクトル検出装置の構成を示すブロック図である。本実施例の動きベクトル検出装置２では、入力部２１、動きベクトル検出部２２、動きベクトル格納部２３、動きベクトルヒストグラム生成部２４、動きベクトル補正部２５、制御部２６を備えている。
【００３６】
次に各部の動作を説明する。入力部２１には動画像データが入力される。動きベクトル検出部２２では、入力した動画像データについて、対象フレームと時間的に前のフレームとを比較することで画素毎の動きベクトルを検出する。動きベクトル格納部２３では、動きベクトル検出部２２で検出した動きベクトルをメモリ等に格納する。動きベクトルヒストグラム生成部２４では、動きベクトル格納部２３で格納した動きベクトルから、フレーム毎の動きベクトルのヒストグラムを生成する。
【００３７】
動きベクトル補正部２５では、動きベクトルヒストグラム生成部２４で作成した動きベクトルのヒストグラムにより、発生頻度が閾値ａ以上かつ閾値ｂ以下となる補正対象動きベクトルを抽出する。また、抽出した補正対象動きベクトルに対する類似動きベクトルを、式（２）より求める。そして、動きベクトル格納部２３に格納している動きベクトルのうち、補正対象動きベクトルと類似動きベクトルを有する画素に対し、式（１）により、動きベクトルを補正し、補正後の各画素の動きベクトルを出力する。制御部２６は、上記各要素に対してデータの伝送を制御し、入力する動画像データをフレーム単位で動きベクトルの補正を行わせ、外部に出力する。動きベクトル検出部２２や動きベクトル補正部２５は専用のＬＳＩにて構成してもよいし、あるいはマイコンにて処理プログラムを実行させることで実現することもできる。
【００３８】
本実施例によれば、画面内の一斉に移動する特定の領域内にて発生する動きベクトルの誤検出を補正することができる。本実施例では、動きベクトルの補正対象を、移動領域の大きさを限定して行うので、処理負荷が軽減し効率の良い補正が可能になる。
【実施例３】
【００３９】
図７は、本発明による動きベクトル検出方法の第３の実施例を示す説明図である。本実施例の動きベクトル補正は、画面内の全画素に対してではなく、過去フレームの動きベクトルとも比較し、移動量が類似すると判断した画素に対して補正を行うものである。そのために、過去フレームと現在フレームの動きベクトルのヒストグラムを作成し、過去フレームの代表動きベクトル（ｘｑ，ｙｑ）、現在フレームの代表動きベクトル（ｘｐ，ｙｑ）、対象画素の動きベクトル（ｘ，ｙ）、移動元画素の動きベクトル（ｘｏ，ｙｏ）の４個の動きベクトルを求め、それらの類似関係に応じて対象画素の動きベクトル（ｘ，ｙ）を補正する。
【００４０】
図７（ａ）は、比較する４個の動きベクトルを示す。まず、過去のフレームと現在のフレームについて、動きベクトルのヒストグラムを各々作成する。そして、過去のフレームにおける最も発生頻度の大きい動きベクトルを、過去フレーム代表動きベクトル（ｘｑ，ｙｑ）、現在フレームにおける最も発生頻度の大きい動きベクトルを、現フレーム代表動きベクトル（ｘｐ，ｙｐ）とする。ただし、代表動きベクトルは動きゼロの静止ベクトル（０，０）を除く。次に、対象画素の動きベクトル（ｘ，ｙ）から、対象画素の移動元である過去フレームに含まれる移動元画素の動きベクトル（ｘｏ，ｙｏ）を求める。これらの動きベクトルが次の［条件１］に示す（ア）（イ）（ウ）の条件を満たす場合、対象画素の動きベクトル（ｘ，ｙ）に対し、前記式（１）により、補正後の動きベクトル（ｘ’，ｙ’）を求める。
【００４１】
［条件１］
（ア）移動元画素の動きベクトル（ｘｏ，ｙｏ）と過去フレーム代表動きベクトル（ｘｑ，ｙｑ）が同じ。
（イ）過去フレーム代表動きベクトル（ｘｑ，ｙｑ）と現フレーム代表動きベクトル（ｘｐ，ｙｐ）が同じ。
（ウ）現フレーム代表動きベクトル（ｘｐ，ｙｐ）と対象画素の動きベクトル（ｘ，ｙ）が類似する。ここで類似とは、両者が実施例１で述べた同一補正グループに含まれる場合であり、以下の条件（Ａ）〜（Ｈ）のどれか一つが成り立つ場合、類似と判定する。ここに、ｈはｘｐ／２の剰余、ｖはｙｐ／２の剰余である。
（Ａ）ｖ≠０、ｘｐ＝ｘ、ｙｐ＞０、ｙｐ≦ｙ≦ｙｐ＋１
（Ｂ）ｖ≠０、ｘｐ＝ｘ、ｙｐ＜０、ｙｐ−１≦ｙ≦ｙｐ
（Ｃ）ｖ＝０、ｘｐ＝ｘ、ｙｐ＞０、ｙｐ−１≦ｙ≦ｙｐ
（Ｄ）ｖ＝０、ｘｐ＝ｘ、ｙｐ＜０、ｙｐ≦ｙ≦ｙｐ＋１
（Ｅ）ｈ≠０、ｙｐ＝ｙ、ｘｐ＞０、ｘｐ≦ｘ≦ｘｐ＋１
（Ｆ）ｈ≠０、ｙｐ＝ｙ、ｘｐ＜０、ｘｐ−１≦ｘ≦ｘｐ
（Ｇ）ｈ＝０、ｙｐ＝ｙ、ｘｐ＞０、ｘｐ−１≦ｘ≦ｘｐ
（Ｈ）ｈ＝０、ｙｐ＝ｙ、ｘｐ＜０、ｘｐ≦ｘ≦ｘｐ＋１
【００４２】
図７（ｂ）において、例えば対象画素の動きベクトル（ｘ，ｙ）がＡ（２，０）であるとする。そして、現フレーム代表動きベクトル（ｘｐ，ｙｐ）、過去フレーム代表動きベクトル（ｘｑ，ｙｑ）、移動元画素の動きベクトル（ｘｏ，ｙｏ）がいずれも（１，０）であれば、条件（ア）（イ）とともに、条件（ウ）の（Ｅ）を満足するので類似関係にある（すなわち、同じ補正グループ３００ａに含まれる）。よって、式（１）に従い、対象画素の動きベクトルＡを（１，０）に補正する。もし、対象画素の動きベクトル（ｘ，ｙ）がＢ（２，１）である場合、類似条件（ウ）のいずれも満足しないので補正は行わない（すなわち異なる補正グループ３００ｂに含まれる）。
【００４３】
本実施例では、補正の対象は全画素の動きベクトルではなく、過去フレームとの相関が強く、かつ移動する背景のような広い画面領域内の画素に限定して補正することにより、フレーム間やフレーム内の動きベクトルのばらつきを低減することができる。
【００４４】
図８は、本実施例の動きベクトル検出方法のフローチャートを示す図である。
ステップＳ３０１では動きベクトルを検出する。これには、対象フレームの画像データと、対象フレームより前のフレームの画像データとを比較し、各画素について動きベクトルを検出する。次に、ステップＳ３０２では、検出した動きベクトルをフレーム毎に順次メモリ等に格納する。ステップＳ３０３では、前記格納した動きベクトルから、過去フレームの動きベクトルを読み出しそのヒストグラムを作成する。一方、ステップＳ３０１で検出した現在のフレームの動きベクトルから、現フレームのヒストグラムを作成する。ステップＳ３０４では、過去フレームと現在フレームの各々に対し、発生頻度が最大となる動きベクトルを求め、それぞれ過去フレーム代表動きベクトル（ｘｑ，ｙｑ）、現フレーム代表動きベクトル（ｘｐ，ｙｐ）として定める。
【００４５】
次に、ステップＳ３０５にて、現フレームの対象画素の動きベクトル（ｘ，ｙ）の類似性を判定する。そのため、対象画素の移動元である過去フレームに含まれる移動元画素の動きベクトル（ｘｏ，ｙｏ）を求める。そして、ステップＳ３０４にて求めた過去フレーム代表動きベクトル（ｘｑ，ｙｑ）、現フレーム代表動きベクトル（ｘｐ，ｙｐ）と比較し、［条件１］により類似度を判定する。判定の結果、対象画素の動きベクトルが類似している場合、ステップＳ３０６において、式（１）を用いて対象画素の動きベクトル（ｘ，ｙ）を動きベクトル（ｘ’，ｙ’）に補正する。ステップＳ３０５にて、対象画素の動きベクトルは類似していないと判定した場合には、対象画素の動きベクトルの補正を行わない。このようにしてステップＳ３０７では、全ての画素の動きベクトルに対し、ステップＳ３０５とステップＳ３０６の処理が完了したかを判定する。処理が完了したら、補正した動きベクトル（ｘ’，ｙ’）を出力する。または補正値をメモリに格納しておき、必要なタイミングで出力する。
【００４６】
図９は、本実施例における動きベクトル検出装置の構成を示すブロック図である。本実施例の動きベクトル検出装置３では、入力部３１、動きベクトル検出部３２、動きベクトル格納部３３、動きベクトルヒストグラム生成部３４、動きベクトル類似判定部３５、動きベクトル補正部３６、制御部３７を備えている。
【００４７】
次に各部の動作の詳細を説明する。入力部３１には動画像データが入力される。動きベクトル検出部３２では、入力した動画像データについて、対象フレームと時間的に前のフレームとを比較することで画素毎の動きベクトルを検出する。動きベクトル格納部３３では、動きベクトル検出部３２で検出した動きベクトルをメモリ等に格納する。動きベクトルヒストグラム生成部３４では、動きベクトル格納部３３で格納した動きベクトルから各フレームの動きベクトルのヒストグラムを生成し、これから過去フレーム代表動きベクトル、現フレーム代表動きベクトルを求める。
【００４８】
動きベクトル類似判定部３５では、対象画素の動きベクトルの類似度を判定する。そのため、移動元画素の動きベクトルを求めるとともに、動きベクトルヒストグラム生成部３４で求めた過去フレーム代表動きベクトル、現フレーム代表動きベクトルを用いて、［条件１］より類似度を判定する。動きベクトル補正部３６では、動きベクトル類似判定部３５にて類似すると判定した対象画素の動きベクトルに対し、式（１）により、動きベクトルを補正し、補正後の各画素の動きベクトルを出力する。制御部３７は、上記各要素に対してデータの伝送を制御し、入力する動画像データをフレーム単位で動きベクトルの補正を行わせ、外部に出力する。動きベクトル検出部３２、動きベクトル補正部３６は専用のＬＳＩにて構成してもよいし、あるいはマイコンにて処理プログラムを実行させることで実現することもできる。
【００４９】
本実施例によれば、過去フレームの動きベクトルとの相関と、現在フレームの周囲の動きベクトルとの相関を調べ、移動量が類似すると判断した画素に対して補正を行うものである。その際、補正対象を過去相関や周囲相関の強いものに限定しているので、補正の信頼性が高くまた補正処理の負荷をより軽減できる効果がある。
【実施例４】
【００５０】
前記各実施例１，２，３の動きベクトル検出装置は、検出した動きベクトルを用いて画像データを再変換する擬似輪郭補正装置や動画解像度改善装置に適用することができる。両装置は同様の構成となるため、ここでは擬似輪郭補正装置を例として説明する。
【００５１】
図１２は、本発明による擬似輪郭補正装置の一実施例を示すブロック図である。本実施例の擬似輪郭補正装置４は、画像記憶部４１、動きベクトル検出部４２、サブフィールド変換部４３、サブフィールド再構成部４４、画像表示部４５を備えている。
【００５２】
次に各部の動作を説明する。画像記憶部４１は、入力する動画像データを格納しフレーム毎に出力する。動きベクトル検出部４２は、前記実施例１，２，３で述べたいずれかの動きベクトル検出装置であり、対象フレームの画像データと、時間的に前のフレームの画像データとを比較することで、画素毎の動きベクトルを検出する。そして、検出した動きベクトルに対して必要に応じて前記式（１）に従い補正を行う。
【００５３】
画像記憶部４１は、対象フレームのデータをサブフィールド変換部４３に出力する。サブフィールド変換部４３では、対象フレームの画像データをサブフィールドデータに変換する。サブフィールド再構成部４４では、動きベクトル検出装置４２で検出し補正した動きベクトルを使用し、サブフィールド変換部４３で変換したサブフィールドデータを再構成する。すなわち、動きベクトルを使用し、人の視線方向に画素の発光位置をシフトさせることで、擬似輪郭の発生を抑えるものである。画像表示部４５はプラズマディスプレイパネルなどの表示部であり、サブフィールド再構成部４４で作成したサブフィールドデータに基づいて、各画素の点灯または消灯を制御し、画像を表示する。なお、画像表示部４５は擬似輪郭補正装置４の外部に接続してもよい。
【００５４】
本実施例の擬似輪郭補正装置によれば、動きベクトル検出部４２は検出した動きベクトルのばらつきや誤検出を補正して出力するので、動画擬似輪郭と動画ボヤケを抑圧する工程において、画像の揺れなどが発生して画質を劣化させることがない。
【実施例５】
【００５５】
前記各実施例１，２，３の動きベクトル検出装置は、検出した動きベクトルを用いて補間フレームを作成し、対象フレームと補間フレームの表示を行うフレームレート変換装置に適用することができる。
【００５６】
図１３は、本発明によるフレームレート変換装置の一実施例を示すブロック図である。フレームレート変換装置５は、画像記憶部５１、動きベクトル検出部５２、補間フレーム生成部５３、画像切替え部５４、画像表示部５５を備えている。
【００５７】
次に各部の動作を説明する。画像記憶部５１は、入力する動画像データを格納しフレーム毎に出力する。動きベクトル検出部５２は、前記実施例１，２，３で述べたいずれかの動きベクトル検出装置であり、対象フレームの画像データと、時間的に前のフレームの画像データとを比較することで、画素毎の動きベクトルを検出する。そして、検出した動きベクトルに対して必要に応じて前記式（１）に従い補正を行う。
【００５８】
補間フレーム生成部５３は、動きベクトル検出装置５２で検出した動きベクトルと、対象フレームの画像データと、時間的に前のフレームの画像データを用いて、補間フレームの画像データを生成する。画像切替え部５４では、画像を表示する順番を制御し、外部から入力したフレームの画像データと、補間フレーム生成部５３にて生成した補間フレームの画像データとを切替えて出力する。これにより、フレーム周波数を例えば３０Ｈｚから６０Ｈｚに変換する。画像表示部５５はプラズマディスプレイパネルや液晶ディスプレイパネルなどの表示部であり、入力するフレームの画像データに基づいて、各画素の点灯または消灯を制御し画像を表示する。なお、画像表示部５５はフレームレート変換装置５の外部に接続してもよい。
【００５９】
本実施例のフレームレート変換装置によれば、動きベクトル検出部５２は検出した動きベクトルのばらつきや誤検出を補正して出力するので、補間フレームを作成する工程において、補間する画像内に揺れなどが発生せずなめらかな動きの画像を表示することが可能となる。
【００６０】
上記各実施例の説明において、時間的に前後するフレーム間の動きベクトルの検出を説明したが、フィールド間の動きベクトルの検出の場合についても同様に適用できる。
上記した各実施例は、単独でも、あるいは複数の実施例を組み合わせても適用可能である。
【００６１】
以上説明したように、本発明の各実施例によれば、動きベクトルの誤検出やばらつきを低減し、動きベクトルの検出精度を向上させる効果がある。また、動きベクトルを使用する擬似輪郭補正や動画解像度改善、及びフレームレート変換において、より優れた画質を提供できる効果がある。
【図面の簡単な説明】
【００６２】
【図１】本発明による動きベクトル検出方法の第１の実施例を示す説明図。
【図２】本実施例の動きベクトル検出方法のフローチャートを示す図。
【図３】本実施例における動きベクトル検出装置の構成を示すブロック図。
【図４】本発明による動きベクトル検出方法の第２の実施例を示す説明図。
【図５】本実施例の動きベクトル検出方法のフローチャートを示す図。
【図６】本実施例における動きベクトル検出装置の構成を示すブロック図。
【図７】本発明による動きベクトル検出方法の第３の実施例を示す説明図。
【図８】本実施例の動きベクトル検出方法のフローチャートを示す図。
【図９】本実施例における動きベクトル検出装置の構成を示すブロック図。
【図１０】動きベクトルの誤検出の一例を示す図。
【図１１】本実施例の補正処理後の動きベクトルの一例を示す図。
【図１２】本発明による擬似輪郭補正装置の一実施例を示すブロック図。
【図１３】本発明によるフレームレート変換装置の一実施例を示すブロック図。
【符号の説明】
【００６３】
１，２，３…動きベクトル検出装置、
４…擬似輪郭補正装置、
５…フレームレート変換装置、
１２，２２，３２，４２，５２…動きベクトル検出部、
１３，２３，３３…動きベクトル格納部、
１４，２５，３６…動きベクトル補正部、
１５，２６，３７…制御部、
２４，３４…動きベクトルヒストグラム生成部、
３５…動きベクトル類似判定部、
１００，２００，３００…補正グループ。
【図１】
2008293097.tif 000003
【図２】
2008293097.tif 000004
【図３】
2008293097.tif 000005
【図４】
2008293097.tif 000006
【図５】
2008293097.tif 000007
【図６】
2008293097.tif 000008
【図７】
2008293097.tif 000009
【図８】
2008293097.tif 000010
【図９】
2008293097.tif 000011
【図１０】
2008293097.tif 000012
【図１１】
2008293097.tif 000013
【図１２】
2008293097.tif 000014
【図１３】
2008293097.tif 000015