(57)【要約】【課題】  例えばインタレース・スキャン画像からプログレッシブ・スキャン画像への変換結果におけるちらつきやぼやけを軽減する。【解決手段】  現在のフレーム画像と１画面前のフレーム画像内の画素に対して、その画素を含み、隣接する画素の画素値の平均値を求める手段１と、２つのフレーム画像内で同一位置の各画素に対する前記平均値の差分を求める手段２と、手段２の出力と、あらかじめ与えられる判定閾値とを用いて、２つのフレーム画像内の静止領域を判定する手段３とを備える。【選択図】図１
2006324979.tif 000002
【特許請求の範囲】
【請求項１】
現在のフレーム画像と１画面前のフレーム画像との入力に対応して、該２つのフレーム内の画素に対して、該画素を含み、該画素に隣接する隣接画素の画素値の平均値を求める隣接画素値平均化手段と、
該２つのフレーム画像内で同一位置の各画素に対する前記平均値の差分を求める画素値差分抽出手段と、
予め与えられる判定閾値と、該画素値差分抽出手段の出力を用いて、前記２つのフレーム画像内の静止領域を判定する静止領域判定手段とを備えることを特徴とする画像静止領域判定装置。
【請求項２】
前記隣接画素値平均化手段が、前記画素に画素平面上で隣接する８つの画素を前記隣接画素とすることを特徴とする請求項１記載の画像静止領域判定装置。
【請求項３】
前記隣接画素値平均化手段が、画素平面上で前記画素の左右の２つの画素を前記隣接画素とすることを特徴とする請求項１記載の画像静止領域判定装置。
【請求項４】
前記静止領域判定手段が、前記画素値差分抽出手段の出力を用いて、前記２つのフレーム画像内で同一位置にある正方形領域内のｎ×ｎ個の画素によって構成されるブロックを対象として静止領域の判定を行なうことを特徴とする請求項１記載の画像静止領域判定装置。
【請求項５】
前記静止領域判定手段が、前記正方形領域内のｎ×ｎ個の画素によって構成されるブロックに、さらに該ブロックの周辺で隣接する画素を加えた領域を対象として静止領域の判定を行い、該判定結果を前記ブロックに対する静止判定結果とすることを特徴とする請求項４記載の画像静止領域判定装置。
【請求項６】
インタレース・スキャン方式のフィールド画像から、プログレッシブ・スキャン方式のフレーム画像への変換に用いられることを特徴とする請求項１記載の画像静止領域判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばビデオ画像の処理方式に係り、さらに詳しくは、例えばインタレース・スキャン方式のフィールド画像からプログレッシブ・スキャン方式のフレーム画像への変換にあたって、例えばブロック単位の静止領域の判定を行なう画像静止領域判定装置に関する。
【背景技術】
【０００２】
例えばビデオ信号処理装置において、連続するフレーム間での静止領域の判定は信号処理の効率上重要な技術である。例えばインタレース・スキャン方式におけるフィールド画像からプログレッシブ・スキャン方式におけるフレーム画像への変換において、静止領域の判定は画像のちらつきやぼやけを防止するために重要な技術である。
【０００３】
この静止領域判定方式の従来技術について図１３、図１４を用いて説明する。図１３は、画像静止領域判定装置の従来例の構成ブロック図である。同図において判定装置は、１画面前のフレーム画像と現在のフレーム画像との入力に対して、２つのフレーム画像の間で対応する画素の画素値の差分を求める画素値差分抽出部１００、各画素の画素値差分をブロック単位で平均するブロック平均化部１０１、およびブロック平均化部１０１の出力と予め定められた判定閾値とを用いて、ブロックを対象とする静止判定を行なうブロック静止判定部１０２を備えている。
【０００４】
図１４は、図１３の画像静止領域判定装置におけるブロック単位の静止領域判定動作の説明図である。この静止領域判定処理は、１画面前のフレーム画像と現在のフレーム画像の中で、図に示す中央の実線内の２×２個の画素によって構成されるブロックを対象として行われる。ただし２×２個の画素ブロックの間でブロックの静止を判定する場合には、このブロックの周辺のそれぞれ１画素を含んだ４×４個の正方形領域（図の点線内）の画素を対象として、１画面前のフレーム画像と現在のフレーム画像との間でそれぞれ対応する画素の画素値の差分が画素値差分抽出部１００によって求められ、１６個の差分の値の平均値がブロック平均化部１０１によって算出され、その値が２×２個の画素で構成されるブロックに対する平均値としてブロック静止判定部１０２に与えられ、この値が判定閾値より小さければそのブロックは静止領域として判定され、判定結果の信号が出力される。
【０００５】
しかしながらこのような従来方式においては、図１４で説明したように画素値の差分が直接に対応する画素だけの間で求められるため、目で見てはよくわからないような小さな動きでも画素値の間で差分が生じ、結果として判定対象のブロックが静止領域ではないと判定されることがあり、例えばインタレース・スキャン方式のフィールド画像から変換されたプログレッシブ・スキャン方式のフレーム画像にちらつきが生じてしまうという問題があった。
【０００６】
このような画像中の静止領域の検出方法に関する従来技術の１つ（例えば特許文献１）では、例えば連続するフレームの間で対応する画素間の画素値の差分が計算され、その計算値に基づいてブロック単位で画素値の差分が累積加算されて作成される静止領域の仮のマップ上で、孤立した静止領域、あるいは隣接した静止領域の小ブロックを削除して静止領域の最終マップを求める、信頼性のある静止領域検出アルゴリズムが開示されている。
【０００７】
しかしながら特許文献１の技術においても、連続するフレームの間で対応する画素だけについて画素値の差分が求められているために、画像の細かい動きによって生じる画素値の差分が静止領域の判定に影響を与え、画像信号処理の結果においてちらつきやぼやけを生じてしまうという問題点を解決することはできなかった。
【特許文献１】特開２０００−７８５３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の課題は、上述の問題点に鑑み、連続するフレーム間で画素値の差分を求めるにあたって、対応する画素の画素値だけを用いるのではなく、隣接する画素を含んだ画素値の平均値を求め、その平均値の差分を求めることによって、画像信号処理の結果におけるちらつきやぼやけを少なくすることである。
【課題を解決するための手段】
【０００９】
図１は、本発明の画像静止領域判定装置の原理構成ブロック図である。本発明の画像静止領域判定装置は隣接画素値平均化手段１、画素値差分抽出手段２、および静止領域判定手段３を備える。
【００１０】
隣接画素値平均化手段１は、現在のフレーム画像と１画面前のフレーム画像との入力に対応して、２つのフレーム内の画素に対して、その画素を含み、その画素と隣接する画素の画素値の平均値を求めるものであり、発明の実施の形態においては、例えば１つの画素に画素平面上で隣接する８つの画素を含んで画素値の平均値を求めることも、あるいは画素平面上で１つの画素に隣接する左右の２つの画素を含んで画素値の平均値を求めることもできる。
【００１１】
画素値差分抽出手段２は、２つのフレーム画像内で同一位置の各画素に対する前述の画素値の平均値の差分を求めるものであり、静止領域判定手段３は、画素値差分抽出手段２の出力を用いて、２つのフレーム画像内の静止領域判定を、与えられる判定閾値に基づいて行なうものであり、例えば複数の画素で構成されるブロック単位で静止領域の判定を行なうものである。
【００１２】
このように本発明によれば、現在のフレーム画像と１画面前のフレーム画像との内部の各画素の画素値の差分を取るにあたり、隣接する画素を含む画素値の平均値を求め、その平均値の間で差分を取る動作が実行される。
【発明の効果】
【００１３】
本発明によれば、画像の静止領域を判定するにあたって、２つのフレーム間で対応する画素のみの間で画素値の比較を行なうのではなく、例えば比較対象の画素と左右の画素を含む３つの画素の画素値を平均化した上で比較を行なうために、見た目にはわかりにくいような細かな動きに対して静止領域でないと判定されるような過敏な反応を防止することができ、静止領域に対する画像処理の結果におけるちらつきやぼやけを軽減することが可能となる。
【発明を実施するための最良の形態】
【００１４】
図２は、本発明の画像静止領域判定装置の構成ブロック図である。同図において画像静止領域判定装置は、隣接画素値平均化部１０、画素値差分抽出部１１、ブロック平均化部１２、およびブロック静止判定部１３を備え、図１３の従来例と比較すると隣接画素値平均化部１０が追加されている点が基本的に異なっている。なお本発明の特許請求の範囲の請求項４、５における静止領域判定手段はブロック平均化部１２とブロック静止判定部１３とに相当する。
【００１５】
図２において画素値差分抽出部１１は、図１３の従来例におけると同様に、１画面前のフレーム画像と現在のフレーム画像との２つのフレーム画像の中で、同一位置にある画素の画素値の差分を求めるものであり、ブロック平均化部１２はｎ×ｎ個の画素、例えば２×２個の正方形領域内の画素によって構成されるブロックの内部の画素に対応する画素値差分抽出部１１の出力、すなわちブロック内の画素に対する画素値差分の値を平均するものであり、ブロック静止判定部１３はブロック平均化部１２の出力を予め定められた判定閾値と比較して、そのブロックの画像が静止してるか否かを判定し、その結果を判定信号として出力するものである。
【００１６】
本実施形態においては、画素値差分抽出部１１に対する入力となる２つのフレーム内の各画素に対する画素値が、その画素だけでなく隣接する画素を含めた平均値となるところに最大の特徴がある。すなわち隣接画素値平均化部１０は、１画面前のフレーム画像と現在のフレーム画像とのそれぞれにおいて、着目する同一位置の画素の画素値として、その着目画素に隣接する画素を含めて画素値を平均化した結果を画素値差分抽出部１１に与えるものである。
【００１７】
図３は、本発明の第１の実施例における隣接画素平均化方式の説明図である。同図においては、図２の画像静止領域判定装置によって、中央付近の実線で囲まれた２×２個の画素によって構成されるブロックの静止判定を行なう場合に、このブロックに隣接する合計１２個の画素を含む４×４個の画素（点線内）に対して、１画面前のフレーム画像と現在のフレーム画像とにおける画素値の差分の平均値がそれぞれ求められ、２つのフレームに対するその平均値の差が判定閾値と比較されて、静止領域の判定が行なわれるものとする。
【００１８】
このように４×４個の画素に対して、１画面前のフレーム画像と現在のフレーム画像との間で画素値の差分を求めるにあたり、本実施形態においてはその画素値の間で直接的に差を求めるのではなく、現在着目している画素に隣接する画素を含めてその着目画素に対する平均化された画素値を求め、その平均化された画素値を用いて、１画面前のフレーム画像と現在のフレーム画像との間で差分を求めることになる。
【００１９】
すなわち図３において、現在着目している画素は前述の２×２個の画素によって構成されるブロックの周辺の１画素を含んだ４×４個の領域の中で最も左上の画素であり、第１の実施例においては、この着目画素に隣接する８個の画素を含めた９個の画素によって構成される領域、すなわち１画面前のフレーム画像内では領域１５、現在のフレーム画像内では領域１６内の画素の画素値の平均値が求められ、この２つの平均値の差分が画素値差分抽出部１１によって求められることになる。
【００２０】
第１の実施例において隣接画素値平均化部１０による平均化は次式を用いて行なわれる。この式は、着目画素の横座標がｉ、縦座標がｊである画素の画素値をＸ（ｉ，ｊ）とした場合の平均（画素）値の算出式である。なおこの算出式において、画素値の加算結果を画素の数である“９”で割るのでなく、“８”で割る理由は、装置のハードウェアによる構成を容易にするためである。
【００２１】
平均値＝｛Ｘ（ｉ−１，ｊ−１）＋Ｘ（ｉ，ｊ−１）＋Ｘ（ｉ＋１，ｊ−１）＋Ｘ（ｉ−１，ｊ）＋Ｘ（ｉ，ｊ）＋Ｘ（ｉ＋１，ｊ）＋Ｘ（ｉ−１，ｊ＋１）＋Ｘ（ｉ，ｊ＋１）＋Ｘ（ｉ＋１、ｊ＋１）｝／８
【００２２】
画素値差分抽出部１１は、図３の１画面前のフレーム画像と現在のフレーム画像内で同一位置にある画素に対して、隣接画素値平均化部１０によって求められた平均画素値、例えば現在のフレーム画像に対するＸｐ（ｉ，ｊ）と１画面前のフレーム画像に対するＸｒ（ｉ，ｊ）との差分を式によって計算する。
【００２３】
画素値差分＝Ｘｐ（ｉ，ｊ）−Ｘｒ（ｉ，ｊ）
ブロック平均化部１２では、前述のように４×４個の画素で構成される正方形領域内の画素平均値間の差分を累積加算し、その平均値を２×２個の画素によって構成されるブロックに対する平均値として出力し、ブロック静止判定部１３はその平均値と判定閾値とを比較し、判定閾値より小さい場合にはそのブロックを静止領域として判定することになる。
【００２４】
図４は、第１の実施例における隣接画素値平均化部１０の構成ブロック図である。この隣接画素値平均化部の動作を図５の画素構成例、および図６の動作タイムチャートを用いて説明する。図４において隣接画素値平均化部１０は６個のデータ・フリップ・フロップ（Ｄ−ＦＦ）２１〜２６、２つの加算器２７、２８、および除算器２９によって構成されている。図５において図３の９個の画素によって構成される領域１５、または１６は、ａ１からａ３、ｂ１からｂ３、ｃ１からｃ３の画素値を持つ画素によって構成されているものとする。
【００２５】
図６の動作タイムチャートに示すように、まず最初のクロックの入力の時点で３つのＤ−ＦＦ２１から２３に、図５の１番上の行のａ１からａ３の画素値が与えられる。次のクロックにおいて３つのＤ−ＦＦ２１から２３の出力は加算器２７に与えられ、３つの画素値の加算結果として“Ａ”が得られるとともに、Ｄ−ＦＦ２１から２３に対しては図５の２行目の画素の画素値ｂ１からｂ３がそれぞれ入力される。
【００２６】
その次のクロックにおいて３つの画素データｂ１からｂ３までの加算結果“Ｂ”が加算器２７によって出力されるとともに、Ｄ−ＦＦ２１から２３には図５の最も下の行の３つの画素の画素値ｃ１からｃ３が入力される。またその前のクロックにおける加算器２７による加算結果としての“Ａ”はＤ−ＦＦ２４に格納されており、この加算結果はＤ−ＦＦ２４からＤ−ＦＦ２５に与えられる。
【００２７】
さらに次のクロックでは加算器２７によって３つの画素値ｃ１からｃ３の加算結果が“Ｃ”としてＤ−ＦＦ２４に出力されるとともに、Ｄ−ＦＦ２４からはデータ“Ｂ”がＤ−ＦＦ２５に出力され、またＤ−ＦＦ２５からはデータ“Ａ”がＤ−ＦＦ２６に出力される。
【００２８】
最後にＤ−ＦＦ２４からはデータ“Ｃ”、Ｄ−ＦＦ２５からはデータ“Ｂ”、Ｄ−ＦＦ２６からはデータ“Ａ”がそれぞれ加算器２８に出力され、それらの加算結果が除算器２９に入力されて、除算器２９による除算結果“Ｄ”が、例えば図３の４×４個の画素で構成される正方形の領域内で最も左上の画素に対する画素値平均値として出力される。
【００２９】
図７から図９は、第２の実施例における隣接画素値平均化方式の説明図である。図７は第２の実施例における平均化方式の基本説明図であり、図３の第１の実施例においては４×４個の画素によって構成される正方形領域の最も左上の画素に着目し、この画素のすべての隣接画素を含んだ平均化が行なわれるのに対して、第２の実施例では最も左上の画素に隣接する左右の画素を含んだ３つの画素の画素値の平均化が行なわれる。従って、平均値の算出は次式によって行なわれる。
【００３０】
平均値＝｛Ｘ（ｉ−１，ｊ）＋Ｘ（ｉ，ｊ）＋Ｘ（ｉ＋１，ｊ）｝／４
なおこの式で“４”で割る理由もハードウェア構成を容易にするためである。
図８は、第２の実施例における隣接画素値平均化部の構成ブロック図である。同図において隣接画素値平均化部１０は、３つのＤ−ＦＦ２１〜２３、加算器２７、および除算器３０によって構成される。
【００３１】
図９は、第２の実施例における隣接画素値平均化動作のタイムチャートである。この動作タイムチャートでは、例えば図５の９個の画素のうち中央の行の３つの画素を対象として画素値平均化処理が行われるものとする。まず最初のクロックで３つのＤ−ＦＦ２１から２３に、３つの画素の画素値ｂ１からｂ３が入力され、次のクロックで加算器２７からそれらのデータの加算結果としての“Ｂ”が出力され、除算器３０からの出力として平均値“Ｄ”が出力される。
【００３２】
本発明の画像静止領域判定方式は、２つの画像の間で静止領域の判定を行なう必要がある各種の分野において利用できるが、ここではこの画像静止領域判定方式の応用の実施例として、例えばＭＰＥＧビデオ符号化の分野におけるインタレース・スキャン画像からプログレッシブ・スキャン画像への変換を行なうＩＰ（インタレース−プログレッシブ）変換処理について、図１０から図１２を用いて説明する。
【００３３】
インタレース・スキャン方式は、例えばＮＴＳＣ方式のテレビに用いられるスキャン方式であり、１枚の画面を、例えば上から奇数番号のスキャンラインと偶数番号のスキャンラインで構成される２つの画面に分割して画像を表示するものであり、これに対してプログレッシブ・スキャン方式は、１画面のすべてのスキャンラインを１回でスキャンする方式であり、ノンインタレース（デインタレース）・スキャン方式とも呼ばれる。
【００３４】
図１０は、インタレース・スキャン方式における画像出力の説明図であり、図１１は、プログレッシブ方式における画像出力方式の説明図である。図１０においては、１枚の画像が、例えば奇数番号のスキャンラインに対応するトップフィールド画像と、偶数番号のスキャンラインに対応するボトムフィールドの画像とに分割され、これら２つの画像が時間軸方向（横方向）に、例えば１／６０秒毎に順次交互に出力されることになる。
【００３５】
これに対して図１１に示すプログレッシブ・スキャン方式では、１枚の画像が分離されることなく、上から順次スキャンされてフレーム画像として出力される。１／６０秒毎に出力されるインタレース・スキャン画像を合成することにより、１／３０秒毎のプログレッシブ・スキャン画像を得ることができる。
【００３６】
図１２は、インタレース・スキャン方式のフィールド画像からプログレッシブ・スキャン方式のフレーム画像への変換を行なうＩＰ変換処理システムの構成ブロック図である。同図において変換処理システムは、１画面前のフレーム画像を格納するフレームメモリ４０、現在のフレーム画像とフレームメモリ４０に格納されている１画面前のフレーム画像を用いて画像の静止領域の判定を行なう静止領域判定部４１、入力されるインタレース・スキャン方式のフィールド画像をトップフィールドとボトムフィールドに分離するトップ／ボトム分離部４２、図１０の横方向、すなわち時間軸方向で時間的に遅いフィールドの画像が与えられる擬似フィールド画像生成部４３、時間的に早いフィールド画像としてのトップ／ボトムフィールドの画像と、擬似フィールド画像生成部４３の出力が与えられ、静止領域判定部４１の判定結果にしたがって２つの画像のいずれかを出力する画像切替部４４、画像切替部４４の出力と時間的に遅いフィールドとしてのボトム／トップフィールドの画像とが与えられてプログレッシブ画像を出力するフィールド／フレーム変換部４５によって構成されている。なお図２で説明した本発明の画像静止領域判定装置はこのシステム内の静止領域判定部４１に相当する。
【００３７】
図１２においてインタレース・スキャン方式の入力フィールド画像、すなわちトップフィールドとボトムフィールドの画像が交互に入力され、時間的に早いフィールドの画像は画像切替部４４に与えられ、時間的に遅いフィールドの画像は擬似フィールド画像生成部４３と、フィールド／フレーム変換部４５とに与えられる。擬似フィールド画像生成部４３は動き補償、例えば補間などによって、動きがある場合の時間的に早い時刻に相当するフィールド画像を擬似的に生成し、画像切替部４４に与える。
【００３８】
一方、静止領域判定部４１はフレームメモリ４０に格納されている１画面前のフレーム画像と、インタレース・スキャン方式で入力されるフィールド画像を組み合わせた現在のフレーム画像とを用いて、前述のように、例えばブロック単位で静止領域の判定を行い、その結果、すなわち図２におけるブロック静止判定部１３の出力する判定信号を画像切替制御信号として画像切替部４４に出力する。画像切替部４４は、判定結果が静止であるときにはトップ／ボトム分離部４２から出力された画像を、また静止でないと判定された場合には擬似フィールド画像生成部４３によって生成された画像をフィールド／フレーム変換部４５に出力し、フィールド／フレーム変換部４５は時間的に遅く入力されたフィールドの画像と時間的に早く入力されたフィールドの画像そのもの、または擬似フィールド画像生成部４３によって出力された画像とを組み合わせてプログレッシブ画像として出力する。
【００３９】
このように本発明においては、例えばインタレース・スキャン方式のフィールド画像から、プログレッシブ・スキャン方式のフレーム画像への変換を行なう変換処理システムにおいて、１画面前のフレーム画像と現在のフレーム画像との間で直接対応する画素だけでなく、その画素の隣接画素を含めて画素値の平均化を行い、画像の静止領域を判定することによって、インタレース−プログレッシブ変換処理において、見た目ではわかりにくいような細かい動きがあるような場合にも、その細かい動きによって静止領域でないと判定されることを避けることが可能となり、静止領域に対するちらつきやぼやけを軽減可能であることを実際の画像の例に対して確認することができた。
【図面の簡単な説明】
【００４０】
【図１】本発明の画像静止領域判定装置の原理構成ブロック図である。
【図２】画像静止領域判定装置の構成ブロック図である。
【図３】第１の実施例における隣接画素値平均化方式の説明図である。
【図４】第１の実施例における隣接画素値平均化部の構成ブロック図である。
【図５】第１の実施例における隣接画素値平均化方式を説明するための画素値の例である。
【図６】第１の実施例における隣接画素値平均化動作のタイムチャートである。
【図７】第２の実施例における隣接画素値平均化方式の説明図である。
【図８】第２の実施例における隣接画素値平均化部の構成ブロック図である。
【図９】第２の実施例における隣接画素値平均化動作のタイムチャートである。
【図１０】インタレース・スキャン方式におけるフィールド画像の説明図である。
【図１１】プログレッシブ・スキャン方式におけるフレーム画像の説明図である。
【図１２】インタレース−プログレッシブ画像変換システムの構成例のブロック図である。
【図１３】画像静止領域判定装置の従来例の構成ブロック図である。
【図１４】画像静止領域判定方式の従来例の説明図である。
【符号の説明】
【００４１】
１      隣接画素値平均化手段
２      画素値差分抽出手段
３      静止領域判定手段
１０      隣接画素値平均化部
１１      画素値差分抽出部
１２      ブロック平均化部
１３      ブロック静止判定部
２１〜２６      Ｄ−ＦＦ
２７、２８      加算器
２９、３０      除算器
４０      フレームメモリ
４１      静止領域判定部
４２      トップ／ボトム分離部
４３      擬似フィールド画像生成部
４４      画像切替部
４５      フィールド／フレーム変換部
【図１】
2006324979.tif 000003
【図２】
2006324979.tif 000004
【図４】
2006324979.tif 000005
【図６】
2006324979.tif 000006
【図８】
2006324979.tif 000007
【図９】
2006324979.tif 000008
【図１２】
2006324979.tif 000009
【図１３】
2006324979.tif 000010
【図３】
2006324979.tif 000011
【図５】
2006324979.tif 000012
【図７】
2006324979.tif 000013
【図１０】
2006324979.tif 000014
【図１１】
2006324979.tif 000015
【図１４】
2006324979.tif 000016