(57)【要約】【課題】映像に含まれる歪を軽減しつつ、歪軽減処理の演算量を削減する。【解決手段】画像処理装置10は、入力された映像信号の複数のフレーム画像から所定規則に基づき処理対象画素群を決定し、格納された処理済フレーム画像から所定基準に基づき処理済画素群を決定する処理画素群決定手段102と、処理対象画素群および処理済画素群から少なくとも時間周波数成分を抽出し、時間周波数成分における時間高周波数成分に対し所定の係数処理を実行し、実行後の処理対象画素群を取得する周波数成分処理手段103と、実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段104と、処理完了フレーム画像の出力と処理済フレーム格納手段105への格納を行う画像出力手段106とを備え、周波数成分処理手段103は、時間高周波数成分のうち視覚特性で感度が低い成分に対する所定の係数処理の実行を回避する。【選択図】図１
2010258648.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、
既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、
前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、
前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から少なくとも時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、
前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、
前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段と、
を備え、
前記周波数成分処理手段は、前記時間高周波数成分のうち、視覚特性で感度が低い成分に対する前記所定の係数処理の実行を回避する、
ことを特徴とする画像処理装置。
【請求項２】
複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、
既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、
前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、
前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分のうち、空間低周波数成分と空間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、
前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、
前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段と、
を備える画像処理装置。
【請求項３】
前記周波数成分処理手段は、前記処理対象画素群および前記処理済画素群に対し空間周波数変換を行うことで空間周波数成分を抽出し、抽出された空間周波数成分に対し時間周波数変換を行うことで時間周波数成分を抽出する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記処理完了フレーム生成手段は、前記周波数成分処理手段により取得された複数の実行後の処理対象画素群が少なくとも１画素以上重複するように、当該複数の実行後の処理対象画素群を組み合わせて処理完了フレーム画像を生成する、
ことを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記所定の係数処理は、周波数成分の絶対値と所定の閾値とを比較し、前記周波数成分の絶対値が前記閾値より大きい場合に前記周波数成分を維持し、前記周波数成分の絶対値が前記閾値以下の場合に前記周波数成分を所定値に置換する処理である、
ことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記周波数成分を置換する前記所定値は、０であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段を備える画像処理装置、により実行される画像処理方法であって、
複数のフレーム画像から成る映像信号を外部から入力する画像入力ステップと、
前記画像入力ステップにて入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定ステップと、
前記処理画素群決定ステップにて決定された処理対象画素群および処理済画素群から少なくとも時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理ステップと、
前記周波数成分処理ステップにて取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成ステップと、
前記処理完了フレーム生成ステップにて生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力ステップと、
を備え、
前記周波数成分処理ステップでは、前記時間高周波数成分のうち、視覚特性で感度が低い成分に対する前記所定の係数処理の実行を回避する、
ことを特徴とする画像処理方法。
【請求項８】
既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段を備える画像処理装置、により実行される画像処理方法であって、
複数のフレーム画像から成る映像信号を外部から入力する画像入力ステップと、
前記画像入力ステップにて入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定ステップと、
前記処理画素群決定ステップにて決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分のうち、空間低周波数成分と空間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理ステップと、
前記周波数成分処理ステップにて取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成ステップと、
前記処理完了フレーム生成ステップにて生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力ステップと、
を備える画像処理方法。
【請求項９】
コンピュータを、
複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、
既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、
前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、
前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から少なくとも時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、
前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、
前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段、
として機能させ、
前記周波数成分処理手段は、前記時間高周波数成分のうち、視覚特性で感度が低い成分に対する前記所定の係数処理の実行を回避する、
ことを特徴とする画像処理プログラム。
【請求項１０】
コンピュータを、
複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、
既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、
前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、
前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分のうち、空間低周波数成分と空間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、
前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、
前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段、
として機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれるちらつき等の歪の軽減処理を行う画像処理装置、画像処理方法および画像処理プログラムに関するものである。
【背景技術】
【０００２】
「映像」は、単一の静止画像である「フレーム画像」を連続させることにより構成されている。映像の取得、伝送、圧縮（符号化、復号化）、縮小、拡大を含む映像処理では、一般に様々な歪が引き起こされる。そのため、映像処理における歪の軽減は大きな課題である。
【０００３】
一方、最近では、携帯電話等のモバイル端末にカメラが搭載されるようになっており、またモバイル通信網の高速化に伴いモバイル端末において、ユーザがダウンロードにより取得した映像を閲覧する機会が増加している。そこで、モバイル端末を例にとって、映像処理における歪について以下に説明する。
【０００４】
一般にモバイル端末はサイズや消費電力を小さくすることが要求されるため、モバイル端末に搭載されたカメラは、通常の単体のカメラよりも機能が制限されている。従って、モバイル端末に搭載されたカメラによって撮影された映像には、モスキートノイズや映像のチラツキが含まれることがある。また、モバイル通信網での映像配信では伝送帯域の効率的な利用の観点から、映像データに対して圧縮処理が行われるのが一般的である。そのため、映像にちらつき・ブロック歪・エイリアジング歪・リンギング歪が含まれることが多い。映像に含まれる歪の違いは画像の品質に対する評価に直接結びつくことが多く、歪が少ない映像ほど高品質と評価されるのは言うまでもない。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】大山正・今井省吾・和気典二、「新編  感覚・知覚心理ハンドブック」誠心書房、ISBN：4414305039、第５８３ページ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のような映像処理におけるさまざまな歪を軽減するには、一般的に大量の画像処理演算を実行することが必要とされる。しかし、その一方で、大量の画像処理演算を実行可能な高性能のＣＰＵを搭載する場合、装置の複雑化や装置コストの増大が懸念される。とりわけ、モバイル端末には、装置の複雑化や装置コストの増大を避けることが強く求められるため、高性能のＣＰＵを搭載することは実際には困難である。
【０００７】
本発明は、上記の実情を考慮し、映像に含まれる歪を軽減しつつ、歪軽減処理の演算量を削減することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る画像処理装置は、複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から少なくとも時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段と、を備え、前記周波数成分処理手段は、前記時間高周波数成分のうち、視覚特性で感度が低い成分に対する前記所定の係数処理の実行を回避することを特徴とする。
【０００９】
本願出願人は、入力されたフレーム画像の処理対象画素群と処理済フレーム画像の処理済画素群との間に含まれる時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行することで、処理対象画素群と処理済画素群との間に含まれる時間的変化を軽減し、ちらつき等の歪を効率的に軽減する技術を考えついた。
【００１０】
一方、人間の眼の特性は２つの異なる特徴を持つ系によって構成されることが知られており、当該２つの系は、映像の空間低周波数成分と時間高周波成分に対して感度が高い過渡系と、映像の空間高周波数成分と時間低周波成分に対して感度の高い持続系の２つとされる（非特許文献１参照）。
【００１１】
このような知識を踏まえ、本願出願人は、時間高周波数成分に対し所定の係数処理を実行する際に、時間高周波数成分のうち「視覚特性で感度が低い成分」に対する所定の係数処理の実行を回避することを発明した。この発明によれば、映像に含まれる歪を軽減する効果をあまり低下させることなく、歪軽減処理の演算量を削減することができる。
【００１２】
上記の「視覚特性で感度が低い成分」とは、時間高周波数成分における空間低周波数成分と空間高周波数成分とを除いた部分（いわば「空間中周波数成分」）に相当する。そのため、時間高周波数成分のうち「視覚特性で感度が低い成分」に対する所定の係数処理の実行を回避する点は、別の角度からみると、時間高周波数成分のうち空間低周波数成分と空間高周波数成分に対し所定の係数処理を実行すると捉えることができる。
【００１３】
従って、上述した画像処理装置に係る発明は、以下のように記述することができ、上記と同様の効果を得ることができる。即ち、本発明に係る画像処理装置は、複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分のうち、空間低周波数成分と空間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段と、を備えることを特徴とする。
【００１４】
ここで、空間周波数成分および時間周波数成分を抽出するには、周波数成分処理手段は、処理対象画素群および処理済画素群に対し空間周波数変換を行うことで空間周波数成分を抽出し、抽出された空間周波数成分に対し時間周波数変換を行うことで時間周波数成分を抽出する。このようにして、効率良く時間周波数成分および空間周波数成分の両方を抽出することができる。
【００１５】
なお、処理完了フレーム生成手段は、周波数成分処理手段により取得された複数の実行後の処理対象画素群が少なくとも１画素以上重複するように、当該複数の実行後の処理対象画素群を組み合わせて処理完了フレーム画像を生成することが好適である。複数の実行後の処理対象画素群を組み合わせて処理完了フレーム画像を生成するには、例えば、重み付け演算や平均化処理等を利用できる。このように、重み付け演算によって、より品質のよい実行後の処理対象画素群を選択することで、又は、平均化処理によって歪をさらに軽減することで、歪をさらに抑えた処理完了フレーム画像を生成することができる。
【００１６】
また、上記の所定の係数処理としては、周波数成分の絶対値と所定の閾値とを比較し、周波数成分の絶対値が閾値より大きい場合に周波数成分を維持し、周波数成分の絶対値が閾値以下の場合に周波数成分を所定値に置換する処理、を挙げることができる。また、このときの所定値としては、０を採用することができる。このように周波数成分の絶対値が閾値以下の場合に周波数成分を０に置換することで、符号化歪等により生じた小さな空間周波数成分、および、ちらつきの元となる時間周波数成分を削減することができるため、歪をさらに抑える効果がある。
【００１７】
ところで、上述した画像処理装置に係る発明は、画像処理方法に係る発明として捉えることができ、以下のように記述することができる。
【００１８】
本発明に係る画像処理方法は、既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段を備える画像処理装置、により実行される画像処理方法であって、複数のフレーム画像から成る映像信号を外部から入力する画像入力ステップと、前記画像入力ステップにて入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定ステップと、前記処理画素群決定ステップにて決定された処理対象画素群および処理済画素群から少なくとも時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理ステップと、前記周波数成分処理ステップにて取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成ステップと、前記処理完了フレーム生成ステップにて生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力ステップと、を備え、前記周波数成分処理ステップでは、前記時間高周波数成分のうち、視覚特性で感度が低い成分に対する前記所定の係数処理の実行を回避する、ことを特徴とする。
【００１９】
また、本発明に係る画像処理方法は、以下のように記述することもできる。即ち、本発明に係る画像処理方法は、既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段を備える画像処理装置、により実行される画像処理方法であって、複数のフレーム画像から成る映像信号を外部から入力する画像入力ステップと、前記画像入力ステップにて入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定ステップと、前記処理画素群決定ステップにて決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分のうち、空間低周波数成分と空間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理ステップと、前記周波数成分処理ステップにて取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成ステップと、前記処理完了フレーム生成ステップにて生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力ステップと、を備えることを特徴とする。
【００２０】
ところで、上述した画像処理装置に係る発明は、画像処理プログラムに係る発明として捉えることができ、以下のように記述することができる。
【００２１】
本発明に係る画像処理プログラムは、コンピュータを、複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から少なくとも時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段、として機能させ、前記周波数成分処理手段は、前記時間高周波数成分のうち、視覚特性で感度が低い成分に対する前記所定の係数処理の実行を回避する、ことを特徴とする。
【００２２】
また、本発明に係る画像処理プログラムは、以下のように記述することもできる。即ち、本発明に係る画像処理プログラムは、コンピュータを、複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分のうち、空間低周波数成分と空間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段、として機能させることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、映像に含まれる歪を軽減しつつ、歪軽減処理の演算量を削減することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態における画像処理装置の機能構成を例示するブロック構成図である。
【図２】処理画素群の位置関係を示した概念図である。
【図３】処理対象フレーム内における処理を実行する画素位置を示した概念図である。
【図４】図１の周波数成分処理手段の構成を例示するブロック構成図である。
【図５】処理画素群が３×３単位の場合の周波数係数の処理位置の第１の例を示す概念図である。
【図６】処理画素群が３×３単位の場合の周波数係数の処理位置の第２の例を示す概念図である。
【図７】処理画素群が４×４単位の場合の周波数係数の処理位置を例示する概念図である。
【図８】処理画素群が８×８単位の場合の周波数係数の処理位置を例示する概念図である。
【図９】本発明の実施形態における画像処理の流れを示すフローチャートである。
【図１０】画像処理プログラムの構成を例示するブロック構成図である。
【図１１】画像処理プログラムを実行するためのコンピュータのハードウェア構成を示す図である。
【図１２】画像処理プログラムを実行するためのコンピュータの斜視図である。
【発明を実施するための形態】
【００２５】
以下、本発明に係る実施形態を図面に基づき説明する。なお、各図において、同一構成要素には同一符号を付して重複する説明を省略する。
【００２６】
［画像処理装置の構成について］
図１は、本実施形態における画像処理装置１００の機能構成を例示するブロック構成図である。この画像処理装置１００は、ハードウェアとしては、ＣＰＵ（中央処理装置）、画像フレーム等を記憶するための記憶装置、映像を入出力するための入出力装置（通信装置）などを備えたコンピュータにより構成される。なお、ハードウェア構成については、図１１を用いて後に説明する。このような画像処理装置１００は、例えば、パーソナルコンピュータ等の据え置き型の通信端末や携帯電話機等の移動通信端末など、各種の情報処理装置により構成することができる。
【００２７】
次に、図１を参照して画像処理装置１００の機能ブロック構成について説明する。図１に示すように、画像処理装置１００は、画像入力手段１０１と、処理画素群決定手段１０２と、周波数成分処理手段１０３と、処理完了フレーム生成手段１０４と、処理済フレーム格納手段１０５と、画像出力手段１０６とを含んで構成される。このうち画像入力手段１０１は、複数のフレーム画像から成る映像信号（動画像信号）をラインＬ１００経由で外部から入力する。
【００２８】
（処理画素群決定手段１０２について）
処理画素群決定手段１０２は、画像入力手段１０１によって外部から入力された映像信号をラインＬ１０１経由で受け取り、該映像信号をフレーム画像に分解して、処理対象となるフレーム画像（以下「処理対象フレームＸ」という）を読み込む。また、処理画素群決定手段１０２は、処理済フレーム格納手段１０５に格納された処理済のフレーム画像（以下「処理済フレームＹ」という）のうち、時系列上で直前に処理された（即ち、現時点からみて最も新しく格納された）処理済フレームＹをラインＬ１０５経由で読み込む。
【００２９】
そして、処理画素群決定手段１０２は、処理対象フレームＸおよび処理済フレームＹのそれぞれから、所定の規則に基づいて、処理対象とするＭ×Ｍ（Ｍは１以上の整数）の画素群を決定する。以下、具体的な決定方法を説明する。ここでは、図２に示すように処理対象フレームＸおよび処理済フレームＹにおける横サイズをｗ、縦サイズをｈとする。処理画素群決定手段１０２は、所定の規則αに基づき、複数の入力されるフレーム画像の中から処理対象フレームＸを決定し、処理対象フレームＸ内の画素位置（ｉc，ｊc）（０≦ｉc≦ｗ−Ｍ，０≦ｊc≦ｈ−Ｍ）を左上端とするＭ×Ｍ画素の画素群、即ち、処理対象画素群
【数１】
2010258648.tif 000003
（以下「処理対象画素群Ｄ1」と表記することもある）を順次決定する。つまり、Ｍ×Ｍ画素の画素群における左上端の画素位置（ｉc，ｊc）が、（０≦ｉc≦ｗ−Ｍ）且つ（０≦ｊc≦ｈ−Ｍ）の範囲内で順次変化することで、処理対象画素群Ｄ1が順次決定されていく。ここで、処理対象画素群Ｄ1内における位置を（ｉｉ，ｊｊ）とすると、処理対象フレームＸ内における上記位置（ｉｉ，ｊｊ）に対応する処理対象画素群Ｄ1は、以下のように表される。
【数２】
2010258648.tif 000004
また、処理画素群決定手段１０２は、所定の基準βに基づき、処理済フレームＹ内の画素位置（ｉp，ｊp）（０≦ｉp≦ｗ−Ｍ，０≦ｊp≦ｈ−Ｍ）を左上端とするＭ×Ｍ画素の画素群、即ち、処理済画素群
【数３】
2010258648.tif 000005
（以下「処理済画素群Ｄ2」と表記することもある）を順次決定する。具体的には、左上端の画素が、処理対象画素群Ｄ1における左上端の画素と同じ位置となるＭ×Ｍ画素の画素群を、処理済画素群Ｄ2として決定する。ここで、処理済画素群Ｄ2内における位置を（ｉｉ，ｊｊ）とすると、処理済フレームＹ内における上記位置（ｉｉ，ｊｊ）に対応する処理対象画素群Ｄ2は、以下のように表される。
【数４】
2010258648.tif 000006
そして、処理画素群決定手段１０２により決定された処理対象画素群Ｄ1および処理済画素群Ｄ2は、ラインＬ１０２経由で周波数成分処理手段１０３に出力される。
【００３０】
なお、処理画素群決定手段１０２は、ある画素位置を左上端にとる処理対象画素群Ｄ1の処理に対する完了信号を周波数成分処理手段１０３から受信する度に、処理対象画素群Ｄ1および処理済画素群Ｄ2の決定を行う。即ち、処理画素群決定手段１０２は画素位置（ｉc，ｊc）の処理完了信号を周波数成分処理手段１０３から受信した後、次に、画素位置（ｉc＋１，ｊc）を左上端とする処理対象画素群
【数５】
2010258648.tif 000007
を決定するように順次処理を進めていき、以後、画素位置（ｗ−Ｍ，ｈ−Ｍ）を左上端とする処理対象画素群Ｄ1(w-M,h-M)まで、決定処理を実行する。また、処理対象フレームは入力される各フレーム画像に対して実施する。なお、本実施形態では、Ｍ＝３として処理対象画素群Ｄ1の決定処理について説明を行う。
【００３１】
（処理対象画素群Ｄ1の位置決定について）
なお、本実施形態における規則αとして、処理対象フレームＸ内の処理画素位置を決定する規則は、処理対象フレームＸに存在する全画素に対して処理対象画素群Ｄ1を順次決定していくとしたが、その他の規則に従って処理対象画素群Ｄ1を決定してもよい。例えば、Ｍ×Ｍ画素群の左上端の画素位置を１画素飛びで設定し、例えば図３のように市松模様状に処理対象画素群Ｄ1を決定する規則を用いてもよい。また、画像内の複数の開始点から並列作業で処理対象画素群Ｄ1を順次決定してもよい。また、規則αとしては、処理対象フレームごとに異なる規則を採用してもよい。
【００３２】
なお、本実施形態における規則αとして、画像入力手段１０１から入力される全ての処理対象フレームを選択する例を示したが、これに限るものではない。例えば、処理対象フレームとして画像入力手段１０１から入力されるフレーム画像を１枚置きや複数枚置きに選択されてもよい。また、この選択方法を決定するために映像の特徴である動きの大きさ、平均輝度、コントラストなどを参考にしてもよい。
【００３３】
（処理済画素群Ｄ2の位置決定について）
なお、本実施形態における処理済フレームＹ内の処理画素位置を決定するための基準βとして、処理対象画素群Ｄ1と同じ位置の処理済画素群Ｄ2を決定したが、その他の基準に基づいて処理済画素群Ｄ2を決定してもよい。例えば、動画像符号化予測技術で利用される動き探索のように、処理対象画素群Ｄ1と画素信号との差分に基づく評価値（ＳＡＤやＳＳＤ等）が最小となる位置が左上端となる処理済画素群Ｄ2を決定してもよい。また、上記以外の評価値が最小となる位置が左上端となる処理済画素群Ｄ2を決定してもよい。
【００３４】
（処理対象画素群Ｄ1および処理済画素群Ｄ2の形状）
なお、本実施形態では、処理対象画素群Ｄ1および処理済画素群Ｄ2は、Ｍ×Ｍの２次元配列として表現したが、それ以外の方法で表現してもよい。例えば、Ｍ2×１の１次元ベクトルとして表現してもよい。また、本実施形態では正方形（Ｍ×Ｍ）の処理対象画素群Ｄ1および処理済画素群Ｄ2を選択したが、それ以外の形状の画素群を選択してもよい。例えばＫ×Ｌ（Ｋ≠Ｌ＞０）の画素群を決定してもよい。また、斜め方向に画素を選択し、四角形とならない画素群を決定してもよい。
【００３５】
（処理対象画素群Ｄ1および処理済画素群Ｄ2の共通性）
なお、本実施形態では、処理対象画素群Ｄ1と処理済画素群Ｄ2は、同じ形状で同じ位置の画素群を決定したが、異なる形状で決定されてもよいし、異なる決定基準に基づいて決定されてもよい。
【００３６】
（処理済フレームの選択）
なお、本実施形態では、処理済フレームＹとして、処理対象フレームＸの「直前」に処理された処理済フレームを選択したが、それ以外のフレームを処理してもよい。また、本実施形態では、処理済フレームＹとして１フレームを選択し当該処理済フレームから処理済画素群を選択したが、処理済フレーム格納手段１０５に格納される複数のフレームから処理済画素群を選択してもよい。
【００３７】
（周波数成分処理手段１０３について）
本実施形態における周波数成分処理手段１０３の機能ブロック構成を図４に示す。図４に示すように周波数成分処理手段１０３は、空間周波数変換手段１０３Ａ、時間周波数変換手段１０３Ｂ、時間高周波数成分処理手段１０３Ｃ、逆時間周波数変換手段１０３Ｄ、および逆空間周波数変換手段１０３Ｅを含んで構成される。
【００３８】
空間周波数変換手段１０３Ａは、処理画素群決定手段１０２により決定された３×３画素の処理対象画素群Ｄ1および処理済画素群Ｄ2を受け取り、これら処理対象画素群Ｄ1および処理済画素群Ｄ2に対して空間周波数変換を行い、処理対象画素群Ｄ1についての空間周波数変換係数
【数６】
2010258648.tif 000008
（以下「空間周波数変換係数ｆ1」と表記することもある）、および、処理済画素群Ｄ2についての空間周波数変換係数
【数７】
2010258648.tif 000009
（以下「空間周波数変換係数ｆ2」と表記することもある）を取得する。具体的には、以下の変換基底Ｈ1を利用して以下のようなＤＣＴ変換を行う。以下の式では、各画素群Ｄ1、Ｄ2内の位置を（ｉｉ，ｊｊ）と記載している。
【数８】
2010258648.tif 000010
このようにして取得された空間周波数変換係数ｆ1、ｆ2は、空間周波数変換手段１０３Ａから時間周波数変換手段１０３Ｂへ出力される。
【００３９】
時間周波数変換手段１０３Ｂは、空間周波数変換係数ｆ1およびｆ2に対し時間周波数変換を行い、時間低周波数成分ｔｆLと時間高周波数成分ｔｆHとに変換する。なお、本実施形態では、時間周波数変換として以下の変換基底Ｊ1を用いたHaar変換を用いて時間周波数変換を行う。
【数９】
2010258648.tif 000011
上記の時間周波数変換により得られた時間低周波数成分ｔｆLおよび時間高周波数成分ｔｆHは、時間周波数変換手段１０３Ｂから時間高周波数成分処理手段１０３Ｃへ出力される。
【００４０】
時間高周波数成分処理手段１０３Ｃは、時間高周波数成分ｔｆHに相当する係数の中で、図５の位置Ａに相当する空間的な低周波数成分（ＤＣ成分）を示す係数、および位置Ｂに相当する空間的な高周波数成分を示す係数に対し、所定の係数処理γを行う。時間低周波数成分ｔｆLについては処理を行わない。
【００４１】
具体的には、時間高周波数成分処理手段１０３Ｃは、予め記憶された閾値Ｔｈを用いた以下のような係数処理を行い、処理済み時間高周波数成分ｔｆH’を取得する。
【数１０】
2010258648.tif 000012
上記の係数処理を完了した後、取得された処理済み時間高周波数成分ｔｆH’と時間低周波数成分ｔｆLとは、逆時間周波数変換手段１０３Ｄに出力される。
【００４２】
逆時間周波数変換手段１０３Ｄは、時間低周波数成分ｔｆLおよび処理済み時間高周波数成分ｔｆH’に対しＪ1-1を乗算することで逆Haar変換を行う。さらに、逆空間周波数変換手段１０３Ｅは、変換基底Ｇ1を利用して空間逆周波数変換（逆ＤＣＴ変換）を行う。
【００４３】
以上により、時間高周波数成分に対して所定の係数処理が実行された処理対象画素群
【数１１】
2010258648.tif 000013
（以下「実行後処理対象画素群Ｄ’1」と表記することもある）が取得され、周波数成分処理手段１０３の処理が完了する。なお、逆空間周波数変換手段１０３Ｅは、以下の変換基底Ｇ1を用いて空間逆周波数変換（逆ＤＣＴ変換）を行う。
【数１２】
2010258648.tif 000014
周波数成分処理手段１０３は、逆空間周波数変換により取得された実行後処理対象画素群Ｄ’1を、ラインＬ１０３ｂ経由で処理完了フレーム生成手段１０４に出力するとともに、ラインＬ１０３ａ経由で処理画素群決定手段１０２に出力する。
【００４４】
その後、周波数成分処理手段１０３は、処理画素群決定手段１０２からフレーム処理完了信号が来るまで上記の処理を繰り返す。そして、周波数成分処理手段１０３は、フレーム処理完了信号を受信すると、組み合わせ処理開始信号をラインＬ１０３ｂ経由で処理完了フレーム生成手段１０４に出力する。
【００４５】
（組み合わせ処理開始信号のタイミング）
なお、本実施形態では、組み合わせ処理開始信号は、周波数成分処理手段１０３がフレーム処理完了信号を受信したときに、処理完了フレーム生成手段１０４に出力される例を示したが、これに限るものではない。例えば、画素位置（ｉc，ｊc）に関する組み合わせ処理開始信号は、当該画素位置（ｉc，ｊc）を含む処理画素群の処理が完了したときに出力してもよいし、ある列に対し処理を完了したときに出力してもよい。
【００４６】
（空間周波数変換対象について）
なお、本実施形態では、処理対象画素群に対して空間周波数変換を直接実行したが、画素処理を行ってから空間周波数変換を行ってもよい。例えば、平均輝度調整やフィルタ処理等を実行してから空間周波数変換を行ってもよい。
【００４７】
（周波数変換の次元）
なお、本実施形態では、２次元空間周波数変換を利用したが、１次元空間周波数変換を繰り返して、２次元空間周波数変換係数を取得してもよい。
【００４８】
（その他の空間周波数変換）
なお、本実施形態では空間周波数変換にＤＣＴ変換を利用したが、その他の空間周波数変換を利用してもよい。例えば、処理画素群が４×４の場合に以下に示すような変換基底Ｈ2を用いたアダマール変換を利用してもよい。また、それ以外の周波数変換を利用して空間周波数変換係数を取得してもよい。また、演算量削減のため、正規化処理を省略した周波数変換を行ってもよい。
【数１３】
2010258648.tif 000015
また、空間周波数変換にアダマール変換を利用した場合、逆変換の変換基底Ｇ1にも上記の変換基底Ｈ2を利用すればよい。
【００４９】
（空間周波数係数に対する処理）
なお、本実施形態では、空間周波数変換係数に対してHaar変換を行った後、所定の係数処理を行ったが、Haar変換前に空間周波数変換係数に対して所定の係数処理を行ってもよい。例えば、上述した係数処理γを空間周波数変換係数ｆ1および空間周波数変換係数ｆ2に対し実行してもよい。また、時間周波数成分に対して行う係数処理γとは異なる処理を行ってもよいし、異なる位置の処理を行ってもよい。その場合、処理に用いる閾値Ｔｈは、時間周波数成分に対して利用する閾値とは異なるものを利用してもよい。また、その他の係数に対する処理を行ってもよい。
【００５０】
（時間周波数変換の取得）
なお、本実施形態では、処理対象画素群Ｄ1と処理済画素群Ｄ2の時間高周波数成分は、空間周波数変換を実行した後にHaar変換を実行することで取得したが、その他の方法によって取得しても良い。例えば、フーリエ変換、ＤＣＴ変換、ウェブレット変換等を利用してもよい。また、単純に、処理対象画素群Ｄ1と処理済画素群Ｄ2との和を時間低周波数成分として取得し、処理対象画素群Ｄ1と処理済画素群Ｄ2との差を時間高周波数成分として取得してもよい。
【００５１】
また、本実施形態では、空間周波数変換を実行し取得された空間周波数成分を利用することで時間周波数成分を取得したが、空間周波数変換を行わずに時間周波数成分を直接取得してもよい。例えば、処理画素群の時間方向にＤＣＴやウェブレット変換等の周波数変換を直接行って時間周波数成分を取得しても良い。その場合、周波数成分処理手段１０３では、空間周波数変換手段１０３Ａと逆空間周波数変換手段１０３Ｅは不要となり、時間周波数変換手段１０３Ｂ、時間高周波数成分処理手段１０３Ｃおよび逆時間周波数変換手段１０３Ｄにより構成されればよい。
【００５２】
（時間周波数成分係数位置について）
なお、本実施形態では、時間高周波数成分ｔｆHに対する処理係数位置は、空間低周波数成分（ＤＣ成分）に相当する位置Ａおよび空間高周波数成分に相当する位置Ｂに設定したが、それ以外の位置の係数を処理してもよい。例えば、位置Ａおよび位置Ｂに加え、図６の位置Ｃの時間周波数成分に相当する係数を処理してもよい。
【００５３】
また、例えばＭ＝４の場合、図７の位置Ｄおよび位置Ｅの係数位置の係数を処理すればよい。さらに、位置Ｄおよび位置Ｅに加え位置Ｆの位置の係数の処理を行ってもよい。
【００５４】
さらに、例えばＭ＝８の場合、図８に示すように位置Ｇおよび位置Ｈの係数に対して処理を行ってもよい。また、位置Ｇや位置Ｈの一部の係数に対して処理を行ってもよい。
【００５５】
（閾値Ｔｈについて）
なお、本実施形態では、閾値Ｔｈを予め記憶されているが、外部入力されてもよい。また、本処理の過程に基づき閾値Ｔｈを決定してもよい。また、それ以外にも画像間の差分量や分散値等の画像を分析した結果に基づき閾値Ｔｈを決定してもよい。また、例えば動画像符号化処理手段等で利用される情報である量子化値や圧縮された情報のビットレートなどに基づき閾値Ｔｈが決定されてもよい。
【００５６】
（所定の係数処理γについて）
なお、本実施形態では、所定の係数処理γとして閾値Ｔｈとの比較に基づく処理を行ったが、それ以外の処理を行っても良い。例えば、以下の式（ａ）のように周波数成分の絶対値が閾値Ｔｈ以下となる場合に任意の値ｐに置換してもよい。また、以下の式（ｂ）のように周波数成分の絶対値が閾値Ｔｈ以下となる係数を係数ｑで除算するといった処理を行っても良い。また、除算係数ｑで除算する場合、周波数成分の位置（ｉｉ，ｊｊ）によって除算係数ｑが変わってもよい。例えば、（ｉｉ＋ｊｊ）が大きくなるほど除算係数ｑが大きくなるよう設定してもよい。また、閾値を利用しない処理を行ってもよい。例えば、予め定められた位置の係数に対して係数ｒ（ｒ≠０）で除算する等の処理を行ってもよい。
【数１４】
2010258648.tif 000016
（処理対象となる時間周波数成分について）
なお、本実施形態では、映像を構成するフレーム間に発生するチラツキ等を効率的に抑えるために、時間高周波数成分ｔｆHに対してのみ所定の係数処理を行ったが、時間低周波数成分ｔｆLに対して所定の係数処理（例えば上記の係数処理γ）を行ってもよい。また、その場合、時間低周波数成分ｔｆLと時間高周波数成分ｔｆHに対する処理は同じである必要はない。例えば、時間低周波数成分ｔｆLと時間高周波数成分ｔｆHとで異なる位置の係数の処理を行ってもよい。
【００５７】
（処理完了フレーム生成手段１０４について）
さて、図１に戻り、処理完了フレーム生成手段１０４は、組み合わせ処理開始信号を周波数成分処理手段１０３からラインＬ１０３ｂ経由で受信した後に、実行後処理対象画素群
【数１５】
2010258648.tif 000017
の組み合わせ処理を実行する。具体的には、ある画素位置（ｉc，ｊc）の画素を含むｎ個の処理対象画素群Ｄ’1(ix,jx)の逆周波数変換が完了した後、以下の式に示す重み付け加算処理により画素位置（ｉc，ｊc）の画素を算出し、処理完了フレームｙを生成する。なお、画素位置（ｉｘ，ｊｘ）は、ある画素位置（ｉc，ｊc）の画素を処理画素群に含む処理画素群の左上端の位置を示す。ここでは、重み付け加算に利用する重みとして、画素位置（ｉｘ，ｊｘ）を左上端とする処理画素群に対する係数をweight(ix,jx)とし、この係数は予め用意されているものとする。
【数１６】
2010258648.tif 000018
そして、処理完了フレーム生成手段１０４は、処理完了フレームｙの全画素を生成した後に、生成された処理完了フレームｙをラインＬ１０４経由で画像出力手段１０６に出力する。画像出力手段１０６は、生成された処理完了フレームｙをラインＬ１０６ａ経由で外部へ出力するとともに、当該処理完了フレームｙをラインＬ１０６ｂ経由で処理済フレーム格納手段１０５に出力し、次の処理に利用するため当該処理完了フレームｙを、処理済フレームとして処理済フレーム格納手段１０５に格納する。
【００５８】
（重み付け演算代用）
なお、処理完了フレームｙの生成には重み付け加算を利用したが、その他の処理を行ってもよい。例えば、単純平均などの処理を利用してもよい。また、重み付け加算等の処理は行わずに、周波数成分処理手段１０３から出力された画素をそのまま利用して処理完了フレームｙを生成してもよい。
【００５９】
（重み付け係数について）
なお、本実施形態における重み係数weight(ix,jx)は予め用意されているものを利用したが、それ以外の手法により重み係数weight(ix,jx)を決定してもよい。例えば、予め様々な映像において客観評価指標が高くなるよう調整された重み係数weight(ix,jx)を決定しておいてもよい。また、画像処理の過程で決定した他の評価結果により重み係数weight(ix,jx)を決定してもよい。例えば、係数処理で処理した個数やその他の処理結果に基づき、重み係数weight(ix,jx)を決定してもよい。
【００６０】
（重み付け加算の処理画素群量について）
なお、本実施形態では、画素位置（ｉc，ｊc）を含む全ての処理画素群を用いて処理完了フレームｙを生成したが、全ての処理画素群を利用しなくてもよい。例えば、何らかの基準を満たす処理画素群のみを加算してもよい。また、重み係数weight(ix,jx)が大きく設定された処理画素群の上位に位置する処理画素群のみ加算してもよい。その場合、係数処理γにおいて、処理を行った係数の個数が多いものを所定の数だけ選択して加算してもよい。
【００６１】
（重み付け加算処理のタイミング）
なお、本実施形態では、空間周波数変換後の処理画素群に対して組み合わせ処理を行ったが、空間周波数変換前に重み付け加算処理を実行し、その後、空間周波数変換を行うことで、処理完了フレームｙを取得してもよい。
【００６２】
（除算の代用演算）
なお、本実施形態では、重み係数weight(ix,jx)による除算を行ったが、それ以外の処理を行ってもよい。例えば、予め外部参照テーブルを用意して、重み係数weight(ix,jx)に基づく係数を乗算することで、除算と同等の処理を実現してもよい。
【００６３】
（画素の定義）
なお、本実施形態における画素に対する処理は、ＲＧＢやＹＵＶ等の各色成分に対して適用できる。また、特にＹＵＶ成分で画像が構成される場合には、輝度信号のみ（Ｙ）に対して上述の処理を行ってもよい。その場合、色差成分（ＵＶ）に対してはその他の処理を行ってもよい。例えば平滑化フィルタ等の簡易フィルタ処理を利用してもよい。
【００６４】
［画像処理装置における画像処理について］
次に、図９に基づいて、本実施形態の画像処理装置１００により実行される画像処理について説明する。
【００６５】
まず、画像入力手段１０１が、複数のフレーム画像から成る映像信号（動画像信号）を外部から入力する（ステップＳ１）。
【００６６】
次に、処理画素群決定手段１０２は、入力された映像信号をフレーム画像に分解して、所定の規則に基づいて処理対象フレームＸを読み込み、Ｍ×Ｍ（Ｍは１以上の整数）の処理対象画素群Ｄ1を決定する（ステップＳ２）。また、同時に、処理画素群決定手段１０２は、処理済フレーム格納手段１０５に格納された処理済フレームのうち、所定の規則に基づいて時系列上で直前に処理された処理済フレームＹを読み込み、Ｍ×Ｍ（Ｍは１以上の整数）の処理済画素群Ｄ2を決定する（ステップＳ２）。ステップＳ２における決定手順は、前述したとおりである。ステップＳ２で得られた処理対象画素群Ｄ1および処理済画素群Ｄ2は、周波数成分処理手段１０３へ送られる。
【００６７】
次に、周波数成分処理手段１０３の空間周波数変換手段１０３Ａは、処理対象画素群Ｄ1および処理済画素群Ｄ2を受け取り、これら処理対象画素群Ｄ1および処理済画素群Ｄ2に対して空間周波数変換を行い、処理対象画素群Ｄ1についての空間周波数変換係数ｆ1および処理済画素群Ｄ2についての空間周波数変換係数ｆ2を取得する（ステップＳ３）。
【００６８】
次に、時間周波数変換手段１０３Ｂは、空間周波数変換係数ｆ1およびｆ2に対し時間周波数変換を行い、時間低周波数成分ｔｆLと時間高周波数成分ｔｆHとに変換する（ステップＳ４）。例えば、前述した変換基底Ｊ1を用いたHaar変換を用いて時間周波数変換を行う。
【００６９】
次に、時間高周波数成分処理手段１０３Ｃは、時間高周波数成分ｔｆHに相当する係数の中で、空間的な低周波数成分（ＤＣ成分）を示す係数および空間的な高周波数成分を示す係数に対し、前述したような所定の係数処理γを行う（ステップＳ５）。即ち、時間高周波数成分ｔｆHに相当する係数の中で、空間的な低周波数成分および空間的な高周波数成分を除いた周波数成分（いわば中周波数成分）を示す係数については、所定の係数処理γの実行を回避する。
【００７０】
次に、逆時間周波数変換手段１０３Ｄは、時間低周波数成分ｔｆLおよび処理済み時間高周波数成分ｔｆH’に対しＪ1-1を乗算することで逆Haar変換を行い、さらに、逆空間周波数変換手段１０３Ｅは、変換基底Ｇ1を利用して逆空間周波数変換（逆ＤＣＴ変換）を行う。これにより、時間高周波数成分に対して所定の係数処理が実行された処理対象画素群（実行後処理対象画素群Ｄ’1）を取得する（ステップＳ６）。
【００７１】
その後、上記のステップＳ２〜Ｓ６の処理は、処理対象フレームＸについて処理が完了するまで繰り返し実行される（ステップＳ７）。
【００７２】
そして、処理対象フレームＸについての処理が完了すると（ステップＳ７でＹＥＳ）、処理完了フレーム生成手段１０４は、実行後処理対象画素群の組み合わせ処理を実行し、処理完了フレームｙを生成する（ステップＳ８）。そして、処理完了フレームｙの全画素を生成した後、生成された処理完了フレームｙは画像出力手段１０６に出力される。
【００７３】
そして、画像出力手段１０６は、生成された処理完了フレームｙを外部へ出力するとともに処理済フレーム格納手段１０５に出力し、次の処理に利用するため、処理完了フレームｙを処理済フレームとして処理済フレーム格納手段１０５に格納する（ステップＳ９）。
【００７４】
［本実施形態の効果］
以上のように、本実施形態における画像処理装置１００では、入力されたフレーム画像の処理対象画素群と処理済フレーム画像の処理済画素群との間に含まれる時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行することで、処理対象画素群と処理済画素群との間に含まれる時間的変化を軽減し、ちらつき等の歪を効率的に軽減することができる。その一方で、時間高周波数成分における空間低周波数成分と空間高周波数成分とを除いた部分（即ち、視覚特性で感度が低い成分）に対する所定の係数処理の実行を回避する。以上により、映像に含まれる歪を軽減する効果をあまり低下させることなく、歪軽減処理の演算量を削減することができる。
【００７５】
［画像処理プログラムについて］
次に、コンピュータを、本発明に係る画像処理装置として動作させるための画像処理プログラムについて説明する。図１０は、記録媒体１０に記憶された画像処理プログラムＰ１０の構成を示す図である。記録媒体１０としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ等の記録媒体や、半導体メモリ等により構成することができる。
【００７６】
図１０に示すように、画像処理プログラムＰ１０は、画像入力モジュールＰ１１と、処理画素群決定モジュールＰ１２と、周波数成分処理モジュールＰ１３と、処理完了フレーム生成モジュールＰ１４と、処理済フレーム格納モジュールＰ１５と、画像出力モジュールＰ１６とを含んで構成されている。画像入力モジュールＰ１１は図１の画像入力手段１０１の機能を、処理画素群決定モジュールＰ１２は処理画素群決定手段１０２の機能を、周波数成分処理モジュールＰ１３は周波数成分処理手段１０３の機能を、処理完了フレーム生成モジュールＰ１４は処理完了フレーム生成手段１０４の機能を、処理済フレーム格納モジュールＰ１５は処理済フレーム格納手段１０５の機能を、画像出力モジュールＰ１６は画像出力手段１０６の機能を、それぞれ実現するためのモジュールである。
【００７７】
また、周波数成分処理モジュールＰ１３は、サブモジュールとして、空間周波数変換モジュールＰ１３Ａと、時間周波数変換モジュールＰ１３Ｂと、時間高周波数成分処理モジュールＰ１３Ｃと、逆時間周波数変換モジュールＰ１３Ｄと、逆空間周波数変換モジュールＰ１３Ｅとを含んで構成されている。空間周波数変換モジュールＰ１３Ａは図４の空間周波数変換手段１０３Ａの機能を、時間周波数変換モジュールＰ１３Ｂは時間周波数変換手段１０３Ｂの機能を、時間高周波数成分処理モジュールＰ１３Ｃは時間高周波数成分処理手段１０３Ｃの機能を、逆時間周波数変換モジュールＰ１３Ｄは逆時間周波数変換手段１０３Ｄの機能を、逆空間周波数変換モジュールＰ１３Ｅは逆空間周波数変換手段１０３Ｅの機能を、それぞれ実現するためのモジュールである。
【００７８】
また、図１１は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１２は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。ここでのコンピュータとしては、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話、ＰＤＡ、携帯型カーナビゲーションシステムなども含む。
【００７９】
図１１、図１２に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等により構成される読み取り装置１２と、ＲＡＭ等により構成される作業用メモリ１４と、ＲＯＭ等により構成されるメモリ１６と、表示装置であるディスプレイ１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを含んで構成される。このような構成のコンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、記録媒体１０に格納された画像処理プログラムＰ１０が読み取り装置１２により読み取られてコンピュータ３０に入力され、ＣＰＵ２６により画像処理プログラムＰ１０が実行されることによって、コンピュータ３０は本発明に係る画像処理装置として動作することになる。
【００８０】
なお、図１２に示すように、画像処理プログラムＰ１０は、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信された画像処理プログラムＰ１０をメモリ１６に格納し、ＣＰＵ２６により当該画像処理プログラムＰ１０を実行することができる。
【符号の説明】
【００８１】
１０…記録媒体、１２…読み取り装置、１４…作業用メモリ、１６…メモリ、１８…ディスプレイ、２０…マウス、２２…キーボード、２４…通信装置、３０…コンピュータ、４０…コンピュータデータ信号、１００…画像処理装置、１０１…画像入力手段、１０２…処理画素群決定手段、１０３…周波数成分処理手段、１０３Ａ…空間周波数変換手段、１０３Ｂ…時間周波数変換手段、１０３Ｃ…時間高周波数成分処理手段、１０３Ｄ…逆時間周波数変換手段、１０３Ｅ…逆空間周波数変換手段、１０４…処理完了フレーム生成手段、１０５…処理済フレーム格納手段、１０６…画像出力手段、Ｐ１０…画像処理プログラム、Ｐ１１…画像入力モジュール、Ｐ１２…処理画素群決定モジュール、Ｐ１３…周波数成分処理モジュール、Ｐ１３Ａ…空間周波数変換モジュール、Ｐ１３Ｂ…時間周波数変換モジュール、Ｐ１３Ｃ…時間高周波数成分処理モジュール、Ｐ１３Ｄ…逆時間周波数変換モジュール、Ｐ１３Ｅ…逆空間周波数変換モジュール、Ｐ１４…処理完了フレーム生成モジュール、Ｐ１５…処理済フレーム格納モジュール、Ｐ１６…画像出力モジュール。
【図１】
2010258648.tif 000019
【図２】
2010258648.tif 000020
【図３】
2010258648.tif 000021
【図４】
2010258648.tif 000022
【図５】
2010258648.tif 000023
【図６】
2010258648.tif 000024
【図７】
2010258648.tif 000025
【図８】
2010258648.tif 000026
【図９】
2010258648.tif 000027
【図１０】
2010258648.tif 000028
【図１１】
2010258648.tif 000029
【図１２】
2010258648.tif 000030