(57)【要約】  画像処理装置は、予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持し、外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成し、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部に格納し、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部により記憶されたＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する。
2009060633.tif 000002
【特許請求の範囲】
【請求項１】
外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する画像処理装置であって、
予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持する中間平滑化画像保持手段と、
前記外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成する画像縮小処理手段と、
前記画像縮小処理手段により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、前記中間平滑化画像保持手段に格納する中間平滑化画像生成手段と、
Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、前記中間平滑化画像保持手段により保持されたＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得する取得手段と、
前記取得手段により取得されたＮ番目のフレームの中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する合成処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記中間平滑化画像保持手段は、前記中間平滑化画像生成手段により生成された前記複数の中間平滑化画像のうち、前記合成処理手段に利用される所定の範囲内の中間平滑化画像のみを保持し、
前記中間平滑化画像生成手段は、前記外部から受け付けた動画像のＮ＋１番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するＮ番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む所定の範囲内について、前記画像縮小処理手段により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、前記中間平滑化画像保持手段に格納し、
前記合成処理手段は、前記取得手段により取得されたＮ番目のフレームの前記中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成し、前記中間平滑化画像保持手段に格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成処理手段は、前記取得手段により取得されたＮ番目のフレームの複数の中間平滑化画像とＮ＋１番目以降のフレームとを合成するのに際して、Ｎ＋１番目以降のフレームを参照し、前記予め設定された複数のレベル値との差分から合成比率を算出して、算出した合成比率に基づいて、当該Ｎ番目のフレームの複数の中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを補間演算により合成して平滑化画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記取得手段は、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、Ｎ＋１番目以降のフレームの各画素を参照し、当該Ｎ＋１番目以降の各画素の近傍位置に対応するＮ番目のフレームの前記中間平滑化画像の一つまたは複数の画素を前記中間平滑化画像保持手段から取得し、
前記合成処理手段は、前記取得手段により取得されたＮ番目のフレームの複数の中間平滑化画像の一つまたは複数の画素とＮ＋１番目以降のフレームとを合成するのに際して、Ｎ＋１番目以降のフレームを参照し、前記予め設定された複数のレベル値との差分から合成比率を算出して、算出した合成比率に基づいて、当該Ｎ番目のフレームの中間平滑化画像の一つまたは複数の画素と前記外部から受け付けた動画像のＮ＋１番目以降のフレームの各画素とを補間演算により合成して平滑化画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記中間平滑化画像保持手段は、前記中間平滑化画像生成手段により生成された前記複数の中間平滑化画像のうち、前記合成処理手段に利用されるＮ番目のフレームにおけるＮ＋１番目以降のフレームの各画素を含む近傍の２ラインの中間平滑化画像のみを保持し、
前記中間平滑化画像生成手段は、前記画像縮小処理手段により生成された縮小画像に対して、前記外部から受け付けた動画像のＮ＋１番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するＮ番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む前記２ラインについて前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、前記中間平滑化画像保持手段に格納し、
前記合成処理手段は、前記取得手段により取得されたＮ番目のフレームの複数の中間平滑化画像の一つまたは複数の画素とＮ＋１番目以降のフレームとを合成するのに際して、Ｎ＋１番目以降のフレームを参照し、前記予め設定された複数のレベル値との差分から合成比率を算出して、算出した合成比率に基づいて、当該Ｎ番目のフレームの中間平滑化画像の一つまたは複数の画素と前記外部から受け付けた動画像のＮ＋１番目以降のフレームの各画素とを補間演算により合成して平滑化画像を生成し、前記中間平滑化画像保持手段に格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する方法をコンピュータに実行させる画像処理プログラムであって、
予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持する中間平滑化画像保持手順と、
前記外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成する画像縮小処理手順と、
前記画像縮小処理手順により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、前記中間平滑化画像保持手順に格納する中間平滑化画像生成手順と、
Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、前記中間平滑化画像保持手順により保持されたＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得する取得手順と、
前記取得手順により取得されたＮ番目のフレームの中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する合成処理手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項７】
外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する画像処理装置の画像処理方法であって、
予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持する中間平滑化画像保持工程と、
前記外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成する画像縮小処理工程と、
前記画像縮小処理工程により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、前記中間平滑化画像保持工程に格納する中間平滑化画像生成工程と、
Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、前記中間平滑化画像保持工程により保持されたＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得する取得工程と、
前記取得工程により取得されたＮ番目のフレームの中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する合成処理工程と、
を含んだことを特徴とする画像処理方法。
【請求項８】
前記中間平滑化画像保持手順は、前記中間平滑化画像生成手順により生成された前記複数の中間平滑化画像のうち、前記合成処理手順に利用される所定の範囲内の中間平滑化画像のみを保持し、
前記中間平滑化画像生成手順は、前記画像縮小処理手順により生成された縮小画像に対して、前記外部から受け付けた動画像のＮ＋１番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するＮ番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む所定の範囲内について、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、前記中間平滑化画像保持手順に格納し、
前記合成処理手順は、前記取得手順により取得されたＮ番目のフレームの前記中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成し、前記中間平滑化画像保持手順に格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することを特徴とする請求項６に記載の画像処理プログラム。
【請求項９】
前記中間平滑化画像保持工程は、前記中間平滑化画像生成工程により生成された前記複数の中間平滑化画像のうち、前記合成処理工程に利用される所定の範囲内の中間平滑化画像のみを保持し、
前記中間平滑化画像生成工程は、前記画像縮小処理工程により生成された縮小画像に対して、前記外部から受け付けた動画像のＮ＋１番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するＮ番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む所定の範囲内について、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、前記中間平滑化画像保持工程に格納し、
前記合成処理工程は、前記取得工程により取得されたＮ番目のフレームの前記中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成し、前記中間平滑化画像保持工程に格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することを特徴とする請求項７に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する画像処理装置に関する。
【背景技術】
【０００２】
従来より、画像データを滑らかにして見やすい画像データにする平滑化処理において、低域周波数のみを通過させるフィルタであるＬＰＦ（Low  Pass  Filter：ローパスフィルタ）が利用されている。一般に、ＬＰＦ処理を行う場合には、平滑化する範囲の画素を保持する必要があり、図１２−（Ａ）に示すように、画素を保持するためのライン数分のメモリを必要とする。例えば、図１２−（Ａ）では、処理対象画素に対してグレー部分の範囲の画素を保持する必要があるために、太い矢印で示したライン数分をメモリに格納する。そのため、容量の大きいメモリを必要としていた。【０００３】
そこで最近では、平滑化処理範囲の画素を保持するために必要なメモリの容量を削減する技術が開示されている。例えば、特許文献１では、図１２−（Ｂ）に示すように、１フレーム前の画像を縮小した縮小画像を保持して、当該縮小画像を利用して平滑化処理を行う。そして、この縮小画像の縮小率が充分に小さい場合には、上記したライン数分のメモリよりも少ないメモリで平滑化処理を行うことができる。【０００４】
【特許文献１】特開２００４−２２１６４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した従来の技術では、ＬＰＦ処理においてエッジを正確に再現することができないという課題があった。具体的には、画像縮小処理によって画像の細かい情報が失われるために、エッジを正確に再現することができなかった。【０００６】
そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、ＬＰＦ処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するため、本装置は、外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する画像処理装置であって、予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持する中間平滑化画像保持手段と、前記外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成する画像縮小処理手段と、前記画像縮小処理手段により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、前記中間平滑化画像保持手段に格納する中間平滑化画像生成手段と、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、前記中間平滑化画像保持手段により保持されたＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得する取得手段と、前記取得手段により取得されたＮ番目のフレームの中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する合成処理手段と、を備える。
【発明の効果】
【０００８】
本装置によれば、縮小された過去のフレームと複数の処理対象フレームとの合成により平滑化画像を生成するので、ＬＰＦ処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施例１に係る画像処理装置の概要および特徴を示す図である。
【図２】図２は、実施例１に係る画像処理装置の構成を示すブロック図である。
【図３】図３は、中間平滑化画像記憶部に記憶される情報の例を示す図である。
【図４】図４は、実施例１に係る画像処理装置による平滑化処理を示すフローチャートである。
【図５】図５は、実施例２に係る画像処理装置による平滑化処理のタイムチャートを説明するための図である。
【図６】図６は、実施例３に係る画像処理装置による平滑化処理を説明するための図である。
【図７】図７は、画像処理装置による処理対象画素の近傍位置のデータの取得を説明するための図である。
【図８】図８は、実施例４に係る画像処理装置の構成における平滑化処理を説明するための図である。
【図９】図９は、実施例５に係る画像処理装置の構成における平滑化処理を説明するための図である。
【図１０】図１０は、実施例６に係る画像処理装置の構成における平滑化処理を説明するための図である。
【図１１】図１１は、画像処理プログラムを実行するコンピュータを示す図である。
【図１２】図１２は、従来技術に係る平滑化処理を説明するための図である。
【符号の説明】
【００１０】
１  入力画像
２  出力画像
１０  画像処理装置
１１  記憶部
１１ａ  入力画像記憶部
１１ｂ  中間平滑化画像記憶部
１１ｃ  平滑化画像記憶部
１２  制御部
１２ａ  入力画像受付部
１２ｂ  画像縮小処理部
１２ｃ  中間平滑化画像生成部
１２ｄ  合成処理部
１２ｅ  画像出力部
【発明を実施するための最良の形態】
【００１１】
以下に添付図面を参照して、この発明に係る画像処理装置の実施例を詳細に説明する。なお、以下では、実施例１に係る画像処理装置の概要および特徴、画像処理装置の構成および処理の流れを順に説明し、最後に本実施例による効果を説明する。
【実施例１】
【００１２】
［画像処理装置の概要および特徴］
次に、実施例１に係る画像処理装置の概要および特徴を説明する。図１は、実施例１に係る画像処理装置の概要および特徴を示す図である。【００１３】
この画像処理装置は、動画のフレームが１／３０秒ごとなどに入力され、ノイズ除去やダイナミックレンジ補正処理などに利用するためのＬＰＦである。そして、画像処理装置は、入力される動画のフレームから平滑化画像を生成する。ここでは、処理対象として、ＹＣｂＣｒ成分のうちのＹ成分（明るさ成分）とするが、他の成分を処理対象としても構わないし、もちろん、他の表色系（ＲＧＢ）などであらわされた画像への適用も可能である。【００１４】
このような構成において、画像処理装置は、外部から受け付けた複数のフレームから構成される動画像において、フレームの低周波成分を用いて平滑化画像生成を行うことを概要とし、特に、ＬＰＦ処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である点を主たる特徴とする。【００１５】
この主たる特徴について説明すると、画像処理装置は、外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成する（図１の（１）参照）。具体的に例を挙げると、画像処理装置は、動画データのＮ番目のフレームの入力を外部から受け付けると、当該外部から受け付けた入力された動画データのＮ番目のフレームを縮小する縮小処理を行って縮小画像を生成する。【００１６】
そして、画像処理装置は、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部に格納する（図１の（２）参照）。上記した例で具体的に説明すると、画像処理装置は、生成されたＮ番目のフレームの縮小画像に対して、０〜２５５階調の明るさのレベルにおいて予め５つの複数プレーン（画像）に多層化されたレベル値範囲に対応する複数の平滑化処理を実施して、画像処理装置による平滑化処理において中間データとなる複数の中間平滑化画像（Ｎ（０）〜Ｎ（４））を生成する。そして、画像処理装置は、生成した中間平滑化画像を中間平滑化画像記憶部に格納する。【００１７】
続いて、画像処理装置は、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部に格納されているＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する（図１の（３）参照）。【００１８】
上記した例で具体的に説明すると、画像処理装置は、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの５つの中間平滑化画像（Ｎ（０）〜Ｎ（４））を中間平滑化画像記憶部から一つまたは複数取得する。そして、画像処理装置は、取得されたＮ番目のフレームの中間平滑化画像（Ｎ（０）〜Ｎ（４））と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する。ここで、Ｎ＋１番目以降のフレームとは、Ｎ＋１番目のフレームやＮ＋２番目のフレームなどの処理対象となる外部から入力される動画像を構成する複数のフレームのことを指す。また、合成に利用するＮ番目のフレームの中間平滑化画像は、Ｎ（０）〜Ｎ（４）の一つまたは全部を利用してもよい。【００１９】
つまり、画像処理装置は、Ｎ＋１番目のフレームやＮ＋２番目のフレームなどの平滑化画像を生成する場合に、縮小処理されたＮ番目のフレームの一つまたは複数の中間平滑化画像を使い回して平滑化画像を生成する。また、画像処理装置は、Ｎ番目のフレームの一つまたは複数の中間平滑化画像と処理対象となるＮ＋１番目以降のフレームとの合成において、縮小処理された中間平滑化画像が保持しきれないエッジなどの細かい情報を、処理対象となるＮ＋１番目以降のフレームから取得しつつ合成する。なお、画像処理装置は、合成処理の結果、処理対象となるＮ＋１番目以降のフレームのエッジが保存された平滑化処理の結果を得て、得られた画像データは、ダイナミックレンジ補正処理などに利用される。【００２０】
このように、実施例１に係る画像処理装置は、縮小された過去のフレームを複数の処理対象フレームとの合成に利用することができる結果、ＬＰＦ処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である。【００２１】
［画像処理装置の構成］
次に、図２を用いて、実施例１に係る画像処理装置の構成を説明する。図２は、実施例１に係る画像処理装置の構成を示すブロック図である。図２に示すように、画像処理装置１０は、記憶部１１と制御部１２とから構成され、外部から受け付けた動画像の複数フレームの一つである入力画像１を平滑化処理して、ダイナミックレンジ補正処理などに利用可能な出力画像２として出力する。【００２２】
記憶部１１は、制御部１２による各種処理に必要なデータや、制御部１２による各種処理結果を記憶し、特に本発明に密接に関連するものとしては、入力画像記憶部１１ａと、中間平滑化画像記憶部１１ｂと、平滑化画像記憶部１１ｃとを備える。【００２３】
入力画像記憶部１１ａは、外部から画像処理装置１０に入力される動画像のフレームである入力画像１を記憶する。また、中間平滑化画像記憶部１１ｂは、図３に示すように、後述する中間平滑化画像生成部１２ｃにより生成される、０〜２５５階調の明るさのレベルにおいて予め設定された複数のレベル値で平滑化された複数の中間平滑化画像（Ｎ（０）〜Ｎ（４））を記憶する。また、平滑化画像記憶部１１ｃは、後述する合成処理部１２ｄにより合成されて得られる平滑化画像を記憶する。なお、図３は、中間平滑化画像記憶部１１ｂに記憶される情報の例を示す図である。【００２４】
制御部１２は、制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、入力画像受付部１２ａと、画像縮小処理部１２ｂと、中間平滑化画像生成部１２ｃと、合成処理部１２ｄと、画像出力部１２ｅとを備え、これらによって種々の処理を実行する。【００２５】
入力画像受付部１２ａは、外部から画像処理装置１０に入力される動画像のフレームである入力画像を受け付ける。具体的に例を挙げると、入力画像受付部１２ａは、外部から画像処理装置１０に入力される動画データのＮ番目のフレームである入力画像１を受け付けて、当該受け付けた入力画像１を入力画像記憶部１１ａに格納する。【００２６】
画像縮小処理部１２ｂは、外部から受け付けた動画像のＮ番目のフレームを縮小処理して縮小画像を生成する。上記した例で具体的に例を挙げると、画像縮小処理部１２ｂは、入力画像受付部１２ａにより外部から受け付けられて入力画像記憶部１１ａに格納された動画データであるＮ番目のフレームを取得して、取得したＮ番目のフレームを縮小する画像縮小処理を行って縮小画像を生成して、後述する中間平滑化画像生成部１２ｃに出力する。【００２７】
中間平滑化画像生成部１２ｃは、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部１１ｂに格納する。【００２８】
上記した例で具体的に例を挙げると、中間平滑化画像生成部１２ｃは、画像縮小処理部１２ｂから受け付けたＮ番目のフレームの縮小画像の各画素に対して、０〜２５５階調の明るさのレベルにおいて予め５つの複数プレーンに多層化する。この多層化されたＮ（０）〜Ｎ（４）のレベル値の範囲をそれぞれ、０〜８４、４２〜１２８、８５〜１６０、１２９〜２１２、１６１〜２５５とする。【００２９】
そして、中間平滑化画像生成部１２ｃは、縮小画像の各画素を中心とした所定数の画素（フィルタサイズによって決定される、処理対象画素を中心とした複数の画素）につき、レベル値の範囲に該当する画素の値から平均を求め、該算出した値を処理対象画素の値として格納する。このとき、フィルタサイズ内の画素で、処理対象とするレベル値の範囲に該当しない画素については、平均を求める際に利用しない。フィルタサイズ内の画素において、レベル値の範囲に該当する画素が一つもない場合には、便宜上、例えば、レベル値の範囲の平均（例えば、０〜８４のレベル値範囲であれば「４２」など）を、処理対象画素の値とする。縮小画像内の各画素につき、当該多層化されたレベル値範囲に対応する複数の平滑化処理を実施して、画像処理装置１０による平滑化処理において中間データとなる複数の中間平滑化画像を生成する。その後、中間平滑化画像生成部１２ｃは、生成した中間平滑化画像を中間平滑化画像記憶部１１ｂに格納する。【００３０】
なお、中間平滑化画像生成部１２ｃが多層化するプレーンの数は、「５」に限るものではなく、各プレーン毎のレベル値の範囲も上述の値に限るものではない。多層化した後のプレーン数が複数で、プレーン数に応じて０〜２５５の階調を分けた値により設定されたレベル値であればよい。【００３１】
合成処理部１２ｄは、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部１１ｂに格納されているＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得したＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する。【００３２】
上記した例で具体的に例を挙げると、合成処理部１２ｄは、Ｎ＋１番目のフレームのレベル値が１００である処理対象画素について平滑化画像を生成する場合に、Ｎ番目のフレームの５つの中間平滑化画像（Ｎ（０）〜Ｎ（４））のうち、中間平滑化画像記憶部１１ｂから、レベル値１００を含んでいるプレーンである、レベル値が４２〜１２８でレベル値平均が９０のＮ（１）とレベル値が８５〜１６０でレベル値平均が約１２０のＮ（２）とを取得する。そして、合成処理部１２ｄは、Ｎ（１）とＮ＋１番目のフレームとの距離「１００−９０＝１０」と、Ｎ（２）とＮ＋１番目のフレームとの距離「１２０−１００＝２０」とから、Ｎ＋１番目のフレームにより近い距離のフレームＮ（１）に重み付けをする。続いて、合成処理部１２ｄは、「Ｎ（１）：Ｎ（２）＝２：１」の割合で、取得されたＮ番目のフレームの中間平滑化画像（Ｎ（１）とＮ（２））と外部から受け付けた動画像のＮ＋１番目のフレームとを補間演算により合成して平滑化画像を生成する。なお、合成処理部１２ｄは、生成した平滑化画像を平滑化画像記憶部１１ｃに格納する。【００３３】
また、合成処理部１２ｄは、Ｎ＋１番目以降のフレームについても、上記説明のうち、Ｎ＋１番目のフレームをＮ＋１番目以降のフレームに置き換えて同様の処理を行う。なお、本実施例では、Ｙ成分を処理対象とし、Ｎ番目のフレームの中間平滑化画像と、Ｎ＋１番目のフレームの画像とから平滑化画像を生成するが、この生成結果は、Ｎ＋１番目のフレームの処理結果として扱うべきものである。したがって、Ｎ番目のフレームの中間平滑化画像をＹ成分を対象として生成した場合には、他の成分としてＣｂＣｒ成分をＮ＋１番目のフレームから抽出して合成し、カラー画像とするように、Ｎ番目のフレームの中間平滑化画像を生成する際に処理対象とした成分と、合成する他の成分は、Ｎ＋１番目のフレーム（Ｎ番目のフレーム以外のフレーム）の他の成分と合成することが望ましい。【００３４】
画像出力部１２ｅは、合成処理部１２ｄにより生成された平滑化画像を出力画像２として出力する。上記した例で具体的に例を挙げると、画像出力部１２ｅは、合成処理部１２ｄにより生成された平滑化画像を平滑化画像記憶部１１ｃから取得して出力画像２として出力する。【００３５】
［実施例１に係る画像処理装置による処理］
次に、図４を用いて、実施例１に係る画像処理装置１０による平滑化処理を説明する。図４は、実施例１に係る画像処理装置１０による平滑化処理を示すフローチャートである。【００３６】
図４に示すように、入力画像受付部１２ａは、外部から画像処理装置１０に動画像のフレームである入力画像１が入力されると（ステップＳ３１肯定）、当該外部から画像処理装置１０に入力された入力画像を受け付ける（ステップＳ３２）。具体的に例を挙げると、入力画像受付部１２ａは、外部から画像処理装置１０に入力される動画データのＮ番目のフレームである入力画像１を受け付ける。そして、入力画像受付部１２ａは、受け付けた入力画像１を入力画像記憶部１１ａに格納する。【００３７】
そして、画像縮小処理部１２ｂは、入力画像受付部１２ａにより受け付けた動画像のＮ番目のフレームを縮小処理して縮小画像を生成する（ステップＳ３３）。上記した例で具体的に説明すると、画像縮小処理部１２ｂは、入力画像記憶部１１ａからＮ番目のフレームを取得して、取得したＮ番目のフレームを縮小する画像縮小処理を行って縮小画像を生成し、生成した縮小画像を中間平滑化画像生成部１２ｃに出力する。【００３８】
続いて、中間平滑化画像生成部１２ｃは、画像縮小処理部１２ｂにより生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成する（ステップＳ３４）。上記した例で具体的に説明すると、中間平滑化画像生成部１２ｃは、画像縮小処理部１２ｂにより生成されたＮ番目のフレームの縮小画像の各画素に対して、０〜２５５階調の明るさのレベル（すなわち、ＹＣｂＣｒのうちのＹ成分）において予め５つの複数プレーンに多層化する。そして、中間平滑化画像生成部１２ｃは、当該多層化されたレベル値範囲に対応する複数の平滑化処理を実施して、画像処理装置１０による平滑化処理において中間データとなる複数の中間平滑化画像を生成して中間平滑化画像記憶部１１ｂに格納する。なお、ここでは、多層化されたＮ（０）〜Ｎ（４）のレベル値の範囲をそれぞれ、０〜８４、４２〜１２８、８５〜１６０、１２９〜２１２、１６１〜２５５とする。【００３９】
その後、合成処理部１２ｄは、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部１１ｂに格納されているＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得したＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する（ステップＳ３５）。【００４０】
上記した例で具体的に説明すると、合成処理部１２ｄは、Ｎ＋１番目のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの５つの中間平滑化画像（Ｎ（０）〜Ｎ（４））のうち、中間平滑化画像記憶部１１ｂから、レベル値平均が９０のＮ（１）とレベル値平均が約１２０のＮ（２）とを取得する。取得する中間平滑化画像は、縮小画像から生成されているため、画素数が少ない。言い換えれば、粗い画像ということになる。中間平滑化画像として取得する画素は、例えば、もっとも近い位置の画素とすればよい。そして、合成処理部１２ｄは、Ｎ（１）とＮ＋１番目のフレームとの距離と、Ｎ（２）とＮ＋１番目のフレームとの距離とから、Ｎ＋１番目のフレームにより近い距離のフレームＮ（１）に重み付けをする。続いて、合成処理部１２ｄは、「Ｎ（１）：Ｎ（２）＝２：１」の割合で、取得されたＮ番目のフレームの中間平滑化画像（Ｎ（１）とＮ（２））と外部から受け付けた動画像のＮ＋１番目のフレームとを補間演算により合成して平滑化画像を生成する。なお、合成処理部１２ｄは、生成した平滑化画像を平滑化画像記憶部１１ｃに格納する。【００４１】
そして、画像出力部１２ｅは、合成処理部１２ｄにより生成された平滑化画像を出力画像２として出力する（ステップＳ３６）。上記した例で具体的に説明すると、画像出力部１２ｅは、合成処理部１２ｄにより生成された平滑化画像を平滑化画像記憶部１１ｃから取得して出力画像２として出力する。【００４２】
［実施例１による効果］
このように、画像処理装置１０は、予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持し、外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成し、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して所定の記憶部に格納し、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、格納されたＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成することとしたので、ＬＰＦ処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である。【００４３】
例えば、画像処理装置１０は、外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する場合に、外部から受け付けた動画データであるＮ番目のフレームの縮小画像を生成する。そして、画像処理装置１０は、生成したＮ番目のフレームの縮小画像に対して０〜２５５階調の明るさのレベルごとに５つの複数プレーンに多層化されたレベル値範囲に対応する複数の平滑化処理を実施して複数の中間平滑化画像を生成する。続いて、画像処理装置１０は、生成した中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成し、出力画像として出力する。つまり、Ｎ＋１番目以降のフレームでは、画像の縮小や中間平滑化画像の生成などをする必要がなく、Ｎ番目のフレームの縮小画像から生成した中間平滑化画像を利用して平滑化画像を生成することができる結果、ＬＰＦ処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である。【００４４】
また、画像処理装置１０は、生成した中間平滑化画像と処理対象フレームとを合成する場合に、合成処理の比率を処理対象のフレームを参照して決定することとしたので、簡易な演算処理により合成処理することが可能である。
【実施例２】
【００４５】
ところで、実施例１では、Ｎ番目のフレームを用いてＮ＋１番目以降のフレームの平滑化処理を行う場合を説明したが、本発明はこれに限定されるものではなく、Ｎ番目のフレームから生成する中間平滑化画像を複数のフレームが入力される間に生成して、生成したＮ番目のフレームを用いてＮ＋３番目以降のフレームの平滑化処理を行うこともできる。【００４６】
［実施例２に係る平滑化処理のタイムチャート］
そこで、以下の実施例２では、図５を用いて、実施例２に係る画像処理装置１０による平滑化処理のタイムチャートを説明する。図５は、実施例２に係る画像処理装置１０による平滑化処理のタイムチャートを説明するための図である。ここでは、動画データの受信をＮ番目のフレームからＮ＋５番目のフレームの６フレーム分として、一つの中間データを用いて３フレーム分の平滑化処理（ＬＰＦ処理）を行うこととして説明する。【００４７】
図５に示すように、画像処理装置１０は、外部からＮ番目のフレームを受け付けると、Ｎ＋３番目のフレームの平滑化画像を生成するまでに当該Ｎ番目のフレームの画像を縮小して縮小画像を生成し、生成された縮小画像に対して予め設定された複数のレベル値範囲（０〜２５５階調を多層化）に対応する複数の平滑化処理から得られる９プレーン（０プレーンから８プレーン）の中間平滑化画像を生成する。つまり、画像処理装置１０は、Ｎ番目のフレームが受信されて、Ｎ＋３番目のフレームが受信されるまでの間に、Ｎ番目のフレームの中間平滑化画像を生成する。【００４８】
そして、画像処理装置１０は、Ｎ＋３番目のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの縮小画像から生成した９プレーンの中間平滑化画像を一つまたは複数取得し、取得した中間平滑化画像と処理対象フレームであるＮ＋３番目のフレームとを合成して平滑化画像を生成する。【００４９】
続いて、画像処理装置１０は、Ｎ＋４番目のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの縮小画像から生成した９プレーンの中間平滑化画像を一つまたは複数取得し、取得した中間平滑化画像と処理対象フレームであるＮ＋４番目のフレームとを合成して平滑化画像を生成する。【００５０】
その後、画像処理装置１０は、Ｎ＋５番目のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの縮小画像から生成した９プレーンの中間平滑化画像を一つまたは複数取得し、取得した中間平滑化画像と処理対象フレームであるＮ＋５番目のフレームとを合成して平滑化画像を生成する。【００５１】
また、画像処理装置１０は、外部からＮ＋３番目のフレームを受け付けると、Ｎ＋６番目のフレームの平滑化画像を生成するまでに当該Ｎ＋３番目のフレームの画像を縮小して縮小画像を生成する。そして、画像処理装置１０は、生成された縮小画像に対して予め設定された複数のレベル値範囲に対応する複数の平滑化処理から得られる９プレーンの中間平滑化画像を生成する。続いて、画像処理装置１０は、生成したＮ＋３番目のフレームの中間平滑化画像とＮ＋６番目のフレーム、Ｎ＋７番目のフレームおよびＮ＋８番目のフレームとを合成してそれぞれの平滑化画像を生成する。【００５２】
なお、Ｎ番目のフレーム、Ｎ＋１番目のフレームおよびＮ＋２番目のフレームについては、Ｎ−３番目のフレームから生成した中間平滑化画像を用いて合成する。つまり、画像処理装置１０は、Ｎ番目のフレームの縮小画像から０〜２プレーン、３〜５プレーン、６〜８プレーンの複数の中間平滑化画像を複数フレームが受信される間に生成して、生成した中間平滑化画像と処理対象となるＮ＋３番目のフレーム、Ｎ＋４番目のフレーム、Ｎ＋５番目のフレームなどとを合成して、複数のフレームの平滑化画像を生成する処理を繰り返す。【００５３】
このように、実施例２に係る画像処理装置１０は、複数フレームを受信するまでに一つのフレームの中間平滑化画像を生成するので、処理にかかる負荷を分散することが可能である。【００５４】
ここで、画像処理装置１０は、中間平滑化画像生成の際に９プレーンを生成することとして説明したが、このプレーンの数は９プレーンに限らず、５プレーンなど任意に設定することができ、また、３フレーム分の平滑化処理を行うと、新しい中間平滑化画像を生成することとして説明したが、このフレームの数も３フレームに限らず、５フレームなど任意に設定することができる。
【実施例３】
【００５５】
ところで、実施例１では、入力される動画像のＮ番目のフレームの縮小画像から複数のレベル値に対応する中間平滑化画像を生成する場合を説明したが、本発明はこれに限定されるものではなく、Ｎ番目のフレームの縮小画像の画素位置とＮ＋１番目以降のフレームの画素位置とを同期させて中間平滑化画像を生成することもできる。【００５６】
［実施例３に係る画像処理装置による平滑化処理］
そこで、以下の実施例３では、図６を用いて、Ｎ番目のフレームの画素位置とＮ＋１番目以降のフレームの画素位置とを同期させて中間平滑化画像を生成する場合を説明する。ここで、以下の実施例３では、Ｎ＋１番目以降のフレームの処理対象となる入力画素の位置を、ｘｙ座標を用いて「入力画素（ｘ，ｙ）」とし、Ｎ番目のフレームの縮小画像の縮小率を、Ｎ＋１番目以降のフレームに対して１／ｎとして説明する。なお、図６は、実施例３に係る画像処理装置による平滑化処理を説明するための図である。【００５７】
図６に示すように、画像処理装置１０は、外部から受け付けた動画像のＮ＋１番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するＮ番目のフレームの縮小画像の各画素位置を算出する（図６の（１）参照）。【００５８】
具体的に例を挙げると、画像処理装置１０は、外部から受け付けた動画像のＮ＋１番目以降のフレームにおける各画素の位置情報として「入力画素（ｘ，ｙ）」を取得する。そして、画像処理装置１０は、取得した位置情報「入力画素（ｘ，ｙ）」に対応するＮ番目のフレームの縮小画像の入力画素の補間範囲（グレー部分）を算出する。ここでは、Ｎ番目のフレームの縮小画像の縮小率が、Ｎ＋１番目以降のフレームに対して１／ｎであるので、「（ｉｎｔ（ｘ／ｎ），ｉｎｔ（ｙ／ｎ））」、「（ｉｎｔ（ｘ／ｎ）＋１，ｉｎｔ（ｙ／ｎ））」、「（ｉｎｔ（ｘ／ｎ），ｉｎｔ（ｙ／ｎ）＋１）」、「（ｉｎｔ（ｘ／ｎ）＋１，ｉｎｔ（ｙ／ｎ）＋１）」として補間範囲を算出する。【００５９】
そして、画像処理装置１０は、算出した各画素位置を含む所定の範囲内について、生成されたＮ番目のフレームの縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、中間平滑化画像記憶部に格納する（図６の（２）参照）。【００６０】
上記した例で具体的に説明すると、画像処理装置１０は、算出した各画素位置を含む所定の補間範囲内について、０〜２５５階調の明るさのレベルにおいて予め複数プレーンに多層化されたレベル値範囲に対応する複数の平滑化処理を実施して複数の中間平滑化画像を生成する。そして、画像処理装置１０は、生成した中間平滑化画像を中間平滑化画像記憶部１１ｂに格納する。なお、画像処理装置１０は、「未算出」の画素があれば、上記した平滑化処理を繰り返し実施する。【００６１】
続いて、画像処理装置１０は、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部１１ｂに格納されたＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得して、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成し、中間平滑化画像記憶部１１ｂに格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄する（図６の（３）参照）。【００６２】
上記した例で具体的に説明すると、画像処理装置１０は、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部１１ｂからＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得する。そして、画像処理装置１０は、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する。続いて、画像処理装置１０は、中間平滑化画像記憶部１１ｂに格納されている合成に利用された「保持中」の中間平滑化画像の一部または全部を破棄（「破棄済」）する。この中間平滑化画像記憶部１１ｂは、合成処理に利用するＮ＋１番目以降のフレームの入力画素に対するＮ番目のフレームの縮小画像の補間範囲部分である「保持中」データのみを中間平滑化画像として記憶すればよい。その後、画像処理装置１０は、このような処理を繰り返して、Ｎ＋１番目以降のフレームの入力画素のエッジが保存された平滑化処理結果を得る。【００６３】
ここで、中間平滑化画像記憶部１１ｂは、合成処理に利用されて破棄された「破棄済」データと、合成処理に利用するＮ＋１番目以降のフレームの入力画素に対するＮ番目のフレームの縮小画像の補間範囲部分である「保持中」データと、合成処理に利用されていない「未算出」データとのうち、合成処理に利用するＮ＋１番目以降のフレームの入力画素に対するＮ番目のフレームの縮小画像の補間範囲部分である「保持中」データのみを中間平滑化画像として記憶すればよい。つまり、画像処理装置１０は、合成処理を行う場合に、処理対象となるフレームの画素位置の変化と同期させて、合成処理に利用する必要最小限の中間平滑化画像のみを生成し、合成処理済みの中間平滑化画像を破棄しつつ合成処理を行う。【００６４】
このように、実施例３に係る画像処理装置１０は、生成された複数の中間平滑化画像のうち、合成処理に利用される所定の範囲内の中間平滑化画像のみを保持し、外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成し、外部から受け付けた動画像のＮ＋１番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するＮ番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む所定の範囲内について、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して中間平滑化画像記憶部１１ｂに格納し、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部１１ｂからＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成し、中間平滑化画像記憶部１１ｂに格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することとしたので、ＬＰＦ処理で必要となるメモリの容量をより削減することが可能である。【００６５】
例えば、画像処理装置１０は、外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する場合に、Ｎ＋１番目以降の処理対象フレームにおける各画素の位置情報からＮ番目の縮小画像の入力画素の補間範囲を算出し、この補間範囲のみの中間平滑化画像を記憶しておき、合成処理に利用した中間平滑化画像の一部または全部を破棄しつつ、平滑化画像を生成する結果、ＬＰＦ処理で必要となるメモリの容量をより削減することが可能である。
【実施例４】
【００６６】
ところで、実施例１では、入力される動画像のＮ番目のフレームの縮小画像から複数のレベル値に対応する中間平滑化画像を生成する平滑化処理について説明したが、当該平滑化処理の実施においては、図１に示した構成とは異なる様々な構成によって実現されてもよい。【００６７】
この図１に示した構成とは異なる様々な構成においては、例えば、複数の中間平滑化画像を生成する一つのＬＰＦを共用化して時分割で平滑化処理を実施したり、複数の中間平滑化画像を生成する二つのＬＰＦを共用化して時分割および並列で平滑化処理を実施したりする。そこで、以下では、図８を用いて実施例１に係る画像処理装置１０の詳細な構成における平滑化処理を、図９および図１０を用いて図８とは異なる様々な構成における平滑化処理を説明する。【００６８】
［実施例４に係る画像処理装置による平滑化処理］
まず、図８を用いて、上記した実施例１に係る画像処理装置１０の詳細な構成における平滑化処理を説明する。なお、図８は、実施例４に係る画像処理装置１０の構成における平滑化処理を説明するための図である。【００６９】
実施例４に係る画像処理装置１０は、中間平滑化画像生成部１２ｃにＬＰＦ＃１〜ＬＰＦ＃９までの９個のＬＰＦを備えている。また、画像処理装置１０は、中間平滑化画像記憶部１１ｂに９個のＬＰＦに対応した９個のメモリを備えている。そして、画像処理装置１０は、平滑化したＮ番目のフレームの縮小画像と、Ｎ＋ｙ（ｙは、「１」以上）番目のフレームとを合成して、エッジが保存されたＮ＋ｙ番目のフレームの平滑化画像（出力画像）を出力する。【００７０】
このような構成において、画像処理装置１０は、外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成し、生成された縮小画像を縮小画像メモリに格納する（図８の（１）参照）。具体的に例を挙げると、画像処理装置１０は、動画データのＮ番目のフレームの入力を外部から受け付けると、当該外部から受け付けた入力された動画データのＮ番目のフレームを縮小する縮小処理を行なって縮小画像を生成する。そして、画像処理装置１０は、生成された縮小画像を縮小画像メモリに格納する。【００７１】
そして、画像処理装置１０は、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部に格納する（図８の（２）参照）。上記した例で具体的に説明すると、画像処理装置１０は、９個のＬＰＦ（ＬＰＦ＃１〜ＬＰＦ＃９）を用いて、縮小画像メモリに格納された縮小画像に対して、０〜２５５階調の明るさのレベル値が制限されたＬＰＦ処理を並列処理（同時に処理）により実施して、９個の中間平滑化画像を生成する。【００７２】
そして、画像処理装置１０は、生成された９個の中間平滑化画像をそれぞれに対応する中間平滑化画像記憶部１１ｂのメモリに格納する。なお、この中間平滑化画像記憶部１１ｂは、合成処理部１２ｄによるＮ番目のフレームとＮ＋ｙ番目のフレームとの合成処理に必要なｋラインのメモリに、ＬＰＦ＃１〜ＬＰＦ＃９によるレベル値制限ＬＰＦ処理それぞれの結果を記憶する。【００７３】
続いて、画像処理装置１０は、Ｎ＋ｙ番目のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部に格納されているＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋ｙ番目のフレームとを合成して平滑化画像を生成する（図８の（３）参照）。【００７４】
上記した例で具体的に説明すると、画像処理装置１０は、Ｎ＋ｙ番目のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの９個の中間平滑化画像を中間平滑化画像記憶部１１ｂから一つまたは複数取得する。そして、画像処理装置１０は、取得されたＮ番目のフレームの中間平滑化画像と、外部から受け付けた動画像のＮ＋ｙ番目のフレームとを合成して、エッジが保存されたＮ＋ｙ番目のフレームの平滑化画像（出力画像）を生成する。【００７５】
なお、Ｎ番目のフレームの縮小画像を用いた中間平滑化画像の生成は、当該Ｎ番目のフレームとＮ＋ｙ番目のフレームとの合成処理において、Ｎ＋ｙ番目のフレームの画素を遅延させることのないように、合成処理が開始される前までに完了させる。【００７６】
このように、実施例４に係る画像処理装置１０は、複数のレベル値に対応した複数のＬＰＦを用いてＮ番目のフレームの縮小画像を平滑化し、当該Ｎ番目のフレームとＮ＋ｙ（ｙは、「１」以上）番目のフレームとを、Ｎ＋ｙ番目のフレームの画素を遅延させることなく合成することができる結果、処理に係るメモリを削減することが可能である。つまり、画像処理装置１０は、Ｎ＋ｙ番目のフレームの画素を遅延させるメモリが不要となるとともに、中間平滑化画像記憶部１１ｂの各ラインメモリの「ｋ」を最小化することができる結果、処理に係るメモリを削減することが可能である。
【実施例５】
【００７７】
ところで、実施例４では、中間平滑化画像生成部１２ｃにＬＰＦ＃１〜ＬＰＦ＃９までの９個のＬＰＦを備え、中間平滑化画像記憶部１１ｂに当該９個のＬＰＦに対応した９個のメモリを備えた構成により平滑化処理を実施する場合を説明したが、本発明はこれに限定されるものではなく、中間平滑化画像生成部１２ｃに複数のレベル値に対応したＬＰＦを１個備え、中間平滑化画像記憶部１１ｂに当該複数のレベル値に対応したＬＰＦ結果を記憶するメモリを備えた構成により平滑化処理を実施することもできる。【００７８】
［実施例５に係る画像処理装置による平滑化処理］
そこで、以下の実施例５では、図９を用いて、複数の中間平滑化画像を生成する一つのＬＰＦを共用化して時分割で平滑化処理を実施する場合を説明する。なお、図９は、実施例５に係る画像処理装置１０の構成における平滑化処理を説明するための図である。【００７９】
実施例５に係る画像処理装置１０は、中間平滑化画像生成部１２ｃに複数のレベル値（例えば、「９」など）を可変可能なＬＰＦｍ（例えば、ｍ＝１〜９のパラメタ）を１個と、当該９つ分のＬＰＦ処理を実施するＬＰＦｍの時分割の動作を制御する時分割動作制御部とを備えている。また、画像処理装置１０は、中間平滑化画像記憶部１１ｂに９つ分のＬＰＦ処理を実施するＬＰＦｍに対応した９個のメモリを備えている。そして、画像処理装置１０は、平滑化したＮ番目のフレームの縮小画像と、Ｎ＋ｙ（ｙは、「１」以上）番目のフレームとを合成して、エッジが保存されたＮ＋ｙ番目のフレームの平滑化画像（出力画像）を出力する。【００８０】
このような構成において、画像処理装置１０は、外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成し、生成された縮小画像を縮小画像メモリに格納する（図９の（１）参照）。具体的に例を挙げると、画像処理装置１０は、動画データのＮ番目のフレームの入力を外部から受け付けると、当該外部から受け付けた入力された動画データのＮ番目のフレームを縮小する縮小処理を行なって縮小画像を生成する。そして、画像処理装置１０は、生成された縮小画像を縮小画像メモリに格納する。【００８１】
そして、画像処理装置１０は、生成された縮小画像に対して、レベル値制限パラメタと動作制御情報とに基づいて平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部に格納する（図９の（２）参照）。上記した例で具体的に説明すると、画像処理装置１０は、時分割動作制御部において、ｍ＝１〜９のレベル値制限パラメタと、当該ｍ＝１〜９のパラメタそれぞれに応じたＬＰＦｍに対する動作指示を示す動作制御情報とをＬＰＦｍに対して送信する。【００８２】
そして、画像処理装置１０は、１個のＬＰＦｍを用いて、縮小画像メモリに格納された縮小画像に対して、レベル値が制限されたＬＰＦ処理を時分割処理（各パラメタに対応する処理を時間ごとに処理）により実施して、９個の中間平滑化画像を生成する。このＬＰＦｍにおける可変パラメタ「ｍ」は、「９」だけでなく９以上の複数のパラメタが保持されていてもよい。【００８３】
続いて、画像処理装置１０は、生成された９個の中間平滑化画像をそれぞれに対応する中間平滑化画像記憶部１１ｂのメモリに格納する。また、時分割処理によるレベル値が制限されたＬＰＦ処理は、１種類のパラメタに対して所定のまとめたデータを処理するために、例えば、縮小画像の１ライン単位に実施する。この１ライン単位の処理における中間平滑化画像記憶部１１ｂの各メモリは、図８に示したメモリ「ｋライン」と比較して、縮小画像サイズで１ライン分「ｋ＋ｐライン」（例えば、ｐ＝１）のメモリ増加となる。【００８４】
続いて、画像処理装置１０は、Ｎ＋ｙ番目のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部に格納されているＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋ｙ番目のフレームとを合成して平滑化画像を生成する（図９の（３）参照）。【００８５】
上記した例で具体的に説明すると、画像処理装置１０は、Ｎ＋ｙ番目のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの９個の中間平滑化画像を中間平滑化画像記憶部１１ｂから一つまたは複数取得する。そして、画像処理装置１０は、取得されたＮ番目のフレームの中間平滑化画像と、外部から受け付けた動画像のＮ＋ｙ番目のフレームとを合成して、エッジが保存されたＮ＋ｙ番目のフレームの平滑化画像（出力画像）を生成する。【００８６】
なお、平滑化処理におけるサイクル数は、入力画像の縮小率を縦１／８、横１／８にした場合に、縮小画像の大きさが入力画像の１／６４の大きさとなるので、入力画像の画素クロックで縮小画像を６４回読み出すことが可能なサイクル数が存在する。つまり、ＬＰＦを共用化した時分割処理は、Ｎ番目のフレームとＮ＋ｙ番目のフレームとの合成処理が行なわれる前までに、十分な処理サイクル数が存在することとなる。【００８７】
このように、実施例５に係る画像処理装置１０は、複数の可変レベル値に対応した一つのＬＰＦを共用化してＮ番目のフレームの縮小画像を平滑化し、当該Ｎ番目のフレームとＮ＋ｙ（ｙは、「１」以上）番目のフレームとを合成することができる結果、回路規模を削減することが可能であるとともに、エッジを正確に再現した平滑化処理を実施することが可能である。つまり、画像処理装置１０は、縮小画像における１ラインのメモリ増加「ｋ＋ｐライン」は、全体の処理に対する影響が小さく、複数の可変レベル値に対応した一つのＬＰＦを共用化して平滑化処理を実施することができる結果、複数のＬＰＦ（例えば、９個など）を用いて平滑化処理を実施するのと比較して回路規模を削減することが可能であるとともに、エッジを正確に再現した平滑化処理を実施することが可能である。
【実施例６】
【００８８】
ところで、実施例５では、中間平滑化画像生成部１２ｃに複数のレベル値に対応したＬＰＦを１個備え、中間平滑化画像記憶部１１ｂに当該複数のレベル値に対応したＬＰＦ結果を記憶するメモリを備えた構成により平滑化処理を実施する場合を説明したが、本発明はこれに限定されるものではなく、中間平滑化画像生成部１２ｃに複数のレベル値に対応したＬＰＦを２個備え、中間平滑化画像記憶部１１ｂに当該複数のレベル値に対応したＬＰＦ結果を記憶するメモリを備えた構成により平滑化処理を実施することとしてもよい。【００８９】
［実施例６に係る画像処理装置による平滑化処理］
そこで、以下の実施例６では、図１０を用いて、複数の中間平滑化画像を生成する二つのＬＰＦを共用化して時分割および並列で平滑化処理を実施する場合を説明する。なお、図１０は、実施例６に係る画像処理装置１０の構成における平滑化処理を説明するための図である。【００９０】
実施例６に係る画像処理装置１０は、中間平滑化画像生成部１２ｃに複数のレベル値（例えば、「９」など）を可変可能なＬＰＦｍ１（例えば、ｍ１＝１〜９のパラメタ）を１個と、複数のレベル値（例えば、「８」など）を可変可能なＬＰＦｍ２（例えば、ｍ２＝１〜８のパラメタ）を１個とを備えている。また、画像処理装置１０は、中間平滑化画像記憶部１１ｂに９つ分のＬＰＦ処理を実施するＬＰＦｍ１に対応した９個のメモリと、８つ分のＬＰＦ処理を実施するＬＰＦｍ２に対応した８個のメモリとを備えている。そして、画像処理装置１０は、平滑化したＮ番目のフレームの縮小画像と、Ｎ＋ｙ（ｙは、「１」以上）番目のフレームとを合成して、エッジが保存されたＮ＋ｙ番目のフレームの平滑化画像（出力画像）を出力する。【００９１】
このような構成において、画像処理装置１０は、外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成し、生成された縮小画像を縮小画像メモリに格納する（図１０の（１）参照）。具体的に例を挙げると、画像処理装置１０は、動画データのＮ番目のフレームの入力を外部から受け付けると、当該外部から受け付けた入力された動画データのＮ番目のフレームを縮小する縮小処理を行なって縮小画像を生成する。そして、画像処理装置１０は、生成された縮小画像を縮小画像メモリに格納する。【００９２】
そして、画像処理装置１０は、生成された縮小画像に対して、レベル値制限パラメタと動作制御情報とに基づいて平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部に格納する（図１０の（２）参照）。上記した例で具体的に説明すると、画像処理装置１０は、時分割動作制御部において、ｍ１＝１〜９のレベル値制限パラメタと、当該ｍ１＝１〜９のパラメタそれぞれに応じたＬＰＦｍ１に対する動作指示を示す動作制御情報とをＬＰＦｍ１に対して送信する。また、画像処理装置１０は、時分割動作制御部において、ｍ２＝１〜８のレベル値制限パラメタと、当該ｍ２＝１〜８のパラメタそれぞれに応じたＬＰＦｍ２に対する動作指示を示す動作制御情報とをＬＰＦｍ２に対して送信する。【００９３】
そして、画像処理装置１０は、ＬＰＦｍ１とＬＰＦｍ２との２個のＬＰＦを用いて、縮小画像メモリに格納された縮小画像に対して、レベル値が制限されたＬＰＦ処理を時分割処理（各パラメタに対応する処理を時間ごとに処理）および並列処理（同時に処理）により実施して、１７個の中間平滑化画像を生成する。続いて、画像処理装置１０は、生成された１７個の中間平滑化画像をそれぞれに対応する中間平滑化画像記憶部１１ｂのメモリに格納する。【００９４】
また、時分割処理および並列処理によるレベル値が制限されたＬＰＦ処理は、１種類のパラメタに対して所定のまとめたデータを処理するために、例えば、縮小画像の１ライン単位に実施する。この１ライン単位の処理における中間平滑化画像記憶部１１ｂの各メモリは、図８に示したメモリ「ｋライン」と比較して、縮小画像サイズで１ライン分「ｋ＋ｐライン」（例えば、ｐ＝１）のメモリ増加となる。なお、上記した並列処理は、当該並列処理を２つ以上の構成において実現することも可能である。【００９５】
続いて、画像処理装置１０は、Ｎ＋ｙ番目のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部に格納されているＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋ｙ番目のフレームとを合成して平滑化画像を生成する（図１０の（３）参照）。【００９６】
上記した例で具体的に説明すると、画像処理装置１０は、Ｎ＋ｙ番目のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの１７個の中間平滑化画像を中間平滑化画像記憶部１１ｂから一つまたは複数取得する。そして、画像処理装置１０は、取得されたＮ番目のフレームの中間平滑化画像と、外部から受け付けた動画像のＮ＋ｙ番目のフレームとを合成して、エッジが保存されたＮ＋ｙ番目のフレームの平滑化画像（出力画像）を生成する。【００９７】
なお、平滑化処理におけるサイクル数は、入力画像の縮小率を縦１／８、横１／８にした場合に、縮小画像の大きさが入力画像の１／６４の大きさとなるので、入力画像の画素クロックで縮小画像を６４回読み出すことが可能なサイクル数が存在する。つまり、ＬＰＦを共用化した時分割処理は、Ｎ番目のフレームとＮ＋ｙ番目のフレームとの合成処理が行なわれる前までに、十分な処理サイクル数が存在することとなる。【００９８】
このように、実施例６に係る画像処理装置１０は、複数の可変レベル値に対応した二つのＬＰＦを共用化してＮ番目のフレームの縮小画像を平滑化し、当該Ｎ番目のフレームとＮ＋ｙ（ｙは、「１」以上）番目のフレームとを合成することができる結果、回路規模を削減することが可能であるとともに、処理時間を短縮することが可能である。つまり、画像処理装置１０は、縮小画像における１ラインのメモリ増加「ｋ＋ｐライン」は、全体の処理に対する影響が小さく、複数の可変レベル値に対応した二つのＬＰＦを共用化して平滑化処理を実施することができる結果、複数のＬＰＦ（例えば、１７個など）を用いて平滑化処理を実施するのと比較して回路規模を削減することが可能であるとともに、一つのＬＰＦを共用化して平滑化処理を実施する（例えば、１７個の平滑化処理を一つのＬＰＦにより処理する）のと比較して処理時間を短縮することが可能である。
【実施例７】
【００９９】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、（１）システム構成、（２）処理対象画素の近傍位置のデータを取得、（３）２次補間による合成処理、（４）合成処理に必要なデータ、（５）プログラムに区分けして異なる実施例を説明する。【０１００】
（１）システム構成
例えば、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメタを含む情報（例えば、図２に示した中間平滑化画像記憶部１１ｂに格納される中間平滑化画像を生成するために用いられる「レベル値」の情報）については、特記する場合を除いて任意に変更することができる。【０１０１】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、例えば、合成処理部１２ｄと画像出力部１２ｅとを、画像合成出力部として統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。【０１０２】
（２）処理対象画素の近傍位置のデータを取得
また、上記実施例１では、画像処理装置１０は、合成処理において合成の比率を、処理対象フレームを参照して決定し、補間演算により合成処理する場合を説明したが、本発明はこれに限定されるものではなく、処理対象フレームの各入力画素位置に近傍の複数の縮小画像を取得して、補間演算により合成処理することもできる。【０１０３】
図７に示すように、画像処理装置１０は、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、Ｎ＋１番目以降のフレームの各画素を参照し、当該Ｎ＋１番目以降の各画素の近傍位置に対応するＮ番目のフレームの中間平滑化画像の一つまたは複数の画素を中間平滑化画像記憶部１１ｂから取得し、取得されたＮ番目のフレームの中間平滑化画像の一つまたは複数の画素と外部から受け付けた動画像のＮ＋１番目以降のフレームの各画素とを補間演算により合成して平滑化画像を生成する。なお、図７は、画像処理装置１０による処理対象画素の近傍位置のデータの取得を説明するための図である。【０１０４】
具体的に例を挙げて説明すると、画像処理装置１０は、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、Ｎ＋１番目以降のフレームの各入力画素のレベルを参照し、当該Ｎ＋１番目以降の各画素の近傍位置（図７の立方体の部分のみの画素位置）に対応するＮ番目のフレームの中間平滑化画像２プレーンを中間平滑化画像記憶部１１ｂから取得する。そして、画像処理装置１０は、取得されたＮ番目のフレームの中間平滑化画像２プレーンと外部から受け付けた動画像のＮ＋１番目以降のフレームの各画素とを補間演算により合成して平滑化画像を生成する。このようにして、画像処理装置１０は、合成位置に近傍の複数の中間平滑化画像を取得して、補間演算により合成処理するので、簡易に精度の高い平滑化画像を生成することが可能である。【０１０５】
（３）２次補間による合成処理
また、上記実施例１では、画像処理装置１０は、補間演算を用いて合成処理することとして説明したが、本発明はこれに限定されるものではなく、２次補間を用いて合成処理をすることもできる。例えば、画像処理装置１０は、２次補間による合成処理を行う場合に、隣接したプレーン以外の複数プレーンを取得すれば良い。この結果、画像処理装置１０は、より精度の高い平滑化画像を生成することが可能である。【０１０６】
（４）合成処理に必要なデータ
また、上記実施例３では、画像処理装置１０は、合成処理に利用する範囲内の中間平滑化画像を保持することとして説明したが、本発明はこれに限定されるものではなく、合成処理に利用する２ラインのみの中間平滑化画像を保持することもできる。この結果、画像処理装置１０は、補間演算による合成処理を隣接するデータ（２ライン）のみで行うので、合成処理にかかるデータを効率的に利用することが可能である。【０１０７】
（５）プログラム
なお、本実施例で説明した画像処理装置は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１１を用いて、上記の実施例に示した画像処理装置と同様の機能を有する画像処理プログラムを実行するコンピュータの一例を説明する。図１１は、画像処理プログラムを実行するコンピュータを示す図である。【０１０８】
図１１に示すように、画像処理装置としてのコンピュータ１１０は、ＨＤＤ１３０、ＣＰＵ１４０、ＲＯＭ１５０およびＲＡＭ１６０をバス１８０などで接続して構成される。【０１０９】
ＲＯＭ１５０には、上記の実施例１に示した画像処理装置１０と同様の機能を発揮する画像処理プログラム、つまり、図１１に示すように画像縮小プログラム１５０ａと、中間平滑化画像生成プログラム１５０ｂと、合成処理プログラム１５０ｃとが、あらかじめ記憶されている。なお、これらのプログラム１５０ａ〜１５０ｃについては、図２に示した画像処理装置１０の各構成要素と同様、適宜統合または、分散してもよい。【０１１０】
そして、ＣＰＵ１４０がこれらのプログラム１５０ａ〜プログラム１５０ｃをＲＯＭ１５０から読み出して実行することで、図１１に示すように、プログラム１５０ａ〜プログラム１５０ｃは、画像縮小プロセス１４０ａと、中間平滑化画像生成プロセス１４０ｂと、合成処理プロセス１４０ｃとして機能するようになる。なお、プロセス１４０ａ〜プロセス１４０ｃは、図２に示した、画像縮小処理部１２ｂと、中間平滑化画像生成部１２ｃと、合成処理部１２ｄとにそれぞれ対応する。【０１１１】
そして、ＣＰＵ１４０はＲＡＭ１６０に記録された入力画像データ１６０ａと、中間平滑化画像データ１６０ｂと、平滑化画像データ１６０ｃとに基づいて画像処理プログラムを実行する。【０１１２】
なお、上記した各プログラム１５０ａ〜１５０ｃについては、必ずしも最初からＲＯＭ１５０に記憶させておく必要はなく、例えば、コンピュータ１１０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、またはコンピュータ１１０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１１０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ１１０がこれから各プログラムを読み出して実行するようにしてもよい。
【図１】
2009060633.tif 000003
【図２】
2009060633.tif 000004
【図３】
2009060633.tif 000005
【図４】
2009060633.tif 000006
【図５】
2009060633.tif 000007
【図６】
2009060633.tif 000008
【図７】
2009060633.tif 000009
【図８】
2009060633.tif 000010
【図９】
2009060633.tif 000011
【図１０】
2009060633.tif 000012
【図１１】
2009060633.tif 000013
【図１２】
2009060633.tif 000014
【国際調査報告】
2009060633.tif 000015
2009060633.tif 000016