(57)【要約】【課題】フレームメモリに蓄積するデータ量を調整可能な画像処理装置および画像処理方法を提供する。【解決手段】間引き回路１０は、入力画像データ（輝度データと色差データ）を間引き、かつ、遅延させた画像データを生成し、データ処理部４０は、その画像データと、メモリ３０が記憶する１フレーム前の画像データと差分をノイズ成分として評価／調整し、その結果を補間回路５０によって線形補間し、入力画像データから減ずることで、ノイズ成分が効果的に除去された画像データを生成する。その際、動作速度が１／Ｎとなるように、１／Ｎ動作制御回路２０により、間引き回路１０の間引き度合いと、データ処理部４０および補間回路５０のデータ遅延量とが制御される。【選択図】図１
2006186500.tif 000002
【特許請求の範囲】
【請求項１】
第１画像データを、所定の第１クロックの２Ｎ（Ｎ：２以上の整数）周期に１回のタイミングで取得し、前記第１画像データを間引いた第２画像データを生成するデータ間引き部と、
第３画像データをフレーム単位で順に更新して記憶するメモリと、
前記第２画像データと、前記メモリが（Ｍ−１）番目（Ｍ：整数）に記憶する第３画像データとの差分演算に基づいて、ノイズ成分としての第１差分データを生成し、前記第２画像データから前記第１差分データを減じたデータを、Ｍ番目の第３画像データとして前記メモリに記憶させるデータ処理部と、
前記第１差分データに対して前記第１クロックの周期毎のデータを補間して第２差分データを生成し、前記第１画像データと当該第２差分データとの差分演算により、前記第１画像データの補正を行うデータ補正部と、
を有する画像処理装置。
【請求項２】
前記データ処理部は、
前記第１差分データに対し、各処理が前記第１クロックの２Ｎ周期に１回のタイミングで順次実行される複数の処理を行い、その結果に基づいて前記第３画像データを生成する
請求項１記載の画像処理装置。
【請求項３】
前記第１画像データは、第１輝度データ、第１色差データの２系統のデータを含み、
前記データ間引き部は、前記第１クロックの２Ｎ周期に１回のタイミングで、前記第１輝度データおよび前記第１色差データを交互に取得して、１系統の前記第２画像データを生成する
請求項１記載の画像処理装置。
【請求項４】
前記第１差分データは、前記第１クロックの２Ｎ周期毎に、第１輝度差分データ、第１色差差分データが交互に連続するデータであって、
前記データ補正部は、
前記第１輝度差分データおよび前記第１色差差分データのそれぞれに対し、隣接する２つのデータに基づいて線形補間を行い、第１クロックの各周期に対応するデータを取得する
請求項３記載の画像処理装置。
【請求項５】
前記第１色差差分データは、第１成分データと第２成分データとが交互に連続するデータであって、
前記データ処理部は、前記第１および第２成分データを交互に選択し、線形補間を行う
請求項４記載の画像処理装置。
【請求項６】
前記Ｎは２である
請求項１記載の画像処理装置。
【請求項７】
画像データをフレーム単位で順に更新して記憶するメモリを用いた画像処理方法であって、
所定の第１クロックの２Ｎ（Ｎ：２以上の整数）周期に１回のタイミングで第１画像データを取得し、第２画像データを順次生成するステップと、
前記第２画像データと、前記メモリが（Ｍ−１）番目（Ｍ：整数）に記憶する第３画像データとの差分演算に基づいて、ノイズ成分としての第１差分データを生成するステップと、
前記第２画像データから前記第１差分データを減じたデータを、Ｍ番目の第３画像データとして前記メモリに記憶するステップと、
前記第１差分データに対して前記第１クロックの周期毎のデータを補間して第２差分データを生成するステップと、
前記第１画像データと当該第２差分データとの差分演算により、前記第１画像データの補正を行うステップと、
を有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム相関を行うために、１フレーム前の画像データを記憶するメモリを有する画像処理装置、および当該画像データを処理するための画像処理方法に関する。
【背景技術】
【０００２】
たとえば、下記特許文献１には、光ディスク記録再生装置などの画像処理装置において、入力フレームと前回入力したフレームとの相関によってノイズを判定／除去する技術が開示されており、この従来の画像処理装置では、１フレーム前の画像データを蓄積しておくためのフレームメモリを備えている。
なお、画像データとしては、ＤＶＤ等で使用されているＮＴＳＣが多く、その場合に処理する画像のサイズは、横７２０画素×縦４３０画素程度であるため、フレームメモリもそのサイズに応じた容量を有しているのが通常である。
【０００３】
図１１は、下記特許文献１に開示されている画像処理装置の構成を示すブロック図である。
図１１に示す画像処理装置において、間引き回路１０ａは、入力した輝度データＹｉｎと色差データＣｉｎを所定のクロックに応じて交互に取得して、ＹＣ交互出力データを生成する。
減算器６１は、生成されたＹＣ交互出力データと、フレームメモリ３０ａが記憶する１フレーム前のＹＣ交互出力データとの差分データをノイズ成分として算出する。
データ処理部４０ａでは、ラインメモリが１ライン分の差分データを保持し、２ライン分のデータに対して２次元アダマール変換を行う。その変換結果に基づいてノイズレベルを計測し、ＣＰＵは、その計測結果に基づいて可変リミッタの設定を行う。すなわち、可変リミッタは、アダマール変換結果に対してノイズレベルに応じた係数乗算を行う。さらに、その乗算結果に対して、逆アダマール変換を行うことで、調整されたノイズ成分（差分データ）が算出される。
補間回路５０ａでは、このノイズ成分を輝度データ（差分データ）と色差データ（差分データ）に分離するとともに、各データについて、間引き回路１０ａによって間引かれた分を補間する。そして、減算器６３および６４にて、入力輝度データＹｉｎおよび色差データＣｉｎから補間データを減ずることにより、ノイズ成分が除去された画像データ（輝度データＹｏｕｔと色差データＣｏｕｔ）が出力される。
【０００４】
【特許文献１】特開２００３−２０９７１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、ハイビジョン放送等では、画像サイズが横１９２０画素×縦１０８０画素であり、処理すべき画素数がＮＴＳＣよりも多くなる。したがって、上述した従来の画像処理装置をハイビジョン放送に対応させる場合には、処理速度や記憶容量の点で、より高性能なフレームメモリが要求される。
【０００６】
具体的には、図１１において、入力輝度データＹｉｎおよび色差データＣｉｎのデータ量が増大し、フレームメモリ３０ａで記憶すべきデータ量が増大する。そして、画素サイズが増大しても、１フレームを処理すべき時間は変わらないため、その分高速で処理する必要がある。
それゆえ、従来の画像処理装置においては、フレームメモリ３０ａとして大容量かつ高速なメモリを適用せざるを得ず、コスト、回路規模、消費電力の点で不利となっていた。
【０００７】
したがって、本発明の目的は、フレームメモリに蓄積するデータ量を調整可能な画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を克服するために、本発明の第１の観点は、第１画像データを、所定の第１クロックの２Ｎ（Ｎ：２以上の整数）周期に１回のタイミングで取得し、前記第１画像データを間引いた第２画像データを生成するデータ間引き部と、第３画像データをフレーム単位で順に更新して記憶するメモリと、前記第２画像データと、前記メモリが（Ｍ−１）番目（Ｍ：整数）に記憶する第３画像データとの差分演算に基づいて、ノイズ成分としての第１差分データを生成し、前記第２画像データから前記第１差分データを減じたデータを、Ｍ番目の第３画像データとして前記メモリに記憶させるデータ処理部と、前記第１差分データに対して前記第１クロックの周期毎のデータを補間して第２差分データを生成し、前記第１画像データと当該第２差分データとの差分演算により、前記第１画像データの補正を行うデータ補正部と、を有する画像処理装置である。
【０００９】
好適には、前記データ処理部は、前記第１差分データに対し、各処理が前記第１クロックの２Ｎ周期に１回のタイミングで順次実行される複数の処理を行い、その結果に基づいて前記第３画像データを生成する。
【００１０】
好適には、前記第１画像データは、第１輝度データ、第１色差データの２系統のデータを含み、前記データ間引き部は、前記第１クロックの２Ｎ周期に１回のタイミングで、前記第１輝度データおよび前記第１色差データを交互に取得して、１系統の前記第２画像データを生成する。
【００１１】
好適には、前記第１差分データは、前記第１クロックの２Ｎ周期毎に、第１輝度差分データ、第１色差差分データが交互に連続するデータであって、前記データ補正部は、前記第１輝度差分データおよび前記第１色差差分データのそれぞれに対し、隣接する２つのデータに基づいて線形補間を行い、第１クロックの各周期に対応するデータを取得する。
【００１２】
上記課題を克服するために、本発明の第２の観点は、画像データをフレーム単位で順に更新して記憶するメモリを用いた画像処理方法であって、所定の第１クロックの２Ｎ（Ｎ：２以上の整数）周期に１回のタイミングで第１画像データを取得し、第２画像データを順次生成するステップと、前記第２画像データと、前記メモリが（Ｍ−１）番目（Ｍ：整数）に記憶する第３画像データとの差分演算に基づいて、ノイズ成分としての第１差分データを生成するステップと、前記第２画像データから前記第１差分データを減じたデータを、Ｍ番目の第３画像データとして前記メモリに記憶するステップと、前記第１差分データに対して前記第１クロックの周期毎のデータを補間して第２差分データを生成するステップと、前記第１画像データと当該第２差分データとの差分演算により、前記第１画像データの補正を行うステップと、を有する画像処理方法である。
【発明の効果】
【００１３】
本発明によれば、毎フレームデータを記憶するメモリのデータ量を調整できる。したがって、小容量のフレームメモリを使用することが可能となる。すなわち、従来の画像処理装置に対して、回路構成を変更することなく、処理すべきデータ量が１／Ｎとなるので、メモリに記憶すべき１フレーム処理時間のデータ量が減少し、低コスト、かつ、小容量のフレームメモリを使用することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を添付図面に関連付けて説明する。
図１は、本発明に係る画像処理装置の一実施形態を示すシステム構成図である。なお、各図においては、画像データ等のデータの流れについては実線で、制御信号等については破線で記載している。
また、輝度データＹｉｎと色差データＣｉｎは、本発明の第１画像データの一実施形態である。
ＹＣ交互出力データは、本発明の第２画像データの一実施形態である。
メモリ３０が記憶する画像データは、本発明の第３画像データに対応する。
差分データＹＣ＿ＤＩＦ１，ＹＣ＿ＤＩＦ２は、本発明の第１差分データの一実施形態である。
輝度差分データＹ＿ＤＩＦ，色差差分データＣ＿ＤＩＦは、本発明の第２差分データの一実施形態である。
【００１５】
画像処理装置１では、光ディスク記録再生装置などに組み込まれて使用され、入力画像に重畳するノイズを低減するための装置である。そして、そのノイズ低減処理を行う際に、入力画素サイズ等に応じて処理速度を低下させることで、フレーム毎の画像データを記憶するフレームメモリに要求される容量、データ処理速度を低減することを目的としている。
画像処理装置１では、画像データ（輝度データＹｉｎおよび色差データＣｉｎ）が順次入力され、後述する所定の処理を行うことで、ノイズが除去された輝度データＹｏｕｔおよび色差データＣｏｕｔを出力する。画像処理装置１では、図１に図示しないクロックＣＬＫに同期して各部が動作する。
色差データＣｉｎには、クロックＣＬＫに応じて、Ｒ−ＹデータとＢ−Ｙデータが交互に含まれている。以下の説明においては、Ｒ−ＹデータをＵ成分、Ｂ−ＹデータをＶ成分と称する。したがって、色差データＣｉｎは、順に、所定の動作クロックＣＬＫに同期したタイミングで、Ｕ０，Ｖ０，Ｕ１，Ｖ１，Ｕ２，Ｖ２，…、というように取り込まれるデータ列となっている。
【００１６】
画像処理装置１において、通常動作よりもデータの処理速度を１／Ｎにした処理を１／Ｎ動作と称する。ここで、通常動作とは、従来から行われている、処理動作を遅延させない動作のことをいう。
【００１７】
本実施形態では、Ｎ＝２の場合を一例として説明する。
なお、特記しない限り、画像処理装置１の各部は、フレーム単位で画像データの処理を行う。
【００１８】
まず、図１に示す画像処理装置１の基本構成について述べる。
【００１９】
１／Ｎ動作制御回路２０は、画像処理装置１の動作モードを指示するための制御信号である動作モード信号ＯＰ＿ＭＯＤＥを間引き回路１０および補間回路５０に与える。
動作モード信号ＯＰ＿ＭＯＤＥは、動作速度、すなわち、Ｎの大きさを示すデータを含んでいればその形式は問わない。この動作モード信号ＯＰ＿ＭＯＤＥにより、たとえば間引き回路１０は、動作モードが１／２動作、１／４動作等であることを特定できる。
本実施形態では、動作モード信号ＯＰ＿ＭＯＤＥは、通常動作の場合に「０」、１／２動作の場合に「１」となるデータである。
【００２０】
１／Ｎ動作制御回路２０は、後述するデータ処理部４０の各処理ブロックの動作を制御するための制御信号ｆｆ＿１＿Ｎを生成する。
制御信号ｆｆ＿１＿Ｎは、クロックＣＬＫのＮ周期に１回だけレベルが変化する制御信号である。本実施形態では、Ｎ＝２であるため、クロックＣＬＫの２周期に１回だけレベルが変化する制御信号ｆｆ＿１＿２が各処理ブロックに与えられる。
【００２１】
間引き回路１０は、１／Ｎ動作制御回路２０により指示された動作モード信号ＯＰ＿ＭＯＤＥに基づいて、輝度データＹｉｎおよび色差データＣｉｎから交互にデータを取得して、輝度データと色差データとが交互に連続したデータ（以後、ＹＣ交互出力データと称する）を出力する。その際、動作モード信号ＯＰ＿ＭＯＤＥに応じて、間引き度合いを変更する。
間引き回路１０の具体的な構成例については、後述する。
【００２２】
メモリ３０は、１フレーム分の画像データ（フレーム画像）を順に更新して記憶する。
メモリ３０は、減算器６２から入力されるノイズ成分が除去されたフレーム画像を１フレーム周期だけ遅延して減算器６１に供給する。
【００２３】
減算器６１は、間引き回路１０から入力される間引かれたフレーム画像と、メモリ３０から供給される１フレーム前のフレーム画像との差分データである、ノイズ成分としてのＹＣ＿ＤＩＦ１を算出してデータ処理部４０に出力する。
【００２４】
データ処理部４０は、ラインメモリ４１、２次元アダマール変換回路４２、ノイズレベル計測回路４３、ＣＰＵ４４、可変リミッタ４５、２次元逆アダマール変換回路４６から構成される。
データ処理部４０では、ノイズ成分である上記差分データＹＣ＿ＤＩＦ１を評価／調整して、出力輝度データＹｏｕｔおよび色差データＣｏｕｔに反映すべきノイズ成分である差分データＹＣ＿ＤＩＦ２を生成する。
【００２５】
また、データ処理部４０の各部は、１／Ｎ動作制御回路２０からの制御信号ｆｆ＿１＿２に応じた遅延動作を行う。
具体的には、後述するように、データ処理部４０の各ブロックは、その入力段に制御信号ｆｆ＿１＿２によって制御されるフリップフロップを備える。これにより、データ処理部４０の各ブロックは、クロックＣＬＫの２周期分遅延させて次ブロックに出力する。
【００２６】
ラインメモリ４１は、１ライン分の差分データＹＣ＿ＤＩＦ１を一時的に記憶する。
【００２７】
２次元アダマール変換回路４２は、減算器６１から入力する１ライン分の差分データＹＣ＿ＤＩＦ１と、ラインメモリ４１が保持する１ライン分の差分データＹＣ＿ＤＩＦ１と、の２ライン分の差分データＹＣ＿ＤＩＦ１に対して、２次元アダマール変換処理を施すことによって、差分データの各周波数成分を抽出してノイズレベル計測回路４３および可変リミッタ４５に出力する。
【００２８】
ノイズレベル計測回路４３は、差分データＹＣ＿ＤＩＦ１の各周波数成分に含まれるノイズ成分を計測して計測結果をＣＰＵ４４に出力する。
具体的には、差分データＹＣ＿ＤＩＦ１の各周波数成分を用い、フレーム画像上に設定する１次元の所定領域毎に、ノイズレベルの検出に有効な領域であるか否かを判別した後、この判別結果に基づいてノイズレベルを計測する。
【００２９】
ＣＰＵ４４は、制御用プログラムを実行することにより、ノイズレベル計測回路４３の計測結果に基づいて可変リミッタ４５のリミッタ特性を設定する。
【００３０】
可変リミッタ４５は、ＣＰＵ４４からのリミッタ設定に従い、２次元アダマール変換回路４２から供給される差分データの各周波数成分からノイズ成分を抽出して２次元逆アダマール変換回路４６に出力する。
【００３１】
２次元逆アダマール変換回路４６は、可変リミッタ４５から入力される各周波数成分のノイズ成分に２次元逆アダマール変換を施すことによって差分データの元の時間軸のノイズ成分ＹＣ＿ＤＩＦ２を生成し、減算器６２および補間回路５０に出力する。
【００３２】
減算器６２は、間引き回路１０から入力される間引かれたフレーム画像から、２次元逆アダマール変換回路４６から入力される、画素が間引かれた１フレーム前のフレーム画像に基づいて抽出されたノイズ成分を除去して、メモリ３０に出力する。
【００３３】
補間回路５０は、２次元逆アダマール変換回路４６から入力される、評価／調整されたノイズ成分（ＹＣ＿ＤＩＦ２）を、輝度データおよび色差データに分離し、かつ、線形補間を行うことで、クロックＣＬＫ毎の輝度差分データＹ＿ＤＩＦ、色差差分データＣ＿ＤＩＦをそれぞれ減算器６３，６４に出力する。
減算器６３，６４は、それぞれ入力輝度データＹｉｎおよび色差データＣｉｎから、補間回路５０から入力されるノイズ成分を除去して、出力輝度データＹｏｕｔおよび色差データＣｏｕｔを生成する。これにより、ノイズが除去された画像データが得られる。
【００３４】
次に、間引き回路１０の具体的な回路構成について説明する。
図２は、間引き回路１０の構成を示すブロック図である。
【００３５】
図２に示すように、間引き回路１０は、輝度データＹｉｎに対してフィルタを施す輝度フィルタ（Ｙフィルタ）１１、色差データＣｉｎに対してフィルタを施す色差フィルタ（Ｃフィルタ）１２、輝度データと色差データとを交互に並べ替える並べ替え回路（ＹＣ並べ替え回路）１４、並べ替え回路１４のタイミング制御を行うためのカウンタ１３、を含んで構成される。
【００３６】
輝度フィルタ１１と色差フィルタ１２は、それぞれ、輝度データＹｉｎと色差データＣｉｎに対してローパスフィルタを施し、輝度フィルタデータＹ＿ＦＩＬと色差フィルタデータＣ＿ＦＩＬを生成する。
【００３７】
カウンタ１３は、動作モード信号ＯＰ＿ＭＯＤＥに基づいて、クロックＣＬＫに同期してカウントアップする３ビットの間引きカウンタＣＴＲ［２：０］を生成する。
なお、Ｎが大きくなると、その分カウンタ１３が生成するカウンタのビット数を増加させる必要がある。
【００３８】
図３は、並べ替え回路１４の構成の一例を示す回路図であり、図４は、並べ替え回路１４の動作を示すタイミングチャートである。
【００３９】
図３に示す並べ替え回路１４は、動作モード信号ＯＰ＿ＭＯＤＥに応じて、通常動作と１／２動作が選択可能な構成となっている。
本実施形態では、１／２動作を実行するので、動作モード信号ＯＰ＿ＭＯＤＥは「１」となっている。したがって、カウンタ１３が生成する間引きカウンタＣＴＲ［２：０］の上位２ビットであるＣＴＲ［２：１］の１０進数に対応する値に応じて、セレクタ１４５は順次入力データを選択する。
すなわち、セレクタ１４５は、２クロックに１回のタイミングで、順次、図３でセレクタ１４５内に表示されている、０→１→２→３→０→…に対応する入力データを順に選択して出力する。
【００４０】
一方、遅延器群１４１および１４２は、１Ｄにつき１クロックＣＬＫ分、入力データを遅延させて出力する。したがって、セレクタ１４５は、色差データ→２クロック遅延した輝度データ→３クロック遅延した色差データ→２クロック遅延した輝度データ→…、というように順に出力する。
【００４１】
並べ替え回路１４は、セレクタ１４５の出力に対して、遅延器１４９によってさらに１クロック分遅延させたデータを出力することになるが、その際、セレクタ１４７によりセレクタ１４８に記載されている「０」／「１」が交互に選択されることで、１クロック分引き伸ばされた形で出力される。
その結果、並べ替え回路１４は、１クロック遅延した色差データ→３クロック遅延した輝度データ→４クロック遅延した色差データ→３クロック遅延した輝度データ→…、について２クロック周期の幅で順に出力する。
【００４２】
図４は、並べ替え回路１４の動作を示すタイミングチャートであり、（ａ）はクロックＣＬＫ、（ｂ）は輝度データのフィルタデータＹ＿ＦＩＬ、（ｃ）は色差データのフィルタデータＣ＿ＦＩＬ、（ｄ）は間引きカウンタＣＴＲ［２：１］、（ｅ）はＹＣ交互出力データＹＣ＿ＡＬＴ、を示す。
【００４３】
図４（ｂ），（ｃ）に示すように、輝度フィルタデータＹ＿ＦＩＬは、クロックＣＬＫの立ち上がりエッジのタイミングで、Ｙ０→Ｙ１→Ｙ２→Ｙ３→Ｙ４→…の順に生成される。色差フィルタデータＣ＿ＦＩＬは、クロックＣＬＫの立ち上がりエッジのタイミングで、Ｕ０→Ｖ０→Ｕ１→Ｖ１→Ｕ２→Ｖ２→…の順に生成される。
そして、図４（ｄ）に示すように、間引きカウンタの上位２ビットであるＣＴＲ［２：１］は、１０進数で０→１→２→３→０→…と２クロックに１回のタイミングで値が変化する。
【００４４】
図４（ｅ）に示すように、Ｙ０を基準とした時刻ｔ０から見ると、並べ替え回路１４のＹＣ交互出力データＹＣ＿ＡＬＴは、前述した並べ替え回路１４の回路構成によって、１クロック遅延した色差データＵ０→３クロック遅延した輝度データＹ０→４クロック遅延した色差データＶ０の順に、２クロック周期の幅のデータを出力する。
以後、Ｙ１を基準とした時刻以降についても、同様に、ＹＣ交互出力データＹＣ＿ＡＬＴが生成される。
【００４５】
なお、並べ替え回路１４を１／Ｎ動作に対応させるためには、カウントビットを増加させて上位２ビットのカウント速度が遅くなるように、間引きカウンタＣＴＲを変更し、かつ、１／２動作に対して出力をさらに遅延させるように、遅延器群を変更する必要がある。
【００４６】
次に、１／Ｎ動作制御回路２０が生成する制御信号ｆｆ＿１＿２に対して、データ処理部４０の各部の動作タイミングについて、図５に関連付けて説明する。
データ処理部４０の各部は、１入力１出力の処理を行い、そのデータ入力段には、図５（ａ）に示すイネーブル端子ｅｎを有するフリップフロップが設けられている。そして、当該フリップフロップは、入力データＤ＿ｉｎに対して、イネーブル端子ｅｎに与えられる制御信号ｆｆ＿１＿２がハイレベルの時に限り、出力データＤ＿ｏｕｔを更新する。
すなわち、２クロックに１回のタイミングで、入力データＤ＿ｉｎを出力データＤ＿ｏｕｔに反映させる。これによって、データ処理部４０の１／２動作が可能になる。
【００４７】
データ処理部４０では、減算器６１により生成された差分データＹＣ＿ＤＩＦ１を各部が１／２動作により処理して、差分データＹＣ＿ＤＩＦ２を生成して、減算器６２および補間回路５０に出力する。
【００４８】
次に、補間回路５０の具体的な回路構成について、図６に関連付けて説明する。
補間回路５０は、上述した１／２動作によって処理された差分データ（ノイズ成分）を補間して、クロックＣＬＫ単位の差分データ（ノイズ成分）を生成する回路である。
【００４９】
図６に示すように、補間回路５０は、動作モード信号ＯＰ＿ＭＯＤＥに基づいて、制御信号ＣＴＲＬ１〜６を生成する制御回路５１、制御信号ＣＴＲＬ１および２に基づいて差分データＹＣ＿ＤＩＦ２のうち、輝度データ分を補間して輝度差分データＹ＿ＤＩＦを生成する輝度補間回路（Ｙ補間回路）５２、制御信号ＣＴＲＬ３〜６に基づいて差分データＹＣ＿ＤＩＦ２のうち、色差データ分を補間して色差差分データＣ＿ＤＩＦを生成する色差補間回路（Ｃ補間回路）５３、を有する。
【００５０】
図７は、輝度補間回路５２の構成例を示す回路図である。
図７に示す輝度補間回路５２には、４クロックに１回だけハイレベルとなる制御信号ＣＴＲＬ１と、１クロック毎に０→１→２→３→０→…と変化する制御信号ＣＴＲＬ２とが制御回路５１から供給される。
また、差分データＹＣ＿ＤＩＦ２は、クロックＣＬＫに対して、ＹＣ交互出力データＹＣ＿ＡＬＴと同様のタイミングで生成されるため、４クロックに１回更新される輝度差分データを含んでいる。
したがって、フリップフロップ５２１と５２２は、それぞれ４クロックずつ同じ差分データＹＣ＿ＤＩＦ２を出力する（データＤ５２１，Ｄ５２２）。
【００５１】
フリップフロップの出力データＤ５２１および５２２は直列接続されるので、４クロック毎に隣接する輝度差分データである。そして、この２つのデータが、セレクタ５２３，５２５、乗算器５２４，５２６、加算器５２７によって線形補間され、クロックＣＬＫ毎の輝度差分データが生成される。
ここで、セレクタ５２３および５２５は、制御信号ＣＴＲＬ２の値（０，１，２，３のいずれか）に応じて、それぞれ乗算器５２４および５２６における乗算係数を順に選択する。
したがって、加算器５２７の出力Ｄ５２７は、１クロック毎に、下記式（１）→（２）→（３）→（４）の順に変化する。これにより、差分データＹＣ＿ＤＩＦ２に含まれていなかった輝度差分データが線形補間される。
【００５２】
Ｄ５２７＝（０／４）×Ｄ５２１＋（４／４）×Ｄ５２２＝Ｄ５２２    …（１）
Ｄ５２７＝（１／４）×Ｄ５２１＋（３／４）×Ｄ５２２              …（２）
Ｄ５２７＝（２／４）×Ｄ５２１＋（２／４）×Ｄ５２２              …（３）
Ｄ５２７＝（３／４）×Ｄ５２１＋（１／４）×Ｄ５２２              …（４）
【００５３】
１／２動作では、動作モード信号ＯＰ＿ＭＯＤＥ＝「１」であるため、このデータＤ５２７が遅延器５２８および５３０により、６クロック遅延されて、輝度差分データＹ＿ＤＩＦが生成される。
【００５４】
図８は、輝度補間回路５２の動作を示すタイミングチャートであり、（ａ）はクロックＣＬＫ、（ｂ）は差分データＹＣ＿ＤＩＦ２、（ｃ）は制御信号ＣＴＲＬ１、（ｄ）は制御信号ＣＴＲＬ２、（ｅ）はデータＤ５２１、（ｆ）はデータＤ５２２、（ｇ）は輝度差分データＹ＿ＤＩＦ、を示す。
【００５５】
図８（ｂ）に示すように、差分データＹＣ＿ＤＩＦ２は、４クロックに１回のタイミングで変化する輝度差分データＹ０，Ｙ１，Ｙ２，…を含んでいる。また、図８（ｅ），（ｆ）が示すように、制御信号ＣＴＲＬ１によって、データＤ５２１およびＤ５２２は、４クロック間同じ輝度差分データであって、それぞれ隣接したデータとなる。
そして、輝度差分データＹ＿ＤＩＦは、１クロックＣＬＫ毎に線形補間されたデータとなる。たとえば、図８（ｇ）において、データＹ０とデータＹ１の間に記載された３つのデータは、それぞれ、順に下記式（５）〜（７）により得られるデータとなる。
【００５６】
（１／４）×Ｙ１＋（３／４）×Ｙ０＝（１×Ｙ１＋３×Ｙ０）／４    …（５）
（２／４）×Ｙ１＋（２／４）×Ｙ０＝（２×Ｙ１＋３×Ｙ０）／４    …（６）
（３／４）×Ｙ１＋（１／４）×Ｙ０＝（３×Ｙ１＋１×Ｙ０）／４    …（７）
【００５７】
次に、色差補間回路５３の構成について述べる。
図９は、色差補間回路５３の構成例を示す回路図である。
【００５８】
色差補間回路５３の処理内容は、輝度補間回路５２と同様であるが、差分データＹＣ＿ＤＩＦ２には、４クロックに１回のタイミングで、順にＵ成分とＶ成分が交互に現れるため、これらを交互に処理するための回路を追加する必要がある。
【００５９】
図９において、制御信号ＣＴＲＬ５は、８クロックに１回、Ｕ成分が更新されるタイミングでハイレベルとなる信号であり、制御信号ＣＴＲＬ３は、８クロックに１回、Ｖ成分が更新されるタイミングでハイレベルとなる信号である。すなわち、制御信号ＣＴＲＬ５と制御信号ＣＴＲＬ３は、位相が反転している。
図９では、これらの制御信号により、フリップフロップ５３２および５３４の出力データＤ５３２およびＤ５３４は、それぞれ、８クロックで更新されるＵ成分、Ｙ成分のデータとなっている。
【００６０】
そして、フリップフロップ５３３および５３５の出力データＤ５３３，５３５は、それぞれデータＤ５３２，５３４を８クロック遅延させたデータとなる。
制御信号ＣＴＲＬ４は、クロックＣＬＫと同じタイミングで０→１→０→…と変化する信号であって、セレクタ５３６および５３７は、この制御信号ＣＴＲＬ４の値に応じて、後段の乗算器５４０，５４１に取り込むデータを変化させる。
【００６１】
制御信号ＣＴＲＬ６は、２クロック毎に０→１→２→３→０→…と変化する信号である。そして、この制御信号ＣＴＲＬ６に基づいて、乗算器５４０，５４１、セレクタ５３８、５３９、加算器５４２は、輝度補間回路５２で述べた線形補間処理と同様の処理を行う。
【００６２】
以上のように、色差補間回路５３では、８クロックの間に、差分データＹＣ＿ＤＩＦ２から２クロック分のＵ成分およびＶ成分を取り出し、残りの６クロック分のＵ成分およびＶ成分については補間により求め、色差差分データＣ＿ＤＩＦを生成する。
【００６３】
図１０は、色差補間回路５３の動作を示すタイミングチャートであり、（ａ）はクロックＣＬＫ、（ｂ）は差分データＹＣ＿ＤＩＦ２、（ｃ）は制御信号ＣＴＲＬ５、（ｄ）はデータＤ５３１、（ｅ）は制御信号ＣＴＲＬ３、（ｆ）はデータＤ５３２、（ｇ）はデータＤ５３３、（ｈ）はデータＤ５３４、（ｉ）はデータＤ５３５、（ｊ）は制御信号ＣＴＲＬ４、（ｋ）は制御信号ＣＴＲＬ６、（ｌ）は色差差分データＣ＿ＤＩＦ、を示す。
【００６４】
図１０（ｂ）に示すように、差分データＹＣ＿ＤＩＦ２は、４クロックに１回のタイミングで変化する色差差分データＵ０，Ｖ０，Ｕ１，Ｖ１…を含んでいる。また、図１０（ｆ），（ｇ）が示すように、データＤ５３２およびＤ５３３は、４クロック間同じ輝度差分データ（Ｕ成分）であって、それぞれ隣接したデータとなる。図１０（ｈ），（ｉ）が示すように、データＤ５３４およびＤ５３５は、４クロック間同じ輝度差分データ（Ｖ成分）であって、それぞれ隣接したデータとなる。
そして、輝度差分データＣ＿ＤＩＦは、１クロックＣＬＫ毎に線形補間されたデータとなる。たとえば、図８（ｇ）において、データＵ０，Ｖ０とデータＵ１，Ｖ１の間に記載された６つのデータは、それぞれ、順に下記式（８）〜（１３）により得られるデータとなる。
【００６５】
（Ｕ０×３＋Ｕ１×１）／４        …（８）
（Ｖ０×３＋Ｖ１×１）／４        …（９）
（Ｕ０×２＋Ｕ１×２）／４        …（１０）
（Ｖ０×２＋Ｖ１×２）／４        …（１１）
（Ｕ０×１＋Ｕ１×３）／４        …（１２）
（Ｖ０×１＋Ｖ１×３）／４        …（１３）
【００６６】
以上述べたように、補間回路５０では、輝度差分データと色差差分データが２クロック毎のタイミングで連続する差分データＹＣ＿ＤＩＦ２に対して、輝度差分データと色差差分データとを取り出して、それぞれ、輝度補間回路５２と色差補間回路５３でクロック単位の差分データ（ノイズ成分）が得られるように、線形補間を行うことによって、クロック毎の輝度差分データＹ＿ＤＩＦおよび色差差分データＣ＿ＤＩＦを得る。
これらの差分データは、減算器６３および６４にて、入力輝度データＹｉｎおよび色差データＣｉｎから補間データを減ずることにより、ノイズ成分が除去された輝度データＹｏｕｔ，色差データＣｏｕｔが出力される。
【００６７】
なお、上述した補間回路５０の構成は、１／２動作に対応したものであるが、間引きカウンタＣＴＲのビット数、遅延器の遅延量、制御信号のタイミング、セレクタの設定を変更することで、１／Ｎ動作に拡張することができる。
【００６８】
以上説明したように、本実施形態に係る画像処理装置１によれば、間引き回路１０は、入力画像データ（輝度データと色差データ）を間引き、かつ、遅延させた画像データを生成し、データ処理部４０は、その画像データと、メモリ３０が記憶する１フレーム前の画像データと差分をノイズ成分として評価／調整し、その結果を補間回路５０によって線形補間し、入力画像データから減ずることで、ノイズ成分が効果的に除去された画像データを生成する。その際、動作速度が１／Ｎとなるように、１／Ｎ動作制御回路２０により、間引き回路１０の間引き度合いと、データ処理部４０および補間回路５０のデータ遅延量とが制御されるので、以下の効果が得られる。
【００６９】
すなわち、従来の画像処理装置に対して、回路構成を変更することなく、処理すべきデータ量が１／Ｎとなるので、メモリに記憶すべき１フレーム処理時間のデータ量が減少し、低コスト、かつ、小容量のフレームメモリを使用することができる。
また、一般に、画像処理装置が大規模ＬＳＩに組み込まれる場合、メモリマネージャブロックによって複数のメモリを管理する構成をとるが、本実施形態に係る画像処理装置１はフレームメモリの負荷を低減させることができるので、その分をメモリマネージャブロックが他の処理（たとえば、ＭＰＥＧ処理等）に割くことができ、システムのスループット（バンド幅、処理速度等）が向上する。
特に、ＨＤＴＶ等のデータ量が大きい画像データを扱う場合は、効果が大きい。
【００７０】
また、従来の画像処理装置と全体の回路構成が同じであるため、要求されるノイズ検出レベルに応じて、たとえば、メモリ消費大であるが高画質な画像処理と、ノイズ検出精度を少し犠牲にしてメモリ消費を半分にした画像処理と、を１つの画像処理装置で切り替えて適用することも可能になる。
【００７１】
なお、上述した１／Ｎ動作の画像処理において、Ｎが大きすぎる場合には、画像データに重畳する高周波ノイズが除去できず、補間の精度も悪化するので、画質が悪化する可能性がある。一方、Ｎが２の場合には、間引き回路や補間回路で設けた遅延器により構成されるフィルタによって、高周波ノイズが除去できる。したがって、Ｎの値としては、Ｎ＝２とすることが好ましい。
【図面の簡単な説明】
【００７２】
【図１】本発明に係る画像処理装置の一実施形態を示すシステム構成図である。
【図２】間引き回路の構成を示すブロック図である。
【図３】並べ替え回路の構成の一例を示す回路図である。
【図４】並べ替え回路１４の動作を示すタイミングチャートである。
【図５】制御信号ｆｆ＿１＿２に対するデータ処理部４０の各部の動作タイミングを説明するための図である。
【図６】補間回路の回路構成を示す図である。
【図７】輝度補間回路の構成例を示す回路図である。
【図８】輝度補間回路の動作を示すタイミングチャートである。
【図９】色差補間回路の構成例を示す回路図である。
【図１０】色差補間回路の動作を示すタイミングチャートである。
【図１１】従来の画像処理装置の構成を示すブロック図である。
【符号の説明】
【００７３】
１…画像処理装置、１０…間引き回路、２０…１／Ｎ動作制御回路、３０…メモリ、４０…データ処理部、５０…補間回路、６１〜６４…加算器。
【図１】
2006186500.tif 000003
【図２】
2006186500.tif 000004
【図３】
2006186500.tif 000005
【図４】
2006186500.tif 000006
【図５】
2006186500.tif 000007
【図６】
2006186500.tif 000008
【図７】
2006186500.tif 000009
【図８】
2006186500.tif 000010
【図９】
2006186500.tif 000011
【図１０】
2006186500.tif 000012
【図１１】
2006186500.tif 000013