(57)【要約】  入力画像と参照画像とを加算することで、入力画像中のノイズを除去する画像処理装置（１０）であって、入力画像と参照画像との間の動きを検出し、動き情報を入力画像のブロック毎に生成する動き推定部（１）と、動き推定部（１）により生成された動き情報を用いて参照画像の動きを補償することで、動き補償後の参照画像を生成する動き補償部（３）と、動き補償部（３）により生成された動き補償後の参照画像のブロック歪量をブロック毎に算出するブロック歪量算出部（５）と、ブロック歪量が大きいほど、動き補償後の参照画像のブロックの加算比率が小さくなるように、加算比率を算出する加算比率算出部（６）と、加算比率算出部により算出された加算比率を用いて、動き補償後の参照画像のブロックの画素値と、当該ブロックに対応する入力画像のブロックの画素値とを重み付き加算する加算部（４）とを備える。
2010007777.tif 000002
【特許請求の範囲】
【請求項１】
入力画像と参照画像とを加算することで、前記入力画像中のノイズを除去する画像処理装置であって、
入力画像と参照画像との間の動きを検出し、動き情報を前記入力画像のブロック毎に生成する動き推定部と、
前記動き推定部により生成された動き情報を用いて前記参照画像のブロック毎の動きを補償することで、動き補償後の参照画像を生成する動き補償部と、
前記動き補償部により生成された動き補償後の参照画像のブロック歪量を、ブロック毎に算出するブロック歪量算出部と、
前記ブロック歪量算出部により算出されたブロック歪量が大きいほど、前記ブロック歪量に対応する、前記動き補償後の参照画像のブロックの加算比率が小さくなるように、前記加算比率を算出する加算比率算出部と、
前記加算比率算出部により算出された加算比率を用いて、前記動き補償後の参照画像のブロックの画素値と、当該ブロックに対応する前記入力画像のブロックの画素値とを重み付き加算する加算部と
を備える画像処理装置。
【請求項２】
前記ブロック歪量算出部は、前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分を用いて当該ブロックについてのブロック歪量を算出する
請求項１記載の画像処理装置。
【請求項３】
前記ブロック歪量算出部は、前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分が大きいほど当該ブロックのブロック歪量が大きくなるように前記ブロック歪量を算出する
請求項２記載の画像処理装置。
【請求項４】
前記ブロック歪量算出部は、
前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分が大きいほど、かつ、前記入力画像のブロックの境界における隣接画素間の画素値の差分が小さいほど、前記ブロック歪量が大きくなるように前記ブロック歪量を算出する
請求項３記載の画像処理装置。
【請求項５】
前記ブロック歪量算出部は、
前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分が大きいほど大きな値となる第一歪量を算出し、
前記入力画像のブロックの境界における隣接画素間の画素値の差分が大きいほど小さな値となる第二歪量を算出し、
前記第一歪量および前記第二歪量のうちの小さな方を前記ブロック歪量として選択することで、前記ブロック歪量を算出する
請求項１記載の画像処理装置。
【請求項６】
前記加算比率算出部はさらに、前記動き補償後の参照画像のブロックの加算比率を用い、当該ブロックに含まれる複数の画素ごとの加算比率を補間により算出し、
前記加算部は、前記加算比率算出部により算出された、前記複数の画素ごとの加算比率を用いて、前記複数の画素の画素値と、当該ブロックに対応する前記入力画像のブロックの複数の画素の画素値とを重み付き加算する
請求項１記載の画像処理装置。
【請求項７】
前記加算比率算出部は、前記動き補償後の参照画像のブロックの加算比率と、当該ブロックに隣接する複数のブロックのうち、少なくとも、上ブロック、左ブロック、および左上ブロックそれぞれの加算比率とを用いて前記補間を行う
請求項６記載の画像処理装置。
【請求項８】
前記加算比率算出部は、前記加算比率算出部により算出された、前記動き補償後の参照画像のブロックの加算比率を当該ブロックの右下の画素の加算比率と想定し、前記右下の画素の加算比率と、前記上ブロック、前記左ブロック、および前記左上ブロックそれぞれの右下の画素の加算比率とを用いた前記補間により、前記複数の画素ごとの加算比率を算出する
請求項７記載の画像処理装置。
【請求項９】
入力画像と参照画像とを加算することで、前記入力画像中のノイズを除去する画像処理方法であって、
入力画像と参照画像との間の動きを検出し、動き情報を前記入力画像のブロック毎に生成する動き推定ステップと、
生成された動き情報を用いて前記参照画像の動きを補償することで、動き補償後の参照画像を生成する動き補償ステップと、
生成された動き補償後の参照画像のブロック歪量を、ブロック毎に算出するブロック歪量算出ステップと、
算出された前記ブロック歪量が大きいほど、前記ブロック歪量に対応する、前記動き補償後の参照画像のブロックの加算比率が小さくなるように、前記加算比率を算出する加算比率算出ステップと、
算出された加算比率を用いて、前記動き補償後の参照画像のブロックの画素値と、当該ブロックに対応する前記入力画像のブロックの画素値とを重み付き加算する加算ステップと
を含む画像処理方法。
【請求項１０】
コンピュータに、入力画像と参照画像とを加算させることで、前記入力画像中のノイズを除去するためのプログラムであって、
入力画像と参照画像との間の動きを検出し、動き情報を前記入力画像のブロック毎に生成する動き推定ステップと、
生成された動き情報を用いて前記参照画像の動きを補償することで、動き補償後の参照画像を生成する動き補償ステップと、
生成された動き補償後の参照画像のブロック歪量を、ブロック毎に算出するブロック歪量算出ステップと、
算出された前記ブロック歪量が大きいほど、前記ブロック歪量に対応する、前記動き補償後の参照画像のブロックの加算比率が小さくなるように、前記加算比率を算出する加算比率算出ステップと、
算出された加算比率を用いて、前記動き補償後の参照画像のブロックの画素値と、当該ブロックに対応する前記入力画像のブロックの画素値とを重み付き加算する加算ステップと
をコンピュータに実行させるためのプログラム。
【請求項１１】
コンピュータが読み取り可能な記録媒体であって、
請求項１０記載のプログラムが記録されている
記録媒体。
【請求項１２】
入力画像と参照画像とを加算することで、前記入力画像中のノイズを除去する集積回路であって、
入力画像と参照画像との間の動きを検出し、動き情報を前記入力画像のブロック毎に生成する動き推定部と、
前記動き推定部により生成された動き情報を用いて前記参照画像のブロック毎の動きを補償することで、動き補償後の参照画像を生成する動き補償部と、
前記動き補償部により生成された動き補償後の参照画像のブロック歪量を、ブロック毎に算出するブロック歪量算出部と、
前記ブロック歪量算出部により算出されたブロック歪量が大きいほど、前記ブロック歪量に対応する、前記動き補償後の参照画像のブロックの加算比率が小さくなるように、前記加算比率を算出する加算比率算出部と、
前記加算比率算出部により算出された加算比率を用いて、前記動き補償後の参照画像のブロックの画素値と、当該ブロックに対応する前記入力画像のブロックの画素値とを重み付き加算する加算部と
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像のノイズを除去する画像処理装置に関する。
【背景技術】
【０００２】
カメラの高速化、撮像素子の微細化の進展に伴って撮影時の露光量を十分に確保することが困難になってきており、その結果、撮像された画像はノイズの多い画像になる。ここで、この画像に発生したノイズは信号処理で除去することができる。ノイズ除去の処理方法は、空間フィルタによる処理と時間ノイズ除去処理に大別できる。【０００３】
空間フィルタでノイズ除去する場合、画像のエッジがぼけやすくなったり、彩度が落ちたりするといった問題がある。一方、時間ノイズ除去処理はノイズを効率よく除去しながら、前記の空間フィルタでノイズ除去する場合の問題の発生を抑制することが可能である。【０００４】
従来の時間ノイズ除去処理の方法としては、時間方向の複数の画像を空間的に動き補償した後、入力画像の各画素と、動き補償によって得られた各画素とを加算することによってノイズを除去する方法がある。【０００５】
図９は、時間ノイズ除去処理を行う従来の画像処理装置の機能ブロック図である。【０００６】
図９に示すように、従来の画像処理装置２０は、動き推定部１１、フレームメモリ１２、動き補償部１３、加算部１４、および加算比率算出部１６を備える。【０００７】
まず、動き推定部１１は入力画像とフレームメモリ１２に保存されている参照画像とを利用して動き推定を行い、入力画像の各ブロックに対応する参照画像中の位置を求める。【０００８】
次に、動き補償部１３は、動き推定部１１によって求められた動き情報に従って、入力画像に対応する位置の参照画像のブロック画像を生成する。その後、加算部１４では、動き補償後の参照画像と入力画像とが画素毎に加算される。この加算処理によって、ランダムノイズが時間的に平滑化されることで入力画像のノイズが軽減される。【０００９】
ここで、加算比率算出部１６では、入力画像と動き補償後の参照画像との加算比率を算出する。加算部１４は、加算比率算出部１６により算出された加算比率を用いて入力画像と動き補償後の参照画像とを加算する。【００１０】
この加算部１４で行われる処理として、特許文献１に記載の加算処理を説明する。【００１１】
図１０は、従来の画像処理装置が行う画素加算方法を説明するための図である。【００１２】
図１０に示す画像処理装置２０において、動き推定部１１は、入力画像と、フレームメモリに保存されている参照画像とを利用して、動きベクトル（ＭＶ）を検出する。【００１３】
次に、動き補償部１３では、前記動きベクトルを用いた動き補償により動き補償後の参照画像が生成される。また、加算比率算出部１６は、動き推定部１１で算出されたＭＡＤ（Ｍｅａｎ  Ａｂｓｏｌｕｔｅ  Ｄｅｖｉａｔｉｏｎ：平均絶対誤差）の値を用いて、係数αを算出する。ＭＡＤは、２つの画像間の誤差を表す量である。例えば、画像１と画像２との間のＭＡＤは（式１）で定義される。【００１４】
【数１】
2010007777.tif 000003
【００１５】
ここで、ｆ１（ｉ）、ｆ２（ｉ）は、それぞれ画像１、画像２の画素値である。Ｎは画素数である。【００１６】
ここで、入力画像のブロックと、当該ブロックに対応する参照画像のブロックとの間のＭＡＤが小さい場合、入力画像のブロックと参照画像のブロックとの間の差が小さいことを意味する。つまり、この場合は、動き推定が正しくなされた可能性が高いことが考えられる。【００１７】
このようなＭＡＤの特性を利用して、ＭＡＤが小さいときは参照画像の加算比率を示す係数αを大きくし、参照画像の加算比率を大きくすることでノイズ除去効果を上げる。【００１８】
逆にＭＡＤが大きい場合は動き推定が正しくできていない可能性があるため、係数αを小さくし、参照画像の加算比率を小さくするよう制御する。【００１９】
また、前記のノイズ除去処理は、画像をブロックに分割し、ブロック単位で処理している。このとき、求めた加算比率はブロック単位の加算比率である。しかし、加算部１４では、画素単位で加算を行うため、画素単位の加算比率が必要となる。そこで、従来の画像処理装置２０では、近隣の複数のブロックの加算比率を利用して、補間により画素単位の加算比率を算出する。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特願平９-５２９１３６号公報
【発明の概要】
【発明が解決しようとする課題】
【００２１】
しかしながら、ノイズが多い画像では、信号とノイズの区別ができないため、動きベクトルを正しく検出できない場合がある。このとき、入力画像内のブロックと、当該ブロックに加算される、動き補償後のブロックとは対応していないことになる。【００２２】
つまり、入力画像内のあるブロックにノイズが多く含まれる場合、当該ブロックに加算されるブロックとして、本来的には対応していないブロックが動き補償によって得られる場合がある。この場合、上記従来の技術のようにＭＡＤを用いた加算比率の算出は意味をなさないことになる。【００２３】
また、動き補償処理はブロック単位で行われる。そのため、上述のように互いに対応していないブロックで動き補償が行われることにより、動き補償後の参照画像にブロック歪が発生する。【００２４】
また、動き補償後の参照画像内のあるブロックの境界でブロック歪が発生した場合であっても、当該ブロックと、当該ブロックに加算される入力画像のブロックとのＭＡＤが比較的小さければ、加算結果である出力画像にそのブロック歪が現れることになる。つまり、出力画像の画質が劣化してしまうという問題がある。【００２５】
また、ブロック単位の加算比率から画素単位の加算比率を、補間を用いて算出する場合、一般に図１１に示すように、ブロック単位の加算比率を、ブロックの中央の画素の加算比率と仮定し、当該中央の画素と、周辺の複数のブロックの中央の画素との間で補間を行う。【００２６】
このとき、例えば、図１１に示すように注目ブロックの各画素について補間による加算比率を算出するために、周辺の８ブロックの情報が必要となる。したがって、周辺の８ブロックの情報を保存するメモリが必要となる。【００２７】
さらに、一般に画像をブロック単位で処理する際、画像の左上からラスタースキャンしながら処理される。そのため、前記の補間処理では、注目ブロックよりラスター順で後のブロックの加算比率を使用することになる。【００２８】
つまり、注目ブロックについての補間処理をする際、周辺のラスター順の後のブロックの加算比率が算出されていないため、補間処理を実施できない。つまり、一旦、処理を遅延して周辺のラスター順で後のブロックが処理を終えるまで待たなければならないため、処理の遅延が発生するという課題がある。【００２９】
本発明は、前記従来の課題を考慮し、画像のノイズを除去しながらブロック歪の発生を抑制することのできる画像処理装置等を提供することを目的とする。【００３０】
また、本発明はさらに、ブロック単位の加算比率から効率よく画素単位の加算比率を算出することのできる画像処理装置等を提供することを目的とする。
【課題を解決するための手段】
【００３１】
本発明の画像処理装置は、入力画像と参照画像とを加算することで、前記入力画像中のノイズを除去する画像処理装置であって、入力画像と参照画像との間の動きを検出し、動き情報を前記入力画像のブロック毎に生成する動き推定部と、前記動き推定部により生成された動き情報を用いて前記参照画像のブロック毎の動きを補償することで、動き補償後の参照画像を生成する動き補償部と、前記動き補償部により生成された動き補償後の参照画像のブロック歪量を、ブロック毎に算出するブロック歪量算出部と、前記ブロック歪量算出部により算出されたブロック歪量が大きいほど、前記ブロック歪量に対応する、前記動き補償後の参照画像のブロックの加算比率が小さくなるように、前記加算比率を算出する加算比率算出部と、前記加算比率算出部により算出された加算比率を用いて、前記動き補償後の参照画像のブロックの画素値と、当該ブロックに対応する前記入力画像のブロックの画素値とを重み付き加算する加算部とを備える。【００３２】
この構成により、本発明の画像処理装置は、入力画像に加算される動き補償後の参照画像にブロック歪が発生した場合であっても、当該加算の前に、そのブロック歪の量を算出し、その算出結果に応じて、動き補償後の参照画像の加算比率を小さくすることができる。つまり、本発明によれば、画像のノイズを除去しながらブロック歪の発生を抑制する画像処理装置を提供することができる。【００３３】
また、前記ブロック歪量算出部は、前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分を用いて当該ブロックについてのブロック歪量を算出するとしてもよい。【００３４】
また、前記ブロック歪量算出部は、前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分が大きいほど当該ブロックのブロック歪量が大きくなるように前記ブロック歪量を算出するとしてもよい。【００３５】
また、前記ブロック歪量算出部は、前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分が大きいほど、かつ、前記入力画像のブロックの境界における隣接画素間の画素値の差分が小さいほど、前記ブロック歪量が大きくなるように前記ブロック歪量を算出するとしてもよい。【００３６】
また、前記ブロック歪量算出部は、前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分が大きいほど大きな値となる第一歪量を算出し、前記入力画像のブロックの境界における隣接画素間の画素値の差分が大きいほど小さな値となる第二歪量を算出し、前記第一歪量および前記第二歪量のうちの小さな方を前記ブロック歪量として選択することで、前記ブロック歪量を算出するとしてもよい。【００３７】
このように、本発明の画像処理装置は、動き補償後の参照画像のブロック歪量を、当該ブロックの境界における隣接画素間の画素値の差分を用いて算出する。また、本発明の画像処理装置は、動き補償後の参照画像に、ブロック歪と考えられる模様が存在しており、かつ、入力画像の、当該模様に対応する位置にそのような模様がない場合に、ブロック歪量を大きな値として算出することができる。【００３８】
その結果、動き補償後の参照画像の加算比率は小さくなり、動き補償後の参照画像が有するブロック歪の出力画像への影響は抑制される。【００３９】
言い換えると、ブロック歪と考えられる模様が存在している場合であっても、入力画像の、当該模様に対応する位置にそのような模様がある場合は、動き補償後の参照画像の加算比率は小さくされない。つまり、入力画像にもともと存在していた模様が、動き補償によるブロック歪であると誤認識されることが防止される。【００４０】
また、前記加算比率算出部はさらに、前記動き補償後の参照画像のブロックの加算比率を用い、当該ブロックに含まれる複数の画素ごとの加算比率を補間により算出し、前記加算部は、前記加算比率算出部により算出された、前記複数の画素ごとの加算比率を用いて、前記複数の画素の画素値と、当該ブロックに対応する前記入力画像のブロックの複数の画素の画素値とを重み付き加算するとしてもよい。【００４１】
また、前記加算比率算出部は、前記動き補償後の参照画像のブロックの加算比率と、当該ブロックに隣接する複数のブロックのうち、少なくとも、上ブロック、左ブロック、および左上ブロックそれぞれの加算比率とを用いて前記補間を行うとしてもよい。【００４２】
また、前記加算比率算出部は、前記加算比率算出部により算出された、前記動き補償後の参照画像のブロックの加算比率を当該ブロックの右下の画素の加算比率と想定し、前記右下の画素の加算比率と、前記上ブロック、前記左ブロック、および前記左上ブロックそれぞれの右下の画素の加算比率とを用いた前記補間により、前記複数の画素ごとの加算比率を算出するとしてもよい。【００４３】
この構成により、ブロック単位で算出された加算比率から画素単位の加算比率が算出される。また、この画素単位の加算比率を算出する場合、その算出の時点で既に得られている他の画素の加算比率のみを用いるため、処理の遅延が抑制される。【００４４】
また、あるブロックの各画素について加算比率を算出する場合、当該ブロックに隣接する３つのブロックの情報のみをメモリに保存すればよく、メモリの使用量が抑制される。【００４５】
また、本発明は、本発明の画像処理装置の特徴的な構成部の動作をステップとする画像処理方法として実現したり、それらステップをコンピュータに実行させるためのプログラムとして実現したり、そのプログラムが記録された記録媒体として実現することもできる。そして、そのプログラムをインターネット等の伝送媒体又はＤＶＤ等の記録媒体を介して配信することもできる。【００４６】
また、本発明は、本発明の画像処理装置の特徴的な構成部を備える集積回路として実現することもできる。
【発明の効果】
【００４７】
本発明によれば、時間ノイズ除去方式を利用して画像のノイズを軽減する際に、ブロック歪の出力画像への影響を抑制でき、その結果、良好な画質の出力画像を得ることができる。また、従来方式と比べ、メモリ使用量を少なくすることができる。また、ノイズ除去処理の遅延がなく、あるブロックについての処理を当該ブロックで完結することができる。
【図面の簡単な説明】
【００４８】
【図１】図１は、本発明の実施の形態における画像処理装置の主要な機能構成を示す図である。
【図２】図２は、本発明の実施の形態における画像処理装置の処理の流れを示すフローチャートである。
【図３】図３は、本発明の実施の形態におけるブロック歪の検出位置を示す図である。
【図４】図４は、本発明の実施の形態における参照画像に基づくブロック歪量の算出方法を示す図である。
【図５】図５は、本発明の実施の形態における入力画像に基づくブロック歪量の算出方法を示す図である。
【図６】図６は、本発明の実施の形態におけるブロック単位の加算比率の算出方法を示す図である。
【図７】図７は、本発明の実施の形態における、各画素の加算比率の算出方法を説明する図である。
【図８】図８は、本発明の実施の形態の画像処理装置における集積回路化の一例を示す図である。
【図９】図９は、時間ノイズ除去処理を行う従来の画像処理装置の機能ブロック図である。
【図１０】図１０は、従来の画像処理装置が行う画素加算方法を説明するための図である。
【図１１】図１１は、従来の加算比率の補間方法を説明する図である。
【発明を実施するための形態】
【００４９】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００５０】
図１は、本発明の実施の形態における画像処理装置の主要な機能構成を示す図である。
【００５１】
図１に示すように、実施の形態における画像処理装置１０は、動き推定部１と、フレームメモリ２と、動き補償部３と、ブロック歪量算出部５と、加算比率算出部６と、加算部４とを備える。
【００５２】
動き推定部１は、入力画像とフレームメモリ２に保存されている参照画像とを用いて、入力画像のブロック毎に動き推定を行う。具体的には、動き推定部１は、ブロック毎の動き情報を生成する。動き補償部３は、動き推定部１により生成された動き情報を用いて、動き補償後の参照画像を生成する。
【００５３】
ブロック歪量算出部５は、本発明の画像処理装置におけるブロック歪量算出部の一例であり、入力画像と動き補償後の参照画像とを利用してブロック歪量を算出する。加算比率算出部６は、ブロック歪量算出部５により算出されたブロック歪量を用いて、入力画像と動き補償後の参照画像とを加算する際の加算比率を算出する。加算部４は、加算比率算出部６により算出された加算比率を用いて、入力画像と参照画像とを重み付け加算する。
【００５４】
以上のように構成された画像処理装置１０の処理の流れを図２を用いて説明する。
【００５５】
図２は、本発明の実施の形態における画像処理装置の処理の流れを示すフローチャートである。
【００５６】
まず、動き推定部１は、入力画像と、フレームメモリ２に保存されている参照画像とを取得する（Ｓ２０）。動き推定部１はさらに、取得した入力画像と参照画像とを用いて、動き推定を行う（Ｓ２１）。動き推定部１は、ブロックマッチングを利用して動き推定を行う。
【００５７】
ブロックマッチングは、入力画像を所定の大きさのブロックに分割し、そのブロックに対応する参照画像のブロック位置を見つける方法である。
【００５８】
具体的には、入力画像のブロックに対して、参照画像の中の所定の探索範囲内で、同じ大きさのブロックを動かし、それぞれのブロック位置で入力画像のブロックとの画素値の差（差分絶対値和）を算出する。
【００５９】
この算出結果が最小となる、参照画像のブロックが、入力画像のブロックに対応するブロックである。また、入力画像のブロックとこれに対応した参照画像のブロックの位置の差が動き推定の結果になる。
【００６０】
つまり、これらブロックの位置の差を示す動きベクトル等の情報が、動き情報として動き推定部１から動き補償部３に出力される。
【００６１】
なお、本実施の形態では、動き推定の方法として、一般のブロックマッチング方法を採用したが、位相限定相関法によるブロックマッチング等の他の動き推定方法を採用してもよい。
【００６２】
次に、動き補償部３は、動き推定部１から受け取った動き情報に基づいて、参照画像の動き補償を行う（Ｓ２２）。この処理により、入力画像のそれぞれのブロックに対応する動き補償後のブロックが生成される。
【００６３】
ここで、動き推定部１による動き推定の結果が正しくない場合がある。例えば、ノイズが多い画像では、信号よりもノイズが支配的になる。その結果、それぞれが同じようなノイズパターンを持っている、入力画像のブロックと参照画像のブロックとが対応付けされ、実際の動きとは違う動きが推定されることがある。
【００６４】
また、例えば、画像中の被写体の形状が急激に変化したことにより、参照画像内に入力画像のブロックに対応するブロックがない場合がある。この場合、動きが正しく推定されない。
【００６５】
これらのように、動きが正しく推定されないことにより、動き補償した後の参照画像では、動き推定が正しくないブロックは周辺のブロックと画像の模様が合わないため、ブロックの境界に段差ができてしまう。
【００６６】
なお、ブロックの境界に発生する段差とは、ブロックの境界を挟んで隣接する画素間における画素値の差が比較的大きいことによる視覚上の不連続な部分である。この段差の部分が入力画像に加算された場合は加算結果である出力画像にブロック歪が発生する。
【００６７】
そこで、本実施の形態における画像処理装置１０では、前記のブロック歪を事前に防ぐために、ブロック歪量算出部５が、動き補償後の参照画像のブロック歪を検出し、その歪の量を算出する（Ｓ２３）。そして、加算比率算出部６は、ブロック歪量算出部５によって算出されたブロック歪の量に応じて、出力画像にブロック歪が生じないように加算比率を制御する。
【００６８】
図３を用いて、実施の形態におけるブロック歪量算出部５の処理を説明する。
【００６９】
図３は、本発明の実施の形態における、ブロック歪の検出位置を示す図である。
【００７０】
ブロック歪量算出部５は、注目ブロックと隣接ブロックとのブロック境界段差を検出する。本実施の形態においては、ブロック歪量算出部５は、図３に示すように、ブロック境界の４辺と４角（すみ）の８つのブロック境界位置の段差を検出する。
【００７１】
例えば、注目ブロック（中央のブロック）の左に隣接する隣接ブロックとのブロック境界段差は、注目ブロックの左側のブロック境界（ブロック境界位置（４））を挟んで対峙する、注目ブロック境界画素と隣接ブロック境界画素とから検出する。
【００７２】
また、例えば、注目ブロックの右上に隣接する隣接ブロックとのブロック境界段差は、注目ブロックの上側のブロック境界（ブロック境界位置（６））の右半分を挟んで対峙する、注目ブロック境界画素および隣接ブロック境界画素、並びに、注目ブロックの右側のブロック境界（ブロック境界位置（６））の上半分を挟んで対峙する、注目ブロック境界画素および隣接ブロック境界画素から検出する。
【００７３】
動き補償後の参照画像のブロックにおいて、rをブロックの境界位置とし、diff＿refrをその位置における段差の量とすると、ブロック歪量算出部５は、diff＿refrを以下の（式２）を用いて算出する。
【００７４】
【数２】
2010007777.tif 000004
【００７５】
ここで、f＿blockr (i)は、（ブロック境界）位置ｒにおける処理ブロック（注目ブロック）内の画素値である。f＿neighbourr (i)は、（ブロック境界）位置ｒにおける処理ブロックの隣接ブロックの画素値である。Ｋは、ブロック境界の長さ（画素数）であり、図３の例では、Ｋ＝８である。
【００７６】
また、ブロック歪量算出部５は、diff＿refrの算出の対象であるブロックに対応する、入力画像のブロックの境界の段差の量（diff＿currr）も算出する。diff＿currrの算出方法は、diff＿refrの算出方法と同様であり、入力画像の当該ブロックのｒ＝１〜８のそれぞれの位置についてdiff＿currrを算出する。
【００７７】
ブロック歪量算出部５はさらに、前記のdiff＿refrおよびdiff＿currrを利用して、動き補償後のブロック境界におけるブロック歪量を算出する。
【００７８】
具体的には、入力画像のブロック境界における段差が少なく、かつ、動き補償後の参照画像のブロック境界における段差が大きい場合、その段差は、動き補償に起因するブロック歪である可能性が高いと言える。そこでこの場合、ブロック歪量算出部５は、ブロック歪量として比較的大きな値を算出する。
【００７９】
逆に、入力画像のブロック境界における段差が大きい場合、動き補償後の参照画像のブロック境界における段差が大きい場合であっても、その段差は、もともとの入力画像に存在していたブロック歪のような模様に起因するものであり、動き補償による歪ではないといえる。そこでこの場合、ブロック歪量算出部５は、ブロック歪量として比較的小さな値を算出する。
【００８０】
ブロック歪量算出部５は、例えば、図４および図５に示すような算出方法を利用する。図４における横軸はdiff＿refrの大きさである。diff＿refrは上述のように動き補償後の参照画像のブロック境界位置rにおける段差の量を表す。
【００８１】
ブロック歪量算出部５は、このdiff＿refrが大きいほど、動き補償後の参照画像のブロック境界における段差が現れる可能性が高くなるので、このブロックのブロック歪量を大きな値として算出する。
【００８２】
なお、図４に示すtmpConf1rは、本発明の画像処理装置における第一歪量の一例であり、前記の動き補償後の参照画像のブロック境界の段差に基づくブロック歪量である。
【００８３】
図４は、diff＿refrが大きくなるにしたがって、このブロック歪量（tmpConf1r）を大きくなるような変換を示している。
【００８４】
また、図５における横軸はdiff＿currrの大きさである。diff＿currrは上述のように入力画像のブロック境界における段差の量を表す。
【００８５】
ブロック歪量算出部５は、diff＿currrが大きいほど、ブロック歪量を小さな値として算出する。これは、入力画像にはもともと段差となる模様があり、この段差は動き補償による段差ではないためである。
【００８６】
なお、図５に示すtmpConf2rは、本発明の画像処理装置における第二歪量の一例であり、入力画像のブロック境界の段差に基づくブロック歪量である。
【００８７】
図５は、diff＿currrが大きくなるにしたがって、このブロック歪量（tmpConf2r）を小さくなるような変換を示している。
【００８８】
ブロック歪量算出部５は、これらtmpConf1rおよびtmpConf2rを求めた後、（式３）に示すように、tmpConf1rとtmpConf2rとの最小値をとることで、当該位置ｒにおけるブロック歪量（Confr）を算出する。
【００８９】
【数３】
2010007777.tif 000005
【００９０】
ブロック歪量算出部５はさらに、（式４）に示すように、ブロック境界の各位置rにおいて、ブロック歪の発生可能性が最も高い位置におけるブロック歪量、つまり、最も大きなConfrをブロック全体のブロック歪量（Conf）として算出する。
【００９１】
【数４】
2010007777.tif 000006
【００９２】
なお、本実施の形態において、ブロック歪量算出部５は、ブロック歪の検出において、ブロックの４辺と４角の合計８つの位置で検出を行った。しかしながら、必ずしも８つの境界の位置でなくてもよい。例えば、ブロック境界の上辺と左辺と左上角、つまり、r=１、４、および５の位置のみを検出対象としてもよい。
【００９３】
この場合、ブロック歪量算出部５が、注目ブロックについてブロック歪（Conf）を求める処理を実行する際に用いる動き補償後の画素値として、その時点で既に得られている画素値のみを当該処理に用いるため、当該処理を効率よく行うことができる。これにより、例えば、処理の遅延が抑制される。
【００９４】
なお、ブロック歪量を求めるための関数は、動き補償後の参照画像のブロック境界における隣接画素間の画素値の差分が大きいほど、かつ、入力画像のブロック境界における隣接画素間の画素値の差分が小さいほど該ブロックのブロック歪量が大きくなるという条件を満たしていればよい。従って、必ずしも図４、図５および上記の各数式に示される関数でなくてもよい。
【００９５】
このようにして、ブロック歪量算出部５によりブロック歪量が求められると、加算比率算出部６は、加算比率の算出を行う（Ｓ２４）。
【００９６】
加算比率の算出では、まずブロック歪量算出部５によって算出されたブロック単位のブロック歪量Confからブロック単位の加算比率R＿blockに変換する。
【００９７】
ブロック歪量が大きい場合には加算すると出力する画像にブロック歪が発生する可能性が高いので、加算比率算出部６は、ブロック歪量が大きいほど、動き補償後の参照画像のブロックの加算比率が小さくなるように変換する。例えば、図６のグラフに示されるような関数を利用して変換する。
【００９８】
これにより、動き補償後の参照画像のブロック境界における隣接画素間の画素値の差分が比較的大きく、かつ、入力画像のブロック境界における隣接画素間の画素値の差分が比較的小さい場合、つまり、加算結果の画像に表れるブロック歪量が大きくなると予測される場合、動き補償後の参照画像のブロックの加算比率が減らされる。
【００９９】
これにより、出力画像の画質劣化を防ぐことができ、ノイズを除去しながら良好な画質の出力画像が得られる。
【０１００】
なお、ブロック単位の加算比率を求める場合、前記の変換条件を満たしていれば、必ずしも図６に示した関数でなくてよい。
【０１０１】
次に、加算比率算出部６は、ブロック単位の加算比率から画素単位の加算比率を算出する。本実施の形態における、画素単位の加算比率の算出方法を図７を用いて説明する。
【０１０２】
図７は、ブロックの加算比率からの各画素の加算比率の算出を説明する図である。
【０１０３】
本実施の形態では、ブロック単位の加算比率を、ブロックの中央画素ではなく、ブロックの右下の画素の加算比率であると想定して補間を行う。
【０１０４】
このとき、補間に必要なのは処理対象のブロックの上と左と左上のブロックの加算比率のみである。処理ブロックの各画素の加算比率Rm,n(i,j)は、（式５）および（式６）で算出される。
【０１０５】
【数５】
2010007777.tif 000007
【０１０６】
【数６】
2010007777.tif 000008
【０１０７】
ここで、ｍ、ｎはブロックの横位置、縦位置である。R＿blockm,n、R＿blockm-1,n、R＿blockm,n-1、およびR＿blockm-1,n-1は、それぞれ、処理対象のブロック（図７における注目ブロック）、左ブロック、上ブロック、および左上ブロックの加算比率である。
【０１０８】
Ｍ、Ｎは、それぞれ、ブロックの横および縦のサイズである。ただし、i=0,1,..,（M-1）、j=0,1,...,（N-1）である。
【０１０９】
本実施の形態では、上記の補間方法を使用することによって、注目ブロックの各画素の加算比率の算出処理を既に得られている画素値のみで完結でき、遅延の問題は発生しない。
【０１１０】
なぜなら、注目ブロックを処理する際には、ラスター順では左ブロック、上ブロック、左上ブロックは既に処理されているからである。つまり、注目ブロックの各画素の加算比率を算出する時点で、当該算出に用いる、左ブロック、上ブロック、および左上ブロックそれぞれのブロック単位の加算比率は算出済みであるからである。
【０１１１】
また、図１１の従来の手法は周辺の８ブロックの加算比率を保存する必要があることに対して、本実施の形態では、周辺の３つのブロックの加算比率しか使用しない。従って、この３つのブロックの加算比率しか保存する必要がない。このため、メモリの使用量が少なく、本実施の形態の画像処理装置１０の製造コストが削減できる。
【０１１２】
最後に、加算部４では前記の画素単位の加算比率を利用して、入力画像と動き補償後の参照画像を加算し、出力画像を生成する（Ｓ２５）。
【０１１３】
具体的には、入力画像の画素値をI(i, j) 、動き補償後の参照画像の画素値をP(i', j')とすると、出力画像の画素値O(i, j) は下記の（式７）で算出される。
【０１１４】
（式７）に示されるように、動き補償後の参照画像のある画素についての加算比率がＲである場合、その画素に加算される、入力画像の画素についての加算比率は１−Ｒである。
【０１１５】
このように、加算部４は、加算比率算出部６により算出された加算比率を用いて、動き補償後の参照画像のブロックの画素値と、当該ブロックに対応する、入力画像のブロックの画素値とを重み付き加算する。加算部４はさらに、加算結果の画像を出力する（Ｓ２６）。
【０１１６】
【数７】
2010007777.tif 000009
【０１１７】
以上説明したように、本実施の形態の画像処理装置１０によれば、入力画像と動き補償後の画像とを加算する処理において、動き補償後の参照画像のブロック歪を検出し、その量に応じて加算比率を制御する。これにより、出力画像の画質劣化を防ぐことができ、ノイズを除去しながら良好な画質を得ることができる。
【０１１８】
また、本実施の形態の画像処理装置１０では、ブロック単位の加算比率から補間により画素単位の加算比率を求める際、ブロックの中央ではなく、ブロックの右下を基準位置として補間を行う。これにより、遅延がなく、補間に係る処理をそのブロックで完結できる。さらに、通常の補間と比べ、メモリの使用量が少ないため、容易に実用化することができる。
【０１１９】
なお、上記実施の形態で示した画像処理装置１０の一部または全部を集積回路であるＬＳＩによって実現してもよい。ＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
【０１２０】
図８は、実施の形態の画像処理装置１０における集積回路化の一例を示す図である。
【０１２１】
図８に示すＬＳＩ８は、画像処理装置１０が備える複数の機能ブロックを含む集積回路の一例である。
【０１２２】
なお、これら複数の機能ブロックは１つのＬＳＩではなく、複数のＬＳＩに分散して含まれてもよい。
【０１２３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１２４】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【産業上の利用可能性】
【０１２５】
本発明の画像処理装置および画像処理方法は、入力画像と参照画像とを加算してノイズを除去する際、参照画像のブロック歪量を検出し、そのブロック歪量に応じて加算比率を制御することができる。従って、本発明は、入力画像のノイズを除去しながらブロック歪の発生を抑制する良好な画質が得られるという特徴を有する。そのため、複数の画像を利用してノイズを除去する画像処理装置およびビデオカメラ等に適用できる。
【符号の説明】
【０１２６】
１  動き推定部
２  フレームメモリ
３  動き補償部
４  加算部
５  ブロック歪量算出部
６  加算比率算出部
８  ＬＳＩ
１０  画像処理装置
【図１】
2010007777.tif 000010
【図２】
2010007777.tif 000011
【図３】
2010007777.tif 000012
【図４】
2010007777.tif 000013
【図５】
2010007777.tif 000014
【図６】
2010007777.tif 000015
【図７】
2010007777.tif 000016
【図８】
2010007777.tif 000017
【図９】
2010007777.tif 000018
【図１０】
2010007777.tif 000019
【図１１】
2010007777.tif 000020
【手続補正書】
【提出日】平成22年3月3日(2010.3.3)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像のノイズを除去する画像処理装置に関する。
【背景技術】
【０００２】
カメラの高速化、撮像素子の微細化の進展に伴って撮影時の露光量を十分に確保することが困難になってきており、その結果、撮像された画像はノイズの多い画像になる。ここで、この画像に発生したノイズは信号処理で除去することができる。ノイズ除去の処理方法は、空間フィルタによる処理と時間ノイズ除去処理に大別できる。
【０００３】
空間フィルタでノイズ除去する場合、画像のエッジがぼけやすくなったり、彩度が落ちたりするといった問題がある。一方、時間ノイズ除去処理はノイズを効率よく除去しながら、前記の空間フィルタでノイズ除去する場合の問題の発生を抑制することが可能である。
【０００４】
従来の時間ノイズ除去処理の方法としては、時間方向の複数の画像を空間的に動き補償した後、入力画像の各画素と、動き補償によって得られた各画素とを加算することによってノイズを除去する方法がある。
【０００５】
図９は、時間ノイズ除去処理を行う従来の画像処理装置の機能ブロック図である。
【０００６】
図９に示すように、従来の画像処理装置２０は、動き推定部１１、フレームメモリ１２、動き補償部１３、加算部１４、および加算比率算出部１６を備える。
【０００７】
まず、動き推定部１１は入力画像とフレームメモリ１２に保存されている参照画像とを利用して動き推定を行い、入力画像の各ブロックに対応する参照画像中の位置を求める。
【０００８】
次に、動き補償部１３は、動き推定部１１によって求められた動き情報に従って、入力画像に対応する位置の参照画像のブロック画像を生成する。その後、加算部１４では、動き補償後の参照画像と入力画像とが画素毎に加算される。この加算処理によって、ランダムノイズが時間的に平滑化されることで入力画像のノイズが軽減される。
【０００９】
ここで、加算比率算出部１６では、入力画像と動き補償後の参照画像との加算比率を算出する。加算部１４は、加算比率算出部１６により算出された加算比率を用いて入力画像と動き補償後の参照画像とを加算する。
【００１０】
この加算部１４で行われる処理として、特許文献１に記載の加算処理を説明する。
【００１１】
図１０は、従来の画像処理装置が行う画素加算方法を説明するための図である。
【００１２】
図１０に示す画像処理装置２０において、動き推定部１１は、入力画像と、フレームメモリに保存されている参照画像とを利用して、動きベクトル（ＭＶ）を検出する。
【００１３】
次に、動き補償部１３では、前記動きベクトルを用いた動き補償により動き補償後の参照画像が生成される。また、加算比率算出部１６は、動き推定部１１で算出されたＭＡＤ（Ｍｅａｎ  Ａｂｓｏｌｕｔｅ  Ｄｅｖｉａｔｉｏｎ：平均絶対誤差）の値を用いて、係数αを算出する。ＭＡＤは、２つの画像間の誤差を表す量である。例えば、画像１と画像２との間のＭＡＤは（式１）で定義される。
【００１４】
【数１】
2010007777.tif 000021
【００１５】
ここで、ｆ１（ｉ）、ｆ２（ｉ）は、それぞれ画像１、画像２の画素値である。Ｎは画素数である。
【００１６】
ここで、入力画像のブロックと、当該ブロックに対応する参照画像のブロックとの間のＭＡＤが小さい場合、入力画像のブロックと参照画像のブロックとの間の差が小さいことを意味する。つまり、この場合は、動き推定が正しくなされた可能性が高いことが考えられる。
【００１７】
このようなＭＡＤの特性を利用して、ＭＡＤが小さいときは参照画像の加算比率を示す係数αを大きくし、参照画像の加算比率を大きくすることでノイズ除去効果を上げる。
【００１８】
逆にＭＡＤが大きい場合は動き推定が正しくできていない可能性があるため、係数αを小さくし、参照画像の加算比率を小さくするよう制御する。
【００１９】
また、前記のノイズ除去処理は、画像をブロックに分割し、ブロック単位で処理している。このとき、求めた加算比率はブロック単位の加算比率である。しかし、加算部１４では、画素単位で加算を行うため、画素単位の加算比率が必要となる。そこで、従来の画像処理装置２０では、近隣の複数のブロックの加算比率を利用して、補間により画素単位の加算比率を算出する。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特表平１１−５０４４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【００２１】
しかしながら、ノイズが多い画像では、信号とノイズの区別ができないため、動きベクトルを正しく検出できない場合がある。このとき、入力画像内のブロックと、当該ブロックに加算される、動き補償後のブロックとは対応していないことになる。
【００２２】
つまり、入力画像内のあるブロックにノイズが多く含まれる場合、当該ブロックに加算されるブロックとして、本来的には対応していないブロックが動き補償によって得られる場合がある。この場合、上記従来の技術のようにＭＡＤを用いた加算比率の算出は意味をなさないことになる。
【００２３】
また、動き補償処理はブロック単位で行われる。そのため、上述のように互いに対応していないブロックで動き補償が行われることにより、動き補償後の参照画像にブロック歪が発生する。
【００２４】
また、動き補償後の参照画像内のあるブロックの境界でブロック歪が発生した場合であっても、当該ブロックと、当該ブロックに加算される入力画像のブロックとのＭＡＤが比較的小さければ、加算結果である出力画像にそのブロック歪が現れることになる。つまり、出力画像の画質が劣化してしまうという問題がある。
【００２５】
また、ブロック単位の加算比率から画素単位の加算比率を、補間を用いて算出する場合、一般に図１１に示すように、ブロック単位の加算比率を、ブロックの中央の画素の加算比率と仮定し、当該中央の画素と、周辺の複数のブロックの中央の画素との間で補間を行う。
【００２６】
このとき、例えば、図１１に示すように注目ブロックの各画素について補間による加算比率を算出するために、周辺の８ブロックの情報が必要となる。したがって、周辺の８ブロックの情報を保存するメモリが必要となる。
【００２７】
さらに、一般に画像をブロック単位で処理する際、画像の左上からラスタースキャンしながら処理される。そのため、前記の補間処理では、注目ブロックよりラスター順で後のブロックの加算比率を使用することになる。
【００２８】
つまり、注目ブロックについての補間処理をする際、周辺のラスター順の後のブロックの加算比率が算出されていないため、補間処理を実施できない。つまり、一旦、処理を遅延して周辺のラスター順で後のブロックが処理を終えるまで待たなければならないため、処理の遅延が発生するという課題がある。
【００２９】
本発明は、前記従来の課題を考慮し、画像のノイズを除去しながらブロック歪の発生を抑制することのできる画像処理装置等を提供することを目的とする。
【００３０】
また、本発明はさらに、ブロック単位の加算比率から効率よく画素単位の加算比率を算出することのできる画像処理装置等を提供することを目的とする。
【課題を解決するための手段】
【００３１】
本発明の画像処理装置は、入力画像と参照画像とを加算することで、前記入力画像中のノイズを除去する画像処理装置であって、入力画像と参照画像との間の動きを検出し、動き情報を前記入力画像のブロック毎に生成する動き推定部と、前記動き推定部により生成された動き情報を用いて前記参照画像のブロック毎の動きを補償することで、動き補償後の参照画像を生成する動き補償部と、前記動き補償部により生成された動き補償後の参照画像のブロック歪量を、ブロック毎に算出するブロック歪量算出部と、前記ブロック歪量算出部により算出されたブロック歪量が大きいほど、前記ブロック歪量に対応する、前記動き補償後の参照画像のブロックの加算比率が小さくなるように、前記加算比率を算出する加算比率算出部と、前記加算比率算出部により算出された加算比率を用いて、前記動き補償後の参照画像のブロックの画素値と、当該ブロックに対応する前記入力画像のブロックの画素値とを重み付き加算する加算部とを備える。
【００３２】
この構成により、本発明の画像処理装置は、入力画像に加算される動き補償後の参照画像にブロック歪が発生した場合であっても、当該加算の前に、そのブロック歪の量を算出し、その算出結果に応じて、動き補償後の参照画像の加算比率を小さくすることができる。つまり、本発明によれば、画像のノイズを除去しながらブロック歪の発生を抑制する画像処理装置を提供することができる。
【００３３】
また、前記ブロック歪量算出部は、前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分を用いて当該ブロックについてのブロック歪量を算出するとしてもよい。
【００３４】
また、前記ブロック歪量算出部は、前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分が大きいほど当該ブロックのブロック歪量が大きくなるように前記ブロック歪量を算出するとしてもよい。
【００３５】
また、前記ブロック歪量算出部は、前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分が大きいほど、かつ、前記入力画像のブロックの境界における隣接画素間の画素値の差分が小さいほど、前記ブロック歪量が大きくなるように前記ブロック歪量を算出するとしてもよい。
【００３６】
また、前記ブロック歪量算出部は、前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分が大きいほど大きな値となる第一歪量を算出し、前記入力画像のブロックの境界における隣接画素間の画素値の差分が大きいほど小さな値となる第二歪量を算出し、前記第一歪量および前記第二歪量のうちの小さな方を前記ブロック歪量として選択することで、前記ブロック歪量を算出するとしてもよい。
【００３７】
このように、本発明の画像処理装置は、動き補償後の参照画像のブロック歪量を、当該ブロックの境界における隣接画素間の画素値の差分を用いて算出する。また、本発明の画像処理装置は、動き補償後の参照画像に、ブロック歪と考えられる模様が存在しており、かつ、入力画像の、当該模様に対応する位置にそのような模様がない場合に、ブロック歪量を大きな値として算出することができる。
【００３８】
その結果、動き補償後の参照画像の加算比率は小さくなり、動き補償後の参照画像が有するブロック歪の出力画像への影響は抑制される。
【００３９】
言い換えると、ブロック歪と考えられる模様が存在している場合であっても、入力画像の、当該模様に対応する位置にそのような模様がある場合は、動き補償後の参照画像の加算比率は小さくされない。つまり、入力画像にもともと存在していた模様が、動き補償によるブロック歪であると誤認識されることが防止される。
【００４０】
また、前記加算比率算出部はさらに、前記動き補償後の参照画像のブロックの加算比率を用い、当該ブロックに含まれる複数の画素ごとの加算比率を補間により算出し、前記加算部は、前記加算比率算出部により算出された、前記複数の画素ごとの加算比率を用いて、前記複数の画素の画素値と、当該ブロックに対応する前記入力画像のブロックの複数の画素の画素値とを重み付き加算するとしてもよい。
【００４１】
また、前記加算比率算出部は、前記動き補償後の参照画像のブロックの加算比率と、当該ブロックに隣接する複数のブロックのうち、少なくとも、上ブロック、左ブロック、および左上ブロックそれぞれの加算比率とを用いて前記補間を行うとしてもよい。
【００４２】
また、前記加算比率算出部は、前記加算比率算出部により算出された、前記動き補償後の参照画像のブロックの加算比率を当該ブロックの右下の画素の加算比率と想定し、前記右下の画素の加算比率と、前記上ブロック、前記左ブロック、および前記左上ブロックそれぞれの右下の画素の加算比率とを用いた前記補間により、前記複数の画素ごとの加算比率を算出するとしてもよい。
【００４３】
この構成により、ブロック単位で算出された加算比率から画素単位の加算比率が算出される。また、この画素単位の加算比率を算出する場合、その算出の時点で既に得られている他の画素の加算比率のみを用いるため、処理の遅延が抑制される。
【００４４】
また、あるブロックの各画素について加算比率を算出する場合、当該ブロックに隣接する３つのブロックの情報のみをメモリに保存すればよく、メモリの使用量が抑制される。
【００４５】
また、本発明は、本発明の画像処理装置の特徴的な構成部の動作をステップとする画像処理方法として実現したり、それらステップをコンピュータに実行させるためのプログラムとして実現したり、そのプログラムが記録された記録媒体として実現することもできる。そして、そのプログラムをインターネット等の伝送媒体又はＤＶＤ等の記録媒体を介して配信することもできる。
【００４６】
また、本発明は、本発明の画像処理装置の特徴的な構成部を備える集積回路として実現することもできる。
【発明の効果】
【００４７】
本発明によれば、時間ノイズ除去方式を利用して画像のノイズを軽減する際に、ブロック歪の出力画像への影響を抑制でき、その結果、良好な画質の出力画像を得ることができる。また、従来方式と比べ、メモリ使用量を少なくすることができる。また、ノイズ除去処理の遅延がなく、あるブロックについての処理を当該ブロックで完結することができる。
【図面の簡単な説明】
【００４８】
【図１】図１は、本発明の実施の形態における画像処理装置の主要な機能構成を示す図である。
【図２】図２は、本発明の実施の形態における画像処理装置の処理の流れを示すフローチャートである。
【図３】図３は、本発明の実施の形態におけるブロック歪の検出位置を示す図である。
【図４】図４は、本発明の実施の形態における参照画像に基づくブロック歪量の算出方法を示す図である。
【図５】図５は、本発明の実施の形態における入力画像に基づくブロック歪量の算出方法を示す図である。
【図６】図６は、本発明の実施の形態におけるブロック単位の加算比率の算出方法を示す図である。
【図７】図７は、本発明の実施の形態における、各画素の加算比率の算出方法を説明する図である。
【図８】図８は、本発明の実施の形態の画像処理装置における集積回路化の一例を示す図である。
【図９】図９は、時間ノイズ除去処理を行う従来の画像処理装置の機能ブロック図である。
【図１０】図１０は、従来の画像処理装置が行う画素加算方法を説明するための図である。
【図１１】図１１は、従来の加算比率の補間方法を説明する図である。
【発明を実施するための形態】
【００４９】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００５０】
図１は、本発明の実施の形態における画像処理装置の主要な機能構成を示す図である。
【００５１】
図１に示すように、実施の形態における画像処理装置１０は、動き推定部１と、フレームメモリ２と、動き補償部３と、ブロック歪量算出部５と、加算比率算出部６と、加算部４とを備える。
【００５２】
動き推定部１は、入力画像とフレームメモリ２に保存されている参照画像とを用いて、入力画像のブロック毎に動き推定を行う。具体的には、動き推定部１は、ブロック毎の動き情報を生成する。動き補償部３は、動き推定部１により生成された動き情報を用いて、動き補償後の参照画像を生成する。
【００５３】
ブロック歪量算出部５は、本発明の画像処理装置におけるブロック歪量算出部の一例であり、入力画像と動き補償後の参照画像とを利用してブロック歪量を算出する。加算比率算出部６は、ブロック歪量算出部５により算出されたブロック歪量を用いて、入力画像と動き補償後の参照画像とを加算する際の加算比率を算出する。加算部４は、加算比率算出部６により算出された加算比率を用いて、入力画像と参照画像とを重み付け加算する。
【００５４】
以上のように構成された画像処理装置１０の処理の流れを図２を用いて説明する。
【００５５】
図２は、本発明の実施の形態における画像処理装置の処理の流れを示すフローチャートである。
【００５６】
まず、動き推定部１は、入力画像と、フレームメモリ２に保存されている参照画像とを取得する（Ｓ２０）。動き推定部１はさらに、取得した入力画像と参照画像とを用いて、動き推定を行う（Ｓ２１）。動き推定部１は、ブロックマッチングを利用して動き推定を行う。
【００５７】
ブロックマッチングは、入力画像を所定の大きさのブロックに分割し、そのブロックに対応する参照画像のブロック位置を見つける方法である。
【００５８】
具体的には、入力画像のブロックに対して、参照画像の中の所定の探索範囲内で、同じ大きさのブロックを動かし、それぞれのブロック位置で入力画像のブロックとの画素値の差（差分絶対値和）を算出する。
【００５９】
この算出結果が最小となる、参照画像のブロックが、入力画像のブロックに対応するブロックである。また、入力画像のブロックとこれに対応した参照画像のブロックの位置の差が動き推定の結果になる。
【００６０】
つまり、これらブロックの位置の差を示す動きベクトル等の情報が、動き情報として動き推定部１から動き補償部３に出力される。
【００６１】
なお、本実施の形態では、動き推定の方法として、一般のブロックマッチング方法を採用したが、位相限定相関法によるブロックマッチング等の他の動き推定方法を採用してもよい。
【００６２】
次に、動き補償部３は、動き推定部１から受け取った動き情報に基づいて、参照画像の動き補償を行う（Ｓ２２）。この処理により、入力画像のそれぞれのブロックに対応する動き補償後のブロックが生成される。
【００６３】
ここで、動き推定部１による動き推定の結果が正しくない場合がある。例えば、ノイズが多い画像では、信号よりもノイズが支配的になる。その結果、それぞれが同じようなノイズパターンを持っている、入力画像のブロックと参照画像のブロックとが対応付けされ、実際の動きとは違う動きが推定されることがある。
【００６４】
また、例えば、画像中の被写体の形状が急激に変化したことにより、参照画像内に入力画像のブロックに対応するブロックがない場合がある。この場合、動きが正しく推定されない。
【００６５】
これらのように、動きが正しく推定されないことにより、動き補償した後の参照画像では、動き推定が正しくないブロックは周辺のブロックと画像の模様が合わないため、ブロックの境界に段差ができてしまう。
【００６６】
なお、ブロックの境界に発生する段差とは、ブロックの境界を挟んで隣接する画素間における画素値の差が比較的大きいことによる視覚上の不連続な部分である。この段差の部分が入力画像に加算された場合は加算結果である出力画像にブロック歪が発生する。
【００６７】
そこで、本実施の形態における画像処理装置１０では、前記のブロック歪を事前に防ぐために、ブロック歪量算出部５が、動き補償後の参照画像のブロック歪を検出し、その歪の量を算出する（Ｓ２３）。そして、加算比率算出部６は、ブロック歪量算出部５によって算出されたブロック歪の量に応じて、出力画像にブロック歪が生じないように加算比率を制御する。
【００６８】
図３を用いて、実施の形態におけるブロック歪量算出部５の処理を説明する。
【００６９】
図３は、本発明の実施の形態における、ブロック歪の検出位置を示す図である。
【００７０】
ブロック歪量算出部５は、注目ブロックと隣接ブロックとのブロック境界段差を検出する。本実施の形態においては、ブロック歪量算出部５は、図３に示すように、ブロック境界の４辺と４角（すみ）の８つのブロック境界位置の段差を検出する。
【００７１】
例えば、注目ブロック（中央のブロック）の左に隣接する隣接ブロックとのブロック境界段差は、注目ブロックの左側のブロック境界（ブロック境界位置（４））を挟んで対峙する、注目ブロック境界画素と隣接ブロック境界画素とから検出する。
【００７２】
また、例えば、注目ブロックの右上に隣接する隣接ブロックとのブロック境界段差は、注目ブロックの上側のブロック境界（ブロック境界位置（６））の右半分を挟んで対峙する、注目ブロック境界画素および隣接ブロック境界画素、並びに、注目ブロックの右側のブロック境界（ブロック境界位置（６））の上半分を挟んで対峙する、注目ブロック境界画素および隣接ブロック境界画素から検出する。
【００７３】
動き補償後の参照画像のブロックにおいて、rをブロックの境界位置とし、diff＿refrをその位置における段差の量とすると、ブロック歪量算出部５は、diff＿refrを以下の（式２）を用いて算出する。
【００７４】
【数２】
2010007777.tif 000022
【００７５】
ここで、f＿blockr (i)は、（ブロック境界）位置ｒにおける処理ブロック（注目ブロック）内の画素値である。f＿neighbourr (i)は、（ブロック境界）位置ｒにおける処理ブロックの隣接ブロックの画素値である。Ｋは、ブロック境界の長さ（画素数）であり、図３の例では、Ｋ＝８である。
【００７６】
また、ブロック歪量算出部５は、diff＿refrの算出の対象であるブロックに対応する、入力画像のブロックの境界の段差の量（diff＿currr）も算出する。diff＿currrの算出方法は、diff＿refrの算出方法と同様であり、入力画像の当該ブロックのｒ＝１〜８のそれぞれの位置についてdiff＿currrを算出する。
【００７７】
ブロック歪量算出部５はさらに、前記のdiff＿refrおよびdiff＿currrを利用して、動き補償後のブロック境界におけるブロック歪量を算出する。
【００７８】
具体的には、入力画像のブロック境界における段差が少なく、かつ、動き補償後の参照画像のブロック境界における段差が大きい場合、その段差は、動き補償に起因するブロック歪である可能性が高いと言える。そこでこの場合、ブロック歪量算出部５は、ブロック歪量として比較的大きな値を算出する。
【００７９】
逆に、入力画像のブロック境界における段差が大きい場合、動き補償後の参照画像のブロック境界における段差が大きい場合であっても、その段差は、もともとの入力画像に存在していたブロック歪のような模様に起因するものであり、動き補償による歪ではないといえる。そこでこの場合、ブロック歪量算出部５は、ブロック歪量として比較的小さな値を算出する。
【００８０】
ブロック歪量算出部５は、例えば、図４および図５に示すような算出方法を利用する。図４における横軸はdiff＿refrの大きさである。diff＿refrは上述のように動き補償後の参照画像のブロック境界位置rにおける段差の量を表す。
【００８１】
ブロック歪量算出部５は、このdiff＿refrが大きいほど、動き補償後の参照画像のブロック境界における段差が現れる可能性が高くなるので、このブロックのブロック歪量を大きな値として算出する。
【００８２】
なお、図４に示すtmpConf1rは、本発明の画像処理装置における第一歪量の一例であり、前記の動き補償後の参照画像のブロック境界の段差に基づくブロック歪量である。
【００８３】
図４は、diff＿refrが大きくなるにしたがって、このブロック歪量（tmpConf1r）を大きくなるような変換を示している。
【００８４】
また、図５における横軸はdiff＿currrの大きさである。diff＿currrは上述のように入力画像のブロック境界における段差の量を表す。
【００８５】
ブロック歪量算出部５は、diff＿currrが大きいほど、ブロック歪量を小さな値として算出する。これは、入力画像にはもともと段差となる模様があり、この段差は動き補償による段差ではないためである。
【００８６】
なお、図５に示すtmpConf2rは、本発明の画像処理装置における第二歪量の一例であり、入力画像のブロック境界の段差に基づくブロック歪量である。
【００８７】
図５は、diff＿currrが大きくなるにしたがって、このブロック歪量（tmpConf2r）を小さくなるような変換を示している。
【００８８】
ブロック歪量算出部５は、これらtmpConf1rおよびtmpConf2rを求めた後、（式３）に示すように、tmpConf1rとtmpConf2rとの最小値をとることで、当該位置ｒにおけるブロック歪量（Confr）を算出する。
【００８９】
【数３】
2010007777.tif 000023
【００９０】
ブロック歪量算出部５はさらに、（式４）に示すように、ブロック境界の各位置rにおいて、ブロック歪の発生可能性が最も高い位置におけるブロック歪量、つまり、最も大きなConfrをブロック全体のブロック歪量（Conf）として算出する。
【００９１】
【数４】
2010007777.tif 000024
【００９２】
なお、本実施の形態において、ブロック歪量算出部５は、ブロック歪の検出において、ブロックの４辺と４角の合計８つの位置で検出を行った。しかしながら、必ずしも８つの境界の位置でなくてもよい。例えば、ブロック境界の上辺と左辺と左上角、つまり、r=１、４、および５の位置のみを検出対象としてもよい。
【００９３】
この場合、ブロック歪量算出部５が、注目ブロックについてブロック歪（Conf）を求める処理を実行する際に用いる動き補償後の画素値として、その時点で既に得られている画素値のみを当該処理に用いるため、当該処理を効率よく行うことができる。これにより、例えば、処理の遅延が抑制される。
【００９４】
なお、ブロック歪量を求めるための関数は、動き補償後の参照画像のブロック境界における隣接画素間の画素値の差分が大きいほど、かつ、入力画像のブロック境界における隣接画素間の画素値の差分が小さいほど該ブロックのブロック歪量が大きくなるという条件を満たしていればよい。従って、必ずしも図４、図５および上記の各数式に示される関数でなくてもよい。
【００９５】
このようにして、ブロック歪量算出部５によりブロック歪量が求められると、加算比率算出部６は、加算比率の算出を行う（Ｓ２４）。
【００９６】
加算比率の算出では、まずブロック歪量算出部５によって算出されたブロック単位のブロック歪量Confからブロック単位の加算比率R＿blockに変換する。
【００９７】
ブロック歪量が大きい場合には加算すると出力する画像にブロック歪が発生する可能性が高いので、加算比率算出部６は、ブロック歪量が大きいほど、動き補償後の参照画像のブロックの加算比率が小さくなるように変換する。例えば、図６のグラフに示されるような関数を利用して変換する。
【００９８】
これにより、動き補償後の参照画像のブロック境界における隣接画素間の画素値の差分が比較的大きく、かつ、入力画像のブロック境界における隣接画素間の画素値の差分が比較的小さい場合、つまり、加算結果の画像に表れるブロック歪量が大きくなると予測される場合、動き補償後の参照画像のブロックの加算比率が減らされる。
【００９９】
これにより、出力画像の画質劣化を防ぐことができ、ノイズを除去しながら良好な画質の出力画像が得られる。
【０１００】
なお、ブロック単位の加算比率を求める場合、前記の変換条件を満たしていれば、必ずしも図６に示した関数でなくてよい。
【０１０１】
次に、加算比率算出部６は、ブロック単位の加算比率から画素単位の加算比率を算出する。本実施の形態における、画素単位の加算比率の算出方法を図７を用いて説明する。
【０１０２】
図７は、ブロックの加算比率からの各画素の加算比率の算出を説明する図である。
【０１０３】
本実施の形態では、ブロック単位の加算比率を、ブロックの中央画素ではなく、ブロックの右下の画素の加算比率であると想定して補間を行う。
【０１０４】
このとき、補間に必要なのは処理対象のブロックの上と左と左上のブロックの加算比率のみである。処理ブロックの各画素の加算比率Rm,n(i,j)は、（式５）および（式６）で算出される。
【０１０５】
【数５】
2010007777.tif 000025
【０１０６】
【数６】
2010007777.tif 000026
【０１０７】
ここで、ｍ、ｎはブロックの横位置、縦位置である。R＿blockm,n、R＿blockm-1,n、R＿blockm,n-1、およびR＿blockm-1,n-1は、それぞれ、処理対象のブロック（図７における注目ブロック）、左ブロック、上ブロック、および左上ブロックの加算比率である。
【０１０８】
Ｍ、Ｎは、それぞれ、ブロックの横および縦のサイズである。ただし、i=0,1,..,（M-1）、j=0,1,...,（N-1）である。
【０１０９】
本実施の形態では、上記の補間方法を使用することによって、注目ブロックの各画素の加算比率の算出処理を既に得られている画素値のみで完結でき、遅延の問題は発生しない。
【０１１０】
なぜなら、注目ブロックを処理する際には、ラスター順では左ブロック、上ブロック、左上ブロックは既に処理されているからである。つまり、注目ブロックの各画素の加算比率を算出する時点で、当該算出に用いる、左ブロック、上ブロック、および左上ブロックそれぞれのブロック単位の加算比率は算出済みであるからである。
【０１１１】
また、図１１の従来の手法は周辺の８ブロックの加算比率を保存する必要があることに対して、本実施の形態では、周辺の３つのブロックの加算比率しか使用しない。従って、この３つのブロックの加算比率しか保存する必要がない。このため、メモリの使用量が少なく、本実施の形態の画像処理装置１０の製造コストが削減できる。
【０１１２】
最後に、加算部４では前記の画素単位の加算比率を利用して、入力画像と動き補償後の参照画像を加算し、出力画像を生成する（Ｓ２５）。
【０１１３】
具体的には、入力画像の画素値をI(i, j) 、動き補償後の参照画像の画素値をP(i', j')とすると、出力画像の画素値O(i, j) は下記の（式７）で算出される。
【０１１４】
（式７）に示されるように、動き補償後の参照画像のある画素についての加算比率がＲである場合、その画素に加算される、入力画像の画素についての加算比率は１−Ｒである。
【０１１５】
このように、加算部４は、加算比率算出部６により算出された加算比率を用いて、動き補償後の参照画像のブロックの画素値と、当該ブロックに対応する、入力画像のブロックの画素値とを重み付き加算する。加算部４はさらに、加算結果の画像を出力する（Ｓ２６）。
【０１１６】
【数７】
2010007777.tif 000027
【０１１７】
以上説明したように、本実施の形態の画像処理装置１０によれば、入力画像と動き補償後の画像とを加算する処理において、動き補償後の参照画像のブロック歪を検出し、その量に応じて加算比率を制御する。これにより、出力画像の画質劣化を防ぐことができ、ノイズを除去しながら良好な画質を得ることができる。
【０１１８】
また、本実施の形態の画像処理装置１０では、ブロック単位の加算比率から補間により画素単位の加算比率を求める際、ブロックの中央ではなく、ブロックの右下を基準位置として補間を行う。これにより、遅延がなく、補間に係る処理をそのブロックで完結できる。さらに、通常の補間と比べ、メモリの使用量が少ないため、容易に実用化することができる。
【０１１９】
なお、上記実施の形態で示した画像処理装置１０の一部または全部を集積回路であるＬＳＩによって実現してもよい。ＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
【０１２０】
図８は、実施の形態の画像処理装置１０における集積回路化の一例を示す図である。
【０１２１】
図８に示すＬＳＩ８は、画像処理装置１０が備える複数の機能ブロックを含む集積回路の一例である。
【０１２２】
なお、これら複数の機能ブロックは１つのＬＳＩではなく、複数のＬＳＩに分散して含まれてもよい。
【０１２３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１２４】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【産業上の利用可能性】
【０１２５】
本発明の画像処理装置および画像処理方法は、入力画像と参照画像とを加算してノイズを除去する際、参照画像のブロック歪量を検出し、そのブロック歪量に応じて加算比率を制御することができる。従って、本発明は、入力画像のノイズを除去しながらブロック歪の発生を抑制する良好な画質が得られるという特徴を有する。そのため、複数の画像を利用してノイズを除去する画像処理装置およびビデオカメラ等に適用できる。
【符号の説明】
【０１２６】
１  動き推定部
２  フレームメモリ
３  動き補償部
４  加算部
５  ブロック歪量算出部
６  加算比率算出部
８  ＬＳＩ
１０  画像処理装置
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像と参照画像とを加算することで、前記入力画像中のノイズを除去する画像処理装置であって、
入力画像と参照画像との間の動きを検出し、動き情報を前記入力画像のブロック毎に生成する動き推定部と、
前記動き推定部により生成された動き情報を用いて前記参照画像のブロック毎の動きを補償することで、動き補償後の参照画像を生成する動き補償部と、
前記動き補償部により生成された動き補償後の参照画像のブロック歪量を、ブロック毎に算出するブロック歪量算出部と、
前記ブロック歪量算出部により算出されたブロック歪量が大きいほど、前記ブロック歪量に対応する、前記動き補償後の参照画像のブロックの加算比率が小さくなるように、前記加算比率を算出する加算比率算出部と、
前記加算比率算出部により算出された加算比率を用いて、前記動き補償後の参照画像のブロックの画素値と、当該ブロックに対応する前記入力画像のブロックの画素値とを重み付き加算する加算部と
を備える画像処理装置。
【請求項２】
前記ブロック歪量算出部は、前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分を用いて当該ブロックについてのブロック歪量を算出する
請求項１記載の画像処理装置。
【請求項３】
前記ブロック歪量算出部は、前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分が大きいほど当該ブロックのブロック歪量が大きくなるように前記ブロック歪量を算出する
請求項２記載の画像処理装置。
【請求項４】
前記ブロック歪量算出部は、
前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分が大きいほど、かつ、前記入力画像のブロックの境界における隣接画素間の画素値の差分が小さいほど、前記ブロック歪量が大きくなるように前記ブロック歪量を算出する
請求項３記載の画像処理装置。
【請求項５】
前記ブロック歪量算出部は、
前記動き補償後の参照画像のブロックの境界における隣接画素間の画素値の差分が大きいほど大きな値となる第一歪量を算出し、
前記入力画像のブロックの境界における隣接画素間の画素値の差分が大きいほど小さな値となる第二歪量を算出し、
前記第一歪量および前記第二歪量のうちの小さな方を前記ブロック歪量として選択することで、前記ブロック歪量を算出する
請求項１記載の画像処理装置。
【請求項６】
前記加算比率算出部はさらに、前記動き補償後の参照画像のブロックの加算比率を用い、当該ブロックに含まれる複数の画素ごとの加算比率を補間により算出し、
前記加算部は、前記加算比率算出部により算出された、前記複数の画素ごとの加算比率を用いて、前記複数の画素の画素値と、当該ブロックに対応する前記入力画像のブロックの複数の画素の画素値とを重み付き加算する
請求項１記載の画像処理装置。
【請求項７】
前記加算比率算出部は、前記動き補償後の参照画像のブロックの加算比率と、当該ブロックに隣接する複数のブロックのうち、少なくとも、上ブロック、左ブロック、および左上ブロックそれぞれの加算比率とを用いて前記補間を行う
請求項６記載の画像処理装置。
【請求項８】
前記加算比率算出部は、前記加算比率算出部により算出された、前記動き補償後の参照画像のブロックの加算比率を当該ブロックの右下の画素の加算比率と想定し、前記右下の画素の加算比率と、前記上ブロック、前記左ブロック、および前記左上ブロックそれぞれの右下の画素の加算比率とを用いた前記補間により、前記複数の画素ごとの加算比率を算出する
請求項７記載の画像処理装置。
【請求項９】
入力画像と参照画像とを加算することで、前記入力画像中のノイズを除去する画像処理方法であって、
入力画像と参照画像との間の動きを検出し、動き情報を前記入力画像のブロック毎に生成する動き推定ステップと、
生成された動き情報を用いて前記参照画像の動きを補償することで、動き補償後の参照画像を生成する動き補償ステップと、
生成された動き補償後の参照画像のブロック歪量を、ブロック毎に算出するブロック歪量算出ステップと、
算出された前記ブロック歪量が大きいほど、前記ブロック歪量に対応する、前記動き補償後の参照画像のブロックの加算比率が小さくなるように、前記加算比率を算出する加算比率算出ステップと、
算出された加算比率を用いて、前記動き補償後の参照画像のブロックの画素値と、当該ブロックに対応する前記入力画像のブロックの画素値とを重み付き加算する加算ステップと
を含む画像処理方法。
【請求項１０】
コンピュータに、入力画像と参照画像とを加算させることで、前記入力画像中のノイズを除去するためのプログラムであって、
入力画像と参照画像との間の動きを検出し、動き情報を前記入力画像のブロック毎に生成する動き推定ステップと、
生成された動き情報を用いて前記参照画像の動きを補償することで、動き補償後の参照画像を生成する動き補償ステップと、
生成された動き補償後の参照画像のブロック歪量を、ブロック毎に算出するブロック歪量算出ステップと、
算出された前記ブロック歪量が大きいほど、前記ブロック歪量に対応する、前記動き補償後の参照画像のブロックの加算比率が小さくなるように、前記加算比率を算出する加算比率算出ステップと、
算出された加算比率を用いて、前記動き補償後の参照画像のブロックの画素値と、当該ブロックに対応する前記入力画像のブロックの画素値とを重み付き加算する加算ステップと
をコンピュータに実行させるためのプログラム。
【請求項１１】
コンピュータが読み取り可能な記録媒体であって、
請求項１０記載のプログラムが記録されている
記録媒体。
【請求項１２】
入力画像と参照画像とを加算することで、前記入力画像中のノイズを除去する集積回路であって、
入力画像と参照画像との間の動きを検出し、動き情報を前記入力画像のブロック毎に生成する動き推定部と、
前記動き推定部により生成された動き情報を用いて前記参照画像のブロック毎の動きを補償することで、動き補償後の参照画像を生成する動き補償部と、
前記動き補償部により生成された動き補償後の参照画像のブロック歪量を、ブロック毎に算出するブロック歪量算出部と、
前記ブロック歪量算出部により算出されたブロック歪量が大きいほど、前記ブロック歪量に対応する、前記動き補償後の参照画像のブロックの加算比率が小さくなるように、前記加算比率を算出する加算比率算出部と、
前記加算比率算出部により算出された加算比率を用いて、前記動き補償後の参照画像のブロックの画素値と、当該ブロックに対応する前記入力画像のブロックの画素値とを重み付き加算する加算部と
を備える集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010007777.tif 000028
【図２】
2010007777.tif 000029
【図３】
2010007777.tif 000030
【図４】
2010007777.tif 000031
【図５】
2010007777.tif 000032
【図６】
2010007777.tif 000033
【図７】
2010007777.tif 000034
【図８】
2010007777.tif 000035
【図９】
2010007777.tif 000036
【図１０】
2010007777.tif 000037
【図１１】
2010007777.tif 000038
【国際調査報告】
2010007777.tif 000039
2010007777.tif 000040
2010007777.tif 000041
2010007777.tif 000042