(57)【要約】【課題】  多重解像度画像処理で使用するメモリ容量を削減すること。【解決手段】  入力した画像データを順次シフトしながら、予め決められた行数分、記憶可能な容量を有するラインメモリ（１０１）と、前記ラインメモリから、該ラインメモリの第１の領域に記憶された行の画像データと、当該行を中心とした第１の行数分の画像データとを読み出して、第１の縮小率の画像データを生成する第１の縮小回路（１０２−１）と、前記第１の領域と異なる前記記憶手段の第２の領域に記憶された行の画像データと、当該行を中心とした第２の行数分の画像データとを読み出して、第２の縮小率の画像データを生成する第２の縮小回路（１０２−２）と、第１及び第２の縮小回路により生成された画像データと、前記第１及び第２の領域と異なる第３の領域に記憶された画像データとを保持する保持回路（１０３）とを有する。【選択図】  図３
2017054377.tif 000002
【特許請求の範囲】
【請求項１】
入力した画像データを順次シフトしながら、予め決められた行数分、記憶可能な容量を有する記憶手段と、
前記記憶手段から、前記記憶手段の第１の領域に記憶された行の画像データと、当該行を中心とした第１の行数分の画像データとを読み出して、第１の縮小率の画像データを生成する第１の縮小手段と、
前記記憶手段から、前記第１の領域と異なる前記記憶手段の第２の領域に記憶された行の画像データと、当該行を中心とした第２の行数分の画像データとを読み出して、前記第１の縮小率と異なる第２の縮小率の画像データを生成する第２の縮小手段と、
前記第１の縮小手段と、前記第２の縮小手段により生成された画像データと、前記第１及び第２の領域と異なる前記記憶手段の第３の領域に記憶された画像データとを保持する保持手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記記憶手段は、前記第１の領域から前記第２の領域、前記第２の領域から前記第３の領域に向けて、前記画像データを順次シフトし、第１の縮小率は、第２の縮小率よりも高いことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記保持手段に保持された画像データを用いて、ノイズ除去処理を行うノイズ除去手段を更に有することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記記憶手段は、前記第１の縮小率が１／Ｋである場合に、少なくとも２Ｋライン分の画像データを記憶可能な容量を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記記憶手段は、ラインメモリであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
予め決められた行数分、記憶可能な容量を有する記憶手段が、入力した画像データを順次シフトしながら記憶する記憶工程と、
第１の縮小手段が、前記記憶手段から、前記記憶手段の第１の領域に記憶された行の画像データと、当該行を中心とした第１の行数分の画像データとを読み出して、第１の縮小率の画像データを生成する第１の縮小工程と、
第２の縮小手段が、前記記憶手段から、前記第１の領域と異なる前記記憶手段の第２の領域に記憶された行の画像データと、当該行を中心とした第２の行数分の画像データとを読み出して、前記第１の縮小率と異なる第２の縮小率の画像データを生成する第２の縮小工程と、
保持手段が、前記第１の縮小工程と、前記第２の縮小工程で生成された画像データと、前記第１及び第２の領域と異なる前記記憶手段の第３の領域に記憶された画像データとを保持する保持工程と
を有することを特徴とする画像処理方法。
【請求項７】
コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に、多重解像度画像処理を行う画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
従来、画像データを異なる縮小率で縮小した縮小画像を使用して、元の画像データを補正する多重解像度画像補正処理が多く提案されている。特許文献１には、縮小画像のノイズ成分にアップサンプリング処理を行い、処理対象画像の画素に対応するノイズ成分を算出し、算出したノイズ成分を減算することが開示されている。
【０００３】
また、ノイズ低減処理を行うために用いる縮小率の異なる縮小画像を、複数のＬＰＦを用いて、段階的に生成することが特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１６６５１３号公報
【特許文献２】特開２０１１−２３９２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された方法では、ノイズ成分抽出の際に参照する範囲を偏らせることで使用するラインメモリの数を減らしているが、参照範囲を偏らせることで、ノイズ減算精度が低下してしまう。また、各縮小率の縮小画像を保持するために必要なＲＡＭの使用量については考慮されていない。
【０００６】
また、特許文献２に記載された縮小率の異なる縮小画像を生成する方法では、ノイズ低減処理を行うために必要なデータ量の縮小画像が生成されるまで、元の画像データを保持しておかなければならない。そのため、縮小率が高い縮小画像を生成するまでに必要な元の画像データのデータ量が大きくなり、大容量のメモリが必要があった。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、多重解像度画像処理で使用するメモリ容量を削減することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の画像処理装置は、入力した画像データを順次シフトしながら、予め決められた行数分、記憶可能な容量を有する記憶手段と、前記記憶手段から、前記記憶手段の第１の領域に記憶された行の画像データと、当該行を中心とした第１の行数分の画像データとを読み出して、第１の縮小率の画像データを生成する第１の縮小手段と、前記記憶手段から、前記第１の領域と異なる前記記憶手段の第２の領域に記憶された行の画像データと、当該行を中心とした第２の行数分の画像データとを読み出して、前記第１の縮小率と異なる第２の縮小率の画像データを生成する第２の縮小手段と、前記第１の縮小手段と、前記第２の縮小手段により生成された画像データと、前記第１及び第２の領域と異なる前記記憶手段の第３の領域に記憶された画像データとを保持する保持手段とを有する。
【発明の効果】
【０００９】
本発明によれば、多重解像度画像処理で使用するメモリ容量を削減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】実施形態に係る画像処理のフローチャート。
【図３】実施形態に係る画像データの出力タイミングを示す図。
【図４】従来の画像データの出力タイミングを示す図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
【００１２】
図１は、本発明の実施形態に係る画像処理装置の構成を示すブロック図である。図１（ａ）において、ラインメモリ１０１は、入力画像の各画素値（画像データ）を順次記憶する。縮小回路１０２は、ラインメモリ１０１に記憶された画像データを用いて縮小画像データを生成する。本実施形態では、縮小画像データとして、第１の縮小回路１０２−１により縦横の画素数をそれぞれ１／４にした１／４縮小画像データと、第２の縮小回路１０２−２によりそれぞれ１／２にした１／２縮小画像データを生成するものとする。また、画像を出力する撮像素子は、公知のベイヤー配列のカラーフィルタにより覆われ、第１及び第２の縮小回路１０２−１及び１０２−２は、垂直方向に同色３タップ処理により画像を縮小するものとする。
【００１３】
保持回路１０３は、縮小回路１０２によって生成された縮小画像データを保持する。ノイズ除去回路１０４は、保持回路１０３に保持された縮小画像データを用いて、ノイズ除去を行う。一例として、ノイズ除去回路１０４は、１／４縮小画像データと１／２縮小画像データのノイズ成分を抽出して比較する。更にその後、１／１（等倍）画像データのノイズ成分を抽出して比較し、最終的なノイズ除去成分を決定して、ノイズ除去を行う。
【００１４】
図１（ｂ）はラインメモリ１０１のメモリ領域を示す概念図である。ラインメモリ１０１は、入力画像の９行分（予め決められた行数分）の画像データを記憶可能な容量を有するラインメモリで、各行のメモリ領域を１０１−１から１０１−９とする。このラインメモリ１０１において、１行目の画像データが入力されると、まず、メモリ領域１０１−１に保持される。そして、２行目の画像データが入力されると、先にメモリ領域１０１−１に保持された１行目の画像データをメモリ領域１０１−２に移動し、メモリ領域１０１−１には２行目の画像データが保持される。同様にして、次の行の画像データが入力される毎に、先に入力された行の画像データを隣のメモリ領域に順次シフトし、新しく入力された行の画像データをメモリ領域１０１−１に保持していく。
【００１５】
次に、本実施形態における画像処理手順について、図２のフローチャートを用いて説明する。図２に示す処理は、ラインメモリ１０１に１行分の画像データが入力される度に実行される。
【００１６】
Ｓ２０２で、ラインメモリ１０１のメモリ領域１０１−５に１／４縮小画像データを生成していく上で、処理の中心となる行の画像データが入力されたか否かを判断する。ここで、処理の中心となる行とは、例えば、３行目、７行目、１１行目といった、３行おきに入力される行である。入力されたと判断されるとＳ２０３に進み、第１の縮小回路１０２−１によって１／４縮小画像を生成して、Ｓ２０４に進む。なお、１／４縮小画像を生成する方法としては、公知の方法を用ればよいため、詳細説明は省略する。Ｓ２０２で入力されていないと判断されると、直接Ｓ２０４に進む。
【００１７】
Ｓ２０４では、領域１０１−７に１／２縮小画像データを生成していく上で、処理の中心となる行の画像データが入力されたか否かを判断する。ここで、処理の中心となる行とは、例えば、２行目、４行目、６行目といった、１行おきに入力される行である。入力されたと判断されるとＳ２０５に進み、第２の縮小回路１０２−２によって１／２縮小画像を生成して、Ｓ２０６に進む。なお、１／２縮小画像を生成する方法についても、公知の方法を用ればよいため、詳細説明は省略する。Ｓ２０４で入力されていないと判断されると、直接Ｓ２０６に進む。
【００１８】
Ｓ２０６では、メモリ領域１０１−９に画像データが入力されたか否かを判断する。入力されていなければ処理を終了し、次の行の画像データが入力されると、上述した処理を再び実行する。一方、入力されたと判断されるとＳ２０７に進み、１／１画像データとして、そのままの画像データを保持回路１０３に出力する。
【００１９】
Ｓ２０８では、Ｓ２０３、Ｓ２０５で縮小された各縮小画像データ、及び、Ｓ２０７で出力された画像データを保持回路１０３に保持する。
【００２０】
次に、保持回路１０３に保持された縮小画像データを用いて、ノイズ除去回路１０４がノイズ除去処理を行うが、本実施形態においては、少なくとも３ライン分の１／４縮小画像が揃わなければ、ノイズ除去処理を開始することができないものとする。従って、ノイズ除去処理を開始する前に、Ｓ２０９において、ノイズ除去回路１０４が処理を開始するために必要な３ライン分以上の１／４縮小画像が保持されたかを判定する。保持されていればＳ２１０でノイズ除去を開始する。保持されていなければ、処理を終了し、次の行の画像データが入力されると、上述した処理を再び実行する。
【００２１】
なお、上述した処理では、Ｓ２０２、Ｓ２０４、Ｓ２０６における判断を順次行うものとして説明したが、Ｓ２０２、Ｓ２０４、Ｓ２０６における判断及びＳ２０３、Ｓ２０５、Ｓ２０７における処理を並行に行っても良い。
【００２２】
図３は、上述した手順で画像処理を行った場合の、画像データの出力タイミングを示す図である。入力画像の各行の画像データが、順次ラインメモリ１０１に保持される。以下、ラインｉの画像データを「ラインデータｉ」と呼ぶ。なお、以下の説明では、１／４及び１／２縮小画像データを生成する上で処理の中心となる行をラインＡとする。メモリ領域１０１−１に、ラインＡの画像データが保持されたタイミングを、不図示のＹカウンタの値０とする（Ｙカウンタ＝０）。また、ラインデータＢが新たにメモリ領域１０１−１に保持されたタイミングでのＹカウンタの値を１とする（Ｙカウンタ＝１）。このようにしてラインデータｉが順にラインメモリ１０１に保持される。そして、ラインデータＡがメモリ領域１０１−５まで移動すると、第１の縮小回路１０２−１がラインメモリ１０１に保持された画像データを用いて、ラインデータＡを中心とした１／４縮小画像を生成する。この時のＹカウンタの値は４（Ｙカウンタ＝４）である。
【００２３】
次に、ラインメモリ１０１に保持されたラインデータＡがメモリ領域１０１−７まで移動すると、第２の縮小回路１０２−２がラインメモリ１０１に保持されたデータを用いて１／２縮小画像を生成する（Ｙカウンタ＝６）。更に、ラインメモリ１０１に保持されたラインデータＡがメモリ領域１０１−９まで移動すると、メモリ領域１０１−７には、次の１／２縮小画像データを生成する上で処理の中心となる、ラインＡの２行後の画像データであるラインデータＣが保持される。また、メモリ領域１０１−５には、次の１／４縮小画像データを生成する上で処理の中心となる、ラインＡの４行後の画像データであるラインデータＥが保持されている。従って、第２の縮小回路１０２−２は、ラインデータＣを中心とした１／２縮小画像、第１の縮小回路１０２−１は、ラインデータＥを中心とした１／４縮小画像をそれぞれ生成すると共に、１／１画像として、ラインデータＡをそのまま出力する（Ｙカウンタ＝８）。
【００２４】
同様に処理を行っていき、Ｙカウンタ＝１２のタイミングにおいて、ラインデータＥが１／１画像として出力されると共に、第２の縮小回路１０２−２は、ラインデータＧを中心とした１／２縮小画像、第１の縮小回路１０２−１は、ラインデータＩを中心とした１／４縮小画像をそれぞれ生成する。これにより、後段のノイズ除去処理に必要な３行分の１／４縮小画像データが揃うため、ノイズ除去回路１０４はノイズ除去処理を開始することができる。このとき、保持回路１０３には、５行分の１／１画像データ、４行分の１／２縮小画像データ、３行分の１／４縮小画像データが保持されている。即ち、保持回路１０３は、５行分の１／１画像データ、４行分の１／２縮小画像データ、３行分の１／４縮小画像データを保持するだけの容量を有していれば良い。
【００２５】
ここで、上述した実施形態と同様の条件で、特許文献２に記載された構成を用いて、同色３タップ処理により１／２縮小画像及び１／４縮小画像を生成する画像処理を行った場合と比較し、その効果について、図４を参照して説明する。
【００２６】
入力画像の各ラインデータがラインデータＡから順次ラインメモリ４０１に保持され、縮小回路４０３にも順次入力される。１／１画像は保持回路４０５に保持され、メモリ領域４０１−１にラインデータＡが保持されたタイミングを、不図示のＹカウンタの値０とする（Ｙカウンタ＝０）。また、ラインデータＢが新たにメモリ領域４０１−１に保持されたタイミングを、Ｙカウンタの値１とする（Ｙカウンタ＝１）。このようにしてラインデータｉが順次ラインメモリ４０１に保持され、ラインデータＡがラインメモリ４０１のメモリ領域４０１−３まで移動すると、縮小回路４０３がラインメモリ４０１に保持された同色３ライン分のデータを用いて１／２縮小画像を生成する。この時のＹカウンタの値は２（Ｙカウンタ＝２）である。
【００２７】
また、ラインデータＡを中心とした１／２縮小画像データが、ラインメモリ４０２のメモリ領域４０２−２まで移動すると、縮小回路４０４がラインメモリ４０２に保持されたデータを用いて１／４縮小画像を生成する（Ｙカウンタ＝４）。なお、この構成では、１／４縮小画像生成に用いるラインメモリ４０２には、１／２縮小画像データが保持されるため、縮小回路４０３においては、公知の同時化処理を行い、１／２縮小画像データの各画素がＲＧＢそれぞれのデータを有しておく必要がある。
【００２８】
ノイズ除去処理の開始に必要な少なくとも３ライン分以上の１／４縮小画像データを保持回路４０５に保持するには、１３ライン分の１／１画像データ、６ライン分の１／２縮小画像データ、３ライン分の１／４縮小画像データが保持されることになる。これと比較して、図２及び図３で説明した本発明における方法では、８ライン分の１／１画像データと、２ライン分の１／２縮小画像データを保持するための容量を削減することができる。
【００２９】
このように、本発明によれば、一つのラインメモリを縮小回路で複数回使用し、縮小画像の生成、出力タイミングをずらすことにより、ノイズ除去処理を行うために必要とする縮小画像データを保持するデータの容量を減らすことができる。
【００３０】
また、本実施形態では縮小回路の縮小率を１／２、１／４としたが、これに限られるものではない。また、本実施形態では、１／１画像を出力するラインメモリのメモリ領域をメモリ領域１０１−９、１／２縮小画像を生成する際の中心をメモリ領域１０１−７、１／４の縮小画像を生成する際の中心をメモリ領域１０１−５としたが、その限りではない。
【００３１】
また、本実施形態では縮小回路の後段の回路をノイズ除去回路としたが、複数の異なる縮小率の画像を用いた処理を行う回路であればよい。また、本実施形態ではラインメモリの行数を９としたが、ラインメモリの行数を８とし、本実施形態のメモリ領域１０１−１に保持していたデータを使用する際に、ラインメモリを介さずに直接縮小回路に入力させる構成としてもよい。即ち、最大の縮小率を１／Ｋとした場合に、２Ｋライン分の容量を有する構成とすれば良い。
【００３２】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３３】
１０１：ラインメモリ１０１、１０１−１〜１０１−９：メモリ領域、１０２：縮小回路、１０２−１：第１の縮小回路、１０２−２：第２の縮小回路、１０３：保持回路、１０４：ノイズ除去回路
【図１】
2017054377.tif 000003
【図２】
2017054377.tif 000004
【図３】
2017054377.tif 000005
【図４】
2017054377.tif 000006