(57)【要約】【課題】ブロック単位で巡回型画像処理を行う場合に巡回型画像処理後のフレーム画像に生じる画質変化を抑えることが可能な画像処理装置を提供することを目的とする。【解決手段】画像出力部２と、巡回型画像処理部３と、画像処理部４と、記憶部５と、読出し制御部６と、書込み制御部７とを備える画像処理装置１において、書込み制御部７が、巡回型画像処理部３から出力される各ブロック画像を互いに上書きしないように記憶エリアＢに書き込み、読出し制御部６が、記憶エリアＢに書き込まれた各ブロック画像のまま順次読み出して巡回型画像処理部３に出力する。【選択図】図１
2010141634.tif 000002
【特許請求の範囲】
【請求項１】
フレーム画像を順次出力する画像出力手段と、
巡回型画像処理手段と、
第１及び第２の記憶エリアを備える記憶手段と、
前記画像出力手段から出力されるフレーム画像を前記第１の記憶エリアに書き込むとともに、前記巡回型画像処理手段から順次出力される複数のブロック画像を１フレーム画像分前記第２の記憶エリアに書き込む書込み制御手段と、
前記第１の記憶エリアに書き込まれたフレーム画像を複数のブロック画像に分割してそれらブロック画像を順次読み出し前記巡回型画像処理手段に出力するとともに、前記第２の記憶エリアに書き込まれた１フレーム画像分の複数のブロック画像を順次読み出し前記巡回型画像処理手段に出力する読出し制御手段と、
前記巡回型画像処理手段から順次出力されるブロック画像の第１の周囲画素を用いてその第１の周囲画素の内側の画素に対して画像処理を行う画像処理手段と、
を備え、
前記書込み制御手段は、前記巡回型画像処理手段から出力される第１のブロック画像を前記第２の記憶エリアに書き込んだ後、次に前記巡回型画像処理手段から出力される第２のブロック画像により前記第１のブロック画像が上書きされないように、前記第２のブロック画像を前記第２の記憶エリアに書き込み、
前記読出し制御手段は、前記第２の記憶エリアに書き込まれた前記第１のブロック画像を読み出し前記巡回型画像処理手段に出力した後、前記第２の記憶エリアに書き込まれた前記第２のブロック画像を読み出し前記巡回型画像処理手段に出力する
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記巡回型画像処理手段から順次出力されるブロック画像のうち前記巡回型画像処理手段で画像処理のために用いられる第２の周囲画素を削除して前記画像処理手段に出力する削除手段を備える
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記巡回型画像処理手段は、前記第１の記憶エリアから読み出されたブロック画像の画素信号レベルがＰａ、前記第２の記憶エリアから読み出されたブロック画像の画素信号レベルがＰｂ、０＜ｘ＜１であるときのｘＰａ＋（１−ｘ）Ｐｂの演算結果をブロック画像間演算処理の結果とし、
前記巡回型画像処理手段及び前記削除手段は、前記ｘに応じて前記第２の周囲画素の幅を変える
ことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ブロック画像単位で巡回型画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラ（以下、ＤＳＣという）は画素数の向上が著しく、結果、膨大なデータ量を扱うため、処理回路は、より高速に低消費電力で動作するＬＳＩ内部に集積されることが多い。このとき、回路規模をいかに削減するかがＬＳＩのコストに大きく影響する。コストは、ＤＳＣのような成熟したコンスーマ市場で大きなセールスポイントであり、ＬＳＩの回路規模は可能な限り小さくすることが要求される。
【０００３】
一般的なＤＳＣの信号処理は撮像素子からの映像信号を一旦メモリに書込み、これを読出して処理し、処理しては書込む動作を所定の機能単位で繰り返して最終画像を取得する。このとき、画像データを蓄えるメモリ（主にＤＲＡＭ）をＬＳＩ外部に設けること（以下、外部メモリ）によってＬＳＩ内部のメモリ容量（規模）を削減し、ＬＳＩのコストアップを抑えることが可能となる。
【０００４】
しかしながら、外部メモリはパーソナルコンピュータ等大量に使われる汎用部品を安価に使用できる一方、画像処理部は各社独自の手法を売りにするためカスタムで開発する必要性（非汎用性）が高く、仮にＬＳＩ内部に必要なメモリを搭載した場合、所用面積がそのままコストアップに繋がる。
【０００５】
また、一旦メモリに蓄えてから処理することで、後段の画像処理部は、撮像データとは異なる都合の良いタイミング、周波数、及び画素単位を設定すれば、ＤＳＣ動作の空き時間を活用して適宜動作させることが可能になる。特に、画素単位の工夫により、ＬＳＩ内部に搭載するメモリ容量を削減し、ＬＳＩのコストアップを抑えることができる。
【０００６】
上記画素単位の工夫として、画像を小ブロック単位に分けて外部ＤＲＡＭから読み出し、小規模のＬＳＩ内部メモリによって処理する手法（以下、ブロック単位処理）が知られている（例えば、特許文献１参照）。
【０００７】
ところで、デジタルビデオカメラ（以下、ＤＶＣ）において、複数画像の相関を利用する巡回型画像処理手法がある。この手法を活用した代表例として、フレーム巡回型ノイズリダクションが強力なノイズ抑圧手法として知られている（例えば、特許文献２参照）。
【０００８】
ここで、ＤＶＣはＤＳＣと比べ取扱う画素数が少なく、メモリ容量をＤＳＣほど気にしないでも済むため、図８に示すように、ライン単位処理により巡回型画像処理を実現できる。そのため、ＤＶＣは、コストとのバランスにおいて、ＤＳＣでのブロック単位処理のような複雑な設計をする必要がない。
【０００９】
また、昨今のＤＳＣは市場拡大と共に使われ方が多様化しており、静止画撮影記録のみに留まらず、動画撮影記録機能を取込む状況となっている。それら機能を実現する際、ＤＳＣにおける処理構成、即ちブロック単位の画像処理構成に、先述の強力な巡回型画像処理機能を搭載させることで、動画処理用に別途ラインメモリを用意する必要がないため、コストと動画画質を両立したＤＳＣを実現できる。
【特許文献１】特開２０００−３１２３２７号公報
【特許文献２】特開２００３−１５３２９５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述のように、ブロック単位で巡回型画像処理を行う場合、以下の問題が発生する。
後段の画像処理部において任意の１画素に対して空間演算処理を行う場合、図９に示すように、任意の１画素の周囲画素（a×bの画素（a、bはそれぞれ２以上の整数））を活用する必要がある。しかしながら、フレーム画像端部の画素では空間演算処理に必要な全ての周囲画素が存在しないため、適切な空間演算処理が行えず、空間演算処理の結果が異常となってしまう。
【００１１】
そこで、フレーム画像端部の外側にダミー画素を用意して演算するなどの特異処理を行うことが考えられる（例えば、Ｂｐ００としてＢｐ２２を外側にコピーし、Ｂｐ０１としてＢｐ２１を外側にコピーし、Ｂｐ０２としてＢｐ２２を外側にコピーし、Ｂｐ１０としてＢｐ１２を外側にコピーし、Ｂｐ２０としてＢｐ２２を外側にコピーする）。
【００１２】
しかしながら、この特異処理された影響は、画像端部の画質異常を引起す原因となり、巡回型処理によって、フレーム画像の中心部（内側の画素）に影響していく（例えば、Ｂｐ１１が最も大きな異常になり、次にＢｐ２２がやや緩和された異常になる）。
【００１３】
そこで、図１０Ａに示すように、フレーム画像端部の画素を周囲画素としてのみ使用し、元のフレーム画像よりもサイズが小さい実フレーム画像を空間演算処理後の最終的なフレーム画像とすることが考えられる。
【００１４】
このように構成する場合、図１０Ｂに示すように、後段の画像処理部からは、複数のブロック画像に分割された実フレーム画像が出力されるため、実フレーム画像の各ブロック画像にそれぞれ周囲画素が付加された状態のもの（例えば、図１０Ｂに示すブロック画像Ａ）に対して巡回型画像処理が行われる。この場合、図１０Ｃに示すように、空間演算処理される前の各ブロック画像において、隣接するブロック画像同士に上記周囲画素に対応する共有画素（斜線部）が生じる。複数のブロック画像に分割せず、図８に示すように、ライン単位で巡回型画像処理を行う場合では、巡回型画像処理部に入力される画素順に応じて空間演算処理結果を順次得ることができる（ブロック画像単位で画像処理を行うという概念そのものがない）ため、共有画素という概念もない。
【００１５】
しかしながら、ブロック画像単位で巡回型画像処理を行う場合では、上述したように、共有画素が生じてしまう。そして、例えば、巡回型画像処理中に、ブロック画像Ａがそのブロック画像Ａに隣接するブロック画像Ｂ、Ｄ、Ｅのそれぞれの共有画素により上書きされてしまうと、ブロック画像Ａの画質が本来のブロック画像Ａの画質と異なってしまう。そのため、画像処理後の最終的なフレーム画像がブロックノイズを含む画像のような見映えとなってしまうおそれがある。
【００１６】
そこで、本発明では、ブロック単位で巡回型画像処理を行う場合に巡回型画像処理後のフレーム画像に生じる画質変化を抑えることが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記の課題を解決するために本発明では、以下のような構成を採用した。
すなわち、本発明の画像処理装置は、フレーム画像を順次出力する画像出力手段と、巡回型画像処理手段と、第１及び第２の記憶エリアを備える記憶手段と、前記画像出力手段から出力されるフレーム画像を前記第１の記憶エリアに書き込むとともに、前記巡回型画像処理手段から順次出力される複数のブロック画像を１フレーム画像分前記第２の記憶エ
リアに書き込む書込み制御手段と、前記第１の記憶エリアに書き込まれたフレーム画像を複数のブロック画像に分割してそれらブロック画像を順次読み出し前記巡回型画像処理手段に出力するとともに、前記第２の記憶エリアに書き込まれた１フレーム画像分の複数のブロック画像を順次読み出し前記巡回型画像処理手段に出力する読出し制御手段と、前記巡回型画像処理手段から順次出力されるブロック画像の第１の周囲画素を用いてその第１の周囲画素の内側の画素に対して画像処理を行う画像処理手段とを備え、前記書込み制御手段は、前記巡回型画像処理手段から出力される第１のブロック画像を前記第２の記憶エリアに書き込んだ後、次に前記巡回型画像処理手段から出力される第２のブロック画像により前記第１のブロック画像が上書きされないように、前記第２のブロック画像を前記第２の記憶エリアに書き込み、前記読出し制御手段は、前記第２の記憶エリアに書き込まれた前記第１のブロック画像を読み出し前記巡回型画像処理手段に出力した後、前記第２の記憶エリアに書き込まれた前記第２のブロック画像を読み出し前記巡回型画像処理手段に出力する。
【００１８】
また、上記画像処理装置は、前記巡回型画像処理手段から順次出力されるブロック画像のうち前記巡回型画像処理手段で画像処理のために用いられる第２の周囲画素を削除して前記画像処理手段に出力する削除手段を備えるように構成してもよい。
【００１９】
また、上記前記巡回型画像処理手段は、前記第１の記憶エリアから読み出されたブロック画像の画素信号レベルがＰａ、前記第２の記憶エリアから読み出されたブロック画像の画素信号レベルがＰｂ、０＜ｘ＜１であるときのｘＰａ＋（１−ｘ）Ｐｂの演算結果を画像処理後の結果とし、上記巡回型画像処理手段及び上記削除手段は、前記ｘに応じて前記第２の周囲画素の幅を変えるように構成してもよい。
【発明の効果】
【００２０】
本発明によれば、ブロック単位で巡回型画像処理を行う場合に巡回型画像処理後のフレーム画像に生じる画質変化を抑えることができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を用いて本発明の実施形態を説明する。
図１は、本発明の実施形態の画像処理装置を示す図である。
図１に示す画像処理装置１は、画像出力部２と、巡回型画像処理部３と、画像処理部４と、記憶部５と、読出し制御部６と、書込み制御部７とを備えて構成されている。なお、画像処理装置１は、例えば、ＤＳＣ等の撮像装置に搭載されるものであって、撮像素子としての画像出力部２から出力されるフレーム画像に対して巡回型画像処理を行ったり、記録メディアとしての画像出力部２から出力されるフレーム画像に対して巡回型画像処理を行ったりするものとしてもよい。
【００２２】
図２は、図１に示す画像処理装置１における巡回型画像処理動作を説明するための図である。
１）画像出力部２から「フレーム画像」が出力されると、書込み制御部７は、その「フレーム画像」を記憶部５の記憶エリアＡに書き込む。
【００２３】
２）読出し制御部６は、記憶エリアＡから「フレーム画像」をブロック画像単位で順次読み出して巡回型画像処理部３に出力する。
３）巡回型画像処理部３は、順次入力されるブロック画像をそのまま出力する。
【００２４】
４）書込み制御部７は、巡回型画像処理部３から順次出力されるブロック画像を「フレーム画像」分記憶部５の記憶エリアＢに書き込むとともに、画像出力部２から出力された「次のフレーム画像」を記憶エリアＡに書き込む。
【００２５】
５）読出し制御部６は、記憶エリアＡから「次のフレーム画像」をブロック画像単位で順次読み出して巡回型画像処理部３に出力するとともに、記憶エリアＢから「フレーム画像」をブロック画像単位で順次読み出して巡回型画像処理部３に出力する。
【００２６】
６）巡回型画像処理部３は、入力される「フレーム画像」のブロック画像と、入力される「次のフレーム画像」のブロック画像とに基づいてブロック画像間演算を行いその演算結果であるブロック画像を画像処理部４へ出力する。例えば、巡回型画像処理部３は、「フレーム画像」のブロック画像の画素信号レベルをＰａ、「次のフレーム画像」のブロック画像の画素信号レベルをＰｂとするときのｘＰａ＋（１−ｘ）Ｐｂの演算結果を上記ブロック画像間演算とする。なお、０＜ｘ＜１とする。
【００２７】
７）画像処理部４は、入力されるフレーム画像の各ブロック画像に対してそれぞれ空間演算処理を行う。
以降の巡回型画像処理動作については、上記４）〜７）が繰り返し行われる。
【００２８】
図１に示す画像処理装置１の特徴点は、書込み制御部７が、巡回型画像処理部３から出力される各ブロック画像を互いに上書きしないように記憶エリアＢに書き込み、読出し制御部６が、記憶エリアＢに書き込まれた各ブロック画像のまま順次読み出して巡回型画像処理部３に出力する点である。
【００２９】
例えば、図３に示すように、書込み制御部７は、ブロック画像Ａを記憶エリアＢに書き込んだ後、ブロック画像Ｂを記憶エリアＢに書き込む際、ブロック画像Ａとの重なり部分である共有画素ＡＢを、ブロック画像Ａを上書きしないような位置の記憶部エリアＢに書き込む。このように、共有画素ＡＢは、ブロック画像Ａ１の書込み時とブロック画像Ａ２の書込み時とで２回書き込まれる。そして、読出し制御部６は、記憶エリアＢに書き込まれたブロック画像Ａを記憶エリアＢから読み出して巡回型画像処理部３に出力した後、記憶エリアＢに書き込まれた共有画素Ｂを記憶エリアＢから読み出して巡回型画像処理部３に出力する。
【００３０】
このように、隣接するブロック画像同士に生じる共有画素をそれらブロック画像毎にそれぞれ記憶エリアＢに書き込み、記憶エリアＢに書き込まれたブロック画像単位のまま各ブロック画像を読み出して巡回型画像処理部３に出力することにより、巡回型画像処理部３により画像処理が行われたブロック画像が次のブロック画像との共有画素により上書きされることがなくなるため、巡回型画像処理後のブロック画像の画質が変化することを抑えることができる。
【００３１】
図４は、本発明の他の実施形態の画像処理装置を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付している。
図４に示す画像処理装置８は、画像出力部２と、巡回型画像処理部３と、画像処理部４と、記憶部５と、読出し制御部６と、書込み制御部７と、削除部９とを備えて構成されている。なお、図４に示す画像処理装置８における巡回型画像処理動作は、図２を用いて説明した図１に示す画像処理装置１における巡回型画像処理動作とほぼ同様であるためその説明を省略する。
【００３２】
図４に示す画像処理装置８では、画像処理部４において、入力される各ブロック画像に対してそれぞれ空間演算処理が行われ、かつ、巡回型画像処理部３において、入力されるフレーム画像に対して空間演算処理が行われる。そのため、画像処理部４の空間演算処理後の実フレーム画像は図１に示す画像処理装置１における画像処理部４の空間演算処理後の実フレーム画像に比べて小さくなる。
【００３３】
図５Ａは、図４に示す画像処理装置８において、記憶部５の記憶エリアＡに書き込まれるフレーム画像を示す図である。
図５Ａに示すフレーム画像において、破線で示されるサイズの画像が画像処理部４から最終的に出力される実フレーム画像であり、その実フレーム画像の外側の画素が画像処理部４の空間演算処理で使用される周囲画素ｍであり、その周囲画素ｍのさらに外側の画素が巡回型画像処理部３の空間演算処理で使用される周囲画素ｎである。なお、Ｎｓは、周囲画素ｎの幅とする。このように、図４に示す画像処理装置８における実フレーム画像は、画像出力部２から出力される元のフレーム画像よりも周囲画素ｍ、ｎ分小さいサイズの画像になる。そのため、図４に示す画像処理装置８において、巡回型画像処理部３で処理される各ブロック画像には、実フレーム画像における各ブロック画像の外側に周囲画素ｍが必要になり、さらにその外側に周囲画素ｎが必要になる。例えば、図５Ｂに示すように、ブロック画像Ａでは、実フレーム画像におけるブロック画像ａの外側全体に周囲画素ｍが必要になり、さらに周囲画素ｍの上辺と左辺のそれぞれの外側に周囲画素ｎが必要になる。
【００３４】
そこで、図４に示す画像処理装置８では、図１に示す画像処理装置１と同様に、書込み制御部７が、巡回型画像処理部３から出力される各ブロック画像を互いに上書きしないように記憶エリアＢに書き込み、読出し制御部６が、記憶エリアＢに書き込まれた各ブロック画像のまま順次読み出して巡回型画像処理部３に出力する。
【００３５】
例えば、図６Ａに示すように、書込み制御部７は、ブロック画像Ａを記憶エリアＢに書き込んだ後、ブロック画像Ｂを記憶エリアＢに書き込む際、ブロック画像Ａとの重なり部分である共有画素ＡＢを、ブロック画像Ａを上書きしないような位置の記憶部エリアＢに書き込む。そして、読出し制御部６は、記憶エリアＢに書き込まれたブロック画像Ａを記憶エリアＢから読み出して巡回型画像処理部３に出力した後、記憶エリアＢに書き込まれた共有画素Ｂを記憶エリアＢから読み出して巡回型画像処理部３に出力する。
【００３６】
また、図４に示す画像処理装置８では、巡回型画像処理部３から順次出力される各ブロック画像における周囲画素ｎを削除部９において削除して画像処理部４に出力する。これにより、画像処理部４は、図６Ｂに示すように、周囲画素ｎが削除されたフレーム画像の各ブロック画像に対して空間演算処理を行うことができる。
【００３７】
このように、図４に示す画像処理装置８においても、隣接するブロック画像同士に生じる共有画素をそれらブロック画像毎にそれぞれ記憶エリアＢに書き込み、記憶エリアＢに書き込まれたブロック画像単位のまま各ブロック画像を読み出して巡回型画像処理部３に出力することにより、巡回型画像処理部３により画像処理が行われたブロック画像が次のブロック画像との共有画素により上書きされることがなくなるため、巡回型画像処理後のブロック画像の画質が変化することを抑えることができる。
【００３８】
なお、図４に示す画像処理装置８の巡回型画像処理部３及び削除部９において、それぞれ、上記ｘＰａ＋（１−ｘ）Ｐｂのｘに応じて周囲画素ｎの幅Ｎｓを変えて処理を行うように構成してもよい。ブロック画像間演算の結果は「次のフレーム画像」のブロック画像の影響を級数的に受けるため、例えば、図７に示すようなｘと幅Ｎｓとの関係を示す曲線に基づいてｘに対応する幅Ｎｓを決定してもよい。
【００３９】
これにより、ｘが大きいとき、幅Ｎｓの値を小さくすることができる。そのため、ｘを大きくしてブロック画像間演算の結果が「次のフレーム画像」のブロック画像の影響を受け難くしたいときに、実フレーム画像が小さくならないようにすることができる。また、ｘが小さいとき、ブロック画像間演算の結果が「次のフレーム画像」のブロック画像の影
響を受け易くなってしまうが、幅Ｎｓの値が大きくなるためブロック画像間演算の結果が受ける影響を抑えることができる。すなわち、幅Ｎｓの値を大きくすることで、画質異常が実フレーム画像の中心部に波及することを緩和させることができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態の画像処理装置を示す図である。
【図２】巡回型画像処理動作を説明するための図である。
【図３】記憶エリアＢに書き込まれるフレーム画像を示す図である。
【図４】本発明の他の実施形態の画像処理装置を示す図である。
【図５Ａ】記憶エリアＡに書き込まれるフレーム画像を示す図である。
【図５Ｂ】ブロック画像Ａを示す図である。
【図６Ａ】記憶エリアＢに書き込まれるフレーム画像を示す図である。
【図６Ｂ】削除部により周囲画素ｎが削除されたフレーム画像を示す図である。
【図７】ｘと幅Ｎｓとの関係を示す曲線の一例を示す図である。
【図８】画像処理時に使用されるラインメモリを示す図である。
【図９】周囲画素を示す図である。
【図１０Ａ】実フレーム画像及び周囲画素を示す図である。
【図１０Ｂ】複数のブロック画像に分割された実フレーム画像を示す図である。
【図１０Ｃ】共有画素を示す図である。
【符号の説明】
【００４１】
１  画像処理装置
２  画像出力部
３  巡回型画像処理部
４  画像処理部
５  記憶部
６  読出し制御部
７  書込み制御部
８  画像処理装置
９  削除部
【図１】
2010141634.tif 000003
【図４】
2010141634.tif 000004
【図７】
2010141634.tif 000005
【図２】
2010141634.tif 000006
【図３】
2010141634.tif 000007
【図５Ａ】
2010141634.tif 000008
【図５Ｂ】
2010141634.tif 000009
【図６Ａ】
2010141634.tif 000010
【図６Ｂ】
2010141634.tif 000011
【図８】
2010141634.tif 000012
【図９】
2010141634.tif 000013
【図１０Ａ】
2010141634.tif 000014
【図１０Ｂ】
2010141634.tif 000015
【図１０Ｃ】
2010141634.tif 000016