(57)【要約】【課題】  ＳＤＲＡＭ等の画像処理用メモリの容量を削減する。【解決手段】  画像処理用メモリにおいて、１ライン分の容量は画像処理データの１ラインのデータ量に合致する。画素データの各ライン（ｎライン、（ｎ＋１）ライン、（ｎ＋２）ライン・・・）を番地の大きいアドレス側に詰めて格納する。画像処理用メモリから読み出した短ラインａの画素データに対して画像処理を施して得られる画像処理データａ’を、画像処理用メモリにおいて番地の小さいアドレス側に格納する。次の短ラインｂを読み出し、画像処理データｂ’を画像処理データａ’の次のアドレスに格納する。そして次の短ラインｃを読み出し、画像処理データｃ’を画像処理データｂ’の次のアドレスに格納する。【選択図】        図６
2006020015.tif 000002
【特許請求の範囲】
【請求項１】
メモリから読み出した画像の画素データに対して画像処理を施すことによって、１ラインのデータ量が前記画素データよりも多い画像処理データを生成する画像処理装置であって、
前記メモリにおける１ライン分の容量が前記画像処理データの１ラインのデータ量に合致しており、前記画素データの各ラインが番地の大きいアドレス側に詰めて格納されることを特徴とする画像処理装置。
【請求項２】
前記１ラインが前記画像の水平方向に対応することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記メモリにおいて、番地の小さいアドレス側に前記画素データが格納されないオフセット領域が設けられ、前記オフセット領域の容量が、前記画像処理データの１ラインのデータ量から、前記画素データの１ラインのデータ量と前記画像処理を施すのに必要な画素数に対応したデータ量とを引いて得られることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記１ラインが複数の短ラインに分割され、番地の小さいアドレス側の短ラインに対応した前記画素データから順に前記画像処理が施されて、前記画像処理データが番地の小さいアドレス側に格納されることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記１ラインが複数の短ラインに分割され、前記メモリにおいて前記画素データの格納されていないアドレス側の短ラインに対応した前記画素データから順に前記画像処理が施されて、前記画像処理データが前記画素データの格納されていないアドレス側に格納されることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記１ラインが複数の短ラインに分割され、各短ラインの両端にそれぞれ、前記画像処理を施すのに必要な画素が設けられていることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記メモリがＳＤＲＡＭであることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
メモリから読み出した画像の画素データに対して画像処理を施すことによって、１ラインのデータ量が前記画素データよりも多い画像処理データを生成する画像処理装置であって、
前記メモリにおける１ライン分の容量が前記画像処理データの１ラインのデータ量に合致しており、前記画素データの各ラインが番地の小さいアドレス側に詰めて格納され、前記画素データが番地の大きいアドレス側から読み出されて画像処理を施され、番地の大きいアドレス側から順に格納されることを特徴とする画像処理装置。
【請求項９】
メモリから読み出した画像の画素データに対して画像処理を施すことによって、１ラインのデータ量が前記画素データよりも多い画像処理データを生成する画像処理方法であって、
前記メモリにおける１ライン分の容量が前記画像処理データの１ラインのデータ量に合致しており、前記画素データの各ラインを番地の大きいアドレス側に詰めて格納することを特徴とする画像処理方法。
【請求項１０】
メモリから読み出した画像の画素データに対して画像処理を施すことによって、１ラインのデータ量が前記画素データよりも多い画像処理データを生成する画像処理方法であって、
前記メモリにおける１ライン分の容量が前記画像処理データの１ラインのデータ量に合致しており、前記画素データの各ラインを番地の小さいアドレス側に詰めて格納し、前記画素データを番地の大きいアドレス側から読み出して画像処理を施し、番地の大きいアドレス側から順に格納することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像の画素データに画像処理を施してメモリに格納する画像処理装置に関する。
【背景技術】
【０００２】
近年、ＤＲＡＭよりも高速にデータを読み書きできるＳＤＲＡＭ（シンクロナスＤＲＡＭ）が開発され、カラー画像の処理に採用されるようになってきている（特許文献１参照）。すなわち、例えばデジタルカメラから得られたカラー画像の画素データはＳＤＲＡＭに一旦格納され、その後ＳＤＲＡＭから読み出されて画像処理を施され、画素データよりもデータ量の多い画像処理データがＳＤＲＡＭに格納される。このためＳＤＲＡＭには、画素データと画像処理データを格納するための領域が必要となる。
【特許文献１】特開２００２−１５７１６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
デジタルカメラをさらに小型化するためには、ＳＤＲＡＭを含めて個々の電子部品はできるだけ小さいことが好ましい。しかし従来、ＳＤＲＡＭに関しては、画素データと画像処理データをともに格納するための領域が必要であるため、小型化することができなかった。
【０００４】
本願発明は例えばＳＤＲＡＭ等のメモリの容量を削減することができる画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
本発明に係る第１の画像処理装置は、メモリから読み出した画像の画素データに対して画像処理を施すことによって、１ラインのデータ量が画素データよりも多い画像処理データを生成するものであり、メモリにおける１ライン分の容量が画像処理データの１ラインのデータ量に合致しており、画素データの各ラインが番地の大きいアドレス側に詰めて格納されることを特徴としている。
【０００６】
１ラインは、例えば画像の水平方向に対応する。
【０００７】
メモリにおいて、番地の小さいアドレス側に画素データが格納されないオフセット領域が設けられる。オフセット領域の容量は、好ましくは、画像処理データの１ラインのデータ量から、画素データの１ラインのデータ量と画像処理を施すのに必要な画素数に対応したデータ量とを引いて得られる。
【０００８】
好ましくは、１ラインが複数の短ラインに分割され、番地の小さいアドレス側の短ラインに対応した画素データから順に画像処理が施されて、画像処理データが番地の小さいアドレス側に格納される。あるいは、１ラインが複数の短ラインに分割され、メモリにおいて画素データの格納されていないアドレス側の短ラインに対応した画素データから順に画像処理が施されて、画像処理データが画素データの格納されていないアドレス側に格納されるように構成されてもよい。
【０００９】
１ラインが複数の短ラインに分割される場合、好ましくは、各短ラインの両端にそれぞれ、画像処理を施すのに必要な画素が設けられる。
【００１０】
メモリは例えばＳＤＲＡＭである。
【００１１】
本発明に係る第２の画像処理装置は、メモリにおける１ライン分の容量が画像処理データの１ラインのデータ量に合致しており、画素データの各ラインが番地の小さいアドレス側に詰めて格納され、画素データが番地の大きいアドレス側から読み出されて画像処理を施され、番地の大きいアドレス側から順に格納されることを特徴としている。
【００１２】
本発明に係る第１の画像処理方法は、メモリにおける１ライン分の容量が画像処理データの１ラインのデータ量に合致しており、画素データの各ラインを番地の大きいアドレス側に詰めて格納することを特徴としている。
【００１３】
本発明に係る第２の画像処理方法は、メモリにおける１ライン分の容量が画像処理データの１ラインのデータ量に合致しており、画素データの各ラインを番地の小さいアドレス側に詰めて格納し、画素データを番地の大きいアドレス側から読み出して画像処理を施し、番地の大きいアドレス側から順に格納することを特徴としている。
【発明の効果】
【００１４】
本発明によれば、画素データがメモリにおいて番地の大きいアドレス側に詰められて格納されるので、画像処理データを番地の小さいアドレス側から順に格納することができる。したがって画素データと画像処理データを格納するためのメモリ容量を削減することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を、図面を参照して説明する。
図１は、本発明の一実施形態である画像処理装置を備えたデジタルカメラの概略的な構成を示すブロック図である。
【００１６】
撮像素子（ＣＣＤ）１０の受光面にはベイヤー配列に従って配列されたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタが設けられている。受光面の前方には撮影レンズ１１とシャッタ１２が設けられており、これらは駆動回路１３によって駆動される。すなわち撮影レンズ１１の合焦動作とシャッタ１２の開閉動作は駆動回路１３によって制御され、シャッタ１２が開放すると、撮影レンズ１１を通過した光線が撮像素子１０に入射し、撮像素子１０では、撮影レンズ１１によって得られた２次元画像に対応した、アナログの電気信号である画像信号が発生する。
【００１７】
この画像信号は相関二重サンプリング回路（ＣＤＳ）とＡＤ変換器（ＡＤＣ）を備えたアナログ信号処理回路１４において、ノイズ成分を除去されるとともにデジタルの画素データ（生データ）に変換される。画素データは、デジタル信号処理回路（ＤＳＰ）１５に接続された画像処理用メモリ（ＳＤＲＡＭ）１６に一旦格納され、メモリ１６から読み出されてデジタル信号処理回路１５において、後述する種々の画像処理を施され、画像処理データとしてメモリ１６に格納される。
【００１８】
画像処理データはメモリ１６から読み出され、圧縮処理を施されて、メモリカード１７に静止画像として記録される。静止画像の画像処理データは、液晶表示装置（ＬＣＤ）１８においてカラー画像として表示される。また、撮像素子１０から読み出された画像信号は、アナログ信号処理回路１４とデジタル信号処理回路１５を介して液晶表示装置１８に直接入力され、液晶表示装置１８ではモニタ画像が動画として表示される。
【００１９】
デジタル信号処理回路１５には、画像処理データのメモリカード１７への記録動作等の種々の動作を行うための操作スイッチ１９が接続されている。
【００２０】
図２はデジタル信号処理回路１５において実行される画像処理の手順を示す図である。デジタル信号処理回路１５において画素データ（生データ）は、まずステップＳ１でホワイトバランス調整される。次いでステップＳ２では画素補間が実行される。すなわち、後述するように、ＲとＢの画素データが欠落している画素について、ＲとＢの画素データがそれぞれ補間によって求められる。また、Ｒ画素とＢ画素に関してＧの画素データが補間により求められる。これにより、全ての画素について、Ｒ、Ｇ、Ｂの画素データが求められる。
【００２１】
ステップＳ３では、ステップＳ２の処理結果として得られた画素データに色補正マトリクスが施され、カラーフィルタの特性によって生じる誤差が除去される。ステップＳ４では色補正マトリクスが施された画素データに対してガンマ補正が施される。ステップＳ５では、ガンマ補正された画素データに対してエッジ強調が施される。この後、ＲＧＢ／ＹＵＶ変換が実行され、Ｒ、Ｇ、Ｂの画素データが公知の手法によって、輝度データ（Ｙ）と、色差データすなわちＵデータ（＝Ｂ−Ｙ）およびＶデータ（＝Ｒ−Ｙ）とに変換される。すなわち１つの画素に対して輝度データとＵデータとＶデータが生成される。
【００２２】
図３を参照して、ステップＳ２において実行される画素補間を説明する。図３において、Ｒ、Ｇ、Ｂの文字はそれぞれレッド、グリーンおよびブルーの色を示す。Ｒ、Ｇ、Ｂの文字に付された添え字は、デジタル信号処理回路１５に入力された画素データ（生データ）によって形成される２次元画像の画素の座標である。座標の原点は（０，０）であり、原点にはＧ画素（Ｇ00）が位置する。水平方向の正の方向は右向きであり、垂直方向の正の方向は下向きである。２次元画像の画素データにおいて、最上部から奇数番目に位置する列では、Ｇ画素とＲ画素が交互に配置され、偶数番目に位置する列ではＢ画素とＧ画素が交互に配置されている。例えば上から３番目の列では、左から右へ向かってＧ20、Ｒ21、Ｇ22、Ｒ23、Ｇ24・・・の順に並んでいる。
【００２３】
ＲとＢの画素データの補間は、Ｇ画素に関しては、その上下あるいは左右に隣接する画素の画素データを用いて行われる。例えばＧ画素（Ｇ11）のＲの画素データは、その上下に位置するＲ画素の画素データの相加平均をとることにより得られる。すなわち
Ｒ11＝（Ｒ01＋Ｒ21）／２
である。Ｇ画素（Ｇ11）のＢの画素データは、その左右に位置するＢ画素の画素データの相加平均をとることにより得られる。すなわち
Ｂ11＝（Ｂ10＋Ｂ12）／２
である。
【００２４】
Ｂ画素とＲ画素に関しては、その斜め方向に隣接する４つの画素の画素データの相加平均がとられる。例えばＢ画素（Ｂ12）のＲの画素データは
Ｒ12＝（Ｒ01＋Ｒ03＋Ｒ21＋Ｒ23）／４
である。またＲ画素（Ｒ21）のＢの画素データは
Ｂ21＝（Ｂ10＋Ｂ12＋Ｂ30＋Ｂ32）／４
である。
【００２５】
一方、Ｇの画素データの補間は、その上下および左右に位置するＧ画素の画素データを用いて行われる。例えばＢ画素（Ｂ12）のＧの画素データは、その上下および左右に位置するＧ画素の画素データの相加平均をとることにより得られる。すなわち
Ｇ12＝（Ｇ02＋Ｇ11＋Ｇ22＋Ｇ13）／４
である。
【００２６】
図４と図５を参照してエッジ強調を説明する。図４は図３において枠Ｆによって囲まれた３×３の画素におけるＧの画素データを示す。また図５はエッジ強調を実行するためのオペレータ（フィルタ行列）を示す。図５から理解されるように、例えばＧ画素（Ｇ22）にエッジ強調を施すには、下記の演算を行えばよい。
２×Ｇ22−（１／８）×（Ｇ11＋Ｇ12＋Ｇ13＋Ｇ21＋Ｇ23＋Ｇ31＋Ｇ32＋Ｇ33）
【００２７】
エッジ強調を、例えば図３の枠Ｆの中の３×３の全画素に関して実行するには、枠Ｆの外側を囲むＧ00、Ｒ01、Ｇ02等の１６個の画素だけでは不足である。例えばＧ画素（Ｇ11）に対してエッジ強調を施すためには、その周囲に位置する８個の全画素についてＧの画素データが必要であるが、図３の例ではＲ01とＢ10についてＧの画素データを得ることができないので、エッジ強調を実行することはできない。すなわちエッジ強調を実行するには、その画素を２重に囲む画素が必要であり、図３に示された画素のみから構成される画像の場合、エッジ強調を施すことができるのはＧ画素（Ｇ22）のみである。
【００２８】
このように、２次元画像にエッジ強調を施すためには、その２次元画像の画素に加えて、２次元画像の上下および左右の外側に隣接する２画素ずつの画素データ、すなわち「のりしろ（リングピクセル）」がさらに必要である。したがって、例えば、水平方向の画素数がＨ、垂直方向の画素数がＶである２次元画像の場合、（Ｈ＋４）画素×（Ｖ＋４）画素のデータが必要である。換言すれば、２次元画像の外側を囲む２重の枠を形成する画素のデータも用いることにより、２次元画像の画像処理データが得られる。
【００２９】
次に、水平方向に延びる１ライン分のデータを画像処理用メモリ１６（図１）に格納するための容量について説明する。
【００３０】
１画素は通常１２ビットで表されるが、画像処理における画素データの取り扱いを単純にするため、２バイトとして処理される。したがって、１ラインの画素データ（生データ）のデータ量は（Ｈ＋４）×２バイトである。これに対して画像処理データは、上述したように輝度データ、ＵデータおよびＶデータから成り、１画素に関するデータ量は３バイトである。したがって、１ラインの画像処理データのデータ量はＨ×３バイトである。
【００３１】
具体例として、Ｈ＝２０４８画素の場合、画素データ（生データ）のデータ量が（２０４８＋４）×２＝４１０４（バイト）であるのに対し、画像処理データのデータ量は２０４８×３＝６１４４（バイト）である。すなわち画像処理データのデータ量の方が生データのデータ量よりも多い。本実施形態では、この点に着目し、画像処理用メモリ１６の容量として画像処理データを記憶するのに必要な領域のみを確保して、画像処理を実行可能にしている。
【００３２】
図６は画像処理用メモリ１６における画素データ（生データ）の格納状態を示し、説明の簡単のために、メモリ１６のアドレス（ｘ，ｙ）を画像に対応させている。図７は１つのラインに関し、画素データと画像処理データが格納されるアドレスを示している。図６において、左右方向の位置はアドレスのｘ番地に、また上下方向の位置はアドレスのｙ番地に対応しており、アドレスの原点は左上隅である。１つのアドレスに格納されるデータ量は１バイトである。したがって、１つの画素データ（例えばＧの画素データ）は２つのアドレスにわたって格納され、１つの画像処理データ（例えば輝度データ）は１つのアドレスに格納される。
【００３３】
ここでは一例として、水平方向の（左右方向）に延びる１ラインの画素数Ｈは２０４８であるとする。この場合、上述のように、画素データ（生データ）のデータ量は４１０４バイトであるのに対し、画像処理データのデータ量は６１４４バイトである。したがって、メモリ１６におけるｘ方向（すなわち左右方向）の容量は６１４４バイトに定められる。すなわちメモリ１６における１ライン分の容量は画像処理データの１ラインのデータ量に合致している。
【００３４】
画素データの各ラインは、メモリ１６において番地の大きいアドレス側（図６の右側）に詰めて格納される。すなわちアドレスのｘ番地に関し、１番地から２０４０番地まではオフセット領域であり、画素データは格納されず、２０４１番地から６１４４番地までに画素データが格納される。オフセット領域の容量（データ量）は、１ラインの画素数がＨである場合、Ｈ×３−（Ｈ＋２×Ａ）×２（バイト）である。Ａは１つの画素データを記憶するのに要するバイト数であり、本実施形態の場合２×Ａ＝４である。Ｈ×３は、画像処理データの１ラインのデータ量であり、（Ｈ＋２×Ａ）×２は、画素データの１ラインのデータ量と画像処理を施すのに必要な「のりしろ」の画素数に対応したデータ量との和である。
【００３５】
デジタル信号処理回路１５における画像処理のため、１ラインは複数の短ラインに分割される。本実施形態では、デジタル信号処理回路１５では１ラインについて１０００画素分の画像処理が可能である。したがって画像処理では、まず、２０４１番地から４０４０番地までの２０００バイトすなわち１０００画素分の短ラインａの画素データがメモリ１６から読み出され、デジタル画像処理回路１５のバッファメモリ（図示せず）に格納される。なお１回の画像処理では、後述するように、垂直方向に並ぶ５ライン分の画素データが必要である。
【００３６】
画像処理としてエッジ強調を実行する場合、上述したように、１ラインについて１０００画素の画素データがあっても、その結果として得られる画像処理データａ’のデータ量は（１０００−４）×３バイトである。したがって、この画像処理データは、メモリ１６において１番地から２９８８番地までに格納される。
【００３７】
次に短ラインａに続く１０００画素分の短ラインｂの画素データがメモリ１６から読み出されるが、この短ラインｂの左端の画素は短ラインａの右端の４画素（８バイト）を含んでいる。すなわち短ラインｂの画素データは４０３３番地から６０３２番地までの２０００バイトである。短ラインｂの画素データに画像処理を施すと、（１０００−４）×３バイトの画像処理データｂ’が得られ、これはメモリ１６において２９８９番地から５９７６番地までに格納される。
【００３８】
最後に短ラインｂに続く６０画素分の短ラインｃの画素データがメモリ１６から読み出されるが、この短ラインｃの左端の画素は短ラインｂの右端の４画素（８バイト）を含んでいる。すなわち短ラインｃの画素データは６０２５番地から６１４４番地までの１２０バイトである。短ラインｃの画素データに画像処理を施すと、（６０−４）×３バイトの画像処理データｃ’が得られ、これはメモリ１６において５９７７番地から６１４４番地までに格納される。
【００３９】
図８はデジタル信号処理回路１５のバッファメモリにおける画素データ（生データ）の格納状態を示している。図６の例において、ｎライン目の画素データに画像処理を施す場合を説明すると、まず、（ｎ−２）ラインから（ｎ＋２）ラインまでの画素データが画像処理用メモリ１６から読み出され、バッファメモリに格納される。すなわち、短ラインａの中の上下方向に連続した５本のラインの画素データ（１０００×２バイト）がバッファメモリに格納される。
【００４０】
ｎライン目の画像処理データが得られると、この画像処理データは画像処理用メモリ１６に格納される。その後、（ｎ−２）ライン目の画素データが削除され、（ｎ＋３）ライン目の画素データがメモリ１６から読み出されてバッファメモリに格納される。そして、（ｎ−１）ラインから（ｎ＋３）ラインまでの画素データを用いて、（ｎ＋１）ライン目の画像処理データが求められる。
【００４１】
このような処理が繰返し実行され、短ラインａの全て（例えば１５３６本）について画像処理が完了すると、次の短ラインｂについても同じ処理が行われ、画像処理データｂ’がメモリ１６に格納される。次いで短ラインｃについて画像処理が行われ、画像処理データｃ’がメモリ１６に格納される。
【００４２】
このように本実施形態では、１ラインが複数の短ラインａ、ｂ、ｃに分割され、番地の小さいアドレス側の短ラインに対応した画素データ、すなわちオフセット領域側の短ラインに対応した画素データから順にメモリ１６から読み出されて画像処理が施される。これによって得られた画像処理データａ’、ｂ’、ｃ’は、メモリ１６において、番地の小さいアドレス側（オフセット領域側）から順に格納される。したがってメモリ１６の容量としては、画像処理データを格納するのに十分なだけ確保しておけばよく、従来のように、生データと画像処理データの両者を格納するための領域は不要である。したがって、画像処理用メモリ１６の容量を最小限に抑えることができ、ひいては画像処理装置を小型化することが可能となる。
【００４３】
また本実施形態では、２次元画像を上下方向に延びる直線によって、短ラインａ、ｂ、ｃに対応した３つの縦長の部分画像に分割し、部分画像毎に画像処理を行っている。そして、各部分画像では、左右両端にそれぞれ２画素の「のりしろ」を設けている。したがって、２次元画像を構成する、例えば２０４８画素×１５３６画素の全てに画像処理を施すことができ、画像処理データを用いて再生すると、画像処理されない部分を含まない正常な２次元画像が得られる。
【００４４】
なお上記実施形態では、生データとして、２次元画像の上下および左右に２画素ずつの画素データを加えたものを採用しているが、画像処理の内容によっては、３画素ずつあるいは４画素ずつの画素データを加えたものを採用してもよい。
【００４５】
さらに、画素データ（生データ）は従来と同様に番地の小さいアドレス側に詰めて格納した場合にも本発明が適用可能である。すなわち、画像処理のときに番地の大きいアドレス側から画素データを読み出し、最初の画像処理では、画像処理データを番地の最も大きいアドレス側に格納し、その後、番地の大きいアドレスから順に格納するように構成することもできる。
【００４６】
また上記実施形態では、メモリ１６のアドレス（ｘ，ｙ）に関し、１ラインの画素データが共通のｙ番地に格納されるとして説明したが、アドレス（ｘ，ｙ）と画素データが１対１に対応する必要はなく、例えばｙ番地に複数ラインの画素データが格納されてもよい。この場合、画素データはメモリ１６において、ライン毎に、ｘ番地の数値の大きい側に詰めて格納される。
【図面の簡単な説明】
【００４７】
【図１】本発明の一実施形態である画像処理装置を備えたデジタルカメラの概略的な構成を示すブロック図である。
【図２】デジタル信号処理回路において実行される画像処理の手順を示す図である。
【図３】図２のステップＳ２において実行される画素補間を説明するための図である。
【図４】図３の枠の中にある画素のＧの画素データを示す図である。
【図５】エッジ強調を実行するためのオペレータを示す図である。
【図６】画像処理用メモリにおける画素データの格納状態を示す図である。
【図７】１つのラインに関し、画素データと画像処理データが格納されるアドレスを示す図である。
【図８】デジタル信号処理回路のバッファメモリにおける画素データの格納状態を示す図である。
【符号の説明】
【００４８】
１５  デジタル信号処理回路
１６  画像処理用メモリ
【図１】
2006020015.tif 000003
【図２】
2006020015.tif 000004
【図３】
2006020015.tif 000005
【図４】
2006020015.tif 000006
【図５】
2006020015.tif 000007
【図６】
2006020015.tif 000008
【図７】
2006020015.tif 000009
【図８】
2006020015.tif 000010