(57)【要約】【課題】色補間処理にラインバッファが不要な撮像装置およびデジタル画像処理方法を提供すること。【解決手段】撮像装置は、２ラインによってＲＧＢ３色の画像信号が得られる配列で複数の色フィルタを配列したＣＣＤ（１ａ）からの画像信号をデジタル画像データに変換して当該デジタル画像データに対する画像処理を行なうデジタル画像処理部（１０）を備えている。デジタル画像処理部（１０）は、Ａ／Ｄ変換部（２）と、色補間処理部（３）と、水平方向リサイズ処理部（４）と、不揮発性メモリ（５）と、を備える。Ａ／Ｄ変換部（２）は、ＣＣＤ（１ａ）から出力される画像信号をデジタル画像データに変換する。色補間処理部（３）は、Ａ／Ｄ変換部（２）からの１ライン分の前記デジタル画像データに基づいて色補間処理を行なう。水平方向リサイズ処理部（４）は、色補間処理部（３）の出力データに対して水平方向の縮小処理を施す。不揮発性メモリ（５）は、水平方向リサイズ処理部（４）の出力データを記憶する。【選択図】      図１
2004241813.tif 000002
【特許請求の範囲】
【請求項１】
２ラインによってＲＧＢ３色の画像信号が得られる配列で複数の色フィルタを配列した撮像素子を含む撮像装置であって、
前記撮像素子から出力される画像信号をデジタル画像データに変換するＡ／Ｄ変換部と、
前記Ａ／Ｄ変換部からの１ライン分の前記デジタル画像データに基づいて色補間処理を行なう色補間処理部と、
前記色補間処理部の出力データに対して水平方向の縮小処理を施す水平方向リサイズ処理部と、
前記水平方向リサイズ処理部の出力データを記憶する記憶部と、
を備える撮像装置。
【請求項２】
２ラインによってＲＧＢ３色の画像信号が得られる配列で複数の色フィルタを配列した撮像素子からの画像信号に基づくデジタル画像データに対する画像処理を行なうデジタル画像処理方法であって、
１ライン分の前記デジタル画像データに基づいて色補間処理を行なう色補間処理ステップと、
前記色補間処理ステップの出力データに対して水平方向の縮小処理を施す水平方向リサイズ処理ステップと、
前記水平方向リサイズ処理ステップの出力データを記憶する記憶ステップと、
を含むデジタル画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置およびデジタル画像処理方法に関し、より詳細には、複数の色フィルタを配列した撮像素子から出力される画像信号をデジタル画像データに変換して処理する撮像装置およびそのデジタル画像処理方法に関する。
【０００２】
【従来の技術】
例えば２×２画素周期のＲＧＢ単板式固体撮像素子（例えば、ＣＣＤ（即ち、Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型撮像素子（以下、単に『撮像素子』または『ＣＣＤ』と記述する。））を備えた例えばデジタルカメラ、デジタルスキャナ、等といった撮像装置では、撮像素子における一つの画素から色フィルタの色に対応する三原色（即ち、ＲＧＢ：赤緑青）の内いずれか一つの信号しか得られないため、カラー画像の生成において色補間処理が必要となる。
【０００３】
この色補間処理は、従来、水平・垂直フィルタによる積和演算で行なわれていた（例えば、特許文献１参照）。尚、ＣＣＤからの画像信号は、デジタル変換された後、水平方向１ライン毎に画像処理系へ出力されるため、一般的な色補間処理では垂直方向のタップ数に応じた数のラインバッファが必要である。
【０００４】
【特許文献１】
特開２０００−２３１７４号公報（第３−８頁、第１図）
【０００５】
ここで、図４および図５を参照して従来の撮像装置の色補間処理動作（即ち、従来のデジタル画像処理方法）について説明する。図４は、従来のデジタルカメラ、デジタルスキャナ、等といった撮像装置の要部を模式的に示すシステムブロック図である。
【０００６】
図４に示されるように、従来の撮像装置は、レンズ等からなる光学系装置１７を介して被写体を撮像する撮像部１１に備えられたＣＣＤ１１ａからの画像信号をデジタル画像データに変換して処理する構成要素として、デジタル画像処理部（画像処理回路）２０を備えている。当該デジタル画像処理部２０は、Ａ／Ｄ変換部１２と、ラインバッファ１３と、色補間処理部１４と、水平方向リサイズ処理部１５と、不揮発性メモリ（即ち、出力メモリ）１６と、を備えている。
【０００７】
ＣＣＤ１１ａから出力された画像信号は、Ａ／Ｄ変換部１２でデジタル画像データに変換される。Ａ／Ｄ変換部１２から出力されるデジタル画像データは、ライン毎にラインバッファ１３に格納される。色補間処理部１４は、ラインバッファ１３に格納されている複数ラインの画像データに基づき色補間処理を行なう。
【０００８】
図５は、図４に示されるデジタル画像処理部２０による色補間処理の手順を概念的に示した模式図である。この例では、３×３画素を利用して線形補間処理を行なうため、画像データはライン毎に３段のラインバッファ１３に格納され、３ライン分が揃った時点で色補間処理が実行される。
【０００９】
色補間処理部１４にて色補間処理が施された画像データには更に水平方向リサイズ処理部１５にて水平方向の縮小処理が施される。そして当該縮小処理が施された画像データは、不揮発性メモリ１６に書き込み記録されて更なる垂直補間処理等に利用されることとなる。
【００１０】
上述のように、従来のデジタル画像処理部２０では、色補間処理に必要なライン分の画像データを保持できるラインバッファ１３が必要となる。このように色補間処理のためにラインバッファを必要とするデジタル画像処理部は、色フィルタアレイに所謂ベイヤー配列を用いた撮像素子等、１ライン分の出力画像信号ではＲＧＢ３色全ては得られないタイプの撮像素子を備えた撮像装置で用いられる。
【００１１】
【発明が解決しようとする課題】
よって、前述した『１ライン分の出力画像信号ではＲＧＢ３色全ては得られないタイプの撮像素子』を備えた例えば従来のデジタルカメラの場合、スルー表示、ポストビュー表示、等のために、上述のように色補間処理に必要なライン分の画像データを保持できるラインバッファを有するデジタル画像処理部を用いなければならない。
【００１２】
しかしながら、スルー表示、ポストビュー表示、等は、デジタルカメラに配設された小さな画像表示装置（例えば、ＬＣＤ（即ち、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等）で撮像状態を把握するための簡易画像表示であり、その表示画像の生成にあたり厳密な色補間処理が必要ないにも拘わらず、近年の撮像素子の高画素数化に伴い、それに対応するラインバッファを採用せざるをえないため、画像処理回路の規模の増大が避けられない。
【００１３】
画像処理回路の規模が増大することは、デジタル画像処理部の消費電力の抑制や高速画像処理を実現する上で大変不利である。
【００１４】
本発明は、前述した事情に鑑みてなされたものであり、その目的は、色補間処理のためのラインバッファを不要とし、画像処理回路の規模を縮小できる撮像装置およびデジタル画像処理方法を提供することにある。
【００１５】
【課題を解決するための手段】
前述した目的を達成するため、本発明の撮像装置は、請求項１に記載したように、
２ラインによってＲＧＢ３色の画像信号が得られる配列で複数の色フィルタを配列した撮像素子を含む撮像装置であって、
前記撮像素子から出力される画像信号をデジタル画像データに変換するＡ／Ｄ変換部と、
前記Ａ／Ｄ変換部からの１ライン分の前記デジタル画像データに基づいて色補間処理を行なう色補間処理部と、
前記色補間処理部の出力データに対して水平方向の縮小処理を施す水平方向リサイズ処理部と、
前記水平方向リサイズ処理部の出力データを記憶する記憶部と、
を備えていることを特徴としている。
【００１６】
また、前述した目的を達成するため、本発明のデジタル画像処理方法は、請求項２に記載したように、
２ラインによってＲＧＢ３色の画像信号が得られる配列で複数の色フィルタを配列した撮像素子からの画像信号に基づくデジタル画像データに対する画像処理を行なうデジタル画像処理方法であって、
１ライン分の前記デジタル画像データに基づいて色補間処理を行なう色補間処理ステップと、
前記色補間処理ステップの出力データに対して水平方向の縮小処理を施す水平方向リサイズ処理ステップと、
前記水平方向リサイズ処理ステップの出力データを記憶する記憶ステップと、
を含むことを特徴としている。
【００１７】
請求項１ならびに請求項２に記載の発明によれば、複数ライン分のデジタル画像データに基づいて色補間処理を実行するのではなく、１ライン分の画像データ毎に色補間処理を行ない、更に縮小処理を行なって、当該色補間処理ならびに水平方向の縮小処理が施された１ライン分の画像データ毎に記憶していくので、色補間処理のため従来必要とされたラインバッファを削除できる。よって、デジタル画像処理に必要なメモリ量を減少させることができ、画像処理回路の規模を縮小できる。この画像処理回路規模の縮小により、コスト低減や、メモリアクセス数低減による画像処理速度の向上、ならびに低消費電力化を図ることができる。
【００１８】
以上、本発明について簡潔に説明した。更に、以下に説明される発明の実施の形態を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。
【００１９】
【発明の実施の形態】
以下、本発明に係る好適な実施形態を図面に基づき詳細に説明する。図１は、本発明に係る撮像装置の要部を模式的に示すシステムブロック図である。
【００２０】
図１に示されるように、本発明の撮像装置は、レンズ等からなる光学系装置６を介して被写体を撮像する撮像部１に備えられた単板式のＣＣＤ１ａからの画像信号をデジタル画像データに変換して処理する構成要素として、デジタル画像処理部（画像処理回路）１０を備えている。当該デジタル画像処理部１０は、画像処理プロセッサ等で構成でき、Ａ／Ｄ変換部２と、色補間処理部３と、水平方向リサイズ処理部４と、記憶部として不揮発性メモリ（即ち、出力メモリ）５と、を備えている。
【００２１】
ＣＣＤ１ａは、本実施形態では所謂ベイヤー配列の色フィルタアレイを用いた『１ライン分の出力画像信号ではＲＧＢ３色全ては得られないタイプ』のものであり、本発明に係るデジタル画像処理部１０はこのようなＣＣＤ１ａを備えた撮像部１を有するデジタルカメラ、デジタルスキャナ、等といった撮像装置で用いられると好適である。
【００２２】
さて、ＣＣＤ１ａから出力された画像信号は、Ａ／Ｄ変換部２でデジタル画像データに変換される。Ａ／Ｄ変換部２から出力されるデジタル画像データは、１ライン毎に色補間処理部３にて色補間処理を施され、更に水平方向リサイズ処理部４にて水平方向の縮小処理（即ち、リサイズ処理）を施される。そして当該色補間処理とリサイズ処理が施された画像データは、不揮発性メモリ５に書き込み記録されて更なる垂直補間処理等に利用されることとなる。
【００２３】
図２は、図１に示されるデジタル画像処理部１０による色補間処理の手順を概念的に示した模式図である。はじめに、１ライン目のＲＧ画像データのＲとＧについて色補間処理部３にて色補間処理が行われ、当該色補間処理が施された画像データ（即ち、画素毎のＲＧデータ）が水平方向リサイズ処理部４にて水平方向に縮小処理され、そして当該縮小処理後の画像データを不揮発性メモリ（即ち、出力メモリ）５が記憶する。
【００２４】
次に、２ライン目のＧＢ画像データについては、Ｂの画像データのみ色補間処理部３にて色補間処理が施され、当該色補間処理が施された画像データ（即ち、画素毎のＢデータ）が水平方向リサイズ処理部４にて水平方向に縮小処理され、そして当該縮小処理後の画像データを不揮発性メモリ（即ち、出力メモリ）５が記憶する。このように、ＲＧＢ３色についての色補間処理が行なわれ且つ水平方向に縮小処理された画像データが不揮発性メモリ５に書き込み記録される。
【００２５】
図３は、図１に示される撮像装置による画像データと制御信号の処理動作例を示すタイミングチャートである。先ず、１ライン目の画像データに対して色補間処理がイネーブルとなり、色補間処理と縮小処理が施されたＲとＧの画像データが出力メモリに書き込まれる。次に、２ライン目の画像データのうちＢに対して色補間処理がイネーブルとなり、色補間処理と縮小処理が施されたＢの画像データが出力メモリに書き込まれる。そしてＲＧＢが揃った画像データは、出力がイネーブルとなると、後段の処理部（不図示）へ出力される。その後段の処理部（不図示）では、画像データの垂直補間処理等、画像の縮小処理が行なわれる。尚、これらの一連の制御は、ＣＰＵ（即ち、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）に代表される制御手段（不図示）により実現されるものである。
【００２６】
例えば１ライン２０００画素の画像データは、ＶＧＡ表示の場合、６４０画素にされるべく水平方向の縮小処理が行なわれる。従来は２０００画素分のラインバッファが複数段必要であったが、本実施形態によればそれらを削減でき、しかも出力メモリも表示に合わせた小さなサイズ（前述の例の場合、６４０画素）となり、画像処理回路の規模を縮小することができる。
【００２７】
従来の撮像装置では画像データをラインバッファに保持してＲＧＢ３色が得られてから色補間処理を行なっていたが、本実施形態では、画像データを１ライン毎に色補間処理し且つ水平方向の縮小処理まで実行した後、出力メモリに記録するので、従来必要とされたラインバッファを削除できる。尚、上記色補間処理は線形補間処理等の公知の手法を用いることができ、また、水平方向の縮小処理もデータ間引き等の公知の手法を用いることができる。
【００２８】
尚、上記では所謂ベイヤー配列の色フィルタアレイを用いた単板式の撮像素子と本発明に係るデジタル画像処理部との組み合わせについて説明したが、２ライン分の出力画像信号でＲＧＢ３色が得られる単板式の撮像素子との組み合わせに本発明に係るデジタル画像処理部が好適であることは言うまでもない。尚、このような撮像素子を備えたデジタルカメラの場合、特に、スルー表示、ポストビュー表示、等といった簡易画像表示のように、デジタルカメラに配設された小さな画像表示装置（例えば、ＬＣＤ（即ち、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等）で撮像状態を把握できる程度の画質を求められる表示の画像処理を本発明に係るデジタル画像処理部に行なわせると優れた効果を奏する。
【００２９】
【発明の効果】
以上、説明したように、本発明によれば、複数ライン分のデジタル画像データに基づいて色補間処理を実行するのではなく、１ライン分の画像データ毎に色補間処理を行ない、更に縮小処理を行なって、当該色補間処理ならびに水平方向の縮小処理が施された１ライン分の画像データ毎に記憶していくので、色補間処理のため従来必要とされたラインバッファを削除できる。よって、デジタル画像処理に必要なメモリ量を減少させることができ、画像処理回路の規模を縮小できる。この画像処理回路規模の縮小により、コスト低減や、メモリアクセス数低減による画像処理速度の向上、ならびに低消費電力化を図ることができる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の要部を模式的に示すシステムブロック図である。
【図２】図１に示されるデジタル画像処理部による色補間処理の手順を概念的に示した模式図である。
【図３】図１に示される撮像装置による画像データと制御信号の処理動作例を示すタイミングチャートである。
【図４】従来の撮像装置の要部を模式的に示すシステムブロック図である。
【図５】図４に示される従来のデジタル画像処理部による色補間処理の手順を概念的に示した模式図である。
【符号の説明】
１  撮像部
１ａ  ＣＣＤ
２  Ａ／Ｄ変換部
３  色補間処理部
４  水平方向リサイズ処理部
５  不揮発性メモリ（記憶部）
６  光学系装置
１０  デジタル画像処理部
【図１】
2004241813.tif 000003
【図２】
2004241813.tif 000004
【図３】
2004241813.tif 000005
【図４】
2004241813.tif 000006
【図５】
2004241813.tif 000007