(57)【要約】【課題】  間引き率の指定を受け付けて、その間引き率で画像信号の間引き処理を実施することができる画像処理装置を得ることを目的とする。【解決手段】  指定された間引き率に応じて重み付け処理に係る各色成分の処理区分と重み係数を設定する設定回路３１を設け、その設定回路３１により設定された処理区分毎に、撮像素子２から出力された画像信号に当該重み係数を乗算して、重み係数乗算後の画像信号の総和を計算するとともに、その画像信号の総和から１画素当りの平均値を計算し、その平均値を間引き画像の画像信号として出力する。【選択図】        図１
2006262382.tif 000002
【特許請求の範囲】
【請求項１】
複数色の色フィルタアレイから構成され、その色フィルタアレイに入射された被写体の光学像を電気信号に変換して、その電気信号である画像信号を出力する撮像手段と、指定された間引き率に応じて重み付け処理に係る各色成分の処理区分と重み係数を設定する設定手段と、上記設定手段により設定された処理区分毎に、上記撮像手段から出力された画像信号に上記設定手段により設定された重み係数を乗算する重み付け手段と、上記設定手段により設定された処理区分毎に、上記重み付け手段により重み係数が乗算された画像信号の総和を計算する総和計算手段と、上記総和計算手段の計算結果から１画素当りの平均値を計算し、その平均値を間引き画像の画像信号として出力する間引き手段とを備えた画像処理装置。
【請求項２】
設定手段は、指定された間引き率が偶数分の１の間引き率であれば、色成分毎に異なる大きさの処理区分と重み付け係数を設定し、指定された間引き率が奇数分の１の間引き率であれば、異なる色成分でも同じ大きさの処理区分と重み付け係数を設定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
設定手段は、各色成分の処理区分と重み係数を設定する際、輝度成分が最大の色成分を判別し、その色成分における複数の処理区分が相互に重ならないように、その色成分の処理区分を設定することを特徴とする請求項１または請求項２記載の画像処理装置。
【請求項４】
画像信号を一時的に記録する一時記録手段と、上記一時記録手段により一時的に記録された画像信号に対する画像処理を実施する画像処理手段と、上記画像処理手段による画像処理後の画像信号にしたがって画像を表示する表示手段とを設けたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
【請求項５】
一時記録手段における１ライン当りの記録画素数が、撮像手段の水平画素数より少ない画素数で構成されていることを特徴とする請求項４記載の画像処理装置。
【請求項６】
撮像手段から出力された画像信号を記録する画像記録手段を設け、画像処理手段が静止画記録処理を実施する場合、一時記録手段が上記画像記録手段から出力された画像信号を一時的に記録し、上記画像処理手段が実時間処理を実施する場合、上記一時記録手段が間引き手段から出力された画像信号を一時的に記録することを特徴とする請求項４または請求項５記載の画像処理装置。
【請求項７】
画像記録手段は、撮像手段から出力された画像信号のほかに、間引き手段から出力された画像信号を記録することを特徴とする請求項６記載の画像処理装置。
【請求項８】
指定された間引き率に応じて重み付け処理に係る各色成分の処理区分と重み係数を設定する第２の設定手段と、上記第２の設定手段により設定された処理区分毎に、画像記録手段から出力された画像信号に上記第２の設定手段により設定された重み係数を乗算する第２の重み付け手段と、上記第２の設定手段により設定された処理区分毎に、上記第２の重み付け手段により重み係数が乗算された画像信号の総和を計算する第２の総和計算手段と、上記第２の総和計算手段の計算結果から１画素当りの平均値を計算し、その平均値を間引き画像の画像信号として出力する第２の間引き手段とを設けたことを特徴とする請求項６記載の画像処理装置。
【請求項９】
画像信号から動画を生成する動画処理手段を設けたことを特徴とする請求項１から請求項８のうちのいずれか１項記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、被写体の光学像を電気信号に変換し、その電気信号である画像信号に画像処理を施す画像処理装置に関するものである。
【背景技術】
【０００２】
近年、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）などの撮像素子から画像信号を取得するデジタルスチルカメラやデジタルビデオカメラの開発が盛んに行われている。
撮像素子は、コストの面から主に単板式のものが使用され、特にＲＧＢの３色からなる原色タイプの色フィルタアレイではベイヤー方式が使用されることが多く、Ｙｅ，Ｍｇ，Ｇ，Ｃｙからなる補足タイプの色フィルタアレイではフィールド色差順次方式が使用されることが多い。
【０００３】
これらは、いずれも水平方向では１画素おきに同色が配置され、垂直方向の２ライン分で全ての色成分が揃うタイプのものである。
このような撮像素子の高画素化が急速に進んでいる昨今では、画素数の増加によって画像データの読み出し時間が長くなり、特に高いフレームレートが必要な動画表示において問題となっている。この問題を解決するために、あらかじめ撮像素子の画像データを間引きすることで、読み出し時間を短縮することが必要となる。
【０００４】
従来の画像処理装置は、撮像素子から出力された画像信号の間引き処理を実施する水平成分のローパスフィルタと水平１／３間引き処理部を実装している。
即ち、水平成分のローパスフィルタは、第１のラインの緑の画素を注目画素として、（１，０，１，０，１）／３のフィルタをかける場合、緑の画素に“１”を乗算して、赤の画素に“０”を乗算し、それらの画素値の合計を“３”で除算することにより、注目画素となる緑の画素と、隣接する緑の画素との単純平均を算出する。
第１のラインの赤の画素が注目画素となる場合も同様に、注目画素となる赤の画素と、隣接する赤の画素との単純平均を算出する。同様にして、第２のラインの緑の画素と青の画素もフィルタリングする。
【０００５】
水平１／３間引き処理部は、水平成分の３画素毎に間引き処理を実施することにより、３画素おきの画素を注目画素として、その画素に隣接する同色の画素との単純平均を算出して、間引き画素群を生成する。
このように撮像素子から出力された画像信号を１／（２ｎ−１）、即ち、奇数分の１の間引き率で間引きすることにより、フレームレートを上げるようにしている（ｎは正の整数）。
これにより、間引き後に画像位相のずれがなく、折り返しの少ない間引き画像を得ることができる（例えば、特許文献１参照）。
【０００６】
【特許文献１】特開２００３−３３３６１０号公報（段落番号［００１５］、図６）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来の画像処理装置は以上のように構成されているので、撮像素子から出力された画像信号を１／（２ｎ−１）の間引き率で間引きすることができる。しかし、画像信号の間引き率が奇数分の１に固定化されているため、静止画処理動作まで含めたシステム全体を考慮して、柔軟に間引き率を変えることができない課題があった。また、柔軟に間引き率を変えることができないため、例えば、撮像素子の画素数が変更されると、画像信号の間引き処理を実施することにより、画質が劣化することがあるなどの課題があった。
【０００８】
この発明は上記のような課題を解決するためになされたもので、間引き率の指定を受け付けて、その間引き率で画像信号の間引き処理を実施することができる画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る画像処理装置は、指定された間引き率に応じて重み付け処理に係る各色成分の処理区分と重み係数を設定する設定手段を設け、その設定手段により設定された処理区分毎に、撮像手段から出力された画像信号に当該重み係数を乗算して、重み係数乗算後の画像信号の総和を計算するとともに、その画像信号の総和から１画素当りの平均値を計算し、その平均値を間引き画像の画像信号として出力するようにしたものである。
【発明の効果】
【００１０】
この発明によれば、指定された間引き率に応じて重み付け処理に係る各色成分の処理区分と重み係数を設定する設定手段を設け、その設定手段により設定された処理区分毎に、撮像手段から出力された画像信号に当該重み係数を乗算して、重み係数乗算後の画像信号の総和を計算するとともに、その画像信号の総和から１画素当りの平均値を計算し、その平均値を間引き画像の画像信号として出力するように構成したので、間引き率の指定を受け付けて、その間引き率で画像信号の間引き処理を実施することができるようになり、その結果、間引き処理の実施による画質劣化を最小限に抑制することができる効果がある。
【発明を実施するための最良の形態】
【００１１】
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図であり、図において、レンズ系１は被写体の光学像を撮像素子２に結像する。
撮像素子２は例えばＲＧＢ原色ベイヤー配列などの色フィルタアレイから構成されているＣＣＤやＣＭＯＳなどの撮像手段であり、撮像素子２はレンズ系１により結像された被写体の光学像を電気信号に変換して、その電気信号である画像信号を出力する処理を実施する。
また、撮像素子２は例えば静止画を記録する際に、すべての画素を読み出す全画素モードと、動画を表示する際に、垂直方向や水平方向の間引きを実施してフレームレートを高める高速モードを備えている。
例えば、この実施の形態１では、全画素モードでは水平３０００画素×垂直２３００ラインを読み出し、高速モードでは垂直方向の１０ライン中、４ラインを加算することにより水平３０００画素×垂直４６０ラインを読み出すものとする。
なお、撮像素子２は水平方向で１画素おきに同色が配置され、垂直２ライン分で全ての色成分が揃うタイプのものであれば、ベイヤー配列に限定する必要はなく、色フィルタに関してもＹｅ，Ｍｇ，Ｇ，Ｃｙの補色タイプのものを使用してもよい。
【００１２】
アナログ処理部３は撮像素子２を制御して、その撮像素子２から出力される画像信号を増幅するなどの処理を実施する。
Ａ／Ｄ変換部４はアナログ処理部３から出力されるアナログの画像信号をデジタル信号に変換し、デジタルの画像データを出力する処理を実施する。
カメラ信号処理部５はＡ／Ｄ変換部４から出力されたデジタルの画像データに対する前処理（例えば、領域クリップ処理、欠陥画素補正、デジタルクランプ、オートフォーカス処理など）を実施する。
【００１３】
間引き処理部６はカメラ信号処理部５により前処理された画像データに対して、指定された間引き率で間引き処理を実施する。
画像処理部７は画像データを一時的に記録して、その画像データに対する画像処理（例えば、二次元の畳み込み処理を行う色補間、エッジ補正などのフィルタ処理、その他、色補正処理など）を実施する。
調停回路８は画像データバス、間引き処理部６及び画像処理部７の間で、画像データのやりとりを制御する機能を備えている。
【００１４】
表示処理部９はＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示デバイスや、その表示デバイスを制御する制御処理部から構成され、例えば、画像処理部７による画像処理後の画像データにしたがって画像を表示するなどの処理を実施する。なお、表示処理部９は表示手段を構成している。
画像記録部１０は例えば撮像素子２の全画素モードによって撮像された静止画を記録するＳＤＲＡＭ（Ｓｙｎｃｈｒｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの画像記録手段である。
【００１５】
動画処理部１１はＭＰＥＧ４などの動画処理を実施して、調停回路８から出力された画像信号から動画を生成する処理を実施する。ただし、ＭＰＥＧ４などの動画処理に限るものではなく、例えばＭｏｔｉｏｎ  ＪＰＥＧのように静止画を連続的に表示させることで動画を生成するＪＰＥＧ処理を実施するようにしてもよい。なお、動画処理部１１は動画処理手段を構成している。
外部記録装置１２は画像データを記録するメモリカードや磁気ディスクなどの記録装置である。
【００１６】
図２はこの発明の実施の形態１による画像処理装置の画像処理部を示す構成図であり、図において、ラインメモリ２１は色補間処理部２３が同時に処理する必要がある複数ラインの画像データを一時的に記録するメモリである。
ラインメモリ２２はフィルタ処理部２４が同時に処理する必要がある複数ラインの画像データを一時的に記録するメモリである。
この実施の形態１では、説明の便宜上、ラインメモリ２１及びラインメモリ２２は、水平方向に関して、７６８画素分の記録容量を備えているものとする。なお、ラインメモリ２１及びラインメモリ２２から一時記録手段が構成されている。
色補間処理部２３はラインメモリ２１により一時的に記録された画像データから、各画素で不足している色成分を補間する処理を実施する。
フィルタ処理部２４はＨＰＦ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ）やＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）によってエッジ補正処理を実施する。なお、色補間処理部２３及びフィルタ処理部２４などから画像処理手段が構成されている。
【００１７】
図３はこの発明の実施の形態１による画像処理装置の間引き処理部を示す構成図であり、図において、設定回路３１は間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて重み付け処理に係る各色成分のタップ領域（処理区分）、重み係数などを設定する処理を実施する。ただし、設定回路３１は指定された間引き率が偶数分の１の間引き率であれば、色成分毎に異なる大きさのタップ領域と重み付け係数を設定し、指定された間引き率が奇数分の１の間引き率であれば、異なる色成分でも同じ大きさのタップ領域と重み付け係数を設定する。なお、設定回路３１は設定手段を構成している。
【００１８】
重み付け部３２は設定回路３１により設定されたタップ領域毎に、カメラ信号処理部５から出力された画像データに設定回路３１により設定された重み係数を乗算する処理を実施する。なお、重み付け部３２は重み付け手段を構成している。
加算部３３は設定回路３１により設定されたタップ領域毎に、重み付け部３２により重み係数が乗算された画像データの総和を計算する処理を実施する。なお、加算部３３は総和計算手段を構成している。
間引き部３４は加算部３３の計算結果から１画素当りの平均値を計算し、その平均値を間引き画像の画像データとして出力する処理を実施する。なお、間引き部３４は間引き手段を構成している。
【００１９】
次に動作について説明する。
最初に、静止画記録処理の動作について説明する。静止画記録処理は、撮像素子２から全画素、即ち、水平３０００画素×垂直２３００ラインを読み出し、ユーザが高品質の静止画像を得るための動作である。
撮像素子２は、図示しない制御用マイコン等から静止画記録処理の実行指令を受けると全画素モードになり、レンズ系１により結像された被写体の光学像を電気信号に変換して、その電気信号である画像信号（水平３０００画素×垂直２３００ラインの画像信号）をアナログ処理部３に出力する。
【００２０】
アナログ処理部３は、撮像素子２から画像信号を受けると、その画像信号を増幅するなどの処理を実施する。
Ａ／Ｄ変換部４は、アナログ処理部３からアナログの画像信号を受けると、その画像信号をデジタル信号に変換し、デジタルの画像データをカメラ信号処理部５に出力する。
カメラ信号処理部５は、Ａ／Ｄ変換部４からデジタルの画像データを受けると、その画像データに対する前処理を実施する。
例えば、領域クリップ処理、欠陥画素補正、デジタルクランプ、オートフォーカス処理などを実施する。
【００２１】
間引き処理部６は、カメラ信号処理部５から前処理後の画像データを受けても、全画素を使用する静止画記録の処理であるため、その画像データに対する間引き処理を実施せずに、その画像データを画像処理部７及び調停回路８に出力する。ただし、全画素を使用する静止画記録の処理であるため、画像処理部７は処理を停止しており、その画像データに対する画像処理を実施しない。
調停回路８は、間引き処理部６から画像データを受けると、その画像データを画像記録部１０に逐次転送して、その画像データを画像記録部１０に記録する。
これにより、画像記録部１０には、最終的に１フレーム分の画像データが記録されることになる。
【００２２】
この画像データは、１画素当り、ＲＧＢのいずれかの色成分しか持っていないため、不足する色成分を生成するための色補間処理と、さらに画質を高めるためのフィルタ処理などを施す必要がある。
このため、調停回路８は、１フレーム分の画像データを画像記録部１０に記録したのち、その画像データを画像処理部７に転送する。
ただし、画像処理部７のラインメモリ２１，２２は、上述したように、７６８画素分の記録容量しか備えておらず、水平３０００画素を一度に処理することができないので、調停回路８は、画像記録部１０に記録されている画像データを垂直方向に４分割して読み出して、水平７５０画素×垂直２３００ライン単位で、画像データを画像処理部７に転送する。
【００２３】
画像処理部７の色補間処理部２３は、調停回路８により転送された画像データがラインメモリ２１に一時的に記録されると、そのラインメモリ２１に記録されている画像データから、各画素で不足している色成分を補間する処理を実施する。
色補間処理部２３は、補間処理を終了すると、補間処理後の画像データをラインメモリ２２に記録する。
画像処理部７のフィルタ処理部２４は、補間処理後の画像データがラインメモリ２２に記録されると、ＨＰＦやＬＰＦによってエッジ補正処理を実施することにより、画像データの画質を高める処理を実施する。
なお、調停回路８による画像データの転送処理と、画像処理部７の色補間処理部２３及びフィルタ処理部２４による画像処理との一連の処理が、分割された画像データに対して合計４回実施されることにより、全画素の画像データが全て処理されることになる。
【００２４】
調停回路８は、画像処理部７のフィルタ処理部２４から画像処理後の画像データを受けると、再度、その画像データを画像記録部１０に記録するとともに、例えば、その画像データに対する圧縮処理等を実施してから、その画像データを外部記録装置１２に転送して、その画像データを外部記録装置１２に記録する。
これにより、ユーザは最終的な画像データを入手することが可能となる。この際、調停回路８が画像データを表示処理部９に転送して、表示処理部９が静止画像を表示すれば、外部記録装置１２に記録された画像データをユーザが確認することが可能になる。
【００２５】
次に、動画表示処理の動作について説明する。動画表示処理はユーザが被写体の画角合わせ等を行う際に実施する動作であり、撮像素子２における静止画像を実時間で処理して、滑らかに連続表示することにより実現する。
撮像素子２は、図示しない制御用マイコン等から動画表示処理の実行指令を受けると高速モードになり、レンズ系１により結像された被写体の光学像を電気信号に変換するとともに、その電気信号である画像信号に対する垂直方向や水平方向の間引きを実施して、水平３０００画素×垂直４６０ラインの画像信号をアナログ処理部３に出力する。
【００２６】
アナログ処理部３は、撮像素子２から画像信号を受けると、その画像信号を増幅するなどの処理を実施する。
Ａ／Ｄ変換部４は、アナログ処理部３からアナログの画像信号を受けると、その画像信号をデジタル信号に変換し、デジタルの画像データをカメラ信号処理部５に出力する。
カメラ信号処理部５は、Ａ／Ｄ変換部４からデジタルの画像データを受けると、その画像データに対する前処理を実施する。
例えば、領域クリップ処理、欠陥画素補正、デジタルクランプ、オートフォーカス処理などを実施する。
【００２７】
滑らかな動画表示を実現するには、画像処理部７がこの画像データに対する画像処理を実時間で実施する必要があるが、上述したように、ラインメモリ２１，２２が７６８画素分の記録容量しか備えておらず、水平３０００画素を一度に処理することができない。
そこで、間引き処理部６は、カメラ信号処理部５により前処理された画像データに対して、指定された間引き率で間引き処理を実施する。間引き処理部６の間引き処理によって水平７６８画素以下になった画像データは、画像処理部７のラインメモリ２１に一時的に記録される。
間引き処理部６における間引き処理の詳細については後述する。
【００２８】
画像処理部７の色補間処理部２３は、ラインメモリ２１に画像データが記録されると、その画像データから各画素で不足している色成分を補間する処理を実時間で実施する。
色補間処理部２３は、補間処理を終了すると、補間処理後の画像データをラインメモリ２２に記録する。
画像処理部７のフィルタ処理部２４は、補間処理後の画像データがラインメモリ２２に記録されると、ＨＰＦやＬＰＦによってエッジ補正処理を実時間で実施することにより、画像データの画質を高める処理を実施する。
【００２９】
調停回路８は、画像処理部７のフィルタ処理部２４から画像処理後の画像データを受けながら、逐次、その画像データを表示処理部９及び動画処理部１１に転送する。
表示処理部９は、調停回路８から１フレームの画像データを受けると、その画像データを連続して表示する。
これにより、ユーザは滑らかな動画表示を見ることが可能になる。
【００３０】
動画処理部１１は、調停回路８から１フレームの画像データを受けると、その画像データに対する動画処理を実施し、動画処理後の画像データをメモリカードなどの外部記録装置１２に転送する。
これにより、ユーザは最終的な画像データを入手することが可能となる。
【００３１】
ここで、間引き処理部６における間引き処理の詳細について説明する。
図４は間引き処理部６が処理するＲＧＢ色フィルタ配列を示す概念図である。
間引き処理部６の入力第１ラインはＧ，Ｒ，Ｇ，Ｒ・・・、第２ラインはＢ，Ｇ，Ｂ，Ｇ・・・の順番となり、以降、これを２ライン単位で繰り返すものである。
図５は間引き処理部６が４分の１間引き処理で実施する重み付け部３２、加算部３３、間引き部３４の処理内容を示す説明図である。
図５の上半分はＧＲ成分を処理するｎライン目の処理、下半分はＢＧ成分を処理するｎ＋１ライン目の処理を示している。
【００３２】
最初に、図５のＧＲ成分を間引き処理するｎライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が４分の１間引き処理を示す場合、ｎライン目のＧ成分については入力４画素、Ｒ成分については入力５画素をタップ領域に設定する。また、Ｇ成分の入力４画素に対して１：１：１：１の重み係数、Ｒ成分の入力５画素に対して１：２：２：２：１の重み係数を設定する。
【００３３】
なお、Ｇ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ4の４画素を１つの処理区分に設定して、Ｇ5からＧ8の４画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｒ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｒ2からＲ6の５画素を１つの処理区分に設定して、Ｒ6からＲ10の５画素を１つの処理区分に設定し、同一の画素Ｒ6が２つの重み係数処理で参照されるように、タップ領域が設定される。
【００３４】
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｇ1，Ｇ2，Ｇ3，Ｇ4の画像データには“１”をそれぞれ乗算する。また、Ｒ2とＲ6の画像データには“１”をそれぞれ乗算し、Ｒ3，Ｒ4，Ｒ5の画像データには“２”をそれぞれ乗算する。
【００３５】
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｇ1，Ｇ2，Ｇ3，Ｇ4の画像データの総和Ｇaを計算し、Ｒ2，Ｒ3，Ｒ4，Ｒ5，Ｒ6の画像データの総和Ｒaを計算する。
【００３６】
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｇa，Ｒaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｇ成分については、総和Ｇaに１／４（＝１／（１＋１＋１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算し、Ｒ成分については、総和Ｒaに１／８（＝１／（１＋２＋２＋２＋１））を乗算して、Ｒ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＧ，Ｒとして画像処理部７及び調停回路８に出力する。
このように、Ｇ成分とＲ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
【００３７】
次に、図５のＢＧ成分を間引き処理するｎ＋１ライン目の処理内容について説明する。
ただし、この実施の形態１では、同一ラインの色成分、つまりｎライン目のＧかＲ、あるいは、ｎ＋１ライン目のＢかＧについては異なる処理を実施しているが、異なるライン間でのＲＧＢ３色の色成分は考慮しない。したがって、Ｂ1、Ｇ1、Ｂ2、Ｇ2、Ｂ3、Ｇ3の順番で入力されるｎ＋１ライン目についても、ｎライン目と同様の動作となる。
即ち、間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が４分の１間引き処理を示す場合、ｎ＋１ライン目のＢ成分については入力４画素、Ｇ成分については入力５画素をタップ領域に設定する。また、Ｂ成分の入力４画素に対して１：１：１：１の重み係数、Ｇ成分の入力５画素に対して１：２：２：２：１の重み係数を設定する。
【００３８】
なお、Ｂ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｂ1からＢ4の４画素を１つの処理区分に設定して、Ｂ5からＢ8の４画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｇ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｇ2からＧ6の５画素を１つの処理区分に設定して、Ｇ6からＧ10の５画素を１つの処理区分に設定し、同一の画素Ｇ6が２つの重み係数処理で参照されるように、タップ領域が設定される。
【００３９】
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎ＋１ライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎ＋１ライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｂ1，Ｂ2，Ｂ3，Ｂ4の画像データには“１”をそれぞれ乗算する。また、Ｇ2とＧ6の画像データには“１”をそれぞれ乗算し、Ｇ3，Ｇ4，Ｇ5の画像データには“２”をそれぞれ乗算する。
【００４０】
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｂ1，Ｂ2，Ｂ3，Ｂ4の画像データの総和Ｂaを計算し、Ｇ2，Ｇ3，Ｇ4，Ｇ5，Ｇ6の画像データの総和Ｇaを計算する。
【００４１】
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｂa，Ｇaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｂ成分については、総和Ｂaに１／４（＝１／（１＋１＋１＋１））を乗算して、Ｂ成分の１画素当りの平均値を計算し、Ｇ成分については、総和Ｇaに１／８（＝１／（１＋２＋２＋２＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＢ，Ｇとして画像処理部７及び調停回路８に出力する。
このように、Ｂ成分とＧ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
【００４２】
各ラインにおいて、同様の処理を実施するため、垂直方向についても間引き画像の空間配置が等間隔となる。
入力される全ての画素データを使用し、間引き画像の水平方向及び垂直方向の空間配置を等間隔にすることで、間引きによる画質劣化を最小限に抑えることが可能となる。
【００４３】
ここまでは、ラインメモリ２１，２２が７６８画素分の記録容量を備え、撮像素子２の水平画素数が３０００画素である場合において、４分の１間引き処理を実施するものについて示したが、ここからはシステムに搭載する撮像素子２の画素数が変更になった場合を想定し、異なる間引き率を適用した処理内容について説明する。
例えば、撮像素子２の水平画素数が１５００画素の場合、上述した４分の１間引き処理を適用しても問題ないが、画質劣化を最小限に抑えるには、極力、間引き率を低くすることが望ましい。
【００４４】
そこで、間引き処理部６が制御信号にしたがって水平画素数の２分の１間引き処理を実施するものとする。
図６は間引き処理部６が２分の１間引き処理で実施する重み付け部３２、加算部３３、間引き部３４の処理内容を示す説明図である。
図６の上半分はＧＲ成分を処理するｎライン目の処理、下半分はＢＧ成分を処理するｎ＋１ライン目の処理を示している。
【００４５】
最初に、図６のＧＲ成分を間引き処理するｎライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が２分の１間引き処理を示す場合、ｎライン目のＧ成分については入力２画素、Ｒ成分については入力３画素をタップ領域に設定する。また、Ｇ成分の入力２画素に対して１：１の重み係数、Ｒ成分の入力３画素に対して１：２：１の重み係数を設定する。
【００４６】
なお、Ｇ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ2の２画素を１つの処理区分に設定して、Ｇ3からＧ4の２画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｒ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｒ1からＲ3の３画素を１つの処理区分に設定して、Ｒ3からＲ5の３画素を１つの処理区分に設定し、同一の画素Ｒ3が２つの重み係数処理で参照されるように、タップ領域が設定される。
【００４７】
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｇ1，Ｇ2の画像データには“１”をそれぞれ乗算する。また、Ｒ1とＲ3の画像データには“１”をそれぞれ乗算し、Ｒ2の画像データには“２”を乗算する。
【００４８】
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｇ1，Ｇ2の画像データの総和Ｇaを計算し、Ｒ1，Ｒ2，Ｒ3の画像データの総和Ｒaを計算する。
【００４９】
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｇa，Ｒaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｇ成分については、総和Ｇaに１／２（＝１／（１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算し、Ｒ成分については、総和Ｒaに１／４（＝１／（１＋２＋１））を乗算して、Ｒ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＧ，Ｒとして画像処理部７及び調停回路８に出力する。
このように、Ｇ成分とＲ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
【００５０】
次に、図６のＢＧ成分を間引き処理するｎ＋１ライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が２分の１間引き処理を示す場合、ｎ＋１ライン目のＢ成分については入力２画素、Ｇ成分については入力３画素をタップ領域に設定する。また、Ｂ成分の入力２画素に対して１：１の重み係数、Ｇ成分の入力３画素に対して１：２：１の重み係数を設定する。
【００５１】
なお、Ｂ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｂ1からＢ2の２画素を１つの処理区分に設定して、Ｂ3からＢ4の２画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｇ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｇ1からＧ3の３画素を１つの処理区分に設定して、Ｇ3からＧ5の３画素を１つの処理区分に設定し、同一の画素Ｇ3が２つの重み係数処理で参照されるように、タップ領域が設定される。
【００５２】
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎ＋１ライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎ＋１ライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｂ1，Ｂ2の画像データには“１”をそれぞれ乗算する。また、Ｇ1とＧ3の画像データには“１”をそれぞれ乗算し、Ｇ2の画像データには“２”を乗算する。
【００５３】
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｂ1，Ｂ2の画像データの総和Ｂaを計算し、Ｇ1，Ｇ2，Ｇ3の画像データの総和Ｇaを計算する。
【００５４】
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｂa，Ｇaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｂ成分については、総和Ｂaに１／２（＝１／（１＋１））を乗算して、Ｂ成分の１画素当りの平均値を計算し、Ｇ成分については、総和Ｇaに１／４（＝１／（１＋２＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＢ，Ｇとして画像処理部７及び調停回路８に出力する。
このように、Ｂ成分とＧ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
【００５５】
各ラインにおいて、同様の処理を実施するため、垂直方向についても間引き画像の空間配置が等間隔となる。
入力される全ての画素データを使用し、間引き画像の水平方向及び垂直方向の空間配置を等間隔にすることで、間引きによる画質劣化を最小限に抑えることが可能となる。
【００５６】
次に、撮像素子２の水平画素数が２０００画素である場合について説明する。
この場合、間引き処理部６が、制御信号に基づいて水平画素数の３分の１間引き処理を実施するものとする。
図７は間引き処理部６が３分の１間引き処理で実施する重み付け部３２、加算部３３、間引き部３４の処理内容を示す説明図である。
図７の上半分はＧＲ成分を処理するｎライン目の処理、下半分はＢＧ成分を処理するｎ＋１ライン目の処理を示している。
【００５７】
最初に、図７のＧＲ成分を間引き処理するｎライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が３分の１間引き処理を示す場合、ｎライン目のＧ成分については入力３画素、Ｒ成分については入力３画素をタップ領域に設定する。また、Ｇ成分の入力３画素に対して１：１：１の重み係数、Ｒ成分の入力３画素に対して１：１：１の重み係数を設定する。
【００５８】
なお、Ｇ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ3の３画素を１つの処理区分に設定して、Ｇ4からＧ6の３画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
また、Ｒ成分の重み係数処理に使用するタップ領域についても、複数のタップ領域が相互に重ならないように設定される。例えば、Ｒ1からＲ3の３画素を１つの処理区分に設定して、Ｒ4からＲ6の３画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
【００５９】
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｇ1，Ｇ2，Ｇ3の画像データには“１”をそれぞれ乗算する。また、Ｒ1，Ｒ2，Ｒ3の画像データには“１”をそれぞれ乗算する。
【００６０】
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｇ1，Ｇ2，Ｇ3の画像データの総和Ｇaを計算し、Ｒ1，Ｒ2，Ｒ3の画像データの総和Ｒaを計算する。
【００６１】
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｇa，Ｒaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｇ成分については、総和Ｇaに１／３（＝１／（１＋１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算し、Ｒ成分については、総和Ｒaに１／３（＝１／（１＋１＋１））を乗算して、Ｒ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＧ，Ｒとして画像処理部７及び調停回路８に出力する。
このように、Ｇ成分とＲ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
【００６２】
次に、図７のＢＧ成分を間引き処理するｎ＋１ライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が３分の１間引き処理を示す場合、ｎ＋１ライン目のＢ成分については入力３画素、Ｇ成分については入力３画素をタップ領域に設定する。また、Ｂ成分の入力３画素に対して１：１：１の重み係数、Ｇ成分の入力３画素に対して１：１：１の重み係数を設定する。
【００６３】
なお、Ｂ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｂ1からＢ3の３画素を１つの処理区分に設定して、Ｂ4からＢ6の３画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
また、Ｇ成分の重み係数処理に使用するタップ領域についても、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ3の３画素を１つの処理区分に設定して、Ｇ4からＧ6の３画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
【００６４】
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎ＋１ライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎ＋１ライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｂ1，Ｂ2，Ｂ3の画像データには“１”をそれぞれ乗算する。また、Ｇ1，Ｇ2，Ｇ3の画像データには“１”をそれぞれ乗算する。
【００６５】
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｂ1，Ｂ2，Ｂ3の画像データの総和Ｂaを計算し、Ｇ1，Ｇ2，Ｇ3の画像データの総和Ｇaを計算する。
【００６６】
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｂa，Ｇaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｂ成分については、総和Ｂaに１／３（＝１／（１＋１＋１））を乗算して、Ｂ成分の１画素当りの平均値を計算し、Ｇ成分については、総和Ｇaに１／３（＝１／（１＋１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＢ，Ｇとして画像処理部７及び調停回路８に出力する。
このように、Ｂ成分とＧ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
【００６７】
各ラインにおいて、同様の処理を実施するため、垂直方向についても間引き画像の空間配置が等間隔となる。
入力される全ての画素データを使用し、間引き画像の水平方向及び垂直方向の空間配置を等間隔にすることで、間引きによる画質劣化を最小限に抑えることが可能となる。
【００６８】
次に、撮像素子２の水平画素数が３５００画素である場合について説明する。
この場合、間引き処理部６が、制御信号に基づいて水平画素数の５分の１間引き処理を実施するものとする。
図８は間引き処理部６が５分の１間引き処理で実施する重み付け部３２、加算部３３、間引き部３４の処理内容を示す説明図である。
図８の上半分はＧＲ成分を処理するｎライン目の処理、下半分はＢＧ成分を処理するｎ＋１ライン目の処理を示している。
【００６９】
最初に、図８のＧＲ成分を間引き処理するｎライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が５分の１間引き処理を示す場合、ｎライン目のＧ成分については入力５画素、Ｒ成分については入力５画素をタップ領域に設定する。また、Ｇ成分の入力５画素に対して１：１：１：１：１の重み係数、Ｒ成分の入力５画素に対して１：１：１：１：１の重み係数を設定する。
【００７０】
なお、Ｇ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ5の５画素を１つの処理区分に設定して、Ｇ6からＧ10の５画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
また、Ｒ成分の重み係数処理に使用するタップ領域についても、複数のタップ領域が相互に重ならないように設定される。例えば、Ｒ1からＲ5の５画素を１つの処理区分に設定して、Ｒ6からＲ10の５画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
【００７１】
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｇ1，Ｇ2，Ｇ3，Ｇ4，Ｇ5の画像データには“１”をそれぞれ乗算する。また、Ｒ1，Ｒ2，Ｒ3，Ｒ4，Ｒ5の画像データには“１”をそれぞれ乗算する。
【００７２】
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｇ1，Ｇ2，Ｇ3，Ｇ4，Ｇ5の画像データの総和Ｇaを計算し、Ｒ1，Ｒ2，Ｒ3，Ｒ4，Ｒ5の画像データの総和Ｒaを計算する。
【００７３】
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｇa，Ｒaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｇ成分については、総和Ｇaに１／５（＝１／（１＋１＋１＋１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算し、Ｒ成分については、総和Ｒaに１／５（＝１／（１＋１＋１＋１＋１））を乗算して、Ｒ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＧ，Ｒとして画像処理部７及び調停回路８に出力する。
このように、Ｇ成分とＲ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
【００７４】
次に、図８のＢＧ成分を間引き処理するｎ＋１ライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が５分の１間引き処理を示す場合、ｎ＋１ライン目のＢ成分については入力５画素、Ｇ成分については入力５画素をタップ領域に設定する。また、Ｂ成分の入力５画素に対して１：１：１：１：１の重み係数、Ｇ成分の入力５画素に対して１：１：１：１：１の重み係数を設定する。
【００７５】
なお、Ｂ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｂ1からＢ5の５画素を１つの処理区分に設定して、Ｂ6からＢ10の５画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
また、Ｇ成分の重み係数処理に使用するタップ領域についても、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ5の５画素を１つの処理区分に設定して、Ｇ6からＧ10の５画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
【００７６】
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎ＋１ライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎ＋１ライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｂ1，Ｂ2，Ｂ3，Ｂ4，Ｂ5の画像データには“１”をそれぞれ乗算する。また、Ｇ1，Ｇ2，Ｇ3，Ｇ4，Ｇ5の画像データには“１”をそれぞれ乗算する。
【００７７】
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｂ1，Ｂ2，Ｂ3，Ｂ4，Ｂ5の画像データの総和Ｂaを計算し、Ｇ1，Ｇ2，Ｇ3，Ｇ4，Ｇ5の画像データの総和Ｇaを計算する。
【００７８】
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｂa，Ｇaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｂ成分については、総和Ｂaに１／５（＝１／（１＋１＋１＋１＋１））を乗算して、Ｂ成分の１画素当りの平均値を計算し、Ｇ成分については、総和Ｇaに１／５（＝１／（１＋１＋１＋１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＢ，Ｇとして画像処理部７及び調停回路８に出力する。
このように、Ｂ成分とＧ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
【００７９】
各ラインにおいて、同様の処理を実施するため、垂直方向についても間引き画像の空間配置が等間隔となる。
入力される全ての画素データを使用し、間引き画像の水平方向及び垂直方向の空間配置を等間隔にすることで、間引きによる画質劣化を最小限に抑えることが可能となる。
【００８０】
以上で明らかなように、この実施の形態１によれば、指定された間引き率に応じて重み付け処理に係る各色成分の処理区分と重み係数を設定する設定回路３１を設け、その設定回路３１により設定された処理区分毎に、撮像素子２から出力された画像信号に当該重み係数を乗算して、重み係数乗算後の画像信号の総和を計算するとともに、その画像信号の総和から１画素当りの平均値を計算し、その平均値を間引き画像の画像信号として出力するように構成したので、間引き率の指定を受け付けて、その間引き率で画像信号の間引き処理を実施することができるようになり、その結果、間引き処理の実施による画質劣化を最小限に抑制することができる効果を奏する。
【００８１】
また、この実施の形態１によれば、指定された間引き率が偶数分の１の間引き率（例えば、２分の１、４分の１の間引き率）であれば、色成分毎に異なる大きさの処理区分と重み付け係数を設定し、指定された間引き率が奇数分の１の間引き率（例えば、３分の１、５分の１の間引き率）であれば、異なる色成分でも同じ大きさの処理区分と重み付け係数を設定するように構成したので、間引き画像における水平方向及び垂直方向の空間を等間隔に配置することができる効果を奏する。
【００８２】
また、この実施の形態１によれば、ラインメモリ２１，２２の記録画素数が、撮像素子２の水平画素数より少ない画素数で構成されているので、水平方向の記録容量が少ないラインメモリ２１，２２を使用することができる効果を奏する。
【００８３】
さらに、この実施の形態１によれば、画像処理部７が静止画記録処理を実施する場合、ラインメモリ２１，２２が画像記録部１０から出力された画像信号を一時的に記録し、画像処理部７が実時間処理を実施する場合、ラインメモリ２１，２２が間引き処理部６から出力された画像信号を一時的に記録するように構成したので、静止画記録処理と動画表示処理のいずれにも対応することができる効果を奏する。
【００８４】
実施の形態２．
上記実施の形態１では、間引き処理部６の設定回路３１が指定された間引き率に応じて各色成分のタップ領域（処理区分）と重み係数を設定するものについて示したが、その際、輝度成分が最大の色成分を判別し、その色成分における複数のタップ領域（処理区分）が相互に重ならないように、その色成分のタップ領域を設定するようにしてもよい。
【００８５】
即ち、人間の目の視覚特性は、色よりも明るさに対して広いダイナミックレンジを有しているので、この実施の形態２では、設定回路３１が明度の情報を表す輝度信号の寄与する割合が大きいＧ成分を判定し、Ｇ成分における複数のタップ領域が相互に重ならないように、そのＧ成分のタップ領域を設定するようにする。
図９は間引き処理部６が４分の１間引き処理で実施する重み付け部３２、加算部３３、間引き部３４の処理内容を示す説明図である。
図９の上半分はＧＲ成分を処理するｎライン目の処理、下半分はＢＧ成分を処理するｎ＋１ライン目の処理を示している。
【００８６】
最初に、図９のＧＲ成分を間引き処理するｎライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が４分の１間引き処理を示す場合、ｎライン目のＧ成分については入力４画素、Ｒ成分については入力５画素をタップ領域に設定する。また、Ｇ成分の入力４画素に対して１：１：１：１の重み係数、Ｒ成分の入力５画素に対して１：２：２：２：１の重み係数を設定する。
【００８７】
なお、Ｇ成分の重み係数処理に使用するタップ領域については、ＲＧＢの色成分の中で、Ｇ成分が輝度信号の寄与する割合が最も大きいので、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ4の４画素を１つの処理区分に設定して、Ｇ5からＧ8の４画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｒ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｒ2からＲ6の５画素を１つの処理区分に設定して、Ｒ6からＲ10の５画素を１つの処理区分に設定し、同一の画素Ｒ6が２つの重み係数処理で参照されるように、タップ領域が設定される。
この実施の形態２では、輝度信号の寄与する割合が大きいＧ成分を判定し、Ｇ成分における複数のタップ領域が相互に重ならないように、そのＧ成分のタップ領域を設定しているが、図９の例では、ｎライン目の処理が図５の例と同じになっている。
【００８８】
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｇ1，Ｇ2，Ｇ3，Ｇ4の画像データには“１”をそれぞれ乗算する。また、Ｒ2とＲ6の画像データには“１”をそれぞれ乗算し、Ｒ3，Ｒ4，Ｒ5の画像データには“２”をそれぞれ乗算する。
【００８９】
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｇ1，Ｇ2，Ｇ3，Ｇ4の画像データの総和Ｇaを計算し、Ｒ2，Ｒ3，Ｒ4，Ｒ5，Ｒ6の画像データの総和Ｒaを計算する。
【００９０】
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｇa，Ｒaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｇ成分については、総和Ｇaに１／４（＝１／（１＋１＋１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算し、Ｒ成分については、総和Ｒaに１／８（＝１／（１＋２＋２＋２＋１））を乗算して、Ｒ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＧ，Ｒとして画像処理部７及び調停回路８に出力する。
このように、Ｇ成分とＲ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
【００９１】
次に、図９のＢＧ成分を間引き処理するｎ＋１ライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が４分の１間引き処理を示す場合、ｎ＋１ライン目のＢ成分については入力５画素、Ｇ成分については入力４画素をタップ領域に設定する。また、Ｂ成分の入力５画素に対して１：２：２：２：１の重み係数、Ｇ成分の入力５画素に対して１：１：１：１の重み係数を設定する。
【００９２】
なお、Ｇ成分の重み係数処理に使用するタップ領域については、ＲＧＢの色成分の中で、Ｇ成分が輝度信号の寄与する割合が最も大きいので、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ3からＧ6の４画素を１つの処理区分に設定して、Ｇ7からＧ10の４画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｂ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｂ1からＢ5の５画素を１つの処理区分に設定して、Ｂ5からＢ9の５画素を１つの処理区分に設定し、同一の画素Ｂ5が２つの重み係数処理で参照されるように、タップ領域が設定される。
【００９３】
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎ＋１ライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎ＋１ライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｂ1とＢ5の画像データには“１”をそれぞれ乗算し、Ｂ2，Ｂ3，Ｂ4の画像データには“２”をそれぞれ乗算する。また、Ｇ3，Ｇ4，Ｇ5，Ｇ6の画像データには“１”をそれぞれ乗算する。
【００９４】
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｂ1，Ｂ2，Ｂ3，Ｂ4，Ｂ5の画像データの総和Ｂaを計算し、Ｇ3，Ｇ4，Ｇ5，Ｇ6の画像データの総和Ｇaを計算する。
【００９５】
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｂa，Ｇaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｂ成分については、総和Ｂaに１／８（＝１／（１＋２＋２＋２＋１））を乗算して、Ｂ成分の１画素当りの平均値を計算し、Ｇ成分については、総和Ｇaに１／４（＝１／（１＋１＋１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＢ，Ｇとして画像処理部７及び調停回路８に出力する。
このように、Ｂ成分とＧ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
【００９６】
入力される全ての画素データを使用し、間引き画像の水平方向の空間配置を等間隔にすることで、間引きによる画質劣化を最小限に抑えることが可能となる。
【００９７】
ここでは、４分の１間引き処理を実施するものについて説明したが、その他の間引き率でも適用可能である。
図１０は間引き処理部６が２分の１間引き処理で実施する重み付け部３２、加算部３３、間引き部３４の処理内容を示す説明図である。
図１０の上半分はＧＲ成分を処理するｎライン目の処理、下半分はＢＧ成分を処理するｎ＋１ライン目の処理を示している。
【００９８】
最初に、図１０のＧＲ成分を間引き処理するｎライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が２分の１間引き処理を示す場合、ｎライン目のＧ成分については入力２画素、Ｒ成分については入力３画素をタップ領域に設定する。また、Ｇ成分の入力２画素に対して１：１の重み係数、Ｒ成分の入力３画素に対して１：２：１の重み係数を設定する。
【００９９】
なお、Ｇ成分の重み係数処理に使用するタップ領域については、ＲＧＢの色成分の中で、Ｇ成分が輝度信号の寄与する割合が最も大きいので、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ2の２画素を１つの処理区分に設定して、Ｇ3からＧ4の２画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｒ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｒ1からＲ3の３画素を１つの処理区分に設定して、Ｒ3からＲ5の３画素を１つの処理区分に設定し、同一の画素Ｒ3が２つの重み係数処理で参照されるように、タップ領域が設定される。
この実施の形態２では、輝度信号の寄与する割合が大きいＧ成分を判定し、Ｇ成分における複数のタップ領域が相互に重ならないように、そのＧ成分のタップ領域を設定しているが、図１０の例では、ｎライン目の処理が図６の例と同じになっている。
【０１００】
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｇ1，Ｇ2の画像データには“１”をそれぞれ乗算する。また、Ｒ1とＲ3の画像データには“１”をそれぞれ乗算し、Ｒ2の画像データには“２”を乗算する。
【０１０１】
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｇ1，Ｇ2の画像データの総和Ｇaを計算し、Ｒ1，Ｒ2，Ｒ3の画像データの総和Ｒaを計算する。
【０１０２】
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｇa，Ｒaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｇ成分については、総和Ｇaに１／２（＝１／（１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算し、Ｒ成分については、総和Ｒaに１／４（＝１／（１＋２＋１））を乗算して、Ｒ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＧ，Ｒとして画像処理部７及び調停回路８に出力する。
このように、Ｇ成分とＲ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
【０１０３】
次に、図１０のＢＧ成分を間引き処理するｎ＋１ライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が２分の１間引き処理を示す場合、ｎ＋１ライン目のＢ成分については入力３画素、Ｇ成分については入力２画素をタップ領域に設定する。また、Ｂ成分の入力３画素に対して１：２：１の重み係数、Ｇ成分の入力２画素に対して１：１の重み係数を設定する。
【０１０４】
なお、Ｇ成分の重み係数処理に使用するタップ領域については、ＲＧＢの色成分の中で、Ｇ成分が輝度信号の寄与する割合が最も大きいので、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ2からＧ3の２画素を１つの処理区分に設定して、Ｇ4からＧ5の２画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｂ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｂ1からＢ3の３画素を１つの処理区分に設定して、Ｂ3からＢ5の３画素を１つの処理区分に設定し、同一の画素Ｂ3が２つの重み係数処理で参照されるように、タップ領域が設定される。
【０１０５】
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎ＋１ライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎ＋１ライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｂ1とＢ3の画像データには“１”をそれぞれ乗算し、Ｂ2の画像データには“２”を乗算する。また、Ｇ2，Ｇ3の画像データには“１”をそれぞれ乗算する。
【０１０６】
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｂ1，Ｂ2，Ｂ3の画像データの総和Ｂaを計算し、Ｇ2，Ｇ3の画像データの総和Ｇaを計算する。
【０１０７】
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｂa，Ｇaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｂ成分については、総和Ｂaに１／４（＝１／（１＋２＋１））を乗算して、Ｂ成分の１画素当りの平均値を計算し、Ｇ成分については、総和Ｇaに１／２（＝１／（１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＢ，Ｇとして画像処理部７及び調停回路８に出力する。
このように、Ｂ成分とＧ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
【０１０８】
入力される全ての画素データを使用し、間引き画像の水平方向の空間配置を等間隔にすることで、間引きによる画質劣化を最小限に抑えることが可能となる。
【０１０９】
以上で明らかなように、この実施の形態２によれば、間引き処理部６の設定回路３１が指定された間引き率に応じて各色成分のタップ領域と重み係数を設定する際、輝度信号の寄与する割合が最も大きいＧ成分を判別し、そのＧ成分における複数のタップ領域が相互に重ならないように、そのＧ成分のタップ領域を設定するように構成したので、全てのＧ成分の画素データが使用され、かつ、参照画素が重複することがないように間引き処理が実施されるようになり、その結果、画像がぼやけてシャープさを失うことを最小限に抑制することができる効果を奏する。
これにより、人間の目の視覚特性を考慮した優れた動画像をユーザに提供することが可能となる。また、システムに搭載する撮像素子２の画素数や、ラインメモリ２１，２２の水平方向の記録容量が変更になっても、システム構成に合わせた柔軟な間引き処理が可能になる。
【０１１０】
実施の形態３．
図１１はこの発明の実施の形態３による画像処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
全画素用データバス１３はカメラ信号処理部５と調停回路８間を接続し、カメラ信号処理部５から出力される画像データを調停回路８に転送する。
【０１１１】
次に動作について説明する。
ただし、動画表示処理の動作は上記実施の形態１と同様であるため説明を省略し、静止画記録処理の動作についてのみ説明する。静止画記録処理は、撮像素子２から全画素、即ち、水平３０００画素×垂直２３００ラインを読み出し、ユーザが高品質の静止画像を得るための動作である。
撮像素子２は、図示しない制御用マイコン等から静止画記録処理の実行指令を受けると全画素モードになり、レンズ系１により結像された被写体の光学像を電気信号に変換して、その電気信号である画像信号（水平３０００画素×垂直２３００ラインの画像信号）をアナログ処理部３に出力する。
【０１１２】
アナログ処理部３は、撮像素子２から画像信号を受けると、その画像信号を増幅するなどの処理を実施する。
Ａ／Ｄ変換部４は、アナログ処理部３からアナログの画像信号を受けると、その画像信号をデジタル信号に変換し、デジタルの画像データをカメラ信号処理部５に出力する。
カメラ信号処理部５は、Ａ／Ｄ変換部４からデジタルの画像データを受けると、その画像データに対する前処理を実施する。
例えば、領域クリップ処理、欠陥画素補正、デジタルクランプ、オートフォーカス処理などを実施する。
【０１１３】
全画素を使用する静止画記録処理であるため、カメラ信号処理部５により前処理された画像データは、全画素用データバス１３経由で調停回路８に送出され、さらに調停回路８により画像記録部１０に逐次転送されて記録される。
【０１１４】
並行して、間引き処理部６は、カメラ信号処理部５から前処理後の画像データを受けると、間引き処理を実施して、水平７６８画素以下の画像データを調停回路８に出力する。
間引き処理部６から出力された画像データは、調停回路８により画像記録部１０に逐次転送されて記録される。
ただし、このとき画像処理部７は処理を停止している状態である。
【０１１５】
これにより、画像記録部１０には、最終的に１フレーム分の全画素データと水平画素数が例えば４分の１に間引きされた画像データが記録されることになる。
これらの画像データは、１画素当り、ＲＧＢのいずれかの色成分しか持っていないため、不足する色成分を生成するための色補間処理と、さらに画質を高めるためのフィルタ処理などを施す必要がある。
このため、調停回路８は、１フレーム分の間引きされた画像データを画像記録部１０に記録したのち、１フレーム分の間引きされた画像データを画像処理部７に転送する。
なお、この画像データは水平画素数が７６８画素以下に間引きされており、画像処理部７が水平方向を一度に処理することが可能である。
【０１１６】
画像処理部７の色補間処理部２３は、調停回路８により転送された画像データがラインメモリ２１に一時的に記録されると、そのラインメモリ２１に記録されている画像データから、各画素で不足している色成分を補間する処理を実施する。
色補間処理部２３は、補間処理を終了すると、補間処理後の画像データをラインメモリ２２に記録する。
画像処理部７のフィルタ処理部２４は、補間処理後の画像データがラインメモリ２２に記録されると、ＨＰＦやＬＰＦによってエッジ補正処理を実施することにより、画像データの画質を高める処理を実施する。
調停回路８は、画像処理部７のフィルタ処理部２４から画像処理後の画像データを受けながら、その画像データを表示処理部９に転送する。
【０１１７】
その後、調停回路８は、画像記録部１０に記録されている全画像データを画像処理部７に転送する。
ただし、画像処理部７のラインメモリ２１，２２は、上述したように、７６８画素分の記録容量しか備えておらず、水平３０００画素を一度に処理することができないので、調停回路８は、画像記録部１０に記録されている画像データを垂直方向に４分割して読み出して、水平７５０画素×垂直２３００ライン単位で、画像データを画像処理部７に転送する。
【０１１８】
画像処理部７の色補間処理部２３は、調停回路８により転送された画像データがラインメモリ２１に一時的に記録されると、そのラインメモリ２１に記録されている画像データから、各画素で不足している色成分を補間する処理を実施する。
色補間処理部２３は、補間処理を終了すると、補間処理後の画像データをラインメモリ２２に記録する。
画像処理部７のフィルタ処理部２４は、補間処理後の画像データがラインメモリ２２に記録されると、ＨＰＦやＬＰＦによってエッジ補正処理を実施することにより、画像データの画質を高める処理を実施する。
なお、調停回路８による画像データの転送処理と、画像処理部７の色補間処理部２３及びフィルタ処理部２４による画像処理との一連の処理が、分割された画像データに対して合計４回実施されることにより、全画素の画像データが全て処理されることになる。
【０１１９】
調停回路８は、画像処理部７のフィルタ処理部２４から画像処理後の画像データを受けると、再度、その画像データを画像記録部１０に記録するとともに、例えば、その画像データに対する圧縮処理等を実施してから、その画像データを外部記録装置１２に転送して、その画像データを外部記録装置１２に記録する。
これにより、ユーザは最終的な画像データを入手することが可能となる。
【０１２０】
このように全画素を使用した最終的な記録画像データを処理する前に、あらかじめ間引き画像データを画像記録部１０に記録して表示することにより、ユーザはいち早く外部記録装置１２に記録される画像を確認することが可能となる。
なお、この実施の形態３では、水平方向の間引き処理について詳細に言及しているが、垂直方向についても同様の間引き処理を実施することにより、画像処理部７において処理するライン数が削減されるため、表示までの時間をさらに短縮することが可能になる。
【０１２１】
また、間引き画像データを表示処理部９だけでなく、画像記録部１０にも転送を行うことで縮小画像、いわゆるサムネイル画像の記録を並行して行うことができ、画像処理装置としての処理時間をさらに短縮することが可能となる。
また、この実施の形態３での間引き処理方法は、上記実施の形態１又は上記実施の形態２のいずれの処理方法でもよく、間引き率についても表示サイズやサムネイル画像サイズに合わせて変更することで、様々な画像処理装置に柔軟に対応することができる。
【０１２２】
実施の形態４．
図１２はこの発明の実施の形態４による画像処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
第２の間引き処理部１４は画像記録部１０に記録された画像データに対して、指定された間引き率で間引き処理を実施する。
【０１２３】
図１３はこの発明の実施の形態４による画像処理装置の第２の間引き処理部を示す構成図であり、図において、第２の設定回路４１は間引き率を指定する第２の制御信号を受けると、その制御信号が示す間引き率に応じて重み付け処理に係る各色成分のタップ領域（処理区分）、重み係数などを設定する処理を実施する。ただし、第２の設定回路４１は指定された間引き率が偶数分の１の間引き率であれば、色成分毎に異なる大きさのタップ領域と重み付け係数を設定し、指定された間引き率が奇数分の１の間引き率であれば、異なる色成分でも同じ大きさのタップ領域と重み付け係数を設定する。なお、第２の設定回路４１は第２の設定手段を構成している。
【０１２４】
第２の重み付け部４２は第２の設定回路４１により設定されたタップ領域毎に、画像記録部１０に記録された画像データに第２の設定回路４１により設定された重み係数を乗算する処理を実施する。なお、第２の重み付け部４２は第２の重み付け手段を構成している。
第２の加算部４３は第２の設定回路４１により設定されたタップ領域毎に、第２の重み付け部４２により重み係数が乗算された画像データの総和を計算する処理を実施する。なお、第２の加算部４３は第２の総和計算手段を構成している。
第２の間引き部４４は第２の加算部４３の計算結果から１画素当りの平均値を計算し、その平均値を間引き画像の画像データとして出力する処理を実施する。なお、第２の間引き部４４は第２の間引き手段を構成している。
【０１２５】
次に動作について説明する。
ただし、動画表示処理の動作は上記実施の形態１と同様であるため説明を省略し、静止画記録処理の動作についてのみ説明する。静止画記録処理は、撮像素子２から全画素、即ち、水平３０００画素×垂直２３００ラインを読み出し、ユーザが高品質の静止画像を得るための動作である。
撮像素子２は、図示しない制御用マイコン等から静止画記録処理の実行指令を受けると全画素モードになり、レンズ系１により結像された被写体の光学像を電気信号に変換して、その電気信号である画像信号（水平３０００画素×垂直２３００ラインの画像信号）をアナログ処理部３に出力する。
【０１２６】
アナログ処理部３は、撮像素子２から画像信号を受けると、その画像信号を増幅するなどの処理を実施する。
Ａ／Ｄ変換部４は、アナログ処理部３からアナログの画像信号を受けると、その画像信号をデジタル信号に変換し、デジタルの画像データをカメラ信号処理部５に出力する。
カメラ信号処理部５は、Ａ／Ｄ変換部４からデジタルの画像データを受けると、その画像データに対する前処理を実施する。
例えば、領域クリップ処理、欠陥画素補正、デジタルクランプ、オートフォーカス処理などを実施する。
【０１２７】
間引き処理部６は、カメラ信号処理部５から前処理後の画像データを受けても、全画素を使用する静止画記録の処理であるため、その画像データに対する間引き処理を実施せずに、その画像データを画像処理部７及び調停回路８に出力する。ただし、全画素を使用する静止画記録の処理であるため、画像処理部７は処理を停止しており、その画像データに対する画像処理を実施しない。
調停回路８は、間引き処理部６から画像データを受けながら、その画像データを画像記録部１０に逐次転送して、その画像データを画像記録部１０に記録する。
これにより、画像記録部１０には、最終的に１フレーム分の画像データが記録されることになる。
【０１２８】
この画像データは、１画素当り、ＲＧＢのいずれかの色成分しか持っていないため、不足する色成分を生成するための色補間処理と、さらに画質を高めるためのフィルタ処理などを施す必要がある。
このため、調停回路８は、１フレーム分の画像データを画像記録部１０に記録したのち、その画像データを第２の間引き処理部１４に転送する。
第２の間引き処理部１４は、調停回路８から画像データを受けると、その画像データに対して指定された間引き率で間引き処理を実施する。
なお、第２の間引き処理部１４を構成している第２の設定回路４１、第２の重み付け部４２、第２の加算部４３及び第２の間引き部４４は、間引き処理部６を構成している設定回路３１、重み付け部３２、加算部３３及び間引き部３４と同様であるため、詳細な説明を省略する。
第２の間引き処理部１４により間引き処理された画像データは、水平７６８画素以下の画像データになっているため、画像処理部７が水平方向を一度に処理することが可能となる。
【０１２９】
調停回路８は、第２の間引き処理部１４により間引き処理された画像データを画像処理部７に転送する。
画像処理部７の色補間処理部２３は、調停回路８により転送された画像データがラインメモリ２１に一時的に記録されると、そのラインメモリ２１に記録されている画像データから、各画素で不足している色成分を補間する処理を実施する。
色補間処理部２３は、補間処理を終了すると、補間処理後の画像データをラインメモリ２２に記録する。
画像処理部７のフィルタ処理部２４は、補間処理後の画像データがラインメモリ２２に記録されると、ＨＰＦやＬＰＦによってエッジ補正処理を実施することにより、画像データの画質を高める処理を実施する。
調停回路８は、画像処理部７のフィルタ処理部２４から画像処理後の画像データを受けながら、その画像データを表示処理部９に転送する。
【０１３０】
その後、調停回路８は、画像記録部１０に記録されている全画像データを画像処理部７に転送する。
ただし、画像処理部７のラインメモリ２１，２２は、上述したように、７６８画素分の記録容量しか備えておらず、水平３０００画素を一度に処理することができないので、調停回路８は、画像記録部１０に記録されている画像データを垂直方向に４分割して読み出して、水平７５０画素×垂直２３００ライン単位で、画像データを画像処理部７に転送する。
【０１３１】
画像処理部７の色補間処理部２３は、調停回路８により転送された画像データがラインメモリ２１に一時的に記録されると、そのラインメモリ２１に記録されている画像データから、各画素で不足している色成分を補間する処理を実施する。
色補間処理部２３は、補間処理を終了すると、補間処理後の画像データをラインメモリ２２に記録する。
画像処理部７のフィルタ処理部２４は、補間処理後の画像データがラインメモリ２２に記録されると、ＨＰＦやＬＰＦによってエッジ補正処理を実施することにより、画像データの画質を高める処理を実施する。
なお、調停回路８による画像データの転送処理と、画像処理部７の色補間処理部２３及びフィルタ処理部２４による画像処理との一連の処理が、分割された画像データに対して合計４回実施されることにより、全画素の画像データが全て処理されることになる。
【０１３２】
調停回路８は、画像処理部７のフィルタ処理部２４から画像処理後の画像データを受けると、再度、その画像データを画像記録部１０に記録するとともに、例えば、その画像データに対する圧縮処理等を実施してから、その画像データを外部記録装置１２に転送して、その画像データを外部記録装置１２に記録する。
これにより、ユーザは最終的な画像データを入手することが可能となる。
【０１３３】
このように、画像記録部１０に記録されている全画像データを元に、第２の間引き処理部１４が間引き画像を生成することにより、画像記録部１０にあらかじめ間引き画像データを記録する必要がなくなり、画像記録部１０の記録容量を削減することができる効果を奏する。
また、間引き画像データを表示処理部９だけでなく、画像記録部１０にも転送を行うことで縮小画像、いわゆるサムネイル画像の記録を並行して行うことができ、画像処理装置としての処理時間をさらに短縮することが可能となる。
また、この実施の形態４での間引き処理方法は、上記実施の形態１又は上記実施の形態２のいずれの処理方法でもよく、間引き率についても表示サイズやサムネイル画像サイズに合わせて変更することで、様々な画像処理装置に柔軟に対応することができる。
【図面の簡単な説明】
【０１３４】
【図１】この発明の実施の形態１による画像処理装置を示す構成図である。
【図２】この発明の実施の形態１による画像処理装置の画像処理部を示す構成図である。
【図３】この発明の実施の形態１による画像処理装置の間引き処理部を示す構成図である。
【図４】間引き処理部が処理するＲＧＢ色フィルタ配列を示す概念図である。
【図５】間引き処理部が４分の１間引き処理で実施する重み付け部、加算部、間引き部の処理内容を示す説明図である。
【図６】間引き処理部が２分の１間引き処理で実施する重み付け部、加算部、間引き部の処理内容を示す説明図である。
【図７】間引き処理部が３分の１間引き処理で実施する重み付け部、加算部、間引き部の処理内容を示す説明図である。
【図８】間引き処理部が５分の１間引き処理で実施する重み付け部、加算部、間引き部の処理内容を示す説明図である。
【図９】間引き処理部が４分の１間引き処理で実施する重み付け部、加算部、間引き部の処理内容を示す説明図である。
【図１０】間引き処理部が２分の１間引き処理で実施する重み付け部、加算部、間引き部の処理内容を示す説明図である。
【図１１】この発明の実施の形態３による画像処理装置を示す構成図である。
【図１２】この発明の実施の形態４による画像処理装置を示す構成図である。
【図１３】この発明の実施の形態４による画像処理装置の間引き処理部を示す構成図である。
【符号の説明】
【０１３５】
１  レンズ系、２  撮像素子（撮像手段）、３  アナログ処理部、４  Ａ／Ｄ変換部、５  カメラ信号処理部、６  間引き処理部、７  画像処理部、８  調停回路、９  表示処理部（表示手段）、１０  画像記録部（画像記録手段）、１１  動画処理部（動画処理手段）、１２  外部記録装置、１３  全画素用データバス、１４  第２の間引き処理部、２１  ラインメモリ（一時記録手段）、２２  ラインメモリ（一時記録手段）、２３  色補間処理部（画像処理手段）、２４  フィルタ処理部（画像処理手段）、３１  設定回路（設定手段）、３２  重み付け部（重み付け手段）、３３  加算部（総和計算手段）、３４  間引き部（間引き手段）、４１  第２の設定回路（第２の設定手段）、４２  第２の重み付け部（第２の重み付け手段）、４３  第２の加算部（第２の総和計算手段）、４４  第２の間引き部（第２の間引き手段）。
【図１】
2006262382.tif 000003
【図２】
2006262382.tif 000004
【図３】
2006262382.tif 000005
【図４】
2006262382.tif 000006
【図５】
2006262382.tif 000007
【図６】
2006262382.tif 000008
【図７】
2006262382.tif 000009
【図８】
2006262382.tif 000010
【図９】
2006262382.tif 000011
【図１０】
2006262382.tif 000012
【図１１】
2006262382.tif 000013
【図１２】
2006262382.tif 000014
【図１３】
2006262382.tif 000015