(57)【要約】【課題】撮像素子から出力される画素情報に対する間引き処理と平均処理を組み合わせた縮小処理により、縮小画像の高画質化を図る。【解決手段】画素位置検出／係数選択部１０，１２は、ＣＣＤデータ（画素データ）に対する倍率を示す移動量データと、縮小開始位置を示す１st画素用オフセット及２nd画素用オフセットをそれぞれ入力する。画素位置検出／係数選択部１０，１２では、オフセットと移動量データに応じて補間画素の位置を求め、この補間位置の前後の画素に対する係数データを係数選択部２３，３３からそれぞれ縮小演算部１４に対して送信する。縮小演算部１４では、補間位置の前後に該当するＣＣＤデータ（画素データ）に係数データをそれぞれ乗算して加算する処理により補間画素の画素情報を生成する。【選択図】図１
2006203438.tif 000002
【特許請求の範囲】
【請求項１】
画素の画素情報を配列の順番に逐次出力する撮像素子と、
前記撮像素子により出力された各画素の画素情報に対する倍率を設定する倍率設定手段と、
前記倍率設定手段によって設定された倍率に応じて補間画素の位置情報を順番に生成して逐次出力する位置生成手段と、
前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直前にある実画素情報を前記撮像素子から逐次入力すると共に、逐次更新しながら記憶する第１画素情報記憶手段と、
前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直前にある実画素に対する補間係数を逐次生成して出力する第１係数生成手段と、
前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直後にある実画素情報を前記撮像素子から逐次入力すると共に、逐次更新しながら記憶する第２画素情報記憶手段と、
前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直後にある実画素に対する補間係数を逐次生成して出力する第２係数生成手段と、
前記第１画素情報記憶手段に記憶されている画素情報に前記第１係数生成手段が出力する係数を乗算した値と、前記第２画素情報記憶手段に記憶されている画素情報に前記第２係数生成手段が出力する係数を乗算した値とを加算する演算により前記補間画素の画素情報を逐次生成する演算手段と
を具備したことを特徴とするカメラ装置。
【請求項２】
前記撮像手段からは異なる２つの色に対応する画素情報を交互に出力し、前記画素情報の色毎に前記補間画素の画素情報を生成することを特徴とする請求項１記載のカメラ装置。
【請求項３】
前記第１及び第２係数生成手段は、前記撮像素子から出力される異なる２つの色の各々に対応して２つ設けられることを特徴とする請求項１記載のカメラ装置。
【請求項４】
前記第１及び第２画素記憶手段は、前記撮像素子から出力される異なる２つの色の各々に対応して２つ設けられることを特徴とする請求項１記載のカメラ装置。
【請求項５】
前記撮像素子から出力される画素情報をそのまま記録する静止画モードと、前記画素情報に対して縮小処理を施して記録する動画像モードとが選択されるもので、前記動画像モードが選択された場合に前記倍率設定手段により縮小率を設定して、前記補間画素の画素情報を生成することを特徴とする請求項１記載のカメラ装置。
【請求項６】
動画撮影時において、所定のフレームレートで逐次撮像される各動画フレームの画像データに対して、前記位置生成手段、前記第１画素情報記憶手段、前記第１係数生成手段、前記第２画素情報記憶手段、前記第２係数生成手段、前記演算手段、の処理を繰り返しリアルタイムに実行することを特徴とする請求項１または５記載のカメラ装置。
【請求項７】
撮像素子から配列の順番で逐次出力される画素の画素情報に対する倍率を設定する倍率設定ステップと、
前記倍率設定ステップによって設定された倍率に応じて補間画素の位置情報を順番に生成して逐次出力する位置生成ステップと、
前記位置生成ステップによって逐次出力される補間画素の位置情報に応じて、当該位置の直前にある実画素情報を前記撮像素子から逐次入力すると共に、逐次更新しながら記憶する第１画素情報記憶ステップと、
前記位置生成ステップによって逐次出力される補間画素の位置情報に応じて、当該位置の直前にある実画素に対する補間係数を逐次生成して出力する第１係数生成ステップと、
前記位置生成ステップによって逐次出力される補間画素の位置情報に応じて、当該位置の直後にある実画素情報を前記撮像素子から逐次入力すると共に、逐次更新しながら記憶する第２画素情報記憶ステップと、
前記位置生成ステップによって逐次出力される補間画素の位置情報に応じて、当該位置の直後にある実画素に対する補間係数を逐次生成して出力する第２係数生成ステップと、
前記第１画素情報記憶ステップにより記憶された画素情報に前記第１係数生成ステップで出力された係数を乗算した値と、前記第２画素情報記憶ステップにより記憶された画素情報に前記第２係数生成ステップで出力された係数を乗算した値とを加算する演算により前記補間画素の画素情報を逐次生成する演算ステップと
を具備したことを特徴とするカメラ装置の画像処理方法。
【請求項８】
撮像素子から交互に出力される異なる２つの色に対応する画素情報をもとに画素を補間するカメラ装置において、
倍率の指定に応じて第１の色の画素に対する補間画素の位置を設定する第１設定手段と、
前記第１設定手段によって設定された補間位置に応じて、前記第１の色の画素に対する補間位置の前後に位置する同色画素に対する２つの補間係数データを出力する第１補間係数出力手段と、
倍率の指定に応じて第２の色の画素に対する補間画素の位置を設定する第２設定手段と、
前記第２設定手段によって設定された補間位置に応じて、前記第２の色の画素に対する補間位置の前後に位置する同色画素に対する２つの補間係数データを出力する第２補間係数出力手段と、
前記撮像素子から交互に出力される第１及び第２の色の画素情報を逐次記憶する画素情報記憶手段と、
前記画素情報記憶手段に記憶された前記第１の色の前記補間画素の前後に位置する２つの画素情報に対して、前記第１補間係数出力手段によって出力された２つの補間係数データをそれぞれ乗算し、その乗算結果を加算することで前記第１の色の前記補間画素の画素情報を生成する第１演算手段と、
前記画素情報記憶手段に記憶された前記第２の色の前記補間画素の前後に位置する２つの画素情報に対して、前記第２補間係数出力手段によって出力された２つの補間係数データをそれぞれ乗算し、その乗算結果を加算することで前記第２の色の前記補間画素の画素情報を生成する第２演算手段と
を具備したことを特徴とするカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラやデジタルビデオカメラなどの静止画撮影モードの他に動画を撮影する動画撮影モードが設けられたカメラ装置、及び画像処理方法に関する。
【背景技術】
【０００２】
一般に、電子スチルカメラでは、静止画像を撮影して記録するだけでなく、動画像を撮影して記録することができる動画撮影モードが設けられている。動画撮影モードにおける撮影では、静止画像を撮影する場合と比較して大幅に画像処理速度が求められるために、撮像素子（ＣＣＤセンサ）から入力された画像データを縮小し、画像サイズを小さくすることで処理速度の向上を図り、入力された画像データに対するリアルタイム処理を実現している。
【０００３】
従来、ＣＣＤセンサから出力された画像データを縮小する場合、複数の画素の平均値を算出して補間画素の画素値とする平均処理が良く使用されている。
【０００４】
また従来では、間引き読み出し可能な単板カラー撮像素子を用いて、この撮像素子から間引き読み出しした信号を補間して縮小画像を生成する間引き補間回路と、通常読み出しした信号を補間して縮小なしのカラー画像を生成する補間回路とを備え、画素ブロックにおいて、ＧとＲそれぞれの４つのフィルタ位置の信号を平均化して読み出す画素ブロックと、ＧとＢそれぞれの４つのフィルタ位置の信号を平均化して読み出す画素ブロックとが市松状に配置して、フレーム毎に市松状配置が反転する如く間引き処理が行われるように構成した撮像装置も考えられている（例えば、特許文献１）。
【特許文献１】特開２００４−１５７７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来、平均処理を用いて画像を縮小する構成では、圧縮率が高い場合には広範囲の領域に含まれる実画素のデータを用いて平均値を算出することになる。この場合、補間位置の画素とは関係のない実画素のデータも混在してしまう可能性が高くなり、画質が悪くなってしまうという問題があった。
【０００６】
また、特許文献１に記載された撮像装置では、撮像素子から間引き読み出しした信号を補間して縮小し、画素ブロックにおいて平均化して読み出すことで縮小画像へのモアレの混入を抑制する構成としていた。すなわち、撮像素子から出力される信号において既に間引きが行われているため、この時点でデータ量が削減されており、撮像素子から出力された信号（データ）に対しては単に平均化しているに過ぎず、縮小画像の高画質化を図るものではなかった。
【０００７】
本発明の課題は、撮像素子から出力される画素情報に対する間引き処理と平均処理を組み合わせた縮小処理により、縮小画像の高画質化を図ることが可能なカメラ装置、カメラ装置の画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
請求項１記載の発明は、画素の画素情報を配列の順番に逐次出力する撮像素子と、前記撮像素子により出力された各画素の画素情報に対する倍率を設定する倍率設定手段と、前記倍率設定手段によって設定された倍率に応じて補間画素の位置情報を順番に生成して逐次出力する位置生成手段と、前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直前にある実画素情報を前記撮像素子から逐次入力すると共に、逐次更新しながら記憶する第１画素情報記憶手段と、前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直前にある実画素に対する補間係数を逐次生成して出力する第１係数生成手段と、前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直後にある実画素情報を前記撮像素子から逐次入力すると共に、逐次更新しながら記憶する第２画素情報記憶手段と、前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直後にある実画素に対する補間係数を逐次生成して出力する第２係数生成手段と、前記第１画素情報記憶手段に記憶されている画素情報に前記第１係数生成手段が出力する係数を乗算した値と、前記第２画素情報記憶手段に記憶されている画素情報に前記第２係数生成手段が出力する係数を乗算した値とを加算する演算により前記補間画素の画素情報を逐次生成する演算手段とを具備したことを特徴とする。
【０００９】
請求項２記載の発明は、請求項１記載の発明において、前記撮像手段からは異なる２つの色に対応する画素情報を交互に出力し、前記画素情報の色毎に前記補間画素の画素情報を生成することを特徴とする。
【００１０】
請求項３記載の発明は、請求項１記載の発明において、前記第１及び第２係数生成手段は、前記撮像素子から出力される異なる２つの色の各々に対応して２つ設けられることを特徴とする。
【００１１】
請求項４記載の発明は、請求項１記載の発明において、前記第１及び第２画素記憶手段は、前記撮像素子から出力される異なる２つの色の各々に対応して２つ設けられることを特徴とする。
【００１２】
請求項５記載の発明は、請求項１記載の発明において、前記撮像素子から出力される画素情報をそのまま記録する静止画モードと、前記画素情報に対して縮小処理を施して記録する動画像モードとが選択されるもので、前記動画像モードが選択された場合に前記倍率設定手段により縮小率を設定して、前記補間画素の画素情報を生成することを特徴とする。
【００１３】
請求項６記載の発明は、請求項１または５記載の発明において、動画撮影時において、所定のフレームレートで逐次撮像される各動画フレームの画像データに対して、前記位置生成手段、前記第１画素情報記憶手段、前記第１係数生成手段、前記第２画素情報記憶手段、前記第２係数生成手段、前記演算手段、の処理を繰り返しリアルタイムに実行することを特徴とする。
【００１４】
請求項７記載の発明は、撮像素子から配列の順番で逐次出力される画素の画素情報に対する倍率を設定する倍率設定ステップと、前記倍率設定ステップによって設定された倍率に応じて補間画素の位置情報を順番に生成して逐次出力する位置生成ステップと、前記位置生成ステップによって逐次出力される補間画素の位置情報に応じて、当該位置の直前にある実画素情報を前記撮像素子から逐次入力すると共に、逐次更新しながら記憶する第１画素情報記憶ステップと、前記位置生成ステップによって逐次出力される補間画素の位置情報に応じて、当該位置の直前にある実画素に対する補間係数を逐次生成して出力する第１係数生成ステップと、前記位置生成ステップによって逐次出力される補間画素の位置情報に応じて、当該位置の直後にある実画素情報を前記撮像素子から逐次入力すると共に、逐次更新しながら記憶する第２画素情報記憶ステップと、前記位置生成ステップによって逐次出力される補間画素の位置情報に応じて、当該位置の直後にある実画素に対する補間係数を逐次生成して出力する第２係数生成ステップと、前記第１画素情報記憶ステップにより記憶された画素情報に前記第１係数生成ステップで出力された係数を乗算した値と、前記第２画素情報記憶ステップにより記憶された画素情報に前記第２係数生成ステップで出力された係数を乗算した値とを加算する演算により前記補間画素の画素情報を逐次生成する演算ステップとを具備したことを特徴とする。
【００１５】
請求項８記載の発明は、撮像素子から交互に出力される異なる２つの色に対応する画素情報をもとに画素を補間するカメラ装置において、倍率の指定に応じて第１の色の画素に対する補間画素の位置を設定する第１設定手段と、前記第１設定手段によって設定された補間位置に応じて、前記第１の色の画素に対する補間位置の前後に位置する同色画素に対する２つの補間係数データを出力する第１補間係数出力手段と、倍率の指定に応じて第２の色の画素に対する補間画素の位置を設定する第２設定手段と、前記第２設定手段によって設定された補間位置に応じて、前記第２の色の画素に対する補間位置の前後に位置する同色画素に対する２つの補間係数データを出力する第２補間係数出力手段と、前記撮像素子から交互に出力される第１及び第２の色の画素情報を逐次記憶する画素情報記憶手段と、前記画素情報記憶手段に記憶された前記第１の色の前記補間画素の前後に位置する２つの画素情報に対して、前記第１補間係数出力手段によって出力された２つの補間係数データをそれぞれ乗算し、その乗算結果を加算することで前記第１の色の前記補間画素の画素情報を生成する第１演算手段と、前記画素情報記憶手段に記憶された前記第２の色の前記補間画素の前後に位置する２つの画素情報に対して、前記第２補間係数出力手段によって出力された２つの補間係数データをそれぞれ乗算し、その乗算結果を加算することで前記第２の色の前記補間画素の画素情報を生成する第２演算手段とを具備したことを特徴とする。
【発明の効果】
【００１６】
請求項１記載の発明によれば、補間画素の位置情報に応じて、当該位置の直前と直後にある実位置に対する補間係数を生成して、それぞれの実画素に対する補間係数との乗算結果を加算する演算により補間画素の画素情報を生成するので、例えば間引き処理と平均処理とを合わせた縮小処理が実行でき、単純な平均処理により補間する場合と比較して高画質な縮小画像を得ることができる。
【００１７】
請求項２記載の発明によれば、請求項１の発明の効果に加えて、例えばベイヤ配列の順番で２つの色に対応する画素情報が交互に出力される場合に、画素情報の色毎に補間画素の画素情報を生成することができる。
【００１８】
請求項３記載の発明によれば、請求項１の発明の効果に加えて、異なる２つの色の各々に対応して第１及び第２係数生成手段を２つ設けることで、例えば、カラー動画撮影時において、撮像素子から逐次出力される画素情報に対して遅延なく逐次処理を実行し、且つ縮小画像の高画質化を図ることができる。
【００１９】
請求項４記載の発明によれば、請求項１の発明の効果に加えて、異なる２つの色の各々に対応して第１及び第２画素記憶手段を２つ設けることで、撮像素子から出力される画素情報に対して逐次処理を実行しながら縮小画像の高画質化を図ることができる。
【００２０】
請求項５記載の発明によれば、請求項１の発明の効果に加えて、静止画モードより高速処理が要求される動画像モードの動作時に、画像を縮小させるように縮小率を設定することで縮小処理を実行して、画像を縮小化することによるリアルタイム処理を実現することができる。
【００２１】
請求項６記載の発明によれば、請求項１または５記載の発明の効果に加えて、動画撮影時において、所定のフレームレートで動画フレームが逐次撮像される場合に、各動画フレームの画像データに対する補間画素の画素情報をリアルタイムで生成することができる。
【００２２】
請求項７記載の発明によれば、補間画素の位置情報に応じて、当該位置の直前と直後にある実位置に対する補間係数を生成して、それぞれの実画素に対する補間係数との乗算結果を加算する演算により補間画素の画素情報を生成するので、例えば間引き処理と平均処理とを合わせた縮小処理が実行でき、単純な平均処理により補間する場合と比較して高画質な縮小画像を得ることができる。
【００２３】
請求項８記載の発明によれば、撮像素子から交互に出力される異なる２つの色に対応する画素情報のそれぞれに対して、補間画素の位置情報に応じて、当該位置の直前と直後にある実位置に対する補間係数を生成して、それぞれの実画素に対する補間係数との乗算結果を加算する演算により補間画素の画素情報を生成するので、例えば間引き処理と平均処理とを合わせた縮小処理が実行でき、単純な平均処理により補間する場合と比較して高画質な縮小画像を、異なる２つの色に対応する画素情報のそれぞれについて得ることができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して本発明の実施の形態について説明する。
【００２５】
図１は、本実施形態におけるカメラ装置（デジタルビデオカメラ、デジタルスチルカメラ等）に設けられる画像処理装置の構成を示すブロック図である。
【００２６】
図１に示す画像処理装置は、カメラ装置の動画撮影モードの動作時において、撮像素子として実装されたＣＣＤ（Charge Coupled Device）から出力されるＣＣＤデータ（ＲＧＢ画像データ）に対して縮小処理を実行して画像を縮小化するものである。
【００２７】
本実施形態における画像処理装置は、カメラ装置全体の制御を司る制御部（ＣＰＵ）のもとで動作する。カメラ装置は、通常の静止画像を撮影する静止画撮影モードの他に動画を撮影する動画撮影モードにより動作可能となっている。動画撮影モードにおいて動作する場合、ＣＣＤセンサから出力されるＣＣＤデータに対して縮小演算を実行し画像を縮小化することで、処理速度の向上を図りリアルタイム処理を可能にする。
【００２８】
なお、動画撮影モード時には、動画を構成する各フレームの画像データが、動画のフレームレートに対応する速度で逐次ＣＣＤセンサにより撮像される。そして、各フレームに含まれる複数の画素データが所定の順番で読み出される。従って、縮小処理は、各フレーム毎に繰り返しリアルタイムに実行する。ただし、理解を容易にするために、以下では１フレーム分の処理について説明する。
【００２９】
本実施形態における画像処理装置には、図１に示すように、画素位置検出／係数選択部１０，１２、及び縮小演算部１４が設けられている。
【００３０】
本実施形態では、ＣＣＤセンサからは、１つのラインにおいて２つの異なる色の画素データが交互に出力される。例えば、画素の配列（例えばベイヤ配列）に従い、１ライン目のＣＣＤデータとしてＲとＧのデータが交互に出力され、２ライン目のＣＣＤデータとしてＧとＢのデータが交互に出力される。
【００３１】
画素位置検出／係数選択部１０は、ＣＣＤセンサから出力される最初の画素色（例えばＲ）の画素に対する補間画素位置の検出と、この検出した補間画素位置の前後に位置する実画素に対する補間画素値を算出するための係数データを出力する。画素位置検出／係数選択部１２は、ＣＣＤセンサから出力される２番目の画素色（例えばＧ）の画素に対する補間画素位置の検出と、この検出した補間画素位置の前後に位置する実画素に対する補間画素値を算出するための係数データを出力する。縮小演算部１４は、画素位置検出／係数選択部１０，１２から出力される係数データをもとに、最初の画素色の画素と２番目の画素色の画素のそれぞれに対して演算を実行して縮小データを出力する。
【００３２】
動画撮影モードの実行時にＣＰＵより、画素位置検出／係数選択部１０には最初の画素色の画素に対する縮小開始位置を示す１st画素用オフセットが入力され、画素位置検出／係数選択部１２には２番目の画素色の画素に対する縮小開始位置を示す２nd画素用オフセットが入力される。また、画素位置検出／係数選択部１０，１２と共通して画像の縮小率を示す移動量データが入力される。１st画素用オフセットと２nd画素用オフセットは、例えば実画素位置と補間画素位置とが一致することで、縮小画像中に線などが現れて画質を劣化させることがないように指定することができる。
【００３３】
画素位置検出／係数選択部１０のセレクタ２０は、同色画素の最初のＣＣＤデータ（画素データ）が入力されるのに伴い、この色画素に対する初期オフセットとして供給される１st画素用オフセットを入力して、画素位置検出レジスタとして機能するフリップフロップ回路２１にロードする。
【００３４】
フリップフロップ回路２１により保持されたオフセットの値が、同色画素の分割数（ここでは８）を越えている場合には、減算器２２により−８されてセレクタ２４に出力される。
【００３５】
セレクタ２４は、減算器２２から出力される値が８以下となるまで、減算器２２の出力を選択する。セレクタ２０がセレクタ２４からの出力を選択することで、フリップフロップ回路２１、減算器２２、セレクタ２４を通じて、１st画素用オフセットが８以下となるまで読み飛ばされる。
【００３６】
セレクタ２４は、減算器２２からの出力が８以下となった場合、減算器２６からの出力を選択する。すなわち、フリップフロップ回路２１に保持された値が、加算器２５により移動量データ（縮小開始位置）に加算された後、減算器２６により−８されてセレクタ２４に出力される。
【００３７】
フリップフロップ回路２１に保持された値が８以下となった場合に、係数選択部２３は、フリップフロップ回路２１に保持された値に応じて２つの係数（係数ａ，係数ｂ）、すなわち補間画素位置の前後の画素に対する補間係数データを縮小演算部１４に出力する。
【００３８】
図２には、画素位置検出／係数選択部１０の係数選択部２３に設けられる係数テーブルの一例を示す図である。係数テーブルには、補間画素の前後に位置する実画素に対する係数データ（係数ａ、係数ｂ）が、補間画素位置のそれぞれに応じて記憶されている。図２では、フリップフロップ回路２１に保持される補間画素位置を示すデータの下位３ビットの値と対応づけて係数データ（係数ａ、係数ｂ）が記憶されている。
【００３９】
係数ａは、補間画素位置の直前の実画素に対する係数データであり、縮小演算部１４のセレクタ４０に出力され、係数ｂは、補間画素位置の直後の実画素に対する係数データであり、縮小演算部１４のセレクタ４１に出力される。
【００４０】
なお、画素位置検出／係数選択部１２は、画素位置検出／係数選択部１０と同様の動作を実行するものとして説明を省略する。画素位置検出／係数選択部１２は、画素位置検出／係数選択部１０において対象とする画素色とは異なる２番目の画素色の画素を対象として動作し、補間画素位置に応じて係数選択部３３において選択された係数データを縮小演算部１４に出力する。
【００４１】
縮小演算部１４は、画素位置検出／係数選択部１０，１２から出力される係数データ（係数ａ）をセレクタ４０に入力して、係数データ（係数ｂ）をセレクタ４１に入力する。セレクタ４０，４１は、ＣＣＤデータ（画素データ）の入力に合わせて何れかを選択して出力する。
【００４２】
フリップフロップ回路４２，４３，４４は、逐次入力されるＣＣＤデータを順次保持する。すなわち、入力された画素データは、まずフリップフロップ回路４２に保持し、次に画素データが入力される際には、フリップフロップ回路４２に保持されていた画素データがフリップフロップ回路４３に記憶され、新たに入力された画素データがフリップフロップ回路４２に記憶される。同様にして、次に画素データが入力されることで、フリップフロップ回路４３に記憶された画素データがフリップフロップ回路４４に記憶される。
【００４３】
ＣＣＤデータでは２つの異なる画素色が交互に現れることから、３つのフリップフロップ回路４２，４３，４４により順次記憶することで、フリップフロップ回路４２，４４には同色の画素データが記憶されることになる。また、フリップフロップ回路４４には、補間画素位置の直前の画素データが保持され、フリップフロップ回路４２には、補間画素位置の直後の画素データが保持されることになる。
【００４４】
乗算器４５は、フリップフロップ回路４４に保持されたデータに対して、セレクタ４０により選択された補間画素位置の直前の実画素に対する係数データ（係数ａ）を乗算して出力する。また、乗算器４６は、フリップフロップ回路４２に保持されたデータに対して、セレクタ４１により選択された補間画素位置の直後の実画素に対する係数データ（係数ｂ）を乗算して出力する。
【００４５】
乗算器４５，４６による演算結果は、加算器４７により加算され、除算器４８により除算（ここでは１／８）されてフリップフロップ回路４９に保持される。フリップフロップ回路４９に保持されたデータは、縮小処理された縮小データとして出力される。
【００４６】
次に、本実施形態における画像処理装置による縮小データ（補間画素データ）を生成する縮小処理の動作について説明する。
【００４７】
なお、動画撮影モードでは、所定のフレームレートで逐次撮影される各フレームのＣＣＤデータに対して、図１に示す各構成により各フレームについて繰り返しリアルタイムで実行される。以下では１フレーム分の処理について説明する。
【００４８】
本実施形態では、ＣＣＤセンサ（撮像素子）から出力されるＣＣＤデータの同色画素間を８分割し、この８分割された何れかの位置に画素を補間することで画像を縮小するものとする。なお、同色画素間の分割数を大きくすることによって、縮小率のレンジを細かくすることができる。
【００４９】
図３（ａ）（ｂ）には、ＣＣＤセンサから出力される同色の画素データの配列を示す図である。ＣＣＤデータとしては、１ラインについては２つの異なる色の画素データが交互に出力される。例えば図３（ａ）に示すＲの画素データと、図３（ｂ）に示すＧの画素データである。
【００５０】
ここで、簡単な具体例として、初期オフセット（１st画素用オフセット、２nd画素用オフセット）が０、移動量データ（縮小率）が１２である場合を例にして説明する。また、図３（ａ）に示す１つの画素色の画素データに対する画素位置検出／係数選択部１０における処理について説明する。
【００５１】
同色画素の最初の画素データが入力されてくると、初期オフセットの値をセレクタ２０を介してフリップフロップ回路２１（画素位置検出レジスタ）にロードする。ここでは、フリップフロップ回路２１に保持される値が８以下であるため、係数選択部２３は、フリップフロップ回路２１が保持する値の下位３ビットに応じて、係数テーブルから係数データ（係数ａ，係数ｂ）を選択して出力する。また、画素位置検出レジスタの値に加算器２５により移動量データ１２を加算し、減算器２６により−８減算した値をセレクタ２４、セレクタ２０を介してフリップフロップ回路２１にロードする。
【００５２】
ここでは、フリップフロップ回路２１に保持される値が０であり、８以下であるので、図２に示すように係数ａとして８、係数ｂとして０の係数データが縮小演算部１４にそれぞれ出力される。
【００５３】
この場合、乗算器４５によるセレクタ４０により選択された係数ａの係数データ８とフリップフロップ回路４４に保持された画素データとの乗算結果と、乗算器４６によるセレクタ４１により選択された係数ｂの係数データ０とフリップフロップ回路４２に保持された画素データとの乗算結果との和を、除算器４８により１／８した値、すなわちフリップフロップ回路４４に保持された画素データそのままが縮小データとして出力される。
【００５４】
図４には、同色の実画素に対する補間画素（縮小データ）を示している。図４に示すように、初期オフセットが０の場合には、最初の画素データがそのまま縮小データとして出力される。
【００５５】
次の同色画素が入力されると、フリップフロップ回路２１には、加算器２５、減算器２６、セレクタ２４，２０を介して、移動量データから−８した値、すなわち４がロードされている。ここで、フリップフロップ回路２１に保持された値が８以下となることで、係数選択部２３は、フリップフロップ回路２１が保持する値４の下位３ビット１００に応じて、係数ａとして４、係数ｂとして４の係数データがそれぞれ縮小演算部１４に出力される。また、フリップフロップ回路２１に保持された値４に移動量を加算して−８した値、すなわち８をフリップフロップ回路２１にロードする。
【００５６】
この場合、縮小演算部１４では、フリップフロップ回路４２，４４に保持された補間画素位置の前後の実画素に対して、乗算器４５，４６によりそれぞれ係数データ４により乗算され、これを加算器４７により加算し、除算器４８により１／８にした値が縮小データとして出力される。
【００５７】
すなわち、図４に示すように、移動量１２の位置にある補間画素については、前後の実画素に対してそれぞれ４／８倍して加算した値が補間画素の画素データとなる。
【００５８】
次の同色画素データが入力されると、フリップフロップ回路２１に保持された値が８なので８以下とならないために、フリップフロップ回路２１に保持された値に減算器２２により−８した値（すなわち０）を、セレクタ２４，２０を介してフリップフロップ回路２１にロードする。この場合、図４に示すように、３番目の実画素の入力に対して縮小データが出力されない。
【００５９】
次の同色画素データが入力されると、フリップフロップ回路２１に保持された値が０なので、フリップフロップ回路２１に４をロードし、縮小データとして入力された画素データがそのまま出力される（図４に示す４番目の画素データ）。
【００６０】
以下、同様にして、順次入力されるＣＣＤデータ（画素データ）に対して補間画素位置を検出しながら係数データを縮小演算部１４に出力し、縮小演算部１４において係数データを用いた演算を実行することで縮小データを出力する。
【００６１】
なお、前述した説明では、画素位置検出／係数選択部１０における処理について説明しているが、画素位置検出／係数選択部１２においても、画素位置検出／係数選択部１０において処理される画素色とは異なる画素について同様の処理が実行される。
【００６２】
縮小演算部１４は、入力されるＣＣＤデータ（画素データ）を、フリップフロップ回路４２，４３，４４により逐次記憶していくので、画素位置検出／係数選択部１０により対象としている画素とは異なる色の画像が、フリップフロップ回路４２，４４に保持されるタイミングで、画素位置検出／係数選択部１２の係数選択部３３から出力される係数データ（係数ａ、係数ｂ）をセレクタ４０，４１においてそれぞれ選択し、前述と同様の演算処理を実行する。
【００６３】
また、前記オフセット量をユーザーが所望のタイミングで任意に設定するための操作キーを設け、動画撮影における表示画面をユーザーが確認しながら、モアレ等が発生する場合には、モアレが無くなるようにオフセット量を変更するようにしてもよい。
【００６４】
また、前述した説明では、縮小処理において有効な例を説明したが、同様な処理を拡大処理に適用してもよく、拡大処理の場合にも上記モアレを除去する効果を得ることができる。
【００６５】
このようにして、画素位置検出／係数選択部１０，１２、及び縮小演算部１４における処理により、画素の配列に従い異なる２つの色の画素データが出力されるＣＣＤセンサからの画素データに対する縮小処理を、間引き処理と２点間の補間処理により実現することができ、縮小率に合わせた全ての画素の平均値により補間する場合と比較して高画質の縮小画像を生成することができる。
【００６６】
また、前述した実施形態では、デジタルスチルカメラやデジタルビデオカメラなどのカメラ装置を対象としているが、カメラ機能付きの携帯電話機や携帯型の情報処理装置（ＰＤＡ（personal digital assistant）やＰＣ（Personal Computer）など）に適用することもできる。
【００６７】
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施形態におけるカメラ装置に設けられる画像処理装置の構成を示すブロック図。
【図２】本実施形態における画素位置検出／係数選択部１０の係数選択部２３に設けられる係数テーブルの一例を示す図。
【図３】ＣＣＤセンサから出力される同色の画素データの配列を示す図。
【図４】本実施形態における同色の実画素に対する補間画素（縮小データ）を示す図。
【符号の説明】
【００６９】
１０，１２…画素位置検出／係数選択部、１４…縮小演算部、２０，２４，３０，３４，４０，４１…セレクタ、２３，３３…係数選択部、２１，３１，４２，４３，４４…フリップフロップ回路、２２，２６，３２，３６…減算器、２５，３５，４７…加算器、４５，４６…乗算器、４８…除算器。
【図１】
2006203438.tif 000003
【図２】
2006203438.tif 000004
【図３】
2006203438.tif 000005
【図４】
2006203438.tif 000006