(57)【要約】【課題】撮像素子からの画像データの読み出しに要する時間が短く、変倍（サイズ変更）に対して歪みの少ない高精細なフルカラーの画像を形成し得る撮像装置を提供する。【解決手段】撮像装置１００は、結像光学系１１０により結像された光学像を光電変換してカラー画像データを取得する光電変換素子１２２と、光電変換素子１２２で取得された画像データを読み出す読み出し制御部１２４と、平均化読み出しの読み出し規則を読み出し制御部１２４に供給する平均化読み出し部１４４と、光電変換素子１２２から読み出された画像データに対してフィルター処理によりサイズ変更とフルカラー化の処理を行なうサイズ変更・フルカラー化処理部１５２と、フィルター処理に必要な複数のフィルター係数を記憶しているルックアップテーブル部１５４とを有している。【選択図】      図１
2005086247.tif 000002
【特許請求の範囲】
【請求項１】
光学系により結像された画像を光電変換する撮像素子を備えた撮像装置において、前記撮像素子には分光透過率が異なるカラーフィルタアレイ（ＣＦＡ）が実装され、前記撮像素子の光電変換信号をサンプリングしＣＦＡの各色の輝度情報とサンプリングの位置情報を持っている画像信号とし、前記画素信号の配列からフルカラーデータに変換する際に、生成しようとするフルカラーデータの格子配列の位置と前記画素信号の位置情報の相対的な関係に基づいてフルカラーデータの各色成分を生成するときの荷重係数を求め、フルカラーデータを生成する手段を有していることを特徴とする撮像装置。
【請求項２】
前記光電変換素子の光電変換信号のうちＣＦＡの同色の画素同士を複数画素サンプリングしたものを１つの信号とするサンプリング機能を更に有しており、前記フルカラーデータ生成手段は、サンプリングした前記画素信号の配列からフルカラーデータに変換する際に、生成しようとするフルカラーデータの格子配列の位置と前記複数画素サンプリングした各色成分の画素の重心位置との相対的な位置関係に基づいてフルカラーデータの各色成分を生成するときの荷重係数を求め、フルカラーデータを生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
出力する画像の変倍率を選択する画像変倍率選択部を更に有しており、前記フルカラーデータ生成手段は、画像変倍率選択部で設定された変倍率に応じてフルカラーデータを生成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記光電変換素子の光電変換信号を間引きして読み出す読み出し制御部を有しており、前記フルカラーデータ生成手段は、前記読み出し規則に従って読み出された画素信号の配列からフルカラーデータに変換する際に、生成しようとするフルカラーデータの格子配列の位置と読み出し規則に従ってサンプリングした各色成分の画素信号の相対的な位置関係に基づいてフルカラーデータの各色成分を生成するときの荷重係数を求め、フルカラーデータの各色成分を生成することを特徴とする請求項１に記載の撮像装置。
【請求項５】
出力する画像の変倍率を選択する画像変倍率選択部と、画像変倍率に応じて出力画像の読み出し規則を設定する読み出し規則設定部とを有していることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記荷重係数がフルカラーデータの格子配列の位置と画素信号の各色成分の位置との間の距離の関数になっていることを特徴とする請求項１〜請求項５のいずれかひとつに記載の撮像装置。
【請求項７】
前記荷重係数がフルカラーデータの格子配列の位置と画素信号の各色成分の位置との間の距離に反比例していることを特徴とする請求項１〜請求項５のいずれかひとつに記載の撮像装置。
【請求項８】
入力する画像データの各位置の画素信号はフルカラーデータを構成する１成分の情報を有しており、前記画素信号の配列からフルカラーデータに変換する際に、生成しようとするフルカラーデータの格子配列の位置と前記画素信号の位置情報の相対的な関係に基づいてフルカラーデータの各色成分を生成するときの荷重係数を求め、フルカラーデータを生成するステップを有していることを特徴とする画像データの変換方法。
【請求項９】
入力する画像データの各位置の画素信号はフルカラーデータを構成する１成分の輝度情報を有しており、前記画像データの画素信号のうち同色の画素同士を複数画素サンプリングしたものを１つの画素信号とする複数画素サンプリングのステップを有しており、前記フルカラーデータ生成ステップは、複数画素サンプリングの配列からフルカラーデータに変換する際に、生成しようとするフルカラーデータの格子配列の位置と前記複数画素サンプリングの各色成分の画素の重心位置との相対的な関係に基づいてフルカラーデータの各色成分を生成するときの荷重係数を求め、フルカラーデータを生成することを特徴とする請求項８に記載の画像データの変換方法。
【請求項１０】
前記入力画像データの画素信号のうち読み出す領域を設定する領域設定ステップと、前記入力画像データの画素信号を間引き読み出しする読み出し制御ステップと、領域設定ステップで設定された領域に応じて読み出し制御ステップの間引き読み出し規則を設定する読み出し規則ステップとを更に有しており、前記フルカラーデータ生成ステップは、前記読み出し規則に従って読み出された画素信号の配列からフルカラーデータに変換する際に、生成しようとするフルカラーデータの格子配列の位置と読み出し規則に従ってサンプリングした各色成分の画素成分との相対的な関係に基づいてフルカラーデータの各色成分を生成するときの荷重係数を求め、フルカラーデータの各色成分を生成することを特徴とする請求項９に記載の画像データの変換方法。
【請求項１１】
荷重係数がフルカラーデータの格子配列の位置と画素信号の各色成分の位置との間の距離の関数になっていることを特徴とする請求項８〜請求項１０のいずれかひとつに記載の画像データの変換方法。
【請求項１２】
荷重係数がフルカラーデータの格子配列の位置と画素信号の各色成分の位置との間の距離に反比例していることを特徴とする請求項８〜請求項１０のいずれかひとつに記載の画像データの変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル撮像装置に関し、特に、撮像装置が実装している撮像デバイスの画素数よりも小さい画素数の画像を高速に高画質で生成するデジタル撮像装置に関する。
【背景技術】
【０００２】
近年、パーソナルコンピューターの急速な普及により、画像入力機器としてのデジタルカメラの需要が拡大している。また、動画の記録機器としてデジタルビデオなどの高画質記録装置が広く用いられている。
【０００３】
上記電子スチルカメラの画質を決定する要素は幾つかあるが、その中でも撮像素子の画素数は撮影像の解像度を決定する大きな要素である。そのため、最近は５００万画素以上の多くの画素数を持った電子スチルカメラも幾つか商品化されている。しかしながら、全ての用途において、５００万画素のデータが必ずしも必要なわけではなく、逆にインターネットのＷｅｂ上に表示する画像は、むしろ画素サイズを小さくした方を使用する場合が多い。
【０００４】
更に、現状のデジタルカメラにおいては、撮像素子から、画像メモリーへの転送の時間がネックになっており、画素数が大きい機種で、高速な連写撮影が出来るものが少ない。また、デジタルカメラにおいても、付加機能として動画の撮影の要求があるため、やはり、メモリーへの転送は高速に行なわなければならず、予め扱うデータ量を少なくすることが好ましい。
【０００５】
出力画像の画素数が、撮像素子の画素数に比べて少ない場合には、予め、使用する画素数を制限することや複数の画素を平均化して１クロックで読み出すことによって、撮像素子からメモリーに転送されるデータ量を減らし、メモリー転送の速度を向上できる。
【０００６】
一方、線形補完によるサイズ縮小では、全ての画素を使用して、大きいサイズの画像を作成し、線形補完によって小さいサイズの画像を作成する。
【０００７】
このような、線形補完によるリサイズは、画質の面では良好であるが、全画素のデータを取り込んで線形補完を行なうために演算量が多く、上述した連写機能や動画撮影には適していない。
【０００８】
メモリー読み出しのデータ量を減らす手法としては、撮像素子に積分機能を付けて、平均化した少数のデータを読み出し、縮小画像を生成する方法がある。特開２００１−２４５１４１号公報は、この方法を利用した高速な画像の縮小方法を開示している。
【０００９】
特開２００１−０１６４４１号公報は、解像度の種類が限定されている場合に、データの間引きを行ない、更にデータの歪みを補正する装置を開示している。同文献は、実施の形態において、６００ｄｐｉの解像度を持つ装置による４００ｄｐｉ相当のデータの作成を開示している。６００ｄｐｉのデータをそのまま間引いたのではデータの歪みが生じるため、位置の歪みを補正する画素データを６００ｄｐｉのデータから線形補完によって生成している。
【特許文献１】特開２００１−２４５１４１号公報
【特許文献２】特開２００１−０１６４４１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
特開２００１−２４５１４１号公報の方法は、２０％程度以下の縮小率の縮小においては効果的であるが、（４０％程度以上の）大きい縮小率の縮小においては積分による平均化だけでは読み出した画素位置による像の歪みを除くことは出来ない。従って、広い範囲の縮小倍率に対して、サイズ変更を行ないながら高画質な画像を形成することが難しい。
【００１１】
本発明は、このような現状を鑑みて成されたものであり、その目的は、撮像素子からの画像データの読み出しに要する時間が短く、変倍（サイズ変更）に対して歪みの少ない高精細なフルカラーの画像を形成し得る撮像装置を提供することである。
【００１２】
特開２００１−０１６４４１号公報の装置では、走査して得た６００ｄｐｉのデータの全てを用いて補完し、４００ｄｐｉ相当のデータを作っている。これに対して本発明は、読み出し時間の制限により基本解像度のデータ（特開２００１−０１６４４１号公報では走査して得られる６００ｄｐｉのデータ）を全て読むことが出来ないことに対応する間引き走査に関する新技術である。例えば、特開２００１−１６４４１号公報の図６（ｂ）に示されるような間引かれたデータ列から歪みの少ないデータ列を作成するものである。従って、本発明は、特開２００１−０１６４４１号公報とは、課題及び課題を解決する手段の点において相違している。
【課題を解決するための手段】
【００１３】
本発明は、ひとつには、フルカラーの撮像装置に向けられており、以下の各項に列記する撮像装置を含んでいる。
【００１４】
１．  本発明の撮像装置は、光学系により結像された画像を光電変換する撮像素子を備えた撮像装置において、前記撮像素子には分光透過率が異なるカラーフィルタアレイ（ＣＦＡ）が実装され、前記撮像素子の光電変換信号をサンプリングしＣＦＡの各色の輝度情報とサンプリングの位置情報を持っている画像信号とし、前記画素信号の配列からフルカラーデータに変換する際に、生成しようとするフルカラーデータの格子配列の位置と前記画素信号の位置情報の相対的な関係に基づいてフルカラーデータの各色成分を生成するときの荷重係数を求め、フルカラーデータを生成する手段を有していることを特徴とする。
【００１５】
２．  本発明の別の撮像装置は、第１項の撮像装置において、前記光電変換素子の光電変換信号のうちＣＦＡの同色の画素同士を複数画素サンプリングしたものを１つの信号とするサンプリング機能を更に有しており、前記フルカラーデータ生成手段は、サンプリングした前記画素信号の配列からフルカラーデータに変換する際に、生成しようとするフルカラーデータの格子配列の位置と前記複数画素サンプリングした各色成分の画素の重心位置との相対的な位置関係に基づいてフルカラーデータの各色成分を生成するときの荷重係数を求め、フルカラーデータを生成することを特徴とする。
【００１６】
３．  本発明の別の撮像装置は、第２項の撮像装置において、出力する画像の変倍率を選択する画像変倍率選択部を更に有しており、前記フルカラーデータ生成手段は、画像変倍率選択部で設定された変倍率に応じてフルカラーデータを生成することを特徴とする。
【００１７】
４．  本発明の別の撮像装置は、第１項の撮像装置において、前記光電変換素子の光電変換信号を間引きして読み出す読み出し制御部を有しており、前記フルカラーデータ生成手段は、前記読み出し規則に従って読み出された画素信号の配列からフルカラーデータに変換する際に、生成しようとするフルカラーデータの格子配列の位置と読み出し規則に従ってサンプリングした各色成分の画素信号の相対的な位置関係に基づいてフルカラーデータの各色成分を生成するときの荷重係数を求め、フルカラーデータの各色成分を生成することを特徴とする。
【００１８】
５．  本発明の別の撮像装置は、第４項の撮像装置において、出力する画像の変倍率を選択する画像変倍率選択部を有し、画像変倍率に応じて出力画像の読み出し規則を設定する。
【００１９】
６．  本発明の別の撮像装置は、第１項〜第５項の撮像装置において、前記荷重係数がフルカラーデータの格子配列の位置と画素信号の各色成分の位置との間の距離の関数になっていることを特徴とする。
【００２０】
７．  本発明の別の撮像装置は、第１項〜第５項の撮像装置において、前記荷重係数がフルカラーデータの格子配列の位置と画素信号の各色成分の位置との間の距離に反比例していることを特徴とする。
【００２１】
本発明は、ひとつには、フルカラー画像データの変換方法に向けられており、以下の各項に列記する変換方法を含んでいる。
【００２２】
８．  本発明の変換方法は、入力する画像データの各位置の画素信号はフルカラーデータを構成する１成分の情報を有しており、前記画素信号の配列からフルカラーデータに変換する際に、生成しようとするフルカラーデータの格子配列の位置と前記画素信号の位置情報の相対的な関係に基づいてフルカラーデータの各色成分を生成するときの荷重係数を求め、フルカラーデータを生成するステップを有していることを特徴とする。
【００２３】
９．  本発明の別の変換方法は、第８項の変換方法において、入力する画像データの各位置の画素信号はフルカラーデータを構成する１成分の輝度情報を有しており、前記画像データの画素信号のうち同色の画素同士を複数画素サンプリングしたものを１つの画素信号とする複数画素サンプリングのステップを有し、前記フルカラーデータ生成ステップは、複数画素サンプリングの配列からフルカラーデータに変換する際に、生成しようとするフルカラーデータの格子配列の位置と前記複数画素サンプリングの各色成分の画素の重心位置との相対的な関係に基づいてフルカラーデータの各色成分を生成するときの荷重係数を求め、フルカラーデータを生成することを特徴とする。
【００２４】
１０．  本発明の別の変換方法は、第９項の変換方法において、前記入力画像データの画素信号のうち読み出す領域を設定する領域設定ステップと、前記入力画像データの画素信号を間引き読み出しする読み出し制御ステップと、領域設定ステップで設定された領域に応じて読み出し制御ステップの間引き読み出し規則を設定する読み出し規則ステップとを更に有しており、前記フルカラーデータ生成ステップは、前記読み出し規則に従って読み出された画素信号の配列からフルカラーデータに変換する際に、生成しようとするフルカラーデータの格子配列の位置と読み出し規則に従ってサンプリングした各色成分の画素成分との相対的な関係に基づいてフルカラーデータの各色成分を生成するときの荷重係数を求め、フルカラーデータの各色成分を生成することを特徴とする。
【００２５】
１１．  本発明の別の変換方法は、第８項〜第１０項の変換方法において、荷重係数がフルカラーデータの格子配列の位置と画素信号の各色成分の位置との間の距離の関数になっていることを特徴とする。
【００２６】
１２．  本発明の別の変換方法は、第８項〜第１０項の変換方法において、荷重係数がフルカラーデータの格子配列の位置と画素信号の各色成分の位置との間の距離に反比例していることを特徴とする。
【発明の効果】
【００２７】
本発明によれば、撮像素子からの画像データの読み出しに要する時間が短く、変倍（サイズ変更）に対して歪みの少ない高精細なフルカラーの画像を形成し得る撮像装置が提供される。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００２９】
第一実施形態
本実施形態は、必要に応じて平均化読み出しを行なうフルカラーの撮像装置に向けられている。図１は本発明の第一実施形態の撮像装置の構成を示している。
【００３０】
撮像装置１００は、被写体の光学像を結像する結像光学系１１０と、結像光学系１１０により結像された光学像の所定の領域の画像信号を出力する撮像デバイス１２０とを有している。撮像デバイス１２０は、結像光学系１１０により結像された光学像を光電変換してデジタル画像データ（画素データの集合）を取得するエリア状の光電変換素子（撮像素子）１２２と、光電変換素子１２２で取得された画像データを供給される読み出し規則に従って読み出す読み出し制御部１２４とを有している。光電変換素子１２２は、例えば、Ｂａｙｅｒ配列のカラーフィルタアレイを備えており、結像光学系１１０により結像された光学像のＲＧＢのデータを取得する。光電変換素子１２２は、平均化読み出しが可能であり、例えばＣＭＯＳを用いた撮像素子（以下では単にＣＭＯＳと呼ぶ）やＣＣＤであってよい。ＣＭＯＳの場合には、水平方向の近傍の複数画素の加算（平均）読み出しが可能であり、ＣＣＤの場合には、垂直方向の近傍画素の加算電流値の読み出しが可能である。
【００３１】
撮像装置１００は更に、出力する画像の変倍率を選択する画像変倍率選択部１３２と、選択された画像変倍率に応じて光電変換素子１２２から読み出し制御部１２４が読み出す画像データの読み出し方式を選択する読み出し方式選択部１３４とを有している。読み出し方式選択部１３４は、選択された画像変倍率に応じて、平均化読み出し方式か全画素読み出し方式かを選択する。より詳しくは、読み出し方式選択部１３４は、画像の縮小率が大きい場合（例えば画像変倍率が９０％以上の場合）には全画素読み出し方式を選択し、それ以下の場合には平均化読み出し方式を選択する。
【００３２】
撮像装置１００は更に、読み出し方式選択部１３４で選択された読み出し方式に対応して起動する全画素読み出し部１４２と平均化読み出し部１４４とを有している。全画素読み出し部１４２は、全画素読み出し方式に対応する読み出し規則を読み出し制御部１２４に供給し、平均化読み出し部１４４は、平均化読み出し方式に対応する読み出し規則を読み出し制御部１２４に供給する。読み出し制御部１２４は、読み出し規則に従って光電変換素子１２２から画素データを読み出す。
【００３３】
撮像装置１００は更に、サイズ変更・フルカラー化処理部１５２と、複数のフィルター係数を記憶しているルックアップテーブル部１５４とを有している。サイズ変更・フルカラー化処理部１５２は、光電変換素子１２２から読み出された画像データに対して、フィルター処理により、サイズ変更とフルカラー化の処理を行なう。ルックアップテーブル部１５４は、画像変倍率選択部１３２で選択された変倍率に応じて、適切なフィルター係数をサイズ変更・フルカラー化処理部１５２に供給する。
【００３４】
撮像装置１００は更に、サイズ変更・フルカラー化処理部１５２から出力される画像信号に対して（ホワイトバランスや階調変換やエッジ強調の）所定の処理を行なう映像信号処理部１７２と、映像信号処理部１７２から出力される画像信号に従って画像を表示する画像表示部１７４と、映像信号処理部１７２から出力される画像信号に従って画像を記録する画像記録部１７６とを有している。
【００３５】
光電変換素子１２２は、Ｂａｙｅｒ配列のカラーフィルタアレイを備えており、ＲＧＢのデータをそれぞれの位置で取得する。加算または平均化サンプリングに於いては、Ｒ・Ｇチャンネルが水平方向に隣接するラインでは、複数画素のＲチャンネルおよびＧチャンネルのデータをそれぞれ同時に取得する。Ｇ・Ｂチャンネルが隣接するラインでは複数画素のＧチャンネルおよびＢチャンネルのデータをそれぞれ同時に取得する。
【００３６】
図２は平均化読み出し（平均化サンプリング）の様式の一例を示している。簡単のためにＧチャンネルの２画取得（加算または平均）を示している。図２に示される平均化読み出しの様式は、水平方向に１画素おきに位置する同一色（Ｒ−Ｒ、Ｇ−Ｇ、Ｂ−Ｂ）のデータを同時に読み出し、複数画素の平均のデータを得る。
【００３７】
図２に示されるように、ＣＭＯＳの動作で隣接２画素平均読み出しで、１フレーム毎に２ライン交互に読み出す場合には、１フレームでの画素数は全画素の読み出しを行なった場合の１／４（縦１／２・横１／２）になるので、画素数を基準にした画像の縮小率は５０％になる。５０％から９０％程度までの変倍率（縮小率）に対しては、平均化読み出しを行なった後に、拡大補完とフルカラー化の処理を行なう。図２は、４／３倍の拡大処理に相当する模式図である。
【００３８】
図２において、Ｐ１０１〜Ｐ１０８は撮像素子上でＧチャンネルの２画素読み出しを行っている位置を示している。別の言い方をすれば、Ｐ１０１〜Ｐ１０８は、加算または平均化して同時に読み出される二つの画素を含む画素群を示している。それらのサンプリングデータをそれぞれＧ１０１〜Ｇ１０８とする。この様なサンプリングを行なった光電変換データにおいて、それに含まれる画素の位置の重心に対応する位置をサンプリング位置とする。
【００３９】
また、画像変倍率選択部１３２によって設定された画像変倍率に応じてフルカラーデータの画素配列位置が決定される。図２において、例えば、Ｐ３０１〜Ｐ３０８は変倍を考慮したフルカラーデータの格子位置（格子配列）を示している。各平均化サンプリングの重心位置とフルカラーデータの画素配列位置に応じて、各平均化サンプリングデータの加重係数が設定され、荷重加算によってフルカラー化データを生成する。
【００４０】
荷重係数の演算方法の例としては、平均化サンプリングと同じサイズのフルカラーデータの位置Ｐ２０１〜Ｐ２０８（△で示される）を設定する。Ｐ２０２、Ｐ２０３、Ｐ２０６、Ｐ２０７の位置におけるＧチャンネルのデータをそれぞれＧ２０２、Ｇ２０３、Ｇ２０６、Ｇ２０７とする。Ｇ２０２、Ｇ２０３、Ｇ２０６、Ｇ２０７を生成するために、元々のサンプリングデータＧ１０１〜Ｇ１０８を基準にし、各サンプリングデータと生成するフルカラーデータの距離に反比例する係数を使用すると次のようになる。
【数１】
2005086247.tif 000003
【００４１】
Ｐ２０１〜２０８は水平垂直方向に等間隔の格子上に分布している。ここで、例えば、４／３の拡大処理を行なうときには格子点が３／４になるので、サイズ変更後のフルカラー画像の位置Ｐ３０６はＧ２０２、Ｇ２０３、Ｇ２０６、Ｇ２０７の双一次補完を使って次のように表せる。
【数２】
2005086247.tif 000004
【００４２】
同様にｎ／ｍ倍（１＜ｎ／ｍ＜２）のサイズ変更を行なった場合にＧ３０１基準点としてｋ行ｌ列目のＧチャンネルの双一次補完は次のように表せる。
【数３】
2005086247.tif 000005
【００４３】
ここで［ｘ］は有理数ｘの小数点以下部分を表す。ＧUL・ＧUR・ＧDL・ＧDRはそれぞれＰ２０１−Ｐ２０８と同様な、実際のサンプリング点数と同数の等間隔の格子点を表し、フルカラーデータを生成する位置に対して格子点位置が左上ＧUL、右上ＧUR、左下ＧDL、右下ＧDRに位置するものに対応する。これに式（１）と同様の式（実際のサンプリングデータから等間隔の格子を生成する一次変換）を代入すると変倍を行なった後の特定位置のＧチャンネル値を生成する係数が求められる。
【００４４】
図２に示した平均化サンプリングの場合、サンプリングの重心位置の関係は不等間隔であるが、繰り返し構造になる。図３に示される様に、平均化サンプリングを行なったＲ・Ｇチャンネルの重心の位置関係は隣接する近い方が１画素、離れている方が３画素の間隔の繰り返しになるので、式（１）で示した一次変換は循環的になり、使用する係数の種類は４個になる。
【００４５】
ルックアップテーブル部１５４は、式（１）と式（３）から求めた画像変倍率に応じた加重係数を記憶しており、これをサイズ変更・フルカラー化処理部１５２に供給する。サイズ変更・フルカラー化処理部１５２は、荷重加算を行ない、サイズ変更を行なったフルカラーデータを生成する。サイズ変更・フルカラー化処理部１５２は、一回のフィルター処理によって、拡大補完とフルカラー化の処理を行なう。サイズ変更・フルカラー化処理部１５２からの出力信号は、映像信号処理部１７２において、階調変換、カラーバランス、色強調、エッジ強調の処理が行われる。映像信号処理部１７２で処理された信号は、画像表示部１７４に表示され、必要に応じて、画像記録部１７６で記録される。
【００４６】
このように、平均化サンプリングにおいて、サンプリングした位置と生成しようとするフルカラーデータの位置との関係を考慮して、フルカラー化処理を行なうことによって、各色毎の位置ずれ、ぼけのずれを低減することができる。これにより、帯域の改善、エッジ歪みの改善、偽色低減の効果が得られる。
【００４７】
第二実施形態
本実施形態は、必要に応じて間引き読み出しを行なうフルカラーの撮像装置に向けられている。図４は本発明の第二実施形態の撮像装置の構成を示している。図４において、第一実施形態の撮像装置１００の要素と同一の参照符号で指摘される要素は同等の要素であり、その詳しい説明は記載の重複を避けて続く記述において省略する。
【００４８】
撮像装置２００は、被写体の光学像を結像する結像光学系１１０と、結像光学系１１０により結像された光学像の所定の領域の画像信号を出力する撮像デバイス２２０とを有している。撮像デバイス２２０は、結像光学系１１０により結像された光学像を光電変換してデジタル画像データ（画素データの集合）を取得するエリア状の光電変換素子（撮像素子）２２２と、光電変換素子２２２で取得された画像データを供給される読み出し規則に従って読み出す読み出し制御部２２４とを有している。光電変換素子２２２は、例えばＢａｙｅｒ配列のカラーフィルタアレイを備えており、結像光学系１１０により結像された光学像のＲＧＢのデータを取得する。
【００４９】
撮像装置２００は更に、出力する画像の変倍率を選択する画像変倍率選択部１３２と、選択された画像変倍率に応じて光電変換素子２２２の読み出し規則を選択する読み出し規則設定部２４０を有している。読み出し規則設定部２４０は、選択された画像変倍率に応じて、光電変換素子２２２からの読み出しの制御を行なう読み出し制御部２２４に対して読み出し規則に関するデータを提供する。
【００５０】
撮像装置２００は更に、歪み補正・フルカラー化処理部２５２と、フィルター係数選択部２５４と、ルックアップテーブル部２５６とを有している。歪み補正・フルカラー化処理部２５２は、光電変換素子２２２から読み出されたデジタル画像データに対して、フィルター処理により、歪み補正とフルカラー化の処理を行なう。ルックアップテーブル部２５６は、歪み補正・フルカラー化処理部２５２でのフィルター処理に使用される複数のフィルターをルックアップテーブルとして記憶している。フィルター係数選択部２５４は、画像変倍率選択部１３２で選択された画像変倍率に応じて適切なフィルター係数を選択し、ルックアップテーブル部２５６から歪み補正・フルカラー化処理部２５２へ供給させる。
【００５１】
撮像装置２００は更に、歪み補正・フルカラー化処理部２５２からの出力信号に対して（ホワイトバランスや階調変換やエッジ強調の）所定の処理を行なう映像信号処理部１７２と、映像信号処理部１７２からの出力信号に従って画像を表示する画像表示部１７４と、映像信号処理部１７２からの出力信号に従って画像を記録する画像記録部１７６を有している。
【００５２】
読み出し規則設定部２４０は、１００％未満の画像変倍率すなわち画像の縮小に対して、間引き読み出し規則を読み出し制御部２２４に与える。例えば、７５％の縮小処理においては、水平・垂直８画素のうち６画素を読み出す規則を読み出し制御部２２４に与える。読み出し制御部２２４は、読み出し規則設定部２４０から与えられる間引き読み出し規則に基づいて、光電変換素子２２２内の画素配列中の対応する範囲の画素データを読み出す。その結果、撮像デバイス２２０から間引きされた画像データが出力される。
【００５３】
このような間引き読み出し規則で読み出された光電変換素子２２２のデータは、歪み補正・フルカラー化処理部２５２に供給される。また、読み出し規則設定部２４０のデータはフィルター係数選択部２５４に提供され、フィルター係数選択部２５４は、読み出し規則に対応したフィルター係数を歪み補正・フルカラー化処理部２５２に提供する。
【００５４】
本実施形態では、必要なフィルター係数をルックアップテーブル（ＬＵＴ）から選択することで得ているが、必ずしもＬＵＴを使用する必要はなく、読み出し規則設定部２４０が設定した読み出し規則に応じた演算によりフィルター係数を算出してもよい。ＬＵＴを使用するフィルター係数選択は、ＬＵＴを記憶しておくために多くのメモリーを必要とするが、演算に掛かる負担が少なくて済む。一方、ＬＵＴを使用しないフィルター係数選択は、演算に掛かる負担は大きいが、多くのメモリーを必要としないで済む。
【００５５】
光電変換素子２２２は、例えばＣＭＯＳやＣＣＤであってよく、間引き読み出し動作が可能であり、任意の位置の画像データを間引いて読むことができる。間引き読み出し動作により特定の領域の画素を、全画素を読み出す場合よりも少ない画素数で読み出すことが出来る。
【００５６】
例えば、光電変換素子２２２がＣＭＯＳである場合、撮像デバイス１２０は、水平方向・垂直方向共にシフトレジスタを用いて読み出し位置を指定することが出来る。
【００５７】
すなわち、ｊラインｉ番目の素子をＣ（ｉ，ｊ）とし、そこから水平方向の画素をそれぞれＣ（ｉ＋１，ｊ），Ｃ（ｉ＋２，ｊ），Ｃ（ｉ＋３，ｊ），Ｃ（ｉ＋４，ｊ），Ｃ（ｉ＋５，ｊ），Ｃ（ｉ＋６，ｊ），Ｃ（ｉ＋７，ｊ），Ｃ（ｉ＋８，ｊ）・・・とすると、例えば、Ｃ（ｉ＋１，ｊ），Ｃ（ｉ＋２，ｊ），Ｃ（ｉ＋３，ｊ），Ｃ（ｉ＋４，ｊ），Ｃ（ｉ＋７，ｊ），Ｃ（ｉ＋８，ｊ）・・・というように、任意の水平方向の位置を間引いて読み出すことが出来る。
【００５８】
垂直方向についても同様で、ｊライン、ｊ＋１ライン、ｊ＋２ライン・・・とライン方向に並んでいる画素に対して、任意のラインを間引いて読み出すことが出来る。
【００５９】
また、光電変換素子２２２がＣＣＤである場合、ＣＣＤは水平方向に電荷をシフトしながら読み出すため、撮像デバイス１２０は、水平方向には全画素を読み出し、垂直方向には間引いて読み出すことが出来る。
【００６０】
歪み補正・フルカラー化処理部２５２は、このように間引き読み出しされたデジタル画像データに対して、欠落している情報を補完すると共に倍率変換、カラー補完の処理を行なう。
【００６１】
光電変換素子２２２は、Ｂａｙｅｒ配列のカラーフィルタアレイを備えており、ＲＧＢのデータをそれぞれの位置で取得する。更に、画像変倍率選択部１３２に応じて、撮像素子上の画像データの取得領域を設定し、必要に応じて光電変換素子で取得された画像データの画素を間引きして読み出す。この様に読み出される画像データの位置は予め設定されており、一方、生成するフルカラーデータの画素配列位置は画像変倍率選択部１３２で設定した画像変倍率に応じて決定する。ルックアップテーブル部２５６は、間引き読み出しの画素位置とフルカラーデータの画素配列位置の位置関係に応じて画像変倍率に応じた間引き読み出しの画素データの加重係数を記憶している。
【００６２】
図５は７５％縮小の変倍に対応する間引き読み出し規則を表している。ＣＦＡ（カラーフィルタアレイ）を実装した撮像素子上では図５の読み出し規則を繰り返している。図６はその一部のＲ・Ｇラインで水平方向８画素中２画素を間引きして読み出したデータを６画素のＲとＧの色情報を持つ等間隔の画素データに変換する様子を模式的に示している。図６に示される変換は行列形式で次のように表せる。
【数４】
2005086247.tif 000006
【００６３】
ここで、Ｒｃi，Ｇｃiは、等間隔に変換されたｉ画素目の各色のデータを表している。図６に示した様にＲ0の位置を基準に８個の画素を一つのブロックとして左のブロックの画素にはＧ7-、右側のブロックの画素をＲ0+と言うように記している。上記の様にＲ・Ｇラインで間引歪みの補正を行なえば、該当するラインではＲ・Ｇのデータを持つ画素が水平方向に等間隔に並ぶことになり、垂直方向ではこのような補正を行なったＲ・Ｇライン、Ｇ・Ｂラインが交互に並ぶ。
【００６４】
図７は垂直方向での歪み補正とフルカラー化の処理を模式化的に示している。図５に示したように８ラインのうち２ラインを間引きして読み出して、このデータを垂直方向に等間隔の６ラインのフルカラーデータに変換する。上述の水平方向歪み補正、カラー補完の処理の後は読み出しているすべてのラインにＧチャンネルのデータがあるので、Ｇチャンネルに関しては不等間隔の６ラインのデータを等間隔の６ラインのデータに変換する。この変換の行列表現は次のように表せる。
【数５】
2005086247.tif 000007
【００６５】
一方、Ｒ・Ｂに関しては偶数ラインか奇数ラインのどちらかにしかデータが無いので、水平方向の歪み補正とカラー補完の処理と同じ変換係数を使って、次のように表せる。
【数６】
2005086247.tif 000008
【００６６】
ここで、Ｇｃ0とＲｃ0とＢｃ0はそれぞれ０ライン目のＧとＲとＢのデータを表している。以下、ＧｃiとＲｃiとＢｃiはそれぞれｉライン目のＧとＲとＢのデータを表している。
【００６７】
歪み補正とカラー補完の処理
図８〜図１３は、式（４）に示される歪み補正とカラー補完の処理を実施するパイプラインの構成を模式的に示している。これらの図において、画像信号６００は、Ｒ・Ｇラインにおけるもので、右から左へ読み出された順に、Ｒ6-、Ｇ7-、Ｒ0、Ｇ1、Ｒ2・・・と、時系列的に並んでいる。図８〜図１３はそれぞれ１クロック単位毎の状態を示している。
【００６８】
このパイプラインは、５タップのシフトレジスタ６１１と、シフトレジスタ６１１の１番目と３番目のレジスタのデータが入力されるセレクタ６２２と、シフトレジスタ６１１の３番目と５番目のレジスタのデータが入力されるセレクタ６２１と、セレクタ６２２の出力データに対してｋ４の係数を乗算する乗算器６３１と、セレクタ６２１の出力データに対してｋ３の係数を乗算する乗算器６３２と、乗算器６３１の出力データと乗算器６３２の出力データとを加算する加算器６４１と、シフトレジスタ６１１の２番目のレジスタのデータに対してｋ２の係数を乗算する乗算器６３３と、シフトレジスタ６１１の４番目のレジスタのデータに対してｋ１の係数を乗算する乗算器６３４と、乗算器６３３の出力データと乗算器６３４の出力データとを加算する加算器６４２とを有している。
【００６９】
セレクタ６２１とセレクタ６２２は共に入力ｉｎ１と入力ｉｎ２を有し、入力ｉｎ１と入力ｉｎ２に入力されたデータの一方を選択的に出力する。セレクタ６２１とセレクタ６２２の状態は各クロック単位で変更可能であり、連動して切り換わる。図８〜図１３において、セレクタ６２１とセレクタ６２２は、楕円で記されている側の入力ｉｎ１と入力ｉｎ２に入ったデータを出力している。
【００７０】
図８は、Ｒ6-とＧ7-とＲ0とＧ1とＲ2の５画素のデータが読み出されている状態を示している。図８の状態においては、セレクタ６２１とセレクタ６２２は共に入力ｉｎ２に入ったデータを出力する。従って、セレクタ６２１はＲ6-を出力し、セレクタ６２２はＲ0を出力する。乗算器６３１はＲ0に１／２を乗算し、乗算器６３２はＲ6-に１／２を乗算し、加算器６４１はそれらを加算して出力する。また、乗算器６３３はＧ1に１を乗算し、乗算器６３４はＧ7-に０を乗算し、加算器６４２はそれらを加算して出力する。
【００７１】
図９は、図８の状態に対して、１クロック単位経過後の状態を示している。従って、シフトレジスタ６１１に入力されるデータが１クロック単位分更新され、Ｇ7-とＲ0とＧ1とＲ2とＧ3の５画素のデータが読み出されている状態を示している。図９の状態においても、図８の状態と同じ動作が行われる。
【００７２】
同様に、図１０〜図１３は、それぞれ、直前の状態（図の番号が１小さい図の状態）に対して、１クロック単位経過後の状態を示している。図１０〜図１３のそれぞれの状態においても同じ動作が行われる。
【００７３】
図８〜図１３の状態は式（４）におけるＲｃ0，Ｇｃ0，・・・，Ｒｃ5，Ｇｃ5を生成する演算に対応しており、各クロック毎に荷重加算処理を行なうと式（４）の左辺に相当する出力がパイプライン処理で得られる。図８〜図１３に示されるパイプラインでは、加算器の出力するカラーチャンネルがクロック単位毎に交互になっている。そのため、チャンネル毎に時系列データをメモリーに格納する場合には、加算器の後にセレクタを配置するとよい。表１はこのようなパイプライン処理の遷移状態を示している。
【表１】
2005086247.tif 000009
【００７４】
このように間引き読み出しは不等間隔のものでも良く、ルックアップテーブルで不等間隔読み出しの歪み補正を考慮した加算係数（ｋ１，ｋ２，ｋ３，ｋ４）とセレクタの状態（ｉｎ１，ｉｎ２）を記録しておき、逐次的に歪み補正・カラー補完の処理を行なう。
【００７５】
また、式（６）の処理は、各ラインで補完されたＲ・Ｂチャンネルのデータを垂直方向に歪み補正とカラー補完を行なうもので、処理の構成は図８〜図１３と同様なものにラインメモリを付加し垂直方向の補完処理が行なえるようにすれば良い。
【００７６】
式（５）に示したＧチャンネルの垂直方向の補完に関しては、図１４に示されるパイプラインを用いる。このパイプラインは、３タップのシフトレジスタ８１１と、シフトレジスタ８１１の１番目と２番目のレジスタのデータが入力されるセレクタ８２２と、シフトレジスタ６１１の２番目と３番目のレジスタのデータが入力されるセレクタ８２１と、セレクタ８２２の出力データに対して所定の係数を乗算する乗算器８３１と、セレクタ８２１の出力データに対して所定の係数を乗算する乗算器８３２と、乗算器８３１の出力データと乗算器８３２の出力データとを加算する加算器８４１とを有している。
【００７７】
以下、歪み補正とカラー補完の処理を同時に行なう本実施形態と、それらの処理を別々に行なう場合との相違について述べる。
【００７８】
本実施形態の歪み補正とカラー補完を同時に行なう処理に対して、最初に歪み補正のみを行なって等間隔のＢａｙｅｒ配列のデータを生成した後に、続いてカラー補完を行なう処理では、歪み補正のための補完処理とカラー補完のための補完処理をそれぞれ別々に行なうことになる。
【００７９】
Ｒ・Ｇラインの水平方向に関して歪み補正処理だけ行ない等間隔のＢａｙｅｒ配列を生成する様子を模式的に示すと図１５のようになる。このような変換は、式（４）と同様な行列表記をすると、以下の様に表せる。
【数７】
2005086247.tif 000010
【００８０】
Ｂａｙｅｒ配列の画像データをフルカラー化するために一次補完を用いると、Ｒｃ2の位置のＧの信号は(Ｇｃ1＋Ｇｃ2)/２となる。これは、元の読み出した信号Ｇ1とＧ3とＧ7を用いて、次のように表せる。
【数８】
2005086247.tif 000011
【００８１】
この様な歪み補正とフルカラー化の２つの処理を行列で表現すると式（９）のように表せる。
【数９】
2005086247.tif 000012
【００８２】
式（９）は、行列の積を計算して、結局、次の式（１０）で表せる。
【数１０】
2005086247.tif 000013
【００８３】
式（４）は歪み補正処理とカラー補完処理を同時に行なった場合を示し、式（１０）は歪み補正処理とカラー補完処理を別々に行なった場合を示している。行列の１行の係数は対応する１つの画素データを生成するための一次補完の荷重係数を示しており、係数が拡がっているほど離れた画素の寄与が大きいので、空間的な帯域の損失があることを意味する。式（１０）に比べて式（４）の方が係数の拡がりが少ないため、カラー補完を行なうまでの間の帯域損失が少ないことが解る。
【００８４】
以上の様に、カラー補完とフルカラー化を行なう画素の位置とサンプリングした画素位置を考慮して、歪み補正とフルカラー化の処理を同時に行なうことによって、高精細な画像が得られる。
【００８５】
第三実施形態
本実施形態は、特に動画の撮影に好適な別の撮像装置に向けられている。図１６は本発明の第三実施形態の撮像装置の構成を示している。図１６において、第二実施形態の撮像装置２００の要素と同一の参照符号で指摘される要素は同等の要素であり、その詳しい説明は記載の重複を避けて続く記述において省略する。
【００８６】
本実施形態の撮像装置３００は、被写体の光学像を結像する結像光学系１１０と、結像光学系１１０により結像された光学像の所定の領域の画像信号を連続的に出力する撮像デバイス３２０とを有している。つまり、撮像デバイス３２０から出力される画像信号は動画信号であり、これは時系列的に連続する複数のフレームの画像データで構成されている。
【００８７】
撮像デバイス３２０は、結像光学系１１０により結像された光学像を光電変換してデジタル画像データ（画素データの集合）を取得するエリア状の光電変換素子３２２と、光電変換素子３２２で取得された画像データを必要に応じて画素間引きして連続的に読み出す読み出し制御部３２４とを有している。光電変換素子３２２は、Ｂａｙｅｒ配列のカラーフィルタアレイを備えており、結像光学系１１０により結像された光学像のＲＧＢのデータを取得する。
【００８８】
撮像装置３００は更に、出力する画像の変倍率を選択する画像変倍率選択部１３２と、読み出し制御部３２４の画素間引き読み出し規則を設定する読み出し規則設定部３４０と、撮像デバイス３２０から読み出された画像データに対して歪み補正とフルカラー化の処理を行なう歪み補正・フルカラー化処理部２５２とを有している。歪み補正・フルカラー化処理部２５２の詳細は第二実施形態で説明した通りである。
【００８９】
撮像装置３００は更に、読み出し制御部３２４が光電変換素子３２２から読み出す画像データの範囲（読み出し範囲）の基準位置をフレーム毎に変更する読み出し位相制御部３３６と、読み出し位相制御部３３６でフレーム毎に設定される読み出し範囲の基準位置に基づいて、歪み補正・フルカラー化処理部２５２から出力される画像データの全てのフレームに共通する範囲を選択する画像範囲選択処理部３６０とを有している。
【００９０】
読み出し位相制御部３３６が読み出し範囲の基準位置をフレーム毎に変更し、画像範囲選択処理部３６０が全てのフレームに共通する範囲を選択することに対応して、読み出し規則設定部３４０は、画像変倍率選択部１３２で設定された画像の領域よりも広い範囲に渡って読み出し制御部３２４が画像データを読み出すように、画素間引き読み出し規則を設定する。
【００９１】
撮像デバイス３２０内の読み出し制御部３２４は、読み出し規則設定部３４０で設定される読み出し規則と、読み出し位相制御部３３６で設定される読み出し範囲の基準位置とに基づいて、光電変換素子３２２内の画素配列中の対応する範囲の画像データ（１フレーム分の画素データ）を連続的に読み出す。その結果として、撮像デバイス３２０は、時系列的に連続する複数のフレームの画像データで構成される動画信号を出力する。
【００９２】
撮像装置３００は更に、複数のフレームの画像データを一時的に記憶する三つの巡回型フレームメモリー３６２と３６４と３６６と、フレームメモリー３６２と３６４と３６６に記憶された複数のフレームの画像データに対して演算処理を行なって新たな画像データを生成するフレーム間演算処理部３６８とを有している。
【００９３】
従来のビデオシステムの動画撮影においては２フィールドで１フレームになるようなインターレース走査方式が良く用いられている。これは、一般の１／３０のフレームレートにおいてはインタレース走査による画像のちらつきは目立たないとされ、むしろインタレース走査によって、全点走査と同一の時間内でより広い領域の画像情報を得、フィールド間で補完して高速に高精細な画像を得る効果がある。
【００９４】
本実施形態では、インターレース走査が二つのフィールド間で互いの欠落している画素データを補完するのと同様に、連続する二つのフレーム間で互いの欠落している画素データを補完する。
【００９５】
補完の手法の一つとして、フレーム毎に間引く位置を変えることが考えられる。例えば、７５％の縮小処理においては、図５に示すように、８画素中に６画素を読み出すが、６画素の読み出し位置をフレーム間で異ならせ、各フレームでの歪み補正とフルカラー化の処理後に、フレーム間で加算処理を行なえば、滑らかな画像を得ることができる。このようにフレーム毎に読み出し規則を変更することは有効であるが、読み出し規則がフレーム毎に異なるため、フレーム毎に歪み補正処理の係数を異ならせる必要がある。これはハードウエアの規模の大型化を招く。
【００９６】
同様の効果が得られる別の手法として、読み出し規則は全てのフレームで同じだが、読み出し範囲を連続する二つのフレームの間でシフトさせることが考えられる。本実施形態の撮像装置３００は、この手法に従って、連続する二つのフレームで互いの欠落している画素データを補完する。
【００９７】
このため、読み出し位相制御部３３６は、読み出し制御部３２４が光電変換素子３２２から画素間引きして読み出す画素データの範囲（読み出し範囲）の基準位置をフレーム毎に変更させる。より詳しくは、読み出し位相制御部３３６は、読み出し範囲の基準位置を、一定の規則に従って周期的に、フレーム毎に変更させる。
【００９８】
例えば、読み出し位相制御部３３６は、連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、読み出し制御部３２４が読み出す画素データの範囲の基準位置をシフトさせる。より好ましくは、読み出し位相制御部３３６は、連続する二つのフレームの画像データが共通に欠落した画素データを持たないように、読み出し範囲の基準位置をシフトさせる。シフト量は４〜８画素程度が好ましい。
【００９９】
その結果、特定のフレームの画像データにおいて間引き読み出しのために欠落した光電変換素子３２２内の特定の位置の画素データは、他のフレームの画像データに含まれるようになる。つまり、撮像デバイス３２０から出力される画像信号から、光電変換素子３２２の特定の位置の画素データが常に欠落することが避けられる。
【０１００】
更に、フレーム間演算処理部３６８は、フレームメモリー３６２と３６４と３６６に記憶された連続するフレームの画像データに対して、欠落している画素データを補完する処理を行なう。例えば、連続する２つのフレームの画像データに対して１／２：１／２の加算を行なう。あるいは、連続する三つフレームの画像データに対して１／４：１／２：１／４の加算を行なってもよい。
【０１０１】
図１７と図１８は、６／８の間引き読み出しの繰り返しによる読み出しにおける読み出し範囲の基準位置のシフトの様子を模式的に示している。これらの図において、［ｘ，ｙ］は光電変換素子３２２の画素配列の画素位置、（ｘ，ｙ）は読み出し範囲の画素データ配列を表している。
【０１０２】
ここで、図１７は、時間的に隣接する二つのフレームの一方（以下、Ａフレームと呼ぶ）を示し、図１８は、他方のフレーム（以下、Ｂフレームと呼ぶ）を示している。
【０１０３】
図１７と図１８に示されるように、光電変換素子３２２の画素数は水平方向にｋ画素、垂直方向にｌ画素である。従って、光電変換素子３２２の左上の画素の位置は［０，０］、右下の画素の位置は［ｋ，ｌ］と表せる。また、１フレームの読み出し範囲の画素数は水平方向にｍ画素、垂直方向にｎ画素である。従って、フレームの左上の読み出し開始位置は（０，０）、右下の読み出し終了位置は（ｍ，ｎ）と表せる。図１８のＢフレームの読み出し範囲は、図１７のＡフレームの読み出し範囲に対して、水平方向に＋２画素、垂直方向に＋２画素シフトしている。
【０１０４】
図１７のＡフレームでは、左上の読み出し開始位置（０，０）は、光電変換素子３２２の左上の画素位置［０，０］に一致している。つまり、（０，０）＝［０，０］である。また、読み出し終了位置（ｍ，ｎ）は、（ｍ，ｎ）＝［ｋ−２，ｌ−２］である。一方、図１８のフレームでは、左上の読み出し開始位置は、（０，０）＝［２，２］である。また、読み出しの終了位置は、（ｍ，ｎ）＝［ｋ−２，ｌ−２］である。
【０１０５】
画像範囲選択処理部３６０は、図１７のＡフレームと図１８のＢフレームに共通する範囲を選択する。つまり、画像範囲選択処理部３６０は、図１７のＡフレームに対しては、（２，２）と（ｍ，ｎ）を対角の頂点とする矩形の範囲を選択し、図１８のＢフレームに対しては、（０，０）から（ｍ−２，ｎ−２）を対角の頂点とする矩形の範囲を選択する。画像範囲選択処理部３６０で選択された範囲は、常に（ｍ−２）×（ｎ−２）個の画素データを有している。
【０１０６】
例えば、フレーム間のシフト量が４画素の場合でＶＧＡ（６４０×４８０）サイズの画像を生成したいときには、６４４×４８４画素の領域の画像データを、フレーム間で交互に４画素シフトさせながら取得すればよい。
【０１０７】
本実施形態の撮像装置は、第二実施形態の撮像装置の利点と同様の利点を有している。これに加えて、本実施形態の撮像装置は、動画像撮影において、フレーム毎に読み出し規則を変えて画像データを読み出すことにより、光電変換素子内の特定の位置の画素データが欠落することを避けている。これにより、本実施形態の撮像装置は、歪みの少ない高精細な動画像を形成し得る。
【０１０８】
第四実施形態
本実施形態は、平均化サンプリングしたデータから変倍率に従った画像データの変換方法に向けられている。図１９は平均化サンプリングしたデータから変倍率に従った画像データの変換方法の手続きを示している。元の画像データはＢａｙｅｒ配列を想定している。Ｓ１９１では、水平２画素を加算平均して１画素に割り当てている。
【数１１】
2005086247.tif 000014
【０１０９】
ここで、Ｒは平均化処理後の画像データ、ｒは元の画素データを表している。図の例では、平均化後の画素位置を明示的に表すために添え字を次の様にしている。
【数１２】
2005086247.tif 000015
【０１１０】
ここで、画素の重心位置は、式（１１）に示した元のデータのサンプリング位置を考慮して次の様に表せる。
【数１３】
2005086247.tif 000016
【０１１１】
ここで、Ｒcog（ｉ，ｊ）は画素Ｒ（ｉ，ｊ）の重心位置を表し、Ｃｏｇ（Ｘ，Ｙ）はＸとＹの重心を算出する演算子を表現している。実際の画素配列のピッチを考慮して、添え字（ｉ，ｊ＋１）から、実際の位置を求めても良い。また平均化処理に関して式（１１）で示した水平２画素平均化処理に限定されず、水平、垂直の平均化処理でも良い。
【０１１２】
Ｓ１９２では変倍率に従ってフルカラーデータの格子位置を算出している。図２に示すように、フルカラーデータの格子位置は、元のデータのサンプリング位置に対して相対的な関係を持っており、出力画像のフルカラーデータの格子と加重平均に用いる画素データの間の距離Ｌを算出することが出来る。Ｓ１９３では荷重係数Ｗは距離Ｌに反比例し、加重平均の総計が１になるように算出している。
【０１１３】
出力画像データを算出する荷重加算処理を行列形式で表すと
【数１４】
2005086247.tif 000017
となる。ここでＷは荷重加算係数、Ｒは画素データの行列である。Ｂａｙｅｒ配列の画像データを想定した場合、式（１１）に示すように、ＲＧＢそれぞれのチャンネルによって平均化サンプリングしたときの重心位置が異なるので式（１３）の荷重加算係数は各チャンネル毎に異なるようになる。
【０１１４】
図２０〜図２５は、ある画像データ（Ｂａｙｅｒ配列）を異なったサイズのフルカラー画像データに変換するときに、画像サイズ（画素数）の変倍率に合わせて予め間引き処理を行ない、歪み補正とフルカラー処理を行なう手続きについて示している。
【０１１５】
図２０は、全体の処理の流れを示したもので、入力画像データ（間引き処理後）と変倍率に従って、Ｓ２０２では、水平方向の歪み補正処理と２チャンネルカラー化を行ない、Ｓ２０３では、垂直方向の処理とフルカラー化を行なう。２チャンネルカラー化とは、例えばＢａｙｅｒ配列の場合、水平方向にＲ・Ｇ・Ｒ・Ｇと並ぶラインとＧ・Ｂ・Ｇ・Ｂと並ぶラインがあり、例えばＲ・Ｇラインの平方向の処理では、図６〜図１３に示すように、同じ画素位置にＲ・Ｇの２チャンネルのデータを生成する。図２０のＳ２０２においてＲＧ（ｉ，ｊ）は同じ画素位置のＲ・Ｇの２チャンネルを持っている状態の対応し、例えば、図８の加算器６４１の出力Ｒと、同じく加算器６４２の出力ＧとをまとめてＲＧ（ｉｊ）と表している。
【０１１６】
垂直方向の補完処理が可能なライン数（ラインバッファ）が確保された後、Ｓ２０３において、水平方向に補完処理がされたデータから、垂直方向に補完、フルカラー化処理を行なう。Ｂａｙｅｒ配列を仮定した場合水平方向の補完処理ですべての位置のＧチャンネルの輝度データが得られるので、図７に示したように垂直方向の処理はＲ・ＢとＧチャンネルでは異なった係数で行なう。
【０１１７】
更に、画像データが連続するフレームであるときには、図２１のＳ２１１において、それぞれのフレーム内で補完処理を行なった後にフレーム間の補完処理を行なう。これにより、更に歪みの低減を図ることが出来る。
【０１１８】
ここで、図２０の処理の詳細について説明する。図２２は水平方向の歪み補正とカラー化処理の詳細を示している。
【０１１９】
Ｓ２２１では、水平方向に連続する画像データをＦＩＦＯ（First In First Out）のレジスタに格納する。これは図８〜図１３に示した５タップのレジスタに相当する。入力画像データは予め間引き処理を行なったもので、輝度データと画素位置のデータを持っている。ＬＵＴは変倍率に従って決定する補完処理の繰り返し画素数と荷重加算係数とセレクタの位置を示している。セレクタの動作に関しては図８〜図１３を参照されたい。繰り返しの画素単位とは図５と図６に示したものと同様である。
【０１２０】
Ｓ２２２では、入力画像の位置のデータと繰り返しの画素単位から画素の相対位置を求めている。これは図８〜図１３に示すように連続する画素データを６画素の繰り返しで表すことに相当している。繰り返しの画素単位とは、変倍の補完処理を行なうときに同じ補完係数、セレクタの状態を用いる画素の間隔に相当している。図８〜図１３に示すように繰り返しの画素単位と入力画像の画素位置からセレクタの状態を求めるもとが出来る。ここで変倍処理の演算の負荷を低減するために、繰り返しの画素単位と荷重加算係数とセレクタの状態は予め計算しておき、ＬＵＴで参照できる構成をとっている。
【０１２１】
図２４は、このようなＬＵＴの内容を計算する手続きを示したもので、変倍率と画素間引きの位置から変倍率と画素の周期的な間引きの位置から繰り返しの単位、とセレクタの状態が得られるので、式（４）の様な荷重加算係数を求めることができる。
【０１２２】
Ｓ２２３では、Ｓ２２２で求めた画素の相対位置からセレクタの係数（状態）を参照する。Ｓ２２４では、同じく画素の相対位置から加重係数を参照する。Ｓ２２５では、このようにして得られたセレクタの係数からＳ２２１で保持したレジスタの読み出し位置を決定し、Ｓ２２４で得た加重加算係数を用いて加重加算処理を行なう。
【０１２３】
Ｓ２２６では、１ラインのループの終了条件の分岐で１ラインの処理が終わるとラインバッファへのデータの格納を行ない、ラインバッファに蓄えられたデータを用いて図２３に示す水平方向の補完とフルカラー化の処理を行なう。
【０１２４】
図２３は、垂直方向の歪み補正処理の詳細を示している。Ｓ２３１において、垂直方向に連続する画像データを垂直シフトレジスタに格納する。Ｓ２３２において、入力画像の位置のデータと繰り返しの画素単位から画素の相対位置を求める。Ｓ２３４において、ＧチャンネルがＲ・Ｂチャンネルかを判断する。図７や式（７）に示したように、垂直方向に関してはＧチャンネルとＲ・Ｂチャンネルでは補完係数が異なる。このため、図２３では、ＧチャンネルとＲ・Ｂチャンネルとでは、加重加算係数を別々に参照している。Ｒ・Ｂチャンネルであれば、Ｓ２３５において、Ｒ・Ｂチャンネル用の荷重加算係数を参照する。Ｇチャンネルであれば、Ｓ２３６において、Ｇチャンネル用の荷重加算係数を参照する。そのほかの処理に関しては図２２と同様である。
【０１２５】
図２５は、図２３におけるＬＵＴの内容の計算の手続きを示している。
【０１２６】
これまで、図面を参照しながら本発明の実施の形態を述べたが、本発明は、これらの実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。
【図面の簡単な説明】
【０１２７】
【図１】本発明の第一実施形態の撮像装置の構成を概略的に示している。
【図２】平均化読み出しの様式の一例を示している。
【図３】平均化読み出しにおける画素位置と重心位置の関係を示している。
【図４】本発明の第二実施形態の撮像装置の構成を示している。
【図５】第二実施形態において、７５％縮小の変倍に対応する間引き読み出し規則を表している。
【図６】第二実施形態において、カラーフィルタアレイが実装された撮像素子上のＲ・Ｇラインで水平方向８画素中２画素を間引きして読み出したデータを６画素のＲとＧの色情報を持つ等間隔の画素データに変換する様子を模式的に示している。
【図７】第二実施形態において、垂直方向での歪み補正とフルカラー化の処理を模式化的に示している。
【図８】第二実施形態における歪み補正とカラー補完の処理を実施するパイプラインの構成を模式的に示しており、Ｒ6-とＧ7-とＲ0とＧ1とＲ2の５画素のデータが読み出されている状態を示している。
【図９】図８の状態に対して、１クロック単位経過後のパイプラインの状態を示しており、Ｇ7-とＲ0とＧ1とＲ2とＧ3の５画素のデータが読み出されている状態を示している。
【図１０】図９の状態に対して、１クロック単位経過後のパイプラインの状態を示している。
【図１１】図１０の状態に対して、１クロック単位経過後のパイプラインの状態を示している。
【図１２】図１１の状態に対して、１クロック単位経過後のパイプラインの状態を示している。
【図１３】図１２の状態に対して、１クロック単位経過後のパイプラインの状態を示している。
【図１４】Ｇチャンネルの垂直方向の補完を実施するパイプラインの構成を模式的に示している。
【図１５】Ｒ・Ｇラインの水平方向に関して歪み補正処理だけ行ない等間隔のＢａｙｅｒ配列を生成する様子を模式的に示している。
【図１６】本発明の第三実施形態の撮像装置の構成を示している。
【図１７】第三実施形態において、６／８の間引き読み出しの繰り返しによる読み出しにおいて時間的に隣接する二つのフレームの一方を示している。
【図１８】第三実施形態において、６／８の間引き読み出しの繰り返しによる読み出しにおいて時間的に隣接する二つのフレームの他方を示している。
【図１９】平均化サンプリングしたデータから変倍率に従った画像データへの変換方法を示している。
【図２０】間引きサンプリングしたデータに対して歪み補正とフルカラー化の処理後に変倍率に従った画像データへ変換する流れを示している。
【図２１】連続するフレーム間の補完処理を示している。
【図２２】図２０の流れにおける、水平方向の歪み補正とカラー化処理の詳細を示している。
【図２３】図２０の流れにおける、垂直平方向の歪み補正処理の詳細を示している。
【図２４】図２１におけるＬＵＴの内容を計算する手続きを示している。
【図２５】図２３におけるＬＵＴの内容を計算する手続きを示している。
【符号の説明】
【０１２８】
１００…撮像装置、１１０…結像光学系、１２０…撮像デバイス、１２２…光電変換素子、１２４…読み出し制御部、１３２…画像変倍率選択部、１３４…読み出し方式選択部、１５２…サイズ変更・フルカラー化処理部、１５４…ルックアップテーブル部、１７２…映像信号処理部、１７４…画像表示部、１７６…画像記録部、２００…撮像装置、２２０…撮像デバイス、２２２…光電変換素子、２２４…読み出し制御部、２４０…読み出し規則設定部、２５２…歪み補正・フルカラー化処理部、２５４…フィルター係数選択部、２５６…ルックアップテーブル部、３００…撮像装置、３２０…撮像デバイス、３２２…光電変換素子、３２４…読み出し制御部、３４０…読み出し規則設定部、３３６…読み出し位相制御部、３６０…画像範囲選択処理部、３６２…フレームメモリー、３６４…フレームメモリー、３６６…フレームメモリー、３６８…フレーム間演算処理部、６１１…シフトレジスタ、６２１…セレクタ、６２２…セレクタ、６３１…乗算器、６３２…乗算器、６３３…乗算器、６３４…乗算器、６４１…加算器、６４２…加算器、８１１…シフトレジスタ、８２１…セレクタ、８２２…セレクタ、８３１…乗算器、８３２…乗算器、８４１…加算器。
【図１】
2005086247.tif 000018
【図２】
2005086247.tif 000019
【図３】
2005086247.tif 000020
【図４】
2005086247.tif 000021
【図５】
2005086247.tif 000022
【図６】
2005086247.tif 000023
【図７】
2005086247.tif 000024
【図８】
2005086247.tif 000025
【図９】
2005086247.tif 000026
【図１０】
2005086247.tif 000027
【図１１】
2005086247.tif 000028
【図１２】
2005086247.tif 000029
【図１３】
2005086247.tif 000030
【図１４】
2005086247.tif 000031
【図１５】
2005086247.tif 000032
【図１６】
2005086247.tif 000033
【図１７】
2005086247.tif 000034
【図１８】
2005086247.tif 000035
【図１９】
2005086247.tif 000036
【図２０】
2005086247.tif 000037
【図２１】
2005086247.tif 000038
【図２２】
2005086247.tif 000039
【図２３】
2005086247.tif 000040
【図２４】
2005086247.tif 000041
【図２５】
2005086247.tif 000042