(57)【要約】【課題】垂直方向に色や輝度のレベル差があっても偽色や偽信号を抑えた高画質な映像を生成することのできる映像生成装置および映像生成プログラムを提供すること。【解決手段】撮像素子からは１回の水平転送で「ＲＧＢＧＲＧＢＧ…」の順にＲＧＢの全データが読み出される。色補間処理部では、１回の水平転送で読み出されたデータを用いた１ライン色補間処理または２回の水平転送で読み出されたデータを用いた２ライン色補間処理のいずれかが行われる。解像度優先モードでは、垂直方向に輝度（Ｙ）境界があれば１ライン色補間処理が選択され、垂直方向に色境界があれば２ライン色補間処理が選択される。一方、偽色低減優先モードまたは未設定モードでは、垂直方向に色境界があれば２ライン色補間処理が選択され、それ以外は１ライン色補間処理が選択される。【選択図】    図４
2004248048.tif 000002
【特許請求の範囲】
【請求項１】
１回の水平転送でＲＧＢの全データを出力する撮像手段と、
前記撮像手段から出力された各画素データに対して所定の色補間処理を行う色補間処理手段と、
前記色補間処理手段で色補間処理された各画素データをＹＣ変換するＹＣ変換手段と、
前記撮像手段による撮像領域の垂直方向に隣接した２ライン間の色差レベル差を所定領域分累積した結果に基づいて、次フレームの前記所定領域に該当する領域に対して前記色補間処理手段が、１回の水平転送で前記撮像手段から出力された画素データを用いた１ライン色補間処理および２回の水平転送で前記撮像手段から出力された画素データを用いた２ライン色補間処理のいずれを行うかを決定し、前記色補間処理手段に指示する色補間処理方法決定手段と、
前記色補間処理方法決定手段によって決定された色補間処理およびＹＣ変換が行われたデータから映像を生成することを特徴とする映像生成装置。
【請求項２】
前記色補間処理方法決定手段は、
前記２ライン間の色差レベル差の絶対値を前記所定領域分累積して、前記所定領域を構成する画素数で平均化して得られる平均色差レベル差を色差所定値と比較し、前記平均色差レベル差が前記色差所定値以上であれば前記２ライン色補間処理を行うよう決定し、前記平均色差レベル差が前記色差所定値未満であれば前記１ライン色補間処理を行うよう決定することを特徴とする請求項１記載の映像生成装置。
【請求項３】
前記色補間処理方法決定手段は、
前記２ライン間の色差レベル差を前記所定領域分累積した結果および前記２ライン間の輝度レベル差を前記所定領域分累積した結果に基づいて、次フレームの前記所定領域に該当する領域に対して前記色補間処理手段が、前記１ライン色補間処理および前記２ライン色補間処理のいずれを行うかを決定し、前記色補間処理手段に指示することを特徴とする請求項１または２記載の映像生成装置。
【請求項４】
前記色補間処理方法決定手段は、
前記２ライン間の輝度レベル差の絶対値を前記所定領域分累積して、前記所定領域を構成する画素数で平均化して得られる平均輝度レベル差を輝度所定値と比較し、前記平均輝度レベル差が前記輝度所定値以上であれば前記１ライン色補間処理を行うよう決定し、前記平均輝度レベル差が前記輝度所定値未満であれば前記色差レベル差と前記色差所定値との比較を行うことを特徴とする請求項３記載の映像生成装置。
【請求項５】
前記所定領域は、前記撮像手段による撮像領域の水平方向の１ライン、複数ラインまたは１フレームを構成する全ライン分の領域であることを特徴とする請求項１、２、３または４記載の映像生成装置。
【請求項６】
コンピュータを、
１回の水平転送でＲＧＢの全データを出力する撮像手段から出力された各画素データに対して所定の色補間処理を行う色補間処理手段、
前記色補間処理手段で色補間処理された各画素データをＹＣ変換するＹＣ変換手段、
前記撮像手段による撮像領域の垂直方向に隣接した２ライン間の色差レベル差を所定領域分累積した結果に基づいて、次フレームの前記所定領域に該当する領域に対して前記色補間処理手段が、１回の水平転送で前記撮像手段から出力された画素データを用いた１ライン色補間処理および２回の水平転送で前記撮像手段から出力された画素データを用いた２ライン色補間処理のいずれを行うかを決定し、前記色補間処理手段に指示する色補間処理方法決定手段、として機能させ、
前記色補間処理方法決定手段によって決定された色補間処理およびＹＣ変換が行われたデータから映像を生成することを特徴とする映像生成プログラム。
【請求項７】
前記色補間処理方法決定手段は、
前記２ライン間の色差レベル差の絶対値を前記所定領域分累積して、前記所定領域を構成する画素数で平均化して得られる平均色差レベル差を色差所定値と比較し、前記平均色差レベル差が前記色差所定値以上であれば前記２ライン色補間処理を行うよう決定し、前記平均色差レベル差が前記色差所定値未満であれば前記１ライン色補間処理を行うよう決定することを特徴とする請求項６記載の映像生成プログラム。
【請求項８】
前記色補間処理方法決定手段は、
前記２ライン間の色差レベル差を前記所定領域分累積した結果および前記２ライン間の輝度レベル差を前記所定領域分累積した結果に基づいて、次フレームの前記所定領域に該当する領域に対して前記色補間処理手段が、前記１ライン色補間処理および前記２ライン色補間処理のいずれを行うかを決定し、前記色補間処理手段に指示することを特徴とする請求項６または７記載の映像生成プログラム。
【請求項９】
前記色補間処理方法決定手段は、
前記２ライン間の輝度レベル差の絶対値を前記所定領域分累積して、前記所定領域を構成する画素数で平均化して得られる平均輝度レベル差を輝度所定値と比較し、前記平均輝度レベル差が前記輝度所定値以上であれば前記１ライン色補間処理を行うよう決定し、前記平均輝度レベル差が前記輝度所定値未満であれば前記色差レベル差と前記色差所定値との比較を行うことを特徴とする請求項８記載の映像生成プログラム。
【請求項１０】
前記所定領域は、前記撮像手段による撮像領域の水平方向の１ライン、複数ラインまたは１フレームを構成する全ライン分の領域であることを特徴とする請求項６、７、８または９記載の映像生成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、偽信号や偽色を抑えて高画質な映像を生成する映像生成装置および映像生成プログラムに関する。
【０００２】
【従来の技術】
従来の撮像素子の１つに、光電変換を行う複数の受光部が同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向および列方向にずれた位置に配列されたものがある。このような配列（「ハニカム配列」という。）の撮像素子上には、図５に示すように、隣り合う行で各受光部の位置に合わせて、Ｇ（緑）のフィルタ並びにＲ（赤）およびＢ（青）が交互に並んだフィルタから構成されたカラーフィルタが例えば設けられている。当該ハニカム配列の撮像素子からは、１回の水平転送で「ＲＧＢＧＲＧＢＧ…」の順にＲＧＢの全データを読み出すことができる。
【０００３】
上記撮像素子を用いて動画撮影を行う場合、１回の水平転送で読み出されたＲＧＢのデータ（１ラインの入力データ）を用いて色補間処理を行うことがある。例えば、１回の水平転送で「Ｒ０，Ｇ１，Ｂ２，Ｇ３，Ｒ４，Ｇ５，Ｂ６，Ｇ７」の入力データが得られた際、各画素データに対して以下に示す色補間データｒ，ｇ，ｂを生成する。
【０００４】
＜入力データ＞
Ｒｋ，  Ｇｋ＋１，  Ｂｋ＋２，  Ｇｋ＋３，  Ｒｋ＋４，  Ｇｋ＋５，  Ｂｋ＋６，  Ｇｋ＋７
＜色補間データ＞
ｒｎ，  ｒｎ＋１，  ｒｎ＋２，  ｒｎ＋３
ｇｎ，  ｇｎ＋１，  ｇｎ＋２，  ｇｎ＋３
ｂｎ，  ｂｎ＋１，  ｂｎ＋２，  ｂｎ＋３
（ｎ＝ｋ，ｋ＋４，ｋ＋８…）
但し、
画素データＲｋの色補間データはｒｋ，ｇｋ，ｂｋ
画素データＧｋ＋１の色補間データはｒｋ＋１，ｇｋ＋１，ｂｋ＋１
画素データＢｋ＋２の色補間データはｒｋ＋２，ｇｋ＋２，ｂｋ＋２
画素データＧｋ＋３の色補間データはｒｋ＋３，ｇｋ＋３，ｂｋ＋３
である。
【０００５】
なお、
ｒｋ＝Ｒｋ
ｒｋ＋１＝（３Ｒｋ＋Ｒｋ＋４）／４
ｒｋ＋２＝（Ｒｋ＋Ｒｋ＋４）／２
ｒｋ＋３＝（Ｒｋ＋３Ｒｋ＋４）／４
ｇｋ＝（Ｇｋ−１＋Ｇｋ＋１）／２
ｇｋ＋１＝（Ｇｋ−１＋２Ｇｋ＋１＋Ｇｋ＋３）／４
ｇｋ＋２＝（Ｇｋ＋１＋Ｇｋ＋３）／２
ｇｋ＋３＝（Ｇｋ＋１＋２Ｇｋ＋３＋Ｇｋ＋５）／４
ｂｋ＝（Ｂｋ−２＋Ｂｋ＋２）／２
ｂｋ＋１＝（Ｒｋ−２＋３Ｒｋ＋２）／４
ｂｋ＋２＝Ｂｋ＋２
ｂｋ＋３＝（３Ｒｋ＋２＋Ｒｋ＋６）／４
【０００６】
【特許文献１】
特開２００２−１９９４１１号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、垂直方向に色や輝度のレベル差がある映像に対して、１回の水平転送で読み出されたＲＧＢのデータ（１ラインの入力データ）を用いた色補間処理を行うと、ＲＧラインとＧラインの境界部でＲＧＢの色レベルや輝度レベルが異なるために偽色や偽信号の発生が避けられないという問題点があった。
【０００８】
本発明は、上記従来の問題点に鑑みてなされたものであって、垂直方向に色や輝度のレベル差があっても偽色や偽信号を抑えた高画質な映像を生成することのできる映像生成装置および映像生成プログラムを提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る映像生成装置は、１回の水平転送でＲＧＢの全データを出力する撮像手段と、前記撮像手段から出力された各画素データに対して所定の色補間処理を行う色補間処理手段と、前記色補間処理手段で色補間処理された各画素データをＹＣ変換するＹＣ変換手段と、前記撮像手段による撮像領域の垂直方向に隣接した２ライン間の色差レベル差を所定領域分累積した結果に基づいて、次フレームの前記所定領域に該当する領域に対して前記色補間処理手段が、１回の水平転送で前記撮像手段から出力された画素データを用いた１ライン色補間処理および２回の水平転送で前記撮像手段から出力された画素データを用いた２ライン色補間処理のいずれを行うかを決定し、前記色補間処理手段に指示する色補間処理方法決定手段と、前記色補間処理方法決定手段によって決定された色補間処理およびＹＣ変換が行われたデータから映像を生成する。
【００１０】
このように、２ライン間の色差レベル差に従って１ライン色補間処理または２ライン色補間処理を行っている。２ライン色補間処理では２ラインの画素データを用いて色補間を行うため、垂直方向に輝度や色のレベル差があってもエッジの偽色や偽信号を低減することができる。結果として、垂直方向に色差のレベル差があっても偽色を抑えた高画質な映像を生成することができる。
【００１１】
また、本発明に係る映像生成装置は、前記色補間処理方法決定手段は、前記２ライン間の色差レベル差の絶対値を前記所定領域分累積して、前記所定領域を構成する画素数で平均化して得られる平均色差レベル差を色差所定値と比較し、前記平均色差レベル差が前記色差所定値以上であれば前記２ライン色補間処理を行うよう決定し、前記平均色差レベル差が前記色差所定値未満であれば前記１ライン色補間処理を行うよう決定する。したがって、２ライン間の色差レベル差が大きければ２ライン色補間処理が行われるため、偽色を抑えた映像を生成することができる。
【００１２】
また、本発明に係る映像生成装置は、前記色補間処理方法決定手段は、前記２ライン間の色差レベル差を前記所定領域分累積した結果および前記２ライン間の輝度レベル差を前記所定領域分累積した結果に基づいて、次フレームの前記所定領域に該当する領域に対して前記色補間処理手段が、前記１ライン色補間処理および前記２ライン色補間処理のいずれを行うかを決定し、前記色補間処理手段に指示する。
【００１３】
このように、２ライン間の色差レベルおよび輝度レベル差の双方に従って１ライン色補間処理または２ライン色補間処理を行っている。したがって、垂直方向に色差または輝度のレベル差があっても偽色または偽信号を抑えた高画質な映像を生成することができる。
【００１４】
また、本発明に係る映像生成装置は、前記色補間処理方法決定手段は、前記２ライン間の輝度レベル差の絶対値を前記所定領域分累積して、前記所定領域を構成する画素数で平均化して得られる平均輝度レベル差を輝度所定値と比較し、前記平均輝度レベル差が前記輝度所定値以上であれば前記１ライン色補間処理を行うよう決定し、前記平均輝度レベル差が前記輝度所定値未満であれば前記色差レベル差と前記色差所定値との比較を行うことが望ましい。
【００１５】
また、本発明に係る映像生成装置は、前記所定領域は、前記撮像手段による撮像領域の水平方向の１ライン、複数ラインまたは１フレームを構成する全ライン分の領域である。したがって、１ライン、複数ラインまたはフレーム毎に１ライン色補間処理を行うか２ライン色補間処理を行うかを選択することができる。
【００１６】
また、本発明に係る映像生成プログラムは、コンピュータを、１回の水平転送でＲＧＢの全データを出力する撮像手段から出力された各画素データに対して所定の色補間処理を行う色補間処理手段、前記色補間処理手段で色補間処理された各画素データをＹＣ変換するＹＣ変換手段、前記撮像手段による撮像領域の垂直方向に隣接した２ライン間の色差レベル差を所定領域分累積した結果に基づいて、次フレームの前記所定領域に該当する領域に対して前記色補間処理手段が、１回の水平転送で前記撮像手段から出力された画素データを用いた１ライン色補間処理および２回の水平転送で前記撮像手段から出力された画素データを用いた２ライン色補間処理のいずれを行うかを決定し、前記色補間処理手段に指示する色補間処理方法決定手段、として機能させ、前記色補間処理方法決定手段によって決定された色補間処理およびＹＣ変換が行われたデータから映像を生成する。
【００１７】
また、本発明に係る映像生成プログラムは、前記色補間処理方法決定手段は、前記２ライン間の色差レベル差の絶対値を前記所定領域分累積して、前記所定領域を構成する画素数で平均化して得られる平均色差レベル差を色差所定値と比較し、前記平均色差レベル差が前記色差所定値以上であれば前記２ライン色補間処理を行うよう決定し、前記平均色差レベル差が前記色差所定値未満であれば前記１ライン色補間処理を行うよう決定する。
【００１８】
また、本発明に係る映像生成プログラムは、前記色補間処理方法決定手段は、前記２ライン間の色差レベル差を前記所定領域分累積した結果および前記２ライン間の輝度レベル差を前記所定領域分累積した結果に基づいて、次フレームの前記所定領域に該当する領域に対して前記色補間処理手段が、前記１ライン色補間処理および前記２ライン色補間処理のいずれを行うかを決定し、前記色補間処理手段に指示する。
【００１９】
また、本発明に係る映像生成プログラムは、前記色補間処理方法決定手段は、前記２ライン間の輝度レベル差の絶対値を前記所定領域分累積して、前記所定領域を構成する画素数で平均化して得られる平均輝度レベル差を輝度所定値と比較し、前記平均輝度レベル差が前記輝度所定値以上であれば前記１ライン色補間処理を行うよう決定し、前記平均輝度レベル差が前記輝度所定値未満であれば前記色差レベル差と前記色差所定値との比較を行う。
【００２０】
さらに、本発明に係る映像生成プログラムは、前記所定領域は、前記撮像手段による撮像領域の水平方向の１ライン、複数ラインまたは１フレームを構成する全ライン分の領域である。
【００２１】
【発明の実施の形態】
以下、本発明に係る映像生成装置の実施の形態について、図面を参照して詳細に説明する。なお、以下の説明では本発明に係る映像生成装置について詳述するが、本発明に係る映像生成プログラムについては、映像生成装置を動作させるためのプログラムであることから、その説明は以下の説明に含まれる。また、本実施形態の映像生成装置は、動画機能を搭載したデジタルカメラ等に設けられているものとして説明する。
【００２２】
以下、本実施形態のデジタルカメラの構成について、図１を参照して説明する。図１は、本実施形態のデジタルカメラの概略構成を示すブロック図である。同図に示すように、本実施形態のデジタルカメラは、特許請求の範囲の撮像手段に該当する撮像部１と、アナログ信号処理部２と、Ａ／Ｄ変換部３と、映像生成装置に該当するデジタル信号処理部６と、圧縮／伸張処理部７と、表示部８と、システム制御部９と、内部メモリ１０と、メディアインタフェース１１と、記録メディア１２と、操作部１３とを備えて構成されている。デジタル信号処理部６、圧縮／伸張処理部７、表示部８、システム制御部９、内部メモリ１０およびメディアインタフェース１１は、システムバス２０に接続されている。
【００２３】
撮像部１は、撮影レンズ等の光学系およびＣＣＤイメージセンサ等の撮像素子によって被写体の撮影を行うものであり、アナログの撮像信号を出力する。なお、本実施形態で利用されるＣＣＤイメージセンサ等の撮像素子には、光電変換を行う複数の受光部が同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向および列方向にずれた位置に配列されている。このような配列（「ハニカム配列」という。）の撮像素子上には、図５に示すように、隣り合う行で各受光部の位置に合わせて、Ｇ（緑）のフィルタ並びにＲ（赤）およびＢ（青）が交互に並んだフィルタから構成されたカラーフィルタが例えば設けられている。
【００２４】
当該カラーフィルタを介して撮像素子に光が入射されると、当該撮像素子からは光に対して蓄積された信号電荷に基づくアナログ電圧信号が出力される。なお、当該ハニカム配列の撮像素子からは、１回の水平転送で「ＲＧＢＧＲＧＢＧ…」の順にＲＧＢの全データが出力される。撮像部１から出力された信号はアナログ信号処理部２に送られ、所定のアナログ信号処理が施され、Ａ／Ｄ変換部３でデジタル信号に変換された後、デジタル信号処理部６に送られる。
【００２５】
デジタル信号処理部６は、Ａ／Ｄ変換部４からのデジタルデータに対して、操作部１２によって設定された動作モードに応じたデジタル信号処理を行う。デジタル信号処理部６が行う処理には、ホワイトバランス調整処理（ゲイン調整）やガンマ補正処理、色補間処理（同時化処理）、ＹＣ変換処理等が含まれる。なお、デジタル信号処理部６は例えばＤＳＰで構成される。
【００２６】
圧縮／伸張処理部７は、デジタル信号処理部６で得られたＹＣデータに対して圧縮処理を施したり、記録メディア１２から得られた圧縮画像データに対して伸張処理を施す。また、表示部８は、撮影されデジタル信号処理された画像や動画または記録メディア１２に記録された圧縮データを伸張処理して得られた画像や動画を表示する。なお、表示部８は、撮影時のスルー画像やデジタルカメラの各種状態、操作に関する情報の表示等も可能である。
【００２７】
内部メモリ１０は、例えばＤＲＡＭであり、デジタル信号処理部６やシステム処理部９のワークメモリとして利用される他、記録メディアに１２に記録される撮影画像データを一時的に記憶するバッファメモリ、表示部８への表示画像データのバッファメモリとしても利用される。また、メディアインタフェース１１は、メモリカード等の記録メディア１２との間のデータの入出力を行うものである。
【００２８】
システム制御部９は、所定のプログラムによって動作するプロセッサを主体に構成され、撮影動作を含むデジタルカメラ全体の制御を行う。また、操作部１３は、デジタルカメラ使用時の各種操作を行うもので、デジタルカメラの動作モード（撮影モード、再生モード等）、撮影時の撮影方法、撮影条件、設定等を行う。なお、操作部１３には、撮影動作を起動するためのレリーズボタンも含まれる。
【００２９】
次に、本実施形態のデジタルカメラが備えるデジタル信号処理部６について、図２を参照して詳細に説明する。図２は、本実施形態のデジタルカメラが備えるデジタル信号処理部６の内部構成を示すブロック図である。なお、デジタル信号処理部６が行うホワイトバランス調整処理およびガンマ補正処理を行うブロックについては説明を省略し、図面（図２）にも記載しない。したがって、以下の説明では、本実施形態における色補間処理（同時化処理）やＹＣ変換処理等についてのみ説明する。
【００３０】
図２に示すように、本実施形態のデジタル信号処理部６は、特許請求の範囲の色補間処理手段に該当する色補間処理部１０１と、ＹＣ変換手段に該当するＹＣ変換部１０３と、色補間処理方法決定手段に該当する色補間処理方法決定部１０５とを有している。色補間処理部１０１は、Ａ／Ｄ変換部４からのデジタルデータに対して色補間を行うものである。より具体的には、ＲＧＢの各画素データに対して色補間データを生成する。
【００３１】
なお、撮像素子からは１回の水平転送で「ＲＧＢＧＲＧＢＧ…」の順にＲＧＢの全データが読み出されるが、本実施形態の色補間処理部１０１では、１回の水平転送で読み出されたデータ（１ラインの入力データ）を用いた色補間処理または２回の水平転送で読み出されたデータ（２ラインの入力データ）を用いた色補間処理のいずれかが行われる。以下の説明では、１ラインの入力データを用いた色補間処理を「１ライン色補間処理」といい、２ラインの入力データを用いた色補間処理を「２ライン色補間処理」という。
【００３２】
例えば、１回の水平転送で「Ｒｋ，Ｇｋ＋１，Ｂｋ＋２，Ｇｋ＋３，Ｒｋ＋４，Ｇｋ＋５，Ｂｋ＋６，Ｇｋ＋７」の入力データが得られた際、１ライン色補間処理では、各画素データに対して以下に示す色補間データｒ，ｇ，ｂを生成する。
【００３３】
「１ライン色補間処理」
＜入力データ＞
Ｒｋ，  Ｇｋ＋１，  Ｂｋ＋２，  Ｇｋ＋３，  Ｒｋ＋４，  Ｇｋ＋５，  Ｂｋ＋６，  Ｇｋ＋７
＜色補間データ＞
ｒｎ，  ｒｎ＋１，  ｒｎ＋２，  ｒｎ＋３
ｇｎ，  ｇｎ＋１，  ｇｎ＋２，  ｇｎ＋３
ｂｎ，  ｂｎ＋１，  ｂｎ＋２，  ｂｎ＋３
（ｎ＝ｋ，ｋ＋４，ｋ＋８…）
但し、
画素データＲｋの色補間データはｒｋ，ｇｋ，ｂｋ
画素データＧｋ＋１の色補間データはｒｋ＋１，ｇｋ＋１，ｂｋ＋１
画素データＢｋ＋２の色補間データはｒｋ＋２，ｇｋ＋２，ｂｋ＋２
画素データＧｋ＋３の色補間データはｒｋ＋３，ｇｋ＋３，ｂｋ＋３
である。
【００３４】
なお、
ｒｋ＝Ｒｋ
ｒｋ＋１＝（３Ｒｋ＋Ｒｋ＋４）／４
ｒｋ＋２＝（Ｒｋ＋Ｒｋ＋４）／２
ｒｋ＋３＝（Ｒｋ＋３Ｒｋ＋４）／４
ｇｋ＝（Ｇｋ−１＋Ｇｋ＋１）／２
ｇｋ＋１＝（Ｇｋ−１＋２Ｇｋ＋１＋Ｇｋ＋３）／４
ｇｋ＋２＝（Ｇｋ＋１＋Ｇｋ＋３）／２
ｇｋ＋３＝（Ｇｋ＋１＋２Ｇｋ＋３＋Ｇｋ＋５）／４
ｂｋ＝（Ｂｋ−２＋Ｂｋ＋２）／２
ｂｋ＋１＝（Ｒｋ−２＋３Ｒｋ＋２）／４
ｂｋ＋２＝Ｂｋ＋２
ｂｋ＋３＝（３Ｒｋ＋２＋Ｒｋ＋６）／４
【００３５】
一方、１回目の水平転送で「Ｒｉｋ，Ｇｉｋ＋１，Ｂｉｋ＋２，Ｇｉｋ＋３，Ｒｉｋ＋４，Ｇｉｋ＋５，Ｂｉｋ＋６，Ｇｉｋ＋７」の入力データが得られ、２回目の水平転送で「Ｂｉ＋１ｋ，Ｇｉ＋１ｋ＋１，Ｒｉ＋１ｋ＋２，Ｇｉ＋１ｋ＋３，Ｂｉ＋１ｋ＋４，Ｇｉ＋１ｋ＋５，Ｒｉ＋１ｋ＋６，Ｇｉ＋１ｋ＋７」の入力データが得られた際、２ライン色補間処理では、１回目の水平転送で得られた各画素データに対して以下に示す色補間データｒ，ｇ，ｂを生成する。
【００３６】
「２ライン色補間処理」
＜入力データ＞
Ｒｉｋ，  Ｇｉｋ＋１，  Ｂｉｋ＋２，  Ｇｉｋ＋３，  Ｒｉｋ＋４，  Ｇｉｋ＋５，  Ｂｉｋ＋６，  Ｇｉｋ＋７
Ｂｉ＋１ｋ，  Ｇｉ＋１ｋ＋１，  Ｒｉ＋１ｋ＋２，  Ｇｉ＋１ｋ＋３，  Ｂｉ＋１ｋ＋４，  Ｇｉ＋１ｋ＋５，  Ｒｉ＋１ｋ＋６，  Ｇｉ＋１ｋ＋７
＜色補間データ＞
ｒｎ，  ｒｎ＋１，  ｒｎ＋２，  ｒｎ＋３
ｇｎ，  ｇｎ＋１，  ｇｎ＋２，  ｇｎ＋３
ｂｎ，  ｂｎ＋１，  ｂｎ＋２，  ｂｎ＋３
（ｎ＝ｋ，ｋ＋４，ｋ＋８…）
但し、
画素データＲｉｋの色補間データはｒｋ，ｇｋ，ｂｋ
画素データＧｉｋ＋１の色補間データはｒｋ＋１，ｇｋ＋１，ｂｋ＋１
画素データＢｉｋ＋２の色補間データはｒｋ＋２，ｇｋ＋２，ｂｋ＋２
画素データＧｉｋ＋３の色補間データはｒｋ＋３，ｇｋ＋３，ｂｋ＋３
である。
【００３７】
なお、
ｒｋ＝（Ｒｉ＋１ｋ−２＋２Ｒｉｋ＋Ｒｉ＋１ｋ＋２）／４
ｒｋ＋１＝（Ｒｉｋ＋Ｒｉ＋１ｋ＋２）／２
ｒｋ＋２＝（Ｒｉｋ＋２Ｒｉ＋１ｋ＋２＋Ｒｉｋ＋４）／４
ｒｋ＋３＝（Ｒｉ＋１ｋ＋２＋Ｒｉｋ＋４）／２
ｇｋ＝（Ｇｉｋ−１＋Ｇｉｋ＋１）／２
ｇｋ＋１＝（Ｇｉｋ−１＋２Ｇｉｋ＋１＋Ｇｉｋ＋３）／４
ｇｋ＋２＝（Ｇｉｋ＋１＋Ｇｉｋ＋３）／２
ｇｋ＋３＝（Ｇｉｋ＋１＋２Ｇｉｋ＋３＋Ｇｉｋ＋５）／４
ｂｋ＝（Ｂｉｋ−２＋２Ｂｉ＋１ｋ＋Ｂｉｋ＋２）／４
ｂｋ＋１＝（Ｂｉ＋１ｋ＋Ｂｉｋ＋２）／２
ｂｋ＋２＝（Ｂｉ＋１ｋ＋２Ｂｉｋ＋２＋Ｂｉ＋１ｋ＋４）／４
ｂｋ＋３＝（Ｂｉｋ＋２＋Ｂｉ＋１ｋ＋４）／２
【００３８】
なお、上述の２ライン色補間処理では、Ｂの画素データに対しは１回目の水平転送で読み出されたデータを用いて色補間処理を行っているが、１回目および２回目の水平転送で読み出されたデータ（２ラインの入力データ）を用いて色補間処理を行っても良い。
【００３９】
ＹＣ変換部１０３は、色補間処理部１０１で色補間されたＲＧＢデータを輝度（Ｙ）データおよび色差（Ｃ）データに変換するものである。ＹＣ変換部１０３で変換されたデータ（ＹＣデータ）はシステムバス２０を介して内部メモリ１０に格納された後、ＲＧＢデータに変換されて表示部８で表示される。また、同様のＹＣデータは、色補間処理方法決定部１０５にも送られる。
【００４０】
色補間処理方法決定部１０５は、撮像部１による撮像領域の垂直方向に隣接した２ライン間の輝度や色差の各レベル差に基づいて、次のフレームに対して色補間処理部１０１が１ライン色補間処理および２ライン色補間処理のいずれを行うか決定し、色補間処理部１０１に指示するものである。図３は、色補間処理方法決定部１０５の内部構成を示すブロック図である。同図に示すように、色補間処理方法決定部１０５は、ラインメモリ２０１ａ，２０１ｂと、差分算出部２０３ａ，２０３ｂと、絶対値算出部２０５ａ，２０５ｂと、積算部２０７ａ，２０７ｂと、レジスタ２０９ａ，２０９ｂと、平均化部２１１ａ，２１１ｂと、判定処理部２１３とを有している。
【００４１】
なお、ラインメモリ２０１ａ、差分算出部２０３ａ、絶対値算出部２０５ａ、積算部２０７ａ、レジスタ２０９ａおよび平均化部２１１ａは、Ｙデータの垂直方向の勾配（輝度の勾配）を求める部分であり、ラインメモリ２０１ｂ、差分算出部２０３ｂ、絶対値算出部２０５ｂ、積算部２０７ｂ、レジスタ２０９ｂおよび平均化部２１１ｂは、Ｃデータの垂直方向の勾配（色差の勾配）を求める部分である。
【００４２】
ラインメモリ２０１ａは、１回の水平転送で得られた各画素データのＹデータを記憶するものである。また、差分算出部２０３ａは、ラインメモリ２０１ａに記憶されている各画素データのＹデータが示す輝度レベルから次に得られた各画素データのＹデータが示す輝度レベルを差し引いて、垂直方向に隣り合うライン間の輝度のレベル差（ΔＹ）を算出するものである。また、絶対値算出部２０５ａは、差分算出部２０３ａで得られた輝度レベル差（ΔＹ）の絶対値（｜ΔＹ｜）を算出するものである。
【００４３】
また、積算部２０７ａは、絶対値算出部２０５ａから得られた輝度レベル差の絶対値をレジスタ２０９に蓄積された所定ライン数分だけ積算するものである。したがって、積算部２０７ａからは“Σ｜ΔＹ｜”で表すことのできる累積輝度レベル差が出力される。また、平均化部２１１ａは、積算部２０７ａから得られた累積輝度レベル差（Σ｜ΔＹ｜）を“累積したライン数×１ラインの画素数”によって示される数（ｘ）で割ることにより、一画素当たりの平均輝度レベル差（Σ｜ΔＹ｜／ｘ）を求めるものである。
【００４４】
一方、ラインメモリ２０１ｂ、差分算出部２０３ｂ、絶対値算出部２０５ｂ、積算部２０７ｂ、レジスタ２０９ｂおよび平均化部２１１ｂは、Ｃデータに対してラインメモリ２０１ａ、差分算出部２０３ａ、絶対値算出部２０５ａ、積算部２０７ａ、レジスタ２０９ａおよび平均化部２１１ａと同様の動作を行うことにより、一画素当たりの平均色差レベル差（Σ｜ΔＣ｜／ｘ）を求める。
【００４５】
なお、積算部２０７ａ，２０７ｂが何ライン分の輝度レベル差の絶対値（｜ΔＹ｜）を積算するかは設定によって可変であり、１ライン分、複数ライン分、１フレームを構成するライン分の中から選択することができる。例えば、２ライン分の輝度レベル差の絶対値を積算する場合、レジスタ２０９には１ライン分のデータが蓄積され、２ライン毎にリセットされる。
【００４６】
このようにして得られた平均輝度レベル差（Σ｜ΔＹ｜／ｘ）および平均色差レベル差（Σ｜ΔＣ｜／ｘ）は判定処理部２１３に入力される。判定処理部２１３は、本実施形態のデジタルカメラがユーザによって「解像度優先モード」、「偽色低減優先モード」および「未設定モード」のいずれが選択されているかに応じて異なる判定を行う。判定処理部２１３は、平均輝度レベル差“Σ｜ΔＹ｜／ｘ”と所定のしきい値“ｙ”を比較したり、平均色差レベル差“Σ｜ΔＣ｜／ｘ”と所定のしきい値“ｃ”を比較することにより、各々の大小関係に基づいて、色補間処理部１０１が１ライン色補間処理および２ライン色補間処理のいずれを行うかを決定し、色補間処理部１０１に指示している。
【００４７】
以下、判定処理部２１３が行う判定処理について、図４に示すフローチャートを参照して詳しく説明する。図４は、判定処理部２１３が行う判定処理を説明するフローチャートである。まず、本実施形態のデジタルカメラがどのモードに設定されているかを判別する（ステップＳ１０１）。当該ステップＳ１０１による判別の結果、解像度優先モードが設定されていればステップＳ１１１に進み、偽色低減優先モードまたは未設定モードが設定されていればステップＳ１２１に進む。
【００４８】
ステップＳ１１１では、平均輝度レベル差“Σ｜ΔＹ｜／ｘ”と所定のしきい値“ｙ”とを比較する。比較の結果、Σ｜ΔＹ｜／ｘ≧ｙであれば１ライン色補間処理に決定し、Σ｜ΔＹ｜／ｘ＜ｙであればステップＳ１１３に進む。ステップＳ１１３では、平均色差レベル差“Σ｜ΔＣ｜／ｘ”と所定のしきい値“ｃ”とを比較する。比較の結果、Σ｜ΔＣ｜／ｘ≧ｃであれば２ライン色補間処理を行うよう決定し、Σ｜ΔＣ｜／ｘ＜ｃであれば１ライン色補間処理を行うよう決定する。このように、解像度優先モードでは、垂直方向に輝度境界があれば１ライン色補間処理が選択され、垂直方向に色境界があれば２ライン色補間処理が選択される。
【００４９】
一方、ステップＳ１２１では、平均色差レベル差“Σ｜ΔＣ｜／ｘ”と所定のしきい値“ｃ”とを比較する。比較の結果、Σ｜ΔＣ｜／ｘ≧ｃであればステップＳ１１７に進んで２ライン色補間処理を行うよう決定し、Σ｜ΔＣ｜／ｘ＜ｃであれば１ライン色補間処理を行うよう決定する。このように、偽色低減優先モードまたは未設定モードでは、垂直方向に色境界があれば２ライン色補間処理が選択され、それ以外は１ライン色補間処理が選択される。
【００５０】
判定処理部２１３は、色補間処理部１０１に対して、次のフレームの対象とされたラインまたは領域に対して、当該フローチャートによる規則に則って決定された色補間処理を行うよう指示する。すなわち、上記判定処理が１ラインに対して行われれば、次のフレームの該当ラインに対して決定された色補間処理を行うよう指示する。また、上記判定が複数ラインに対して行われれば、次のフレームの該当するラインから構成されるエリアに対して決定された色補間処理を行うよう指示する。さらに、上記判定処理がフレーム全体に対して行われれば、次のフレーム全体に対して決定された色補間処理を行うよう指示する。
【００５１】
以上説明したように、本実施形態のデジタルカメラによれば、垂直方向に隣接するライン間の輝度や色差の各レベル差に基づいて、映像を構成する各フレームに対して色補間処理部１０１が１ライン色補間処理および２ライン色補間処理のいずれを行うかを決定し、色補間処理部１０１に指示している。１ライン色補間処理では１ラインを構成する画素データを用いて色補間を行うため、垂直方向に輝度や色のレベル差があると映像には偽色や偽信号が発生するという問題点があるが、２ライン色補間処理では２ラインの画素データを用いて色補間を行うため、垂直方向に輝度や色のレベル差があってもエッジの偽色や偽信号を低減することができる。結果として、垂直方向に輝度や色のレベル差がある映像であっても偽色や偽信号を抑えた高画質の映像を生成することができる。
【００５２】
また、１ライン色補間処理と２ライン色補間処理のどちらを行うかは、フレームのライン毎、エリア毎またはフレーム全体に対して選択することができる。したがって、所望の領域（１ライン、複数ライン、フレーム全体）毎に１ライン色補間処理を行うか２ライン色補間処理を行うかを選択することができる。
【００５３】
【発明の効果】
以上説明したように、本発明に係る映像生成装置および映像生成プログラムによれば、垂直方向に色や輝度のレベル差があっても偽色や偽信号を抑えた高画質な映像を生成することができる。
【図面の簡単な説明】
【図１】本実施形態のデジタルカメラの概略構成を示すブロック図
【図２】本実施形態のデジタルカメラが備えるデジタル信号処理部の内部構成を示すブロック図
【図３】デジタル信号処理部が有する色補間処理方法決定部の内部構成を示すブロック図
【図４】判定処理部が行う判定処理を説明するフローチャート
【図５】ハニカム配列の撮像素子上に設けられたカラーフィルタの配列を示す説明図
【符号の説明】
１  撮像部
２  アナログ信号処理部
３  Ａ／Ｄ変換部
６  デジタル信号処理部
７  圧縮／伸張処理部
８  表示部
９  システム制御部
１０  内部メモリ
１１  メディアインタフェース
１２  記録メディア
１３  操作部
１０１  色補間処理部
１０３  ＹＣ変換部
１０５  色補間処理方法決定部
２０１ａ，２０１ｂ  ラインメモリ
２０３ａ，２０３ｂ  差分算出部
２０５ａ，２０５ｂ  絶対値算出部
２０７ａ，２０７ｂ  積算部
２０９ａ，２０９ｂ  レジスタ
２１１ａ，２１１ｂ  平均化部
２１３  判定処理部
【図１】
2004248048.tif 000003
【図２】
2004248048.tif 000004
【図３】
2004248048.tif 000005
【図４】
2004248048.tif 000006
【図５】
2004248048.tif 000007