(57)【要約】【課題】画素信号の加算読み出し又は間引き読み出しを行った場合に生じ得る解像感劣化の抑制及びノイズの低減に寄与するとともに、回路規模の増大化を抑制した画像処理装置及び撮像装置並びに画像処理方法を提供する。【解決手段】画素信号を有する画素位置が異なる複数の原画像を順次取得し、この原画像に色補間処理を施して色補間画像を生成する。生成される色補間画像（現フレーム）と、以前に出力された合成画像（前フレーム）と、を合成して合成画像を生成する。合成画像は、映像信号を出力するために色同時化処理部５５に入力されるとともに、次のフレームの合成に用いるためにフレームメモリ５２に記憶される。【選択図】図１０
2010004396.tif 000002
【特許請求の範囲】
【請求項１】
単板方式の撮像素子に二次元配列された受光画素群の画素信号の加算読み出し又は間引き読み出しを行う読出手段を有し、加算又は間引きの対象となる受光画素の組み合わせが異なる複数の読み出しパターンを用いることにより、画素信号を有する画素位置が連続するフレーム間で互いに異なる原画像を順次取得する原画像取得手段と、
当該原画像取得手段によって順次取得される前記原画像に所定の画像処理を施して第１画像を順次生成する画像処理手段と、
当該画像処理手段によって生成される前記第１画像に、所定の画像を順次合成して第２画像を順次生成する合成手段と、
当該合成手段によって生成される前記第２画像を一時的に記憶する記憶手段と、を備え、
前記合成手段が、前記記憶手段に記憶された前記第２画像を前記第１画像に合成して、前記第２画像を順次生成する
ことを特徴とする画像処理装置。
【請求項２】
前記画像処理手段が、前記原画像の画素信号群に含まれる同一色の画素信号同士を混合し、その混合によって得られた画素信号を補間画素位置毎に一つずつ備えた前記第１画像を生成する色補間処理手段であるとともに、
前記第２画像が、前記補間画素位置毎に画素信号を一つずつ備える画像であり、
前記第２画像に備えられる画素信号に基づいて、前記補間画素位置毎に異色の画素信号を複数備える出力合成画像を生成する色同時化手段を、さらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段が、
前記原画像の画素信号群に含まれる同一色の画素信号同士を混合し、その混合によって得られた画素信号を補間画素位置毎に一つずつ備えた色補間画像を生成する色補間処理手段と、
当該色補間処理手段によって生成される前記色補間画像に備えられる画素信号に基づいて、前記補間画素位置毎に異色の画素信号を複数備える前記第１画像を生成する色同時化手段と、を備えるものであり、
前記第２画像が、前記補間画素位置毎に異色の画素信号を複数備える画像である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１画像及び前記第２画像の夫々で対応する画素信号の画像内における位置が等しい、又は、対応する画素信号の画像内における位置が所定の大きさだけずれたものであり、
前記合成手段が、前記第１画像及び前記第２画像の夫々で対応する画素信号同士を混合することにより、前記第２画像を生成する
ことを特徴とする請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記合成手段によって合成される前記第１画像及び前記第２画像間における物体の動きを検出する動き検出手段をさらに備え、
前記合成手段が、前記動きの大きさに基づいて前記第２画像の生成を行う
ことを特徴とする請求項２〜４の何れかに記載の画像処理装置。
【請求項６】
前記合成手段が、前記動き検出手段によって検出された前記第１画像及び前記第２画像間における物体の動きの大きさに基づいて重み係数を設定する重み係数設定手段を有し、前記重み係数に従って前記第１画像及び前記第２画像の画素信号を混合することにより前記第２画像を生成する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記合成手段によって合成を行う前記第１画像について、ある注目した画素の周辺の画素の特徴を示す画像特徴量を算出する画像特徴量算出手段をさらに備え、
前記重み係数設定手段が、前記動き検出手段によって検出される物体の動きの大きさと、前記画像特徴量算出手段によって算出される前記画像特徴量とに基づいて、前記重み係数を設定する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
単板方式の撮像素子と、
請求項１〜７の何れかに記載の画像処理装置と、を備えた
ことを特徴とする撮像装置。
【請求項９】
単板方式の撮像素子に二次元配列された受光画素群の画素信号の加算読み出し又は間引き読み出しを、加算又は間引きの対象となる受光画素の組み合わせが異なる複数の読み出しパターンを用いることにより行い、画素信号を有する画素位置が連続するフレーム間で互いに異なる原画像を取得する第１ステップと、
当該第１ステップによって取得された前記原画像に所定の画像処理を施して第１画像を生成する第２ステップと、
当該第２ステップによって生成された前記第１画像に、所定の画像を合成して第２画像を生成する第３ステップと、
当該第３ステップによって生成された前記第２画像を一時的に記憶する第４ステップと、を備え、
前記第１〜前記第４ステップを繰り返すことで、順次前記第２画像を生成及び記憶するとともに、前記第３ステップが、過去に生成して記憶した前記第２画像を、前記第１画像に合成するものである
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取得した原画像に対して画像処理を行う画像処理装置及び画像処理方法、並びに、デジタルビデオカメラ等の撮像装置に関する。
【背景技術】
【０００２】
多画素から成る静止画像を撮影可能な撮像素子（イメージセンサ）にて動画像を撮影する場合、撮像素子からの画素信号の読み出し速度に応じて、フレームレートを低く抑える必要がある。高フレームレートを実現するためには、画素信号の加算読み出し或いは間引き読み出しを行って画像データを減らす必要がある。
【０００３】
但し、撮像素子上の画素間隔は水平及び垂直方向において均等であるにも拘らず、加算読み出し或いは間引き読み出しを行うと、画素信号が存在する間隔が不均等となる。この不均等に配列された画素信号を有する画像をそのまま表示すると、ジャギーや偽色が発生する。この問題を回避するための手法として、画素信号が存在する画素間隔が均等となるように補間処理を行う手法が提案されている（例えば、特許文献１及び２参照）。
【０００４】
この手法を、図５８を参照して説明する。図５８において、ブロック９０１は、単板方式を採用した撮像素子の受光画素前面に配置されたカラーフィルタ配列（ベイヤー配列）を示している。ブロック９０２は、加算読み出しを行うことによって、この撮像素子から得られるＲ、Ｇ及びＢ信号の存在位置を示している。加算読み出しでは、注目位置の近傍画素における画素信号が加算され、加算信号が注目位置の画素信号として撮像素子から読み出される。例えば、Ｇ信号が生成されるべき注目位置の、左斜め上、右斜め上、左斜め下及び右斜め下に隣接する実際の受光画素の画素信号を加算することによって、注目位置のＧ信号が生成される。図５８では、黒塗りの丸によってＧ信号についての注目位置を示すと共に該丸に接続される矢印によって信号加算の様子を示しているが、Ｂ及びＲ信号についても、同様の加算読み出しが行われる。
【０００５】
ブロック９０２に示されるように、加算読み出しを行って得られる画像の画素間隔は不均等である。この不均等な画素間隔を均等な画素間隔に修正するための補間処理を行うことで、ブロック９０３及び９０４に示されるような画素信号配列を有する画像が得られる。つまり、Ｒ、Ｇ及びＢ信号が、ベイヤー配列のように配列された画像が得られる。このブロック９０４にて示される画像（ＲＡＷデータ）に対して、所謂デモザイキング処理（色同時化処理）を行うことで、ブロック９０５に示される出力画像が得られる。出力画像は、水平及び垂直方向に均等な間隔で画素が配列された二次元画像であり、出力画像における各画素に対してＲ、Ｇ及びＢ信号が夫々割り当てられる。
【０００６】
また、このようにして得られる出力画像に含まれるノイズを低減する手法として、複数フィールド（フレーム）の画像を用いてノイズの除去を行う手法が提案されている（例えば、特許文献３参照）。
【０００７】
【特許文献１】特開２００３−０９２７６４号公報
【特許文献２】特開２００３−２９９１１２号公報
【特許文献３】特開２０００−２０１２８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
図５８に示すような従来手法を用いて得た出力画像では、Ｒ、Ｇ及びＢ信号が存在する画素間隔が均等となるため、ジャギーや偽色の発生が抑制される。しかしながら、加算読み出しに由来する画素間隔の不均等を解消すべく、画素間隔を均等化するための補間処理を実行している。このような補間処理の実行は、必然的に、解像感の劣化（実質的な解像度の劣化）を招く。また、画素信号の間引き読み出しを行う場合にも、同様の問題が生じる。
【０００９】
また、出力画像からノイズを低減させる場合、ノイズはランダムに発生するため、従来手法のように複数フレームの画像を利用すると好適である。しかしながら、ノイズを低減するために用いる画像を一時的に保持するフレームメモリが必要となるため、回路規模が増大化することが問題となる。特に、ノイズ低減以外の処理（例えば、解像感を向上させる処理）を行うためにも画像が必要となりフレームメモリが設けられるため、全体で多数のフレームメモリが設けられて回路規模が増大化する。
【００１０】
そこで本発明は、画素信号の加算読み出し又は間引き読み出しを行った場合に生じ得る解像感劣化の抑制及びノイズの低減に寄与するとともに、回路規模の増大化を抑制した画像処理装置及び撮像装置並びに画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
単板方式の撮像素子に二次元配列された受光画素群の画素信号の加算読み出し又は間引き読み出しを行う読出手段を有し、加算又は間引きの対象となる受光画素の組み合わせが異なる複数の読み出しパターンを用いることにより、画素信号を有する画素位置が連続するフレーム間で互いに異なる原画像を順次取得する原画像取得手段と、当該原画像取得手段によって順次取得される前記原画像に所定の画像処理を施して第１画像を順次生成する画像処理手段と、当該画像処理手段によって生成される前記第１画像に、所定の画像を順次合成して第２画像を順次生成する合成手段と、当該合成手段によって生成される前記第２画像を一時的に記憶する記憶手段と、を備え、前記合成手段が、前記記憶手段に記憶された前記第２画像を前記第１画像に合成して、前記第２画像を順次生成することを特徴とする。
【００１２】
このような構成とすると、過去に生成した第２画像を第１画像に合成することによって、新たな第２画像が生成されることとなる。そのため、第２画像は、過去に生成された第１画像を順次合成して得られる画像となる。例えば、前記合成手段が、ｎフレームの前記第１画像に、（ｎ−１）フレームの前記第２画像を合成して、ｎフレームの前記第２画像を生成することとしても構わない。
【００１３】
また、具体的に例えば、前記画像処理手段が、前記原画像の画素信号群に含まれる同一色の画素信号同士を混合し、その混合によって得られた画素信号を補間画素位置毎に一つずつ備えた前記第１画像を生成する色補間処理手段であるとともに、前記第２画像が、前記補間画素位置毎に画素信号を一つずつ備える画像であり、前記第２画像に備えられる画素信号に基づいて、前記補間画素位置毎に異色の画素信号を複数備える出力合成画像を生成する色同時化手段を、さらに備える。
【００１４】
尚、以下の第１〜第６実施例においては、上記の第１画像の一例として色補間画像を挙げ、上記の第２画像の一例として合成画像を挙げて夫々説明する。
【００１５】
また、具体的に例えば、前記画像処理手段が、前記原画像の画素信号群に含まれる同一色の画素信号同士を混合し、その混合によって得られた画素信号を補間画素位置毎に一つずつ備えた色補間画像を生成する色補間処理手段と、前記色補間処理手段によって生成される前記色補間画像に備えられる画素信号に基づいて、前記補間画素位置毎に異色の画素信号を複数備える前記第１画像を生成する色同時化手段と、を備えるものであり、前記第２画像が、前記補間画素位置毎に異色の画素信号を複数備える画像である。
【００１６】
尚、以下の第７実施例においては、上記の第１画像の一例として色同時化画像を挙げ、上記の第２画像の一例として出力合成画像を挙げて夫々説明する。
【００１７】
そして例えば、前記第１画像及び前記第２画像の夫々で対応する画素信号の画像内における位置が等しい、又は、対応する画素信号の画像内における位置が所定の大きさだけずれたものであり、前記合成手段が、前記第１画像及び前記第２画像の夫々で対応する画素信号同士を混合することにより、前記第２画像を生成する。
【００１８】
これにより、対応しない画素信号を合成することにより、第２画像が劣化することを抑制することが可能となる。尚、以下の第１〜第７実施例においては、画素信号の画像内における位置の一例として、水平画素位置ｉ及び垂直画素位置ｊを挙げて説明する。
【００１９】
また例えば、前記合成手段によって合成される前記第１画像及び前記第２画像間における物体の動きを検出する動き検出手段をさらに備え、前記合成手段が、前記動きの大きさに基づいて前記第２画像の生成を行う。
【００２０】
例えば、動き検出手段は、第１画像及び第２画像間のオプティカルフローを求めることによって、物体の動きを検出することとしても構わない。
【００２１】
また、具体的に例えば、前記合成手段が、前記動き検出手段によって検出された前記第１画像及び前記第２画像間における物体の動きの大きさに基づいて重み係数を設定する重み係数設定手段を有し、前記重み係数に従って前記第１画像及び前記第２画像の画素信号を混合することにより前記第２画像を生成する。
【００２２】
これにより、第２画像における輪郭部のぼけや二重像の発生を抑制することが可能となる。
【００２３】
さらに例えば、前記合成手段によって合成を行う前記第１画像について、ある注目した画素の周辺の画素の特徴を示す画像特徴量を算出する画像特徴量算出手段をさらに備え、前記重み係数設定手段が、前記動き検出手段によって検出される物体の動きの大きさと、前記画像特徴量算出手段によって算出される前記画像特徴量とに基づいて、前記重み係数を設定する。
【００２４】
画像特徴量として例えば、第１画像の画素信号の標準偏差や、高周波成分（例えば、第１画像のハイパスフィルタ処理結果）、エッジ成分（例えば、第１画像の微分フィルタ処理結果）などを用いることができる。また、画像特徴量算出手段が、第１画像の輝度を示す画素信号から画像特徴量を算出することとしても構わない。
【００２５】
また例えば、前記複数の読み出しパターンを用いて前記原画像を順次取得することにより、前記色同時化手段（合成手段）にて時系列上に並ぶ出力合成画像列（第２画像列）が生成され、当該画像処理装置は、前記出力合成画像列（第２画像列）に対して画像圧縮処理を施すことにより、フレーム内符号化画像及びフレーム間予測符号化画像を含む圧縮動画像を生成する画像圧縮手段をさらに備え、前記画像圧縮手段は、前記出力合成画像列（第２画像列）を形成する各出力合成画像（第２画像）に対応して設定された重み係数に基づいて、前記出力合成画像列（第２画像列）の中から前記フレーム内符号化画像の対象となる前記出力合成画像（第２画像）を選択する。
【００２６】
本発明に係る撮像装置は、単板方式の撮像素子と、上記の何れかに記載の画像処理装置と、を備えたことを特徴とする。
【００２７】
本発明に係る画像処理方法は、単板方式の撮像素子に二次元配列された受光画素群の画素信号の加算読み出し又は間引き読み出しを、加算又は間引きの対象となる受光画素の組み合わせが異なる複数の読み出しパターンを用いることにより行い、画素信号を有する画素位置が連続するフレーム間で互いに異なる原画像を取得する第１ステップと、当該第１ステップによって取得された前記原画像に所定の画像処理を施して第１画像を生成する第２ステップと、当該第２ステップによって生成された前記第１画像に、所定の画像を合成して第２画像を生成する第３ステップと、当該第３ステップによって生成された前記第２画像を一時的に記憶する第４ステップと、を備え、前記第１〜前記第４ステップを繰り返すことで、順次前記第２画像を生成及び記憶するとともに、前記第３ステップが、過去に生成して記憶した前記第２画像を、前記第１画像に合成するものである。
【発明の効果】
【００２８】
本発明によれば、第１画像及び第２画像を合成することにより、画素信号の加算読み出し又は間引き読み出しを行った場合に生じ得る解像感劣化の抑制や、ノイズの低減化を図ることができる。また、合成に用いる画像が、順次入力される第１画像の他には第２画像のみとなるため、１枚の第２画像を記憶する記憶手段を備えるだけで上記の合成を行うことが可能となる。そのため、回路規模の増大化を抑制することが可能となる。
【００２９】
本発明の意義ないし効果は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第７実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００３１】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画像及び静止画像を撮影可能となっていると共に、動画像撮影中に静止画像を同時に撮影することも可能となっている。
【００３２】
［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＤＲＡＭ（Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、ＶＲＡＭ（Video Random Access Memory）２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。
【００３３】
ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。
【００３４】
撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。被写体からの入射光は、光学系及び絞りを介して、撮像素子３３に入射する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。
【００３５】
撮像素子３３は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３は、光学系及び絞りを介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素（図１において不図示）を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。
【００３６】
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施し、画像処理後の画像についての映像信号を生成する。映像信号は、通常、画像の輝度を表す輝度信号Ｙと、画像の色を表す色差信号Ｕ及びＶと、から構成される。
【００３７】
マイク１４は撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００３８】
圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画像または静止画像の撮影及び記録時において、圧縮された映像信号は外部メモリ１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画像撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に記録される。
【００３９】
録画ボタン２６ａは、動画像の撮影及び記録の開始／終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、静止画像の撮影及び記録を指示するための押しボタンスイッチである。
【００４０】
撮像装置１の動作モードには、動画像及び静止画像の撮影が可能な撮影モードと、外部メモリ１８に格納された動画像及び静止画像を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００４１】
撮影モードでは、所定のフレーム周期にて順次撮影が行われ、撮像素子３３から撮影画像列が取得される。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。また、画像を表すデータを画像データと呼ぶ。画像データも、映像信号の一種と考えることができる。１つのフレーム周期分の画像データによって１枚分の画像が表現される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施すが、この画像処理を施す前の、ＡＦＥ１２の出力信号そのものによって表される画像を、原画像と呼ぶ。従って、１つのフレーム周期分の、ＡＦＥ１２の出力信号によって、１枚の原画像が表現される。
【００４２】
撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後に得られる映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介して外部メモリ１８に記録される。動画像撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、映像信号及び音声信号の外部メモリ１８への記録は終了し、１つの動画像の撮影は完了する。また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画像の撮影及び記録が行われる。
【００４３】
再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、外部メモリ１８に記録された動画像又は静止画像を表す圧縮された映像信号は、伸張処理部１９にて伸張されＶＲＡＭ２０に書き込まれる。尚、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６ｂに対する操作内容に関係なく、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号はＶＲＡＭ２０に書き込まれる。
【００４４】
表示部２７は、液晶ディスプレイなどの表示装置であり、ＶＲＡＭ２０に書き込まれている映像信号に応じた画像を表示する。また、再生モードにおいて動画像を再生する際、外部メモリ１８に記録された動画像に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。
【００４５】
［撮像素子の受光画素配列］
図２は、撮像素子３３の有効領域内の受光画素配列を示している。撮像素子３３の有効領域は長方形形状を有しており、その長方形の一頂点を撮像素子３３の原点と捉える。原点が撮像素子３３の有効領域の左上隅に位置するものとする。撮像素子３３の垂直方向における有効画素数と水平方向における有効画素数との積（例えば、数１００〜数１０００の二乗）に相当する個数の受光画素が二次元配列されることによって、撮像素子３３の有効領域が形成される。撮像素子３３の有効領域内の各受光画素をＰS［ｘ，ｙ］にて表す。ここで、ｘ及びｙは整数である。撮像素子３３の原点から見て、右側に位置する受光画素ほど、対応する変数ｘの値が大きくなり、下側に位置する受光画素ほど、対応する変数ｙの値が大きくなるものとする。撮像素子３３において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。
【００４６】
図２では、便宜上、１０×１０の受光画素領域のみを図示しており、この受光画素領域を符号２００によって参照する。以下の説明では、受光画素領域２００内の受光画素に特に注目する。受光画素領域２００内には、不等式「１≦ｘ≦１０」及び「１≦ｙ≦１０」を満たす合計１００個の受光画素ＰS［ｘ，ｙ］が示されている。受光画素領域２００内に属する受光画素群の内、受光画素ＰS［１，１］の配置位置が最も撮像素子３３の原点に近く、受光画素ＰS［１０，１０］の配置位置が最も撮像素子３３の原点から遠い。
【００４７】
撮像装置１は、１枚のイメージセンサのみを用いる、いわゆる単板方式を採用している。図３は、撮像素子３３の各受光画素の前面に配置されたカラーフィルタの配列を示している。図３に示される配列は、一般に、ベイヤー配列と呼ばれる。カラーフィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。赤フィルタは、受光画素ＰS［２ｎA−１，２ｎB］の前面に配置され、青フィルタは、受光画素ＰS［２ｎA，２ｎB−１］の前面に配置され、緑フィルタは、受光画素ＰS［２ｎA−１，２ｎB−１］又はＰS［２ｎA，２ｎB］の前面に配置される。ここで、ｎA及びｎBは整数である。尚、図３並びに後述の図５等において、赤フィルタに対応する部位をＲにて表し、緑フィルタに対応する部位をＧにて表し、青フィルタに対応する部位をＢにて表す。
【００４８】
赤フィルタ、緑フィルタ、青フィルタが前面に配置された受光画素を、夫々、赤受光画素、緑受光画素、青受光画素とも呼ぶ。各受光画素は、カラーフィルタを介して自身に入射した光を光電変換によって電気信号に変換する。この電気信号は、受光画素の画素信号を表し、以下、それを「受光画素信号」と呼ぶこともある。赤受光画素、緑受光画素及び青受光画素は、夫々、光学系の入射光の、赤成分、緑成分及び青成分にのみ反応する。
【００４９】
撮像素子３３から受光画素信号を読み出す方式には、全画素読み出し方式、加算読み出し方式、間引き読み出し方式がある。全画素読み出し方式にて撮像素子３３から受光画素信号を読み出す場合、撮像素子３３の有効領域内に位置する全ての受光画素からの受光画素信号が個別にＡＦＥ１２を介して映像信号処理部１３に与えられる。加算読み出し方式及び間引き読み出し方式については、後述される。尚、以下の説明では、記述の簡略化上、ＡＦＥ１２における信号増幅及びデジタル化を無視して考える。
【００５０】
［原画像の画素配列］
図４（ａ）は、原画像の画素配列を示している。図４（ａ）では、図２の受光画素領域２００に対応する、原画像の一部画像領域のみを示している。原画像を含む任意の画像は、二次元直交座標系である画像座標面ＸＹ上に二次元配列された画素群から形成されている、と考えることができる（図４（ｂ）参照）。
【００５１】
記号Ｐ［ｘ，ｙ］は、受光画素ＰS［ｘ，ｙ］に対応する、原画像上の画素を表す。撮像素子３３の原点に対応する原画像の原点から見て、右側に位置する画素ほど、対応する記号Ｐ［ｘ，ｙ］中の変数ｘの値が大きくなり、下側に位置する画素ほど、対応する記号Ｐ［ｘ，ｙ］中の変数ｙの値が大きくなるものとする。原画像において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。
【００５２】
また、以下の説明において、撮像素子３３の位置を記号［ｘ，ｙ］にて表すと共に、原画像を含む任意の画像上の位置（画像座標面ＸＹ上の位置）も記号［ｘ，ｙ］にて表す。撮像素子３３における位置［ｘ，ｙ］は、受光画素ＰS［ｘ，ｙ］の、撮像素子３３上の位置と合致し、画像（画像座標面ＸＹ）における位置［ｘ，ｙ］は、原画像の画素Ｐ［ｘ，ｙ］の位置と合致する。但し、撮像素子３３の各受光画素及び原画像上の各画素は、水平及び垂直方向においてゼロではない一定の大きさを有してため、厳密には、撮像素子３３における位置［ｘ，ｙ］は、受光画素ＰS［ｘ，ｙ］の中心位置と合致し、画像（画像座標面ＸＹ）における位置［ｘ，ｙ］は、原画像の画素Ｐ［ｘ，ｙ］の中心位置と合致する。また、以下の説明では、画素（又は受光画素）の位置を示すことを明示すべく、記号［ｘ，ｙ］を、画素位置を表す記号としても用いることがある。
【００５３】
尚、原画像上の１画素の、水平方向の幅をＷｐで表す（図４（ａ）参照）。原画像上の１画素の、垂直方向の幅もＷｐである。従って、画像（画像座標面ＸＹ）上において、位置［ｘ，ｙ］と位置［ｘ＋１，ｙ］との距離及び位置［ｘ，ｙ］と位置［ｘ，ｙ＋１］との距離は、共にＷｐである。
【００５４】
全画素読み出し方式を用いた場合、ＡＦＥ１２から出力される、受光画素ＰS［ｘ，ｙ］の受光画素信号は、原画像の画素Ｐ［ｘ，ｙ］の画素信号となる。図５に、全画素読み出し方式を用いて得た原画像２２０における、画素信号のイメージ図を示す。図５及び後述する図６（ａ）〜（ｅ）では、図示の簡略化上、画素位置［１，１］〜［４，４］に対応する部分のみを示している。また、図５及び後述する図６（ａ）〜（ｅ）では、画素信号が表す色成分（Ｒ、Ｇ又はＢ）を、画素位置に対応させて示している。
【００５５】
原画像２２０において、画素位置［２ｎA−１，２ｎB］の画素信号は、ＡＦＥ１２から出力される赤受光画素ＰS［２ｎA−１，２ｎB］の受光画素信号であり、画素位置［２ｎA，２ｎB−１］の画素信号は、ＡＦＥ１２から出力される青受光画素ＰS［２ｎA，２ｎB−１］の受光画素信号であり、画素位置［２ｎA−１，２ｎB−１］又はＰ［２ｎA，２ｎB］の画素信号は、ＡＦＥ１２から出力される緑受光画素ＰS［２ｎA−１，２ｎB−１］又はＰS［２ｎA，２ｎB］の受光画素信号である（ｎA及びｎBは整数）。このように、全画素読み出し方式を用いた場合、画像上での画素間隔は、撮像素子３３上の受光画素間隔と同様、均等となっている。
【００５６】
原画像２２０では、１つの画素位置に対して、赤成分、緑成分及び青成分の内の何れかの１つの色成分のみの画素信号が存在している。映像信号処理部１３は、補間処理を用い、画像を形成する各々の画素に対して、３つの色成分の画素信号を割り当てるための処理を行う。このように、ある画素位置の色信号を補間によって生成する処理を色補間処理と呼ぶ。特に、ある画素位置に３つの色成分の画素信号が夫々含まれるようにする色補間処理は、一般にデモザイキング処理とも呼ばれ、色同時化処理と呼ばれることもある。
【００５７】
以下、原画像を含む任意の画像において、赤成分、緑成分及び青成分のデータを表す画素信号を、夫々、Ｒ信号、Ｇ信号及びＢ信号と呼ぶ。また、Ｒ信号、Ｇ信号及びＢ信号の何れかを色信号と呼ぶこともあり、それらを総称して、色信号と呼ぶこともある。
【００５８】
図６（ａ）〜（ｃ）は、原画像２２０に対して施される色補間処理の概念図であり、図６（ｄ）〜（ｅ）は、原画像２２０に色補間処理を施すことによって得られた色補間画像２３０のイメージ図である。図６（ａ）〜（ｃ）は、夫々、Ｇ、Ｂ及びＲ信号に対する色補間処理の概念図であり、図６（ｄ）〜（ｅ）では、色補間画像２３０の各画素位置にＧ、Ｂ及びＲ信号が存在している様子が示されている。図６（ａ）〜（ｃ）において、丸で囲まれたＧ、Ｂ及びＲは、夫々、周辺画素（矢印の根元に位置する画素）を用いた補間処理によって得られたＧ、Ｂ及びＲ信号を表している。尚、図示の煩雑化防止のため、色補間画像２３０におけるＧ、Ｂ及びＲ信号を別個に示しているが、原画像２２０から１枚の色補間画像２３０が生成される。
【００５９】
周知の如く、原画像２２０に対する色補間処理では、注目画素の周辺画素における着目色の画素信号を混合することによって、注目画素における着目色の画素信号が生成される。例えば、図６（ａ）に示す如く、原画像２２０における画素位置［３，１］、［２，２］、［４，２］及び［３，３］の画素信号の平均信号が、色補間画像２３０における画素位置［３，２］のＧ信号として生成され、原画像２２０における画素位置［２，２］、［１，３］、［３，３］及び［２，４］の画素信号の平均信号が、色補間画像２３０における画素位置［２，３］のＧ信号として生成される。原画像２２０における画素位置［２，２］及び［３，３］の画素信号は、そのまま、夫々、色補間画像２３０における画素位置［２，２］及び［３，３］のＧ信号とされる。同様に、周知の信号補間方法に従って、色補間画像２３０における各画素のＢ及びＲ信号も生成される。
【００６０】
撮像装置１は、加算読み出し方式又は間引き読み出し方式の利用時に特徴的な動作を行う。以下に、この特徴的な動作の実現方法を説明する実施例として、第１〜第７実施例を説明する。矛盾なき限り、或る実施例に記載した事項は他の実施例にも適用される。
【００６１】
＜＜第１実施例＞＞
まず、第１実施例について説明する。第１実施例では、撮像素子３３から画素信号を読み出す方式として、複数の受光画素信号を加算しながら読み出す加算読み出し方式を用いる。この際、用いる加算パターンを複数の加算パターンの間で順次変更させながら加算読み出しを行う。加算パターンとは、加算の対象となる受光画素の組み合わせパターンを意味する。用いられる複数の加算パターンは、互いに異なる第１、第２、第３及び第４の加算パターンの内の、２以上の加算パターンを含む。
【００６２】
図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）は、夫々、第１、第２、第３及び第４の加算パターンを用いた場合の信号加算の様子を示す。図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）に対応する第１、第２、第３及び第４の加算パターンを、夫々、加算パターンＰA1、ＰA2、ＰA3及びＰA4によって参照することもある。図９（ａ）、（ｂ）、（ｃ）及び（ｄ）は、夫々、第１、第２、第３及び第４の加算パターンを用いて加算読み出しを行った場合に得られる、原画像の画素信号の様子を示す。上述したように、受光画素ＰS［１，１］〜ＰS［１０，１０］から成る受光画素領域２００に注目する（図２参照）。
【００６３】
図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）に示される黒塗りの丸は、夫々、第１、第２、第３及び第４の加算パターンを用いた場合に想定される仮想的な受光画素の配置位置を示している。図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）において、黒塗りの丸の周囲に示された矢印は、その丸に対応する仮想的な受光画素の画素信号を生成するために、該仮想的な受光画素の周辺受光画素の画素信号が加算される様子を示している。
【００６４】
第１の加算パターンとしての加算パターンＰA1を用いる場合は、
撮像素子３３の画素位置［２＋４ｎA，２＋４ｎB］及び［３＋４ｎA，３＋４ｎB］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［３＋４ｎA，２＋４ｎB］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［２＋４ｎA，３＋４ｎB］に仮想的な赤受光画素が配置される、と想定する。
第２の加算パターンとしての加算パターンＰA2を用いる場合は、
撮像素子３３の画素位置［４＋４ｎA，４＋４ｎB］及び［５＋４ｎA，５＋４ｎB］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［５＋４ｎA，４＋４ｎB］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［４＋４ｎA，５＋４ｎB］に仮想的な赤受光画素が配置される、と想定する。
第３の加算パターンとしての加算パターンＰA3を用いる場合は、
撮像素子３３の画素位置［４＋４ｎA，２＋４ｎB］及び［５＋４ｎA，３＋４ｎB］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［５＋４ｎA，２＋４ｎB］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［４＋４ｎA，３＋４ｎB］に仮想的な赤受光画素が配置される、と想定する。
第４の加算パターンとしての加算パターンＰA4を用いる場合は、
撮像素子３３の画素位置［２＋４ｎA，４＋４ｎB］及び［３＋４ｎA，５＋４ｎB］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［３＋４ｎA，４＋４ｎB］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［２＋４ｎA，５＋４ｎB］に仮想的な赤受光画素が配置される、と想定する。
尚、ｎA及びｎBは、上述したように、整数である。
【００６５】
１つの仮想的な受光画素の画素信号は、その仮想的な受光画素の左斜め上、右斜め上、左斜め下及び右斜め下に隣接する実際の受光画素の画素信号の加算信号とされる。例えば、加算パターンＰA1を用いる場合において、画素位置［２，２］に配置される仮想的な緑受光画素の画素信号は、実際の緑受光画素ＰS［１，１］、［３，１］、［１，３］及び［３，３］の画素信号の加算信号とされる。このように、同一色のカラーフィルタが配置された４つの受光画素の画素信号を加算することによって、その４つの受光画素の中心に位置する１つの仮想的な受光画素の画素信号を形成する。これは、どの加算パターン（後述する加算パターンＰB1〜ＰB4、ＰC1〜ＰC4及びＰD1〜ＰD4を含む）を用いた場合も同じである。
【００６６】
そして、位置［ｘ，ｙ］に配置された仮想的な受光画素の画素信号が、画像上の位置［ｘ，ｙ］の画素信号として取り扱われるように原画像が取得される。
【００６７】
従って、第１の加算パターン（ＰA1）を用いた加算読み出しによって得られる原画像は、図９（ａ）に示す如く、画素位置［２＋４ｎA，２＋４ｎB］及び［３＋４ｎA，３＋４ｎB］に配置された、Ｇ信号のみを有する画素と、画素位置［３＋４ｎA，２＋４ｎB］に配置された、Ｂ信号のみを有する画素と、画素位置［２＋４ｎA，３＋４ｎB］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。
同様に、第２の加算パターン（ＰA2）を用いた加算読み出しによって得られる原画像は、図９（ｂ）に示す如く、画素位置［４＋４ｎA，４＋４ｎB］及び［５＋４ｎA，５＋４ｎB］に配置された、Ｇ信号のみを有する画素と、画素位置［５＋４ｎA，４＋４ｎB］に配置された、Ｂ信号のみを有する画素と、画素位置［４＋４ｎA，５＋４ｎB］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。
同様に、第３の加算パターン（ＰA3）を用いた加算読み出しによって得られる原画像は、図９（ｃ）に示す如く、画素位置［４＋４ｎA，２＋４ｎB］及び［５＋４ｎA，３＋４ｎB］に配置された、Ｇ信号のみを有する画素と、画素位置［５＋４ｎA，２＋４ｎB］に配置された、Ｂ信号のみを有する画素と、画素位置［４＋４ｎA，３＋４ｎB］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。
同様に、第４の加算パターン（ＰA4）を用いた加算読み出しによって得られる原画像は、図９（ｄ）に示す如く、画素位置［２＋４ｎA，４＋４ｎB］及び［３＋４ｎA，５＋４ｎB］に配置された、Ｇ信号のみを有する画素と、画素位置［３＋４ｎA，４＋４ｎB］に配置された、Ｂ信号のみを有する画素と、画素位置［２＋４ｎA，５＋４ｎB］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。
【００６８】
第１、第２、第３及び第４の加算パターンを用いた加算読み出しによって得られる原画像を、以下、夫々、第１、第２、第３及び第４の加算パターンの原画像と呼ぶ。また、或る原画像において、Ｒ、Ｇ又はＢ信号を有する画素を実画素とも呼び、Ｒ、Ｇ及びＢ信号の何れもが存在しない画素を空白画素とも呼ぶ。従って例えば、第１の加算パターンの原画像では、位置［２＋４ｎA，２＋４ｎB］、［３＋４ｎA，３＋４ｎB］、［３＋４ｎA，２＋４ｎB］又は［２＋４ｎA，３＋４ｎB］に配置される画素のみが実画素であり、それ以外の画素（例えば、位置［１，１］に配置される画素）は空白画素である。
【００６９】
図１０は、図１の映像信号処理部１３として用いられる映像信号処理部１３ａの内部ブロック図を含む、図１の撮像装置１の一部ブロック図である。映像信号処理部１３ａは、符号５１〜５６によって参照される各部位を備える。また図１１は、図１０の映像信号処理部１３ａの動作を示すフローチャートである。図１０及び図１１を用いて、映像信号処理部１３ａの構成及び動作の概要について説明する。尚、図１１は、１枚の画像の処理について示したフローチャートである。
【００７０】
最初に、ＡＦＥ１２から映像信号処理部１３ａにＲＡＷデータ（原画像を表す画像データ）が入力される（ＳＴＥＰ１）。このＲＡＷデータは、映像信号処理部１３ａ内の色補間処理部５１に入力される。
【００７１】
色補間処理部５１は、ＳＴＥＰ１で得られたＲＡＷデータに色補間処理を施す（ＳＴＥＰ２）。ＲＡＷデータ（原画像）は、色補間処理が施されることによってＲ、Ｇ及びＢ信号（色補間画像）に変換される。また、色補間画像を構成するＲ、Ｇ及びＢ信号は、順次画像合成部５４に入力される。
【００７２】
色補間処理部５１でのフレーム周期が経過するごとに、撮像素子３３からＡＦＥ１２を介して第１、第２、・・・、第（ｎ−１）、第ｎフレームの原画像が順次取得され、色補間処理部５１により、第１、第２、・・・、第（ｎ−１）、第ｎフレームの原画像から夫々第１、第２、・・・、第（ｎ−１）、第ｎフレームの色補間画像が生成される。
【００７３】
ＳＴＥＰ２で生成された色補間画像（以下、現フレームの色補間画像とも呼ぶ）は画像合成部５４に入力され、画像合成部５４において１フレーム前に出力された合成画像（以下、前フレームの合成画像とも呼ぶ）と合成される。そして、この合成処理によって合成画像が生成される（ＳＴＥＰ３）。ここで、色補間処理部５１から画像合成部５４に入力される第１、第２、・・・、第（ｎ−１）、第ｎフレームの色補間画像からは、夫々第１、第２、・・・、第（ｎ−１）、第ｎフレームの合成画像が生成されることとする（但し、ｎは２以上の整数）。即ち、第ｎフレームの色補間画像と第（ｎ−１）フレームの合成画像とが合成されることにより、第ｎフレームの合成画像が生成されることとなる。
【００７４】
ＳＴＥＰ３の合成を行うために、フレームメモリ５２は、画像合成部５４から出力される合成画像を一時記憶する。ここで、画像合成部５４に第ｎフレームの色補間画像が入力される場合であれば、フレームメモリ５２には第（ｎ−１）フレームの合成画像が記憶されていることとなる。そして、画像合成部５４は、フレームメモリ５２に記憶した前フレームの合成画像を構成する信号と、色補間処理部５１から入力される現フレームの色補間画像を構成する信号と、の夫々を順次入力させるとともに合成し、合成画像を構成する信号を順次出力する。
【００７５】
動き検出部５３は、現時点において色補間処理部５１から出力されている現フレームの色補間画像と、フレームメモリ５２に記憶されている前フレームの合成画像と、に基づいて、これらの画像間における物体の動きを検出する。例えば、隣接フレーム間のオプティカルフローを求めることにより、動きを検出する。この場合、第ｎフレームの色補間画像の画像データと、第（ｎ−１）フレームの合成画像の画像データと、に基づいて両画像間におけるオプティカルフローを求める。動き検出部５３は、そのオプティカルフローから両画像間における動きの大きさ及び向きを検出する。この動き検出部５３の検出結果は画像合成部５４に入力され、画像合成部５４による合成処理（ＳＴＥＰ３）において利用される。
【００７６】
ＳＴＥＰ３で生成された合成画像は、色同時化処理部５５に入力される。色同時化処理部５５は、入力される合成画像に色同時化処理（デモザイキング）を施すことで出力合成画像を生成する（ＳＴＥＰ４）。また、ＳＴＥＰ４で生成される出力合成画像は、信号処理部５６に入力される。
【００７７】
信号処理部５６は、入力される出力合成画像を構成するＲ、Ｇ及びＢ信号を変換して、輝度信号Ｙ及び色差信号Ｕ及びＶから成る映像信号を生成する（ＳＴＥＰ５）。以上のＳＴＥＰ１〜ＳＴＥＰ５の動作は、夫々のフレームの画像に対して行われる。その結果、夫々のフレームの映像信号（Ｙ、Ｕ及びＶ）が生成され、順次信号処理部５６から出力される。出力される映像信号は圧縮処理部１６に入力され、圧縮処理部１６において所定の画像圧縮方式に従って圧縮符号化される。
【００７８】
尚、図１０に示す構成では、ＡＦＥ１２から圧縮処理部１６に向かって、色補間処理部５１、動き検出部５３、画像合成部５４、色同時化処理部５５及び信号処理部５６が、この順番に配列されているが、この順番を変更することも可能である。以下に、色補間処理の基本方法を説明した後、色補間処理部５１、動き検出部５３、画像合成部５４及び色同時化処理部５５の機能について、詳細に説明する。
【００７９】
［色補間処理の基本方法］
Ｇ信号に着目し、図１２（ａ）及び（ｂ）を参照して、色補間処理の基本方法を説明する。原画像のＧ信号から色補間画像のＧ信号を生成する際、色補間画像上に補間画素位置が定められ、その補間画素位置の近傍位置に存在し且つＧ信号を有する、原画像における複数の実画素が注目される。そして、その注目された複数の実画素におけるＧ信号を混合することによって補間画素位置のＧ信号が生成される。補間画素位置におけるＧ信号を生成するために注目された複数の実画素を、便宜上、参照実画素群と呼ぶ。
【００８０】
参照実画素群を形成する実画素の個数が２であって、参照実画素群が第１及び第２画素から成る場合、式（Ａ１）に従って補間画素位置におけるＧ信号値が算出される。ここで、図１２（ａ）に示す如く、ｄ1及びｄ2は、夫々、第１画素の画素位置と補間画素位置との距離及び第２画素の画素位置と補間画素位置との距離である。ここにおける距離は、画像上における距離（画像座標面ＸＹ上の距離）である。原画像における第１及び第２画素のＧ信号値を夫々式（Ａ１）のＶG1及びＶG2に代入することによって得たＶGTは、補間画素位置におけるＧ信号値を表す。つまり、補間画素位置におけるＧ信号値は、参照実画素群のＧ信号値を距離ｄ1及びｄ2に応じて線形補間することによって算出される。尚、Ｇ信号値とはＧ信号の値を指す（Ｒ信号値、Ｂ信号値も同様）。
【００８１】
【数１】
2010004396.tif 000003
【００８２】
参照実画素群を形成する実画素の個数が４であって、参照実画素群が第１〜第４画素から成る場合も、参照実画素群を形成する実画素の個数が２である場合と同様の線形補間によって、補間画素位置におけるＧ信号値が算出される。つまり、第１〜第４画素の画素位置と補間画素位置との距離ｄ1〜ｄ4に応じた比率にて第１〜第４画素のＧ信号値ＶG1〜ＶG4を混合することにより、補間画素位置におけるＧ信号値ＶGTが算出される（図１２（ｂ）参照）。
【００８３】
尚、第１〜第ｍ画素のＧ信号値ＶG1〜ＶGmを混合し、補間画素位置におけるＧ信号値ＶGTを算出することとしても構わない（ｍは２以上の整数）。参照実画素群を形成する実画素の個数がｍ個であったとしても、上述した方法と同様の方法（即ち、画素位置と補間画素位置との距離ｄ1〜ｄmに応じた比率で混合を行う方法）で線形補間を行うことにより、Ｇ信号値ＶGTを算出することが可能である。Ｇ信号に着目して、色補間処理の基本方法を説明したが、Ｂ信号及びＲ信号に対しても、同様の方法に従って色補間処理がなされる。即ち、着目色が緑、青及び赤の何れであるかに拘らず、上述の基本方法に従って着目色の色信号に対する色補間処理がなされる。Ｂ又はＲ信号に対する色補間処理を考える場合は、上述の“Ｇ”を“Ｂ”又は“Ｒ”に読み替えれば足る。
【００８４】
［色補間処理部］
色補間処理部５１は、ＡＦＥ１２から得られる原画像に対して色補間処理を施すことによって色補間画像を生成する。第１実施例及び後述する第２〜第５及び第７実施例において、ＡＦＥ１２から色補間処理部５１に与えられる原画像は、例えば第１、第２、第３又は第４の加算パターンの原画像となる。故に、色補間処理の対象となる原画像における画素間隔（隣接する実画素の間隔）は、図９（ａ）〜（ｄ）に示す如く、不均等である。このような原画像に対して、色補間処理部５１は、上述の基本方法に従う色補間処理を実行する。
【００８５】
図１３（ａ）〜（ｃ）及び図１４（ａ）〜（ｃ）を参照して、第１の加算パターンの原画像２５１から色補間画像２６１を生成するための色補間処理を説明する。図１３（ａ）〜（ｃ）は、夫々、補間画素位置のＧ、Ｂ及びＲ信号を生成するために、原画像２５１の実画素のＧ、Ｂ及びＲ信号が混合される様子を示す図である。図１４（ａ）〜（ｃ）は、夫々、色補間画像２６１上のＧ、Ｂ及びＲ信号を示す図である。図１３（ａ）〜（ｃ）に示される黒塗りの丸は、夫々、色補間画像２６１におけるＧ、Ｂ及びＲ信号が生成されるべき補間画素位置を示し、各黒塗りの丸の周囲に示された黒及び灰色の矢印は、補間画素位置の色信号を生成するために複数の色信号が混合される様子を示している。尚、図示の煩雑化防止のため、色補間画像２６１におけるＧ、Ｂ及びＲ信号を別個に示しているが、原画像２５１から１枚の色補間画像２６１が生成される。
【００８６】
まず、図１３（ａ）及び図１４（ａ）を参照し、原画像２５１におけるＧ信号から色補間画像２６１におけるＧ信号を生成するための色補間処理を説明する。不等式“２≦ｘ≦７”及び“２≦ｙ≦７”を満たす位置［ｘ，ｙ］を内包するブロック２４１に注目する。そして、ブロック２４１内に属する実画素のＧ信号から生成される、色補間画像２６１の補間画素位置のＧ信号を考える。尚、補間画素位置に対して生成されるＧ信号（又はＢ信号若しくはＲ信号）を、特に、補間Ｇ信号（又は補間Ｂ信号若しくは補間Ｒ信号）とも呼ぶ。
【００８７】
ブロック２４１内に属する、原画像２５１上の実画素のＧ信号から、色補間画像２６１に設定される２つの補間画素位置３０１及び３０２についての補間Ｇ信号が生成される。補間画素位置３０１は［３．５，３．５］であり、この補間画素位置３０１の補間Ｇ信号は、実画素Ｐ［２，２］、Ｐ［６，２］、Ｐ［２，６］及びＰ［６，６］のＧ信号を用いて求められる。一方、補間画素位置３０２は［５．５，５．５］であり、この補間画素位置３０２の補間Ｇ信号は、実画素Ｐ［３，３］、Ｐ［７，３］、Ｐ［３，７］及びＰ［７，７］のＧ信号を用いて求められる。
【００８８】
図１４（ａ）では、補間画素位置３０１及び３０２に生成される補間Ｇ信号を夫々符号３１１及び３１２によって指し示している。補間画素位置３０１に生成される補間Ｇ信号３１１の値は、原画像２５１における実画素Ｐ［２，２］、Ｐ［６，２］、Ｐ［２，６］及びＰ［６，６］の画素値（即ちＧ信号値）を、夫々の実画素と補間画素位置３０１との距離に応じた比率で混合することによって生成される。同様に、補間画素位置３０２に生成される補間Ｇ信号３１２の値は、原画像２５１における実画素Ｐ［３，３］、Ｐ［７，３］、Ｐ［３，７］及びＰ［７，７］の画素値（即ちＧ信号値）を、夫々の実画素と補間画素位置３０２との距離に応じた比率で混合することによって生成される。尚、画素値とは、画素信号の値を指す。
【００８９】
ブロック２４１に注目した場合は、２つの補間画素位置３０１及び３０２が設定されて、それらに対する補間Ｇ信号３１１及び３１２が生成される。注目するブロックを、ブロック２４１を起点として、水平方向、垂直方向に４画素ずつずらして、順次、同様の補間Ｇ信号の生成処理を行う。これにより、図２１（ａ）に示すような、色補間画像２６１上のＧ信号が生成される。図２１（ａ）におけるＧ１2,2及びＧ１3,3は、夫々、図１４（ａ）の補間Ｇ信号３１１及び３１２に対応している。図２１（ａ）に対する詳細な説明は後述することとし、先に、Ｂ及びＲ信号に対する色補間処理と、第２〜第４の加算パターンを用いた場合の色補間処理を説明する。
【００９０】
図１３（ｂ）及び図１４（ｂ）を参照し、原画像２５１におけるＢ信号から色補間画像２６１におけるＢ信号を生成するための色補間処理を説明する。ブロック２４１に注目し、ブロック２４１内に属する実画素のＢ信号から生成される、色補間画像２６１の補間画素位置のＢ信号を考える。
【００９１】
ブロック２４１内に属する実画素のＢ信号から、色補間画像２６１に設定される補間画素位置３２１についての補間Ｂ信号が生成される。補間画素位置３２１は［３．５，５．５］であり、この補間画素位置３２１の補間Ｂ信号は、実画素Ｐ［３，２］、Ｐ［７，２］、Ｐ［３，６］及びＰ［７，６］のＢ信号を用いて求められる。
【００９２】
図１４（ｂ）では、補間画素位置３２１に生成される補間Ｂ信号を符号３３１によって指し示している。補間画素位置３２１に生成される補間Ｂ信号３３１の値は、原画像２５１における実画素Ｐ［３，２］、Ｐ［７，２］、Ｐ［３，６］及びＰ［７，６］の画素値（即ちＢ信号値）を、夫々の実画素と補間画素位置３２１との距離に応じた比率で混合することによって生成される。
【００９３】
ブロック２４１に注目した場合は補間画素位置３２１が設定されて、これに対する補間Ｂ信号３３１が生成される。注目するブロックを、ブロック２４１を起点として、水平方向、垂直方向に４画素ずつずらして、順次、同様の補間Ｂ信号の生成処理を行う。これにより、図２１（ｂ）に示すような、色補間画像２６１上のＢ信号が生成される。図２１（ｂ）におけるＢ１2,3は、図１４（ｂ）の補間Ｂ信号３３１に対応している。
【００９４】
図１３（ｃ）及び図１４（ｃ）を参照し、原画像２５１におけるＲ信号から色補間画像２６１におけるＲ信号を生成するための色補間処理を説明する。ブロック２４１に注目し、ブロック２４１内に属する実画素のＲ信号から生成される、色補間画像２６１の補間画素位置のＲ信号を考える。
【００９５】
ブロック２４１内に属する実画素のＲ信号から、色補間画像２６１に設定される補間画素位置３４１についての補間Ｒ信号が生成される。補間画素位置３４１は［５．５，３．５］であり、この補間画素位置３４１の補間Ｒ信号は、実画素Ｐ［２，３］、Ｐ［６，３］、Ｐ［２，７］及びＰ［６，７］のＲ信号を用いて求められる。
【００９６】
図１４（ｃ）では、補間画素位置３４１に生成される補間Ｒ信号を符号３５１によって指し示している。補間画素位置３４１に生成される補間Ｒ信号３５１の値は、原画像２５１における実画素Ｐ［２，３］、Ｐ［６，３］、Ｐ［２，７］及びＰ［６，７］の画素値（即ちＲ信号値）を、夫々の実画素と補間画素位置３４１との距離に応じた比率で混合することによって生成される。
【００９７】
ブロック２４１に注目した場合は補間画素位置３４１が設定されて、これに対する補間Ｒ信号３５１が生成される。注目するブロックを、ブロック２４１を起点として、水平方向、垂直方向に４画素ずつずらして、順次、同様の補間Ｒ信号の生成処理を行う。これにより、図２１（ｃ）に示すような、色補間画像２６１上のＲ信号が生成される。図２１（ｃ）におけるＲ１3,2は、図１４（ｃ）の補間Ｒ信号３５１に対応している。
【００９８】
第２、第３、第４加算パターンの原画像に対する色補間処理を説明する。第２、第３、第４加算パターンの原画像を、夫々、符号２５２、２５３及び２５４によって参照し、原画像２５２、２５３及び２５４から生成される色補間画像を符号２６２、２６３及び２６４によって参照する。
【００９９】
図１５（ａ）〜（ｃ）は、夫々、色補間画像２６２における補間画素位置のＧ、Ｂ及びＲ信号を生成するために、原画像２５２の実画素のＧ、Ｂ及びＲ信号が混合される様子を示す図である。図１６（ａ）〜（ｃ）は、夫々、色補間画像２６２上のＧ、Ｂ及びＲ信号を示す図である。図１７（ａ）〜（ｃ）は、夫々、色補間画像２６３における補間画素位置のＧ、Ｂ及びＲ信号を生成するために、原画像２５３の実画素のＧ、Ｂ及びＲ信号が混合される様子を示す図である。図１８（ａ）〜（ｃ）は、夫々、色補間画像２６３上のＧ、Ｂ及びＲ信号を示す図である。図１９（ａ）〜（ｃ）は、夫々、色補間画像２６４における補間画素位置のＧ、Ｂ及びＲ信号を生成するために、原画像２５４の実画素のＧ、Ｂ及びＲ信号が混合される様子を示す図である。図２０（ａ）〜（ｃ）は、夫々、色補間画像２６４上のＧ、Ｂ及びＲ信号を示す図である。
【０１００】
図１５（ａ）〜（ｃ）に示される黒塗りの丸は、夫々、色補間画像２６２におけるＧ、Ｂ又はＲ信号が生成されるべき補間画素位置を示し、図１７（ａ）〜（ｃ）に示される黒塗りの丸は、夫々、色補間画像２６３におけるＧ、Ｂ又はＲ信号が生成されるべき補間画素位置を示し、図１９（ａ）〜（ｃ）に示される黒塗りの丸は、夫々、色補間画像２６４におけるＧ、Ｂ又はＲ信号が生成されるべき補間画素位置を示している。各黒塗りの丸の周囲に示された黒色及び灰色の矢印は、補間画素位置の色信号を生成するために複数の色信号が混合される様子を示している。尚、図示の煩雑化防止のため、色補間画像２６２におけるＧ、Ｂ及びＲ信号を別個に示しているが、原画像２５２から１枚の色補間画像２６２が生成される。色補間画像２６３及び２６４についても同様である。
【０１０１】
第１の加算パターンの原画像における実画素の存在位置を基準として、第２の加算パターンの原画像における実画素の存在位置は右方向に２・Ｗｐ分且つ下方向に２・Ｗｐ分だけずれており、第３の加算パターンの原画像における実画素の存在位置は右方向に２・Ｗｐ分だけずれており、第４の加算パターンの原画像における実画素の存在位置は下方向に２・Ｗｐ分だけずれている（図４（ａ）も参照）。
【０１０２】
上記のように、加算パターンが異なると原画像における実画素の存在位置が異なるものとなる。しかしながら、夫々の色信号が生成される補間画素位置はどの加算パターンにおいても同様の位置となり、かつ均等な（隣接する色信号間の距離が等しい）ものとなる。具体的には、補間Ｇ信号であれば補間画素位置は［１．５＋４ｎC，１．５＋４ｎD］及び［３．５＋４ｎC，３．５＋４ｎD］となり、補間Ｂ信号であれば補間画素位置は［３．５＋４ｎC，１．５＋４ｎD］となり、補間Ｒ信号であれば補間画素位置は［１．５＋４ｎC，３．５＋４ｎD］となる（尚、ｎC及びｎDは整数である）。このように、補間Ｇ信号、補間Ｂ信号及び補間Ｒ信号の夫々の補間画素位置は、所定の位置となる。
【０１０３】
そのため、補間Ｇ信号、補間Ｂ信号及び補間Ｒ信号を求めるために用いるＧ信号、Ｂ信号及びＲ信号を有する実画素の位置と、補間Ｇ信号、補間Ｂ信号及び補間Ｒ信号が生成される補間画素位置と、の相対的な位置関係は、以下に示すように加算パターンに応じて異なるものとなる。したがって、第２〜第４の加算パターンを用いて得られる原画像に対する色補間処理の方法は、原画像に応じて（使用する加算パターンに応じて）異なるものとなる。以下に、第２〜第４パターンを用いて得られる原画像に対する色補間処理の具体的な方法と、得られる色補間画像について説明する。
【０１０４】
第２の加算パターンについて示す図１５（ａ）〜（ｃ）に対応する原画像２５２に関しては、不等式“４≦ｘ≦９”及び“４≦ｙ≦９”を満たす位置［ｘ，ｙ］を内包するブロック２４２に注目し、そのブロック２４２内に属する実画素のＧ信号、Ｂ信号及びＲ信号から、図１６に示す色補間画像２６２に設定される補間画素位置についての補間Ｇ信号、補間Ｂ信号及び補間Ｒ信号を生成する。補間Ｇ信号は、実画素Ｐ［４，４］、Ｐ［８，４］、Ｐ［４，８］及びＰ［８，８］のＧ信号を用いて求められるもの（補間画素位置［５．５，５．５］）と、実画素Ｐ［５，５］、Ｐ［９，５］、Ｐ［５，９］及びＰ［９，９］のＧ信号を用いて求められるもの（補間画素位置［７．５，７．５］）と、の二つがある。補間画素位置［７．５，５．５］の補間Ｂ信号は、実画素Ｐ［５，４］、Ｐ［９，４］、Ｐ［５，８］及びＰ［９，８］のＢ信号を用いて求められる。補間画素位置［５．５，７．５］の補間Ｒ信号は、実画素Ｐ［４，５］、Ｐ［８，５］、Ｐ［４，９］及びＰ［８，９］のＲ信号を用いて求められる。
【０１０５】
第３の加算パターンについて示す図１７（ａ）〜（ｃ）に対応する原画像２５３に関しては、不等式“４≦ｘ≦９”及び“２≦ｙ≦７”を満たす位置［ｘ，ｙ］を内包するブロック２４３に注目し、そのブロック２４３内に属する実画素のＧ信号、Ｂ信号及びＲ信号から、図１８に示す色補間画像２６３に設定される補間画素位置についての補間Ｇ信号、補間Ｂ信号及び補間Ｒ信号を生成する。補間Ｇ信号は、実画素Ｐ［４，２］、Ｐ［８，２］、Ｐ［４，６］及びＰ［８，６］のＧ信号を用いて求められるもの（補間画素位置［７．５，３．５］）と、実画素Ｐ［５，３］、Ｐ［９，３］、Ｐ［５，７］及びＰ［９，７］のＧ信号を用いて求められるもの（補間画素位置［５．５，５．５］）と、の二つがある。補間画素位置［７．５，５．５］の補間Ｂ信号は、実画素Ｐ［５，２］、Ｐ［９，２］、Ｐ［５，６］及びＰ［９，６］のＢ信号を用いて求められる。補間画素位置［５．５，３．５］の補間Ｒ信号は、実画素Ｐ［４，３］、Ｐ［８，３］、Ｐ［４，７］及びＰ［８，７］のＲ信号を用いて求められる。
【０１０６】
第４の加算パターンについて示す図１９（ａ）〜（ｃ）に対応する原画像２５４に関しては、不等式“２≦ｘ≦７”及び“４≦ｙ≦９”を満たす位置［ｘ，ｙ］を内包するブロック２４４に注目し、そのブロック２４４内に属する実画素のＧ信号、Ｂ信号及びＲ信号から、図２０に示す色補間画像２６４に設定される補間画素位置についての補間Ｇ信号、補間Ｂ信号及び補間Ｒ信号を生成する。補間Ｇ信号は、実画素Ｐ［２，４］、Ｐ［６，４］、Ｐ［２，８］及びＰ［６，８］のＧ信号を用いて求められるもの（補間画素位置［５．５，５．５］）と、実画素Ｐ［３，５］、Ｐ［７，５］、Ｐ［３，９］及びＰ［７，９］のＧ信号を用いて求められるもの（補間画素位置［３．５，７．５］）と、の二つがある。補間画素位置［３．５，５．５］の補間Ｂ信号は、実画素Ｐ［３，４］、Ｐ［７，４］、Ｐ［３，８］及びＰ［７，８］のＢ信号を用いて求められる。補間画素位置［５．５，７．５］の補間Ｒ信号は、実画素Ｐ［２，５］、Ｐ［６，５］、Ｐ［２，９］及びＰ［６，９］のＲ信号を用いて求められる。
【０１０７】
そして、注目するブロック２４２〜２４４の夫々を、ブロック２４２〜２４４を起点として、水平方向、垂直方向に４画素ずつずらして、順次、同様の補間Ｇ信号、補間Ｂ信号及び補間Ｒ信号の生成処理を行う。すると、図２２（ａ）〜（ｃ）、図２３（ａ）〜（ｃ）及び図２４（ａ）〜（ｃ）に示すような、色補間画像２６２〜２６４上のＧ信号、Ｂ信号及びＲ信号が生成される。
【０１０８】
図２１（ａ）〜（ｃ）は、夫々、色補間画像２６１のＧ、Ｂ及びＲ信号の存在位置を示す図であり、図２２（ａ）〜（ｃ）は、夫々、色補間画像２６２のＧ、Ｂ及びＲ信号の存在位置を示す図である。また、図２３（ａ）〜（ｃ）は、夫々、色補間画像２６３のＧ、Ｂ及びＲ信号の存在位置を示す図であり、図２４（ａ）〜（ｃ）は、夫々、色補間画像２６４のＧ、Ｂ及びＲ信号の存在位置を示す図である。
【０１０９】
図２１（ａ）〜（ｃ）では、夫々、色補間画像２６１上のＧ、Ｂ及びＲ信号が丸によって示されており、丸の中に示された記号は、その丸に対応するＧ、Ｂ及びＲ信号を表している。図２２（ａ）〜（ｃ）では、夫々、色補間画像２６２上のＧ、Ｂ及びＲ信号が丸によって示されており、丸の中に示された記号は、その丸に対応するＧ、Ｂ及びＲ信号を表している。図２３（ａ）〜（ｃ）では、夫々、色補間画像２６３上のＧ、Ｂ及びＲ信号が丸によって示されており、丸の中に示された記号は、その丸に対応するＧ、Ｂ及びＲ信号を表している。図２４（ａ）〜（ｃ）では、夫々、色補間画像２６４上のＧ、Ｂ及びＲ信号が丸によって示されており、丸の中に示された記号は、その丸に対応するＧ、Ｂ及びＲ信号を表している。
【０１１０】
色補間画像２６１におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ１i,j、Ｂ１i,j及びＲ１i,jを用い、色補間画像２６２におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ２i,j、Ｂ２i,j及びＲ２i,jを用いる。また、色補間画像２６３におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ３i,j、Ｂ３i,j及びＲ３i,jを用い、色補間画像２６４におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ４i,j、Ｂ４i,j及びＲ４i,jを用いる。ｉ及びｊは、整数である。尚、Ｇ１i,j〜Ｇ４i,jを、Ｇ信号の値を表す記号として用いることもある（Ｂ１i,j〜Ｂ４i,j、Ｒ１i,j〜Ｒ４i,jに対しても同様）。
【０１１１】
色補間画像２６１の注目画素の色信号Ｇ１i,j、Ｂ１i,j及びＲ１i,jにおけるｉ及びｊは、夫々、色補間画像２６１の注目画素の水平画素番号及び垂直画素番号を示している（色信号Ｇ２i,j〜Ｇ４i,j、Ｂ２i,j〜Ｂ４i,j及びＲ２i,j〜Ｒ４i,jについても同様）。
【０１１２】
第１の加算パターンの原画像を用いて生成される色補間画像２６１における色信号Ｇ１i,j、Ｂ１i,j及びＲ１i,jの配置について説明する。図２１（ａ）〜（ｃ）に示す如く、色補間画像２６１の位置［１．５，１．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色補間画像２６１では、位置［１．５，１．５］のＧ信号をＧ１1,1とする。
信号基準位置（位置［１．５，１．５］）から右方向に向かって色補間画像２６１上の信号を走査した時、Ｇ１1,1、Ｂ１2,1、Ｇ１3,1、Ｂ１4,1・・・、の色信号がこの順番で存在する。
信号基準位置（位置［１．５，１．５］）から下方向に向かって色補間画像２６１上の信号を走査した時、Ｇ１1,1、Ｒ１1,2、Ｇ１1,3、Ｒ１1,4・・・、の色信号がこの順番で存在する。
また、上記のように、所定の補間画素位置に夫々の色信号が配置される。したがって、水平画素番号ｉが偶数かつ垂直画素番号ｊが奇数である色信号はＢ信号となり、水平画素番号ｉが奇数かつ垂直画素番号ｊが偶数である色信号はＲ信号となる。そして、水平画素番号ｉ及び垂直画素番号ｊがともに偶数または奇数となる色信号がＧ信号となる。
【０１１３】
第２の加算パターンの原画像を用いて生成される色補間画像２６２における色信号Ｇ２i,j、Ｂ２i,j及びＲ２i,jの配置について説明する。図２２（ａ）〜（ｃ）に示す如く、色補間画像２６２の位置［３．５，３．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色補間画像２６２では、位置［３．５，３．５］のＧ信号をＧ２1,1とする。
信号基準位置（位置［３．５，３．５］）から右方向に向かって色補間画像２６２上の信号を走査した時、Ｇ２1,1、Ｒ２2,1、Ｇ２3,1、Ｒ２4,1・・・、の色信号がこの順番で存在する。
信号基準位置（位置［３．５，３．５］）から下方向に向かって色補間画像２６２上の信号を走査した時、Ｇ２1,1、Ｂ２1,2、Ｇ２1,3、Ｂ２1,4・・・、の色信号がこの順番で存在する。
また、上記のように、所定の補間画素位置に夫々の色信号が配置される。したがって、水平画素番号ｉが奇数かつ垂直画素番号ｊが偶数である色信号はＢ信号となり、水平画素番号ｉが偶数かつ垂直画素番号ｊが奇数である色信号はＲ信号となる。そして、水平画素番号ｉ及び垂直画素番号ｊがともに偶数または奇数となる色信号がＧ信号となる。
【０１１４】
第３の加算パターンの原画像を用いて生成される色補間画像２６３における色信号Ｇ３i,j、Ｂ３i,j及びＲ３i,jの配置について説明する。図２３（ａ）〜（ｃ）に示す如く、色補間画像２６３の位置［３．５，１．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色補間画像２６３では、位置［３．５，１．５］のＢ信号をＢ３1,1とする。
信号基準位置（位置［３．５，１．５］）から右方向に向かって色補間画像２６３上の信号を走査した時、Ｂ３1,1、Ｇ３2,1、Ｂ３3,1、Ｇ３4,1・・・、の色信号がこの順番で存在する。
信号基準位置（位置［３．５，１．５］）から下方向に向かって色補間画像２６３上の信号を走査した時、Ｂ３1,1、Ｇ３1,2、Ｂ３1,3、Ｇ３1,4・・・、の色信号がこの順番で存在する。
また、上記のように、所定の補間画素位置に夫々の色信号が配置される。したがって、水平画素番号ｉ及び垂直画素番号ｊがともに奇数である色信号はＢ信号となり、水平画素番号ｉ及び垂直画素番号ｊがともに偶数である色信号はＲ信号となる。そして、水平画素番号ｉが偶数かつ垂直画素番号ｊが奇数となる色信号と、水平画素番号ｉが奇数かつ垂直画素番号ｊが偶数となる色信号と、はＧ信号となる。
【０１１５】
第４の加算パターンの原画像を用いて生成される色補間画像２６４における色信号Ｇ４i,j、Ｂ４i,j及びＲ４i,jの配置について説明する。図２４（ａ）〜（ｃ）に示す如く、色補間画像２６４の位置［１．５，３．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色補間画像２６４では、位置［１．５，３．５］のＲ信号をＲ４1,1とする。
信号基準位置（位置［１．５，３．５］）から右方向に向かって色補間画像２６４上の信号を走査した時、Ｒ４1,1、Ｇ４2,1、Ｒ４3,1、Ｇ４4,1・・・、の色信号がこの順番で存在する。
信号基準位置（位置［１．５，３．５］）から下方向に向かって色補間画像２６４上の信号を走査した時、Ｒ４1,1、Ｇ４1,2、Ｒ４1,3、Ｇ４1,4・・・、の色信号がこの順番で存在する。
また、上記のように、所定の補間画素位置に夫々の色信号が配置される。したがって、水平画素番号ｉ及び垂直画素番号ｊがともに偶数である色信号はＢ信号となり、水平画素番号ｉ及び垂直画素番号ｊがともに奇数である色信号はＲ信号となる。そして、水平画素番号ｉが偶数かつ垂直画素番号ｊが奇数となる色信号と、水平画素番号ｉが奇数かつ垂直画素番号ｊが偶数となる色信号と、はＧ信号となる。
【０１１６】
また、色補間画像２６１〜２６４における色信号の存在位置は、どの加算パターンを用いる場合であっても、位置［２×（ｉ−１）＋信号基準位置（水平），２×（ｊ−１）＋信号基準位置（垂直）］となる。例えば、第１の加算パターンを用いた場合のＧ１2,4の位置は、位置［２×（２−１）＋１．５，２×（４−１）＋１．５］、即ち位置［３．５，７．５］となる。
【０１１７】
尚、図１３、図１５、図１７及び図１９に示した夫々の補間方法は一例に過ぎず、他の補間方法を採用しても構わない。例えば、参照実画素の数を上記の方法（４個）と異なるものとしても構わないし、補間画素の信号値を算出するために用いる実画素を上記の方法と異なるものとしても構わない。但し、上記の方法のように、補間画素位置に近い実画素を用いて補間を行うこととすると、より正確な補間画素の信号値を求めることが可能となるため好ましい。
【０１１８】
また、補間画素位置（色信号の位置）を、上記の位置と異なるものとしても構わない。例えば、補間Ｂ信号の位置と、補間Ｒ信号の位置とを入れ替えても構わないし、補間Ｂ信号及び補間Ｒ信号の位置と、補間Ｇ信号の位置と、を入れ替えても構わない。但し、上記のように何れの加算パターンを用いた原画像から得られる色補間画像においても、同様の補間画素位置（位置［ｘ、ｙ］が等しく生成される色信号の種類が同じ）になるものとする。
【０１１９】
［動き検出部］
図１０の動き検出部５３の機能について説明する。動き検出部５３は、上述した例のように、フレームメモリに５２に記憶される第（ｎ−１）フレームの合成画像の画像データと、第ｎフレームの色補間画像の画像データと、に基づいて両画像間のオプティカルフローを求めることにより、動きを検出することとする。合成画像は、色補間画像２６１〜２６４と同様に等間隔の画像となる。即ち、上述した補間画素位置に、夫々Ｇ信号、Ｂ信号及びＲ信号が存在する画像となる。
【０１２０】
図２６（ａ）〜（ｃ）を参照して合成画像における夫々の色信号について説明する。図２６（ａ）〜（ｃ）は、合成画像の夫々の色信号を示した図である。図２６（ａ）〜（ｃ）では、Ｇ信号をＧｃi,j、Ｂ信号をＢｃi,j、Ｒ信号をＲｃi,jで示している。図２６（ａ）〜（ｃ）に示す如く、合成画像の色信号であるＧｃi,j、Ｂｃi,j及びＲｃi,jは、第１の加算パターンの原画像を用いて生成される色補間画像２６１の色信号であるＧ１i,j、Ｂ１i,j及びＲ１i,jと、等しい位置［ｘ、ｙ］に存在する。換言すると、ある位置［ｘ、ｙ］に存在する色信号の水平画素番号ｉと垂直画素番号ｊとが、色補間画像２６１と合成画像２７０とで等しいものとなる。即ち、水平画素番号ｉ及び垂直画素番号ｊが、色補間画像２６１と合成画像２７０とで対応したものとなる。
【０１２１】
ここで例として、図２２（ａ）〜（ｃ）に示される色補間画像２６２と、フレームメモリ５２に記憶される合成画像２７０（図２６（ａ）〜（ｃ）参照）と、の間のオプティカルフローの導出方法を説明する。図２５に示す如く、動き検出部５３は、まず、色補間画像２６２のＲ、Ｇ及びＢ信号から輝度画像２６２Ｙを生成し、合成画像２７０のＲ、Ｇ及びＢ信号から輝度画像２７０Ｙを生成する。輝度画像は、輝度信号のみを含む濃淡画像である。輝度画像２６２Ｙ及び２７０Ｙの夫々は、輝度信号を有する画素を水平及び垂直方向に等間隔で配置することによって形成される。尚、図２５における“Ｙ”は、輝度信号を表している。
【０１２２】
輝度画像２６２Ｙ上の注目画素の輝度信号は、該注目画素に位置する或いは該注目画素の近傍に位置する、色補間画像２６２上の、Ｇ、Ｂ及びＲ信号から導出される。例えば、輝度画像２６２Ｙの、位置［５．５，５．５］における輝度信号を生成する場合は、色補間画像２６２のＧ信号Ｇ２2,2を位置［５．５，５．５］のＧ信号としてそのまま利用し、色補間画像２６２のＢ信号Ｂ２1,2及びＢ２3,2から位置［５．５，５．５］のＢ信号を線形補間によって算出し、色補間画像２６２のＲ信号Ｒ２2,1及びＲ２2,3から位置［５．５，５．５］のＲ信号を線形補間によって算出する（図２２（ａ）〜（ｃ）参照）。そして、色補間画像２６２に基づいて算出した、位置［５．５，５．５］のＧ、Ｂ及びＲ信号から、輝度画像２６２Ｙにおける位置［５．５，５．５］の輝度信号を算出する。算出された輝度信号は、輝度画像２６２Ｙ上の、位置［５．５，５．５］に存在する画素の輝度信号として取り扱われる。
【０１２３】
輝度画像２７０Ｙの、位置［５．５，５．５］における輝度信号を生成する場合は、例えば合成画像２７０のＧ信号Ｇｃ3,3を位置［５．５，５．５］のＧ信号としてそのまま利用し、合成画像２７０のＢ信号Ｂｃ2,3及びＢ２4,3から位置［５．５，５．５］のＢ信号を線形補間によって算出し、合成画像２７０のＲ信号Ｒｃ3,2及びＲｃ3,4から位置［５．５，５．５］のＲ信号を線形補間によって算出する（図２６（ａ）〜（ｃ）参照）。そして、合成画像２７０に基づいて算出した、位置［５．５，５．５］のＧ、Ｂ及びＲ信号から、輝度画像２６２Ｙにおける位置［５．５，５．５］の輝度信号を算出する。算出された輝度信号は、輝度画像２６２Ｙ上の、位置［５．５，５．５］に存在する画素の輝度信号として取り扱われる。
【０１２４】
輝度画像２６２Ｙ上の、位置［５．５，５．５］に存在する画素と、輝度画像２７０Ｙ上の、位置［５．５，５．５］に存在する画素は、互いに対応する画素である。位置［５．５，５．５］における輝度信号の算出方法を説明したが、他の位置に対しても同様の方法に従って輝度信号が算出される。これにより、輝度画像２６２Ｙ上の任意の画素位置［ｘ，ｙ］の輝度信号と、輝度画像２７０Ｙ上の任意の画素位置［ｘ，ｙ］の輝度信号が算出される。
【０１２５】
動き検出部５３は、輝度画像２６２Ｙ及び２７０Ｙを生成した後、輝度画像２６２Ｙの輝度信号と輝度画像２７０Ｙの輝度信号を対比することによって、輝度画像２６２Ｙ−２７０Ｙ間におけるオプティカルフローを求める。オプティカルフローの導出方法として、ブロックマッチング法、代表点マッチング法、勾配法などを利用することができる。求めたオプティカルフローは、輝度画像２６２Ｙ−２７０Ｙ間における、画像上の被写体（物体）の動きを表す動きベクトルによって表現される。動きベクトルは、その動きの向き及び大きさを示す二次元量である。動き検出部５３は、輝度画像２６２Ｙ−２７０Ｙ間に対して求めたオプティカルフローを、画像２６２−２７０間におけるオプティカルフローとして取り扱って、それを動き検出結果として出力する。
【０１２６】
尚、“輝度画像２６２Ｙ−２７０Ｙ間におけるオプティカルフロー（又は動きベクトル）”とは、“輝度画像２６２Ｙと輝度画像２７０Ｙとの間におけるオプティカルフロー（又は動きベクトル）”を意味する。輝度画像２６２Ｙ及び２７０Ｙ以外の複数画像に対して、オプティカルフロー、動きベクトル若しくは動き又はそれらに関連する事項を述べる際も、同様の記載方法を採用する。従って、例えば、“色補間画像２６２−合成画像２７０間におけるオプティカルフロー”とは、“色補間画像２６２と合成画像２７０との間におけるオプティカルフロー”を指す。
【０１２７】
また、上記の輝度画像の生成方法は一例に過ぎず、他の生成方法を採用しても構わない。例えば、所定の位置（上記例では［５．５，５．５］）の夫々の色信号を補間によって求めるために用いる色信号を、上記の例と異なるものとしても構わない。
【０１２８】
また、上記の例のように、色信号が存在し得る補間画素位置（位置［１．５＋２ｎE，１．５＋２ｎF］、但し、ｎE及びｎFは整数）のＧ信号、Ｂ信号及びＲ信号を補間によって夫々求め、輝度画像を生成しても構わないし、実画素と同じ位置（即ち、［１，１］、［１，２］、・・・、［２，１］、［２，２］・・・となる位置）のＧ信号、Ｂ信号及びＲ信号を補間によって夫々求め、輝度画像を生成しても構わない。
【０１２９】
［画像合成部］
図１０の画像合成部５４の機能について説明する。画像合成部５４は、色補間処理部５１から出力される色補間画像の色信号と、フレームメモリ５２に記憶されている合成画像の色信号と、動き検出部５３から入力される動き検出結果とに基づいて、合成画像を生成する。
【０１３０】
画像合成部５４は、合成処理を行うに際して、現フレームの色補間画像と前フレームの合成画像とを参照する。このとき、合成される色補間画像の生成に用いられる原画像の加算パターンが時間によって変化すると、合成する色信号の位置［ｘ、ｙ］が異なる問題や、画像合成部５４から出力される合成画像の色信号（Ｇｃi,j、Ｂｃi,j及びＲｃi,j）の位置［ｘ、ｙ］が一定にならずに画像全体が動いてしまう問題が生じ得る。これを回避すべく、一連の合成画像を生成する際に合成基準画像を設定する。そして、例えばフレームメモリ５２や色補間処理部５１から読み出す画像データを制御することにより、上記の加算パターンの時間的な変化に起因する問題に対応する。尚、以下では、第１の加算パターンの原画像を用いて生成される色補間画像２６１が合成基準画像として設定される場合を例に挙げて説明する。
【０１３１】
また、以下では、動き検出部５３から出力される動き検出結果については考慮せず、色補間画像間と合成画像とが所定の割合（重み係数：ｋ）で合成される場合について説明する。この重み係数ｋは、生成される現フレームの合成画像の信号値に対する、前フレームの合成画像の信号値の割合（寄与率）を示すものとする。一方、生成される現フレームの合成画像の信号値に対する、現フレームの色補間画像の信号値の割合は（１−ｋ）で表される。
【０１３２】
以上の想定の下、図２１（ａ）〜（ｃ）及び図２６（ａ）〜（ｃ）を参照しつつ、第１の加算パターンの原画像を用いて生成される色補間画像２６１と、合成画像２７０（前フレーム）とから１枚の合成画像２７０（現フレーム）を生成する処理方法について説明する。
【０１３３】
上述のように、色補間画像２６１の色信号Ｇ１i,j、Ｂ１i,j及びＲ１i,jと、合成画像２７０の色信号Ｇｃi,j、Ｂｃi,j及びＲｃi,jと、は等しい位置に存在する。そのため、本例では、下記式（Ｂ１）〜（Ｂ３）に従って、色補間画像２６１のＧ、Ｂ及びＲ信号値と、合成画像２７０のＧ、Ｂ及びＲ信号値と、を加重加算することにより現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃi,j、Ｂｃi,j及びＲｃi,jを算出する。尚、下記式（Ｂ１）〜（Ｂ３）中において、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値を、Ｇｐｃi,j、Ｂｐｃi,j及びＲｐｃi,jとし、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値と区別する。
【０１３４】
【数２】
2010004396.tif 000004
【０１３５】
式（Ｂ１）〜（Ｂ３）に示すように、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｐｃi,j、Ｂｐｃi,j及びＲｐｃi,jと、色補間画像２６１のＧ、Ｂ及びＲ信号値Ｇ１i,j、Ｂ１i,j及びＲ１i,jとは、水平画素番号ｉ及び垂直画素番号ｊをずらすことなく合成を行う。これによって、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃi,j、Ｂｃi,j及びＲｃi,jを得ることができる。
【０１３６】
また、図２２（ａ）〜（ｃ）及び図２６（ａ）〜（ｃ）を参照しつつ、第２の加算パターンの原画像を用いて生成される色補間画像２６２と、合成画像２７０（前フレーム）とから１枚の合成画像２７０（現フレーム）を生成する処理方法について説明する。
【０１３７】
色補間画像２６２（第２の加算パターン）と、合成画像２７０（第１の加算パターンと同様）は、等しい位置［ｘ、ｙ］を示す水平画素番号ｉ及び垂直画素番号ｊが異なるものとなる。具体的には、色補間画像２６２の色信号Ｇ２i-1,j-1、Ｂ２i-1,j-1及びＲ２i-1,j-1と、合成画像２７０の色信号Ｇｃi,j、Ｂｃi,j及びＲｃi,jとが夫々等しい位置を示したものとなる。そのため、本例では、下記式（Ｂ４）〜（Ｂ６）に従って、色補間画像２６２のＧ、Ｂ及びＲ信号値と、合成画像２７０のＧ、Ｂ及びＲ信号値と、を加重加算することにより現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃi,j、Ｂｃi,j及びＲｃi,jを算出する。尚、下記式（Ｂ４）〜（Ｂ６）中においても、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値を、Ｇｐｃi,j、Ｂｐｃi,j及びＲｐｃi,jとし、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値と区別する。
【０１３８】
【数３】
2010004396.tif 000005
【０１３９】
式（Ｂ４）〜（Ｂ６）に示すように、本例の場合は水平画素番号ｉ及び垂直画素番号ｊをずらして合成する。具体的には、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｐｃi,j、Ｂｐｃi,j及びＲｐｃi,jと、色補間画像２６２のＧ、Ｂ及びＲ信号値Ｇ２i-1,j-1、Ｂ２i-1,j-1及びＲ２i-1,j-1と、を合成する。これによって、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃi,j、Ｂｃi,j及びＲｃi,jを得ることができる。
【０１４０】
また、図２３（ａ）〜（ｃ）及び図２６（ａ）〜（ｃ）を参照しつつ、第３の加算パターンの原画像を用いて生成される色補間画像２６３と、合成画像２７０（前フレーム）とから１枚の合成画像２７０（現フレーム）を生成する処理方法について説明する。
【０１４１】
色補間画像２６３（第３の加算パターン）と、合成画像２７０（第１の加算パターンと同様）は、等しい位置［ｘ、ｙ］を示す水平画素番号ｉが異なるものとなる。具体的には、色補間画像２６３の色信号Ｇ３i-1,j、Ｂ３i-1,j及びＲ３i-1,jと、合成画像２７０の色信号Ｇｃi,j、Ｂｃi,j及びＲｃi,jとが夫々等しい位置を示したものとなる。そのため、本例では、下記式（Ｂ７）〜（Ｂ９）に従って、色補間画像２６３のＧ、Ｂ及びＲ信号値と、合成画像２７０のＧ、Ｂ及びＲ信号値と、を加重加算することにより現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃi,j、Ｂｃi,j及びＲｃi,jを算出する。尚、下記式（Ｂ７）〜（Ｂ９）中においても、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値を、Ｇｐｃi,j、Ｂｐｃi,j及びＲｐｃi,jとし、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値と区別する。
【０１４２】
【数４】
2010004396.tif 000006
【０１４３】
式（Ｂ７）〜（Ｂ９）に示すように、本例の場合は水平画素番号ｉ及び垂直画素番号ｊをずらして合成する。具体的には、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｐｃi,j、Ｂｐｃi,j及びＲｐｃi,jと、色補間画像２６３のＧ、Ｂ及びＲ信号値Ｇ３i-1,j、Ｂ３i-1,j及びＲ３i-1,jと、を合成する。これによって、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃi,j、Ｂｃi,j及びＲｃi,jを得ることができる。
【０１４４】
また、図２４（ａ）〜（ｃ）及び図２６（ａ）〜（ｃ）を参照しつつ、第４の加算パターンの原画像を用いて生成される色補間画像２６４と、合成画像２７０（前フレーム）とから１枚の合成画像２７０（現フレーム）を生成する処理方法について説明する。
【０１４５】
色補間画像２６４（第４の加算パターン）と、合成画像２７０（第１の加算パターンと同様）は、等しい位置［ｘ、ｙ］を示す垂直画素番号ｊが異なるものとなる。具体的には、色補間画像２６４の色信号Ｇ４i,j-1、Ｂ４i,j-1及びＲ４i,j-1と、合成画像２７０の色信号Ｇｃi,j、Ｂｃi,j及びＲｃi,jとが夫々等しい位置を示したものとなる。そのため、本例では、下記式（Ｂ１０）〜（Ｂ１２）に従って、色補間画像２６３のＧ、Ｂ及びＲ信号値と、合成画像２７０のＧ、Ｂ及びＲ信号値と、を加重加算することにより現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃi,j、Ｂｃi,j及びＲｃi,jを算出する。尚、下記式（Ｂ１０）〜（Ｂ１２）中においても、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値を、Ｇｐｃi,j、Ｂｐｃi,j及びＲｐｃi,jとし、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値と区別する。
【０１４６】
【数５】
2010004396.tif 000007
【０１４７】
式（Ｂ１０）〜（Ｂ１２）に示すように、本例の場合は水平画素番号ｉ及び垂直画素番号ｊをずらして合成する。具体的には、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｐｃi,j、Ｂｐｃi,j及びＲｐｃi,jと、色補間画像２６４のＧ、Ｂ及びＲ信号値Ｇ４i,j-1、Ｂ４i,j-1及びＲ４i,j-1と、を合成することにより、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃi,j、Ｂｃi,j及びＲｃi,jを得ることができる。
【０１４８】
尚、第１の加算パターンの原画像を用いて生成される色補間画像２６１を合成基準画像としたが、他の加算パターンの原画像を用いて生成される色補間画像２６２〜２６４を合成基準画像としても構わない。即ち、合成画像２７０の色信号Ｇｃi,j、Ｂｃi,j及びＲｃi,jが、第１の加算パターンの原画像を用いて生成される色補間画像２６１の色信号Ｇ１i,j、Ｂ１i,j及びＲ１i,jと等しい位置［ｘ、ｙ］に存在するものとしたが、他の加算パターンの原画像を用いて生成される色補間画像２６２〜２６４の色信号（Ｇ２i,j〜Ｇ４i,j、Ｂ２i,j〜Ｂ４i,j及びＲ２i,j〜Ｒ４i,j）と等しい位置［ｘ、ｙ］に存在するものとしても構わない。
【０１４９】
また、動き検出部５３による輝度画像の比較の際に、上記式（Ｂ１）〜（Ｂ１２）に示す対応関係を用いても構わない。特に、動き検出部５３が夫々の補間画素位置の輝度信号を求めて輝度画像を生成する場合、得られる輝度信号の水平画素番号ｉ及び垂直画素番号ｊを合成時と同様にずらして比較することとする。このように比較することで、夫々の輝度Ｙが示す位置［ｘ、ｙ］がずれることを抑制することができる。
【０１５０】
［色同時化処理部］
図１０の色同時化処理部５５の機能について説明する。上述したように、色同時化処理部５３は、画像合成部５４から出力される合成画像に色同時化処理（デモザイキング）を施すことで出力合成画像を生成し、出力する。色同時化処理とは、１つの補間画素位置に３つの色信号が備えられている画像を生成する処理であり、必要となるＧ信号、Ｂ信号及びＲ信号は、後述のように補間によって夫々求める。
【０１５１】
図２７（ａ）〜（ｃ）を参照して、出力合成画像について説明する。図２７（ａ）〜（ｃ）は、出力合成画像の夫々の色信号について示した図である。２７（ａ）〜（ｃ）では、出力合成画像２８０のＧ信号をＧｏi,j、Ｂ信号をＢｏi,j、Ｒ信号をＲｏi,jで示す。図２７（ａ）〜（ｃ）に示す如く、出力合成画像２８０のＧ信号Ｇｏi,j、Ｂ信号Ｂｏi,j及びＲ信号Ｒｏi,jと、合成画像２７０（図２６（ａ）〜（ｃ）参照）の色信号Ｇｃi,j、Ｂｃi,j及びＲｃi,jと、は等しい位置［ｘ、ｙ］に存在する。換言すると、ある位置［ｘ、ｙ］に存在する色信号の水平画素番号ｉと垂直画素番号ｊとが、合成画像２７０と出力合成画像２８０とで等しいものとなる。即ち、水平画素番号ｉ及び垂直画素番号ｊが、合成画像２７０と出力合成画像２８０とで対応したものとなる。
【０１５２】
但し、出力合成画像２８０では、色信号Ｇｏi,j、Ｂｏi,j及びＲｏi,jの３つの信号が、位置［１．５＋２×（ｉ−１），１．５＋２×（ｊ−１）］に色成分として揃って存在することとなる。この点において、ある補間画素位置に一つの色信号のみが存在し得る合成画像２７０と異なる。
【０１５３】
色同時化処理を行う場合、例えば信号値Ｇｏ1,1として、合成画像２７０の信号値Ｇｃ1,1をそのまま用いても構わない。また、信号値Ｇｏ2,1を、合成画像２７０の信号値Ｇｃ1,1と信号値Ｇｃ3,1とを線形補間することによって求めても構わない（図２６（ａ）参照）。Ｂ信号、Ｒ信号も同様であり、例えば信号値Ｂｏ2,1として、合成画像２７０の信号値Ｂｃ2,1をそのまま用いても構わない。また、信号値Ｂｏ3,1を、合成画像２７０の信号値Ｂｃ2,1と信号値Ｂｃ4,1とを線形補間することによって求めても構わない（図２６（ｂ）参照）。また、信号値Ｒｏ1,2として、合成画像２７０の信号値Ｒｃ1,2をそのまま用いても構わない。また、信号値Ｒｏ2,2は、合成画像２７０の信号値Ｒｃ1,2と信号値Ｒｃ3,2とを線形補間することによって求めても構わない（図２６（ｃ）参照）。
【０１５４】
以上に示すような方法によって、全ての補間画素位置に対して色信号Ｇｏi,j、Ｂｏi,j及びＲｏi,jの３つの信号を生成することで、出力合成画像を生成する。
【０１５５】
尚、上記の補間方法は一例に過ぎず、他の方法で補間を行うことにより、色同時化処理を行っても構わない。例えば、夫々の色信号を補間によって求めるために用いる色信号を、上記の例と異なるものとしても構わない。また、求める色信号の周辺に存在する４つの色信号を用いて、補間を行うこととしても構わない。
【０１５６】
上述のような出力合成画像の生成手法に基づく効果について考察する。まず、図５８に対応する従来手法では、加算読み出しを行った原画素を補間するためジャギーや偽色を抑制することができるが、補間によって得られる画像の解像感が劣化する（図５８のブロック９０２及び９０３参照）。これに対して本発明に係る第１実施例では、時間的に異なる加算パターンを用いて原画像を読み出し、これらの原画像から時間的に異なる色補間画像を生成する（図２２〜図２４参照）。そして、時間的に異なる色補間画像と、前フレームの合成画像（図２６参照）と、を合成することにより現フレームの合成画像を得る。この合成画像より得られる出力合成画像（図２７参照）は、図５８の出力画像（図５８のブロック９０５参照）と比べて生成に用いる画素が多いため、解像感の向上が図られる。また、図５８に対応する従来手法と同様に、ジャギーや偽色を抑制することができる。
【０１５７】
さらに、撮像される画像においてノイズはランダムに発生するため、現フレームより前の色補間画像を順次合成して生成される前フレームの合成画像は、ノイズが低減されたものとなる。そのため、前フレームの合成画像を合成に利用することで、得られる現フレームの合成画像及び出力合成画像のノイズを低減することができる。そのため、ジャギー及び偽色とノイズとを同時に低減することができる。
【０１５８】
また、ジャギー及び偽色とノイズとを低減するための合成が一度だけであり、合成する画像は、順次入力される現フレームの色補間画像と、前フレームの合成画像だけである。そのため、合成を行うために記憶する画像が前フレームの合成画像だけとなる。したがって、合成を行うために必要とするフレームメモリ５２を１つ（１フレーム分）とすることが可能となり、回路構成の簡略化や小型化を図ることが可能となる。
【０１５９】
尚、ＡＦＥ１２から色補間処理部５１に入力される原画像について、原画像に生成される加算パターンが異なるものとして説明したが、フレームごとに異ならせても構わない。例えば、第１の加算パターン及び第２の加算パターンが交互に用いられることとしても構わないし、第１〜第４の加算パターンが順に（サイクリックに）用いられることとしても構わない。
【０１６０】
＜＜第２実施例＞＞
次に、第２実施例について説明する。第１実施例では、動き検出部５３の出力を無視して画像合成部５４による合成処理を中心に述べたが、第２実施例では、動き検出部５３が検出した動きを考慮した画像合成部５４の構成及び動作を説明する。図２８は、第２実施例に係る、図１の撮像装置１の一部ブロック図であり、図２８には、図１の映像信号処理部１３として用いられる映像信号処理部１３ａの内部ブロック図が示されていると共に、画像合成部５４の内部ブロック図が示されている。
【０１６１】
図２８の画像合成部５４は、重み係数算出部６１及び合成処理部６２を備える。重み係数算出部６１及び合成処理部６２を除く映像信号処理部１３ａ内の構成及び動作は、第１実施例で述べたものと同じであるため、以下、重み係数算出部６１及び合成処理部６２の動作について説明する。第１実施例で述べた事項は、矛盾無き限り、第２実施例にも適用される。
【０１６２】
第１実施例において説明したように、動き検出部５３は、現フレームの色補間画像と前フレームの合成画像とに基づいて動き検出結果を出力する。そして、画像合成部５４は、動き検出結果に基づいて、合成処理に用いる重み係数を設定する。第２実施例では、この動き検出部５３から出力される動き検出結果と、動き検出結果に応じて設定される重み係数ｗと、について中心に説明する。また、以下では説明の具体化のため、現フレームの色補間画像が、第１の加算パターンの原画像を用いて生成された色補間画像２６１（図２１参照）である場合について説明する。
【０１６３】
動き検出部５３は、色補間画像２６１−合成画像２７０間に対して、例えば上述した方法で動きベクトル（オプティカルフロー）を求め、画像合成部５４の重み係数算出部６１に出力する。重み係数算出部６１は、入力される動きベクトルの大きさ｜Ｍ｜に基づいて重み係数ｗを算出する。この際、大きさ｜Ｍ｜が増大するに従って重み係数ｗが小さくなるように重み係数ｗを算出する。但し、重み係数ｗ（及び後述のｗi,j）の上限値（重み係数最大値）及び下限値を、夫々Ｚ及び０とする。
【０１６４】
図２９は、重み係数ｗと大きさ｜Ｍ｜との関係例を示す図である。この関係例を採用する場合、式“ｗ＝−Ｋ・｜Ｍ｜＋Ｚ”に従って重み係数ｗが算出される。但し、｜Ｍ｜＞Ｚ／Ｋの範囲内では、ｗ＝０である。また、Ｋは、所定の正の値を有する、｜Ｍ｜とｗとの関係式における傾きである。
【０１６５】
動き検出部５３により色補間画像２６１−合成画像２７０間に対して求められたオプティカルフローは、画像座標面ＸＹ上の様々な位置における動きベクトルの束によって形成される。例えば、色補間画像２６１及び合成画像２７０の夫々の全体画像領域が複数の一部画像領域に分割され、１つの一部画像領域に対して夫々１つの動きベクトルが求められる。今、図３０（ａ）に示す如く、色補間画像２６１又は合成画像２７０である画像２９０の全体画像領域が９つの一部画像領域ＡＲ1〜ＡＲ9に分割され、一部画像領域ＡＲ1〜ＡＲ9の夫々に対して１つずつ動きベクトルが求められた場合を想定する。勿論、一部画像領域の個数を９以外にすることも可能である。図３０（ｂ）に示す如く、一部画像領域ＡＲ1〜ＡＲ9に対して求められた、色補間画像２６１−合成画像２７０間の動きベクトルを、夫々符号Ｍ1〜Ｍ9によって表す。動きベクトルＭ1〜Ｍ9の大きさは、夫々、｜Ｍ1｜〜｜Ｍ9｜によって表される。尚、図３０（ｂ）中、符号２９１及び２９２で示した画像は、色補間画像及び合成画像を夫々示すものとする。
【０１６６】
重み係数算出部６１は、動きベクトルＭ1〜Ｍ9の大きさ｜Ｍ1｜〜｜Ｍ9｜に基づいて、画像座標面ＸＹ上の様々な位置における重み係数ｗを算出する。水平画素番号及び垂直画素番号が夫々ｉ及びｊである場合の重み係数ｗをｗi,jにて表す。重み係数ｗi,jは、合成画像の色信号Ｇｃi,j、Ｂｃi,j及びＲｃi,jを有する画素（画素位置）に対する重み係数であり、その画素の属する一部画像領域についての動きベクトルから算出される。従って例えば、Ｇ信号Ｇｃ1,1が存在する画素位置［１．５，１．５］が一部画像領域ＡＲ1に属するのであれば、大きさ｜Ｍ1｜に基づき、式“ｗ1,1＝−Ｋ・｜Ｍ1｜＋Ｚ”に従って重み係数ｗ1,1が算出され（但し、｜Ｍ1｜＞Ｚ／Ｋの範囲内では、ｗ1,1＝０）、Ｇ信号Ｇｃ1,1が存在する画素位置［１．５，１．５］が一部画像領域ＡＲ2に属するのであれば、大きさ｜Ｍ2｜に基づき、式“ｗ1,1＝−Ｋ・｜Ｍ2｜＋Ｚ”に従って重み係数ｗ1,1が算出される（但し、｜Ｍ2｜＞Ｚ／Ｋの範囲内では、ｗ1,1＝０）。
【０１６７】
合成処理部６２は、現時点において色補間処理部５１から出力されている現フレームについての色補間画像２６１のＧ、Ｂ及びＲ信号と、フレームメモリ５２に記憶されている前フレームの合成画像２７０のＧ、Ｂ及びＲ信号とを、重み係数算出部６１にて算出された重み係数ｗi,jに応じた比率にて合成する。即ち、上記式（Ｂ１）〜（Ｂ３）に示す重み係数ｋとして、重み係数ｗi,jを用いて合成する。これにより、現フレームについての合成画像２７０を生成する。
【０１６８】
現フレームの色補間画像と前フレームの合成画像との合成によって合成画像を生成する際、両画像間における被写体の動きが比較的大きいと、この合成画像から生成される出力合成画像において輪郭部がぼやけてしまう、或いは、二重像が表れるおそれがある。そこで、上述の如く、両画像間における動きベクトルの大きさが比較的大きいならば、合成によって生成される現フレームの合成画像に対する前フレームの合成画像の寄与率（重み係数ｗi,j）を低下させる。これにより、出力合成画像においる輪郭部のぼけや二重像の発生が抑制される。
【０１６９】
また、重み係数ｗi,jを算出するために用いる動き検出結果を、現フレームの色補間画像と、前フレームの合成画像から検出することとしている。即ち、合成のために記憶している前フレームの合成画像を利用することとしている。そのため、動き検出のための画像（例えば、連続する２枚の色補間画像など）を別途記憶する必要をなくすことができる。したがって、備えるフレームメモリ５２を１つ（１フレーム分）とすることが可能となり、回路構成の簡略化や小型化を図ることが可能となる。
【０１７０】
尚、上述の例では、画像座標面ＸＹ上の様々な位置における重み係数ｗi,jを設定するようにしているが、現フレームの色補間画像と前フレームの合成画像とを合成する際に設定される重み係数の個数を１つとし、その１つの重み係数を全体画像領域に対して共通使用するようにしてもよい。例えば、動きベクトルＭ1〜Ｍ9を平均化することによって、色補間画像２６１−合成画像２７０間の、被写体の平均的な動きを表す平均動きベクトルＭAVEを求め、平均動きベクトルＭAVEの大きさ｜ＭAVE｜を用いて、式“ｗ＝−Ｋ・｜ＭAVE｜＋Ｚ”に従って１つの重み係数ｗを算出する（但し、｜ＭAVE｜＞Ｚ／Ｋの範囲内ではｗ＝０）。そして、｜ＭAVE｜を用いて算出した重み係数ｗを上記式（Ｂ１）〜（Ｂ１２）の重み係数ｋに代入して得られる各式に従って、信号値Ｇｃi,j、Ｂｃi,j及びＲｃi,jを求めるようにしてもよい。
【０１７１】
＜＜第３実施例＞＞
次に、第３実施例について説明する。第３実施例では、重み係数を設定する際に、色補間画像及び合成画像の画像間における被写体の動きに加えて画像特徴量も考慮するものとする。画像特徴量とは、ある注目した画素の周辺の画素の特徴を示したものである。また、図３１は、第３実施例に係る図１の撮像装置１の一部ブロック図である。図３１には、図１の映像信号処理部１３として用いられる映像信号処理部１３ｂの内部ブロック図が示されている。
【０１７２】
映像信号処理部１３ｂは、符号５１〜５３、５４ｂ、５５及び５６によって参照される各部位を備え、その内、符号５１〜５３、５５及び５６によって参照される各部位は、図１０に示すそれらと同じものである。図３１の画像合成部５４ｂは、画像特徴量算出部７０、重み係数算出部７１及び合成処理部７２を備える。画像合成部５４ｂを除く映像信号処理部１３ｂ内の構成及び動作は、第１又は第２実施例で述べた、映像信号処理部１３ａ内のそれらと同じであるため、以下、画像合成部５４ｂの構成及び動作について説明する。第１及び第２実施例で述べた事項は、矛盾無き限り、第３実施例にも適用される。
【０１７３】
説明の具体化のため、第３実施例においても第２実施例と同様に、合成に用いられる現フレームの色補間画像が、第１の加算パターンの原画像を用いて生成された色補間画像２６１（図２１参照）である場合について説明する。また、第３実施例では、画像特徴量算出部７０によって算出される画像特徴量Ｃoと、画像特徴量Ｃoに応じて設定される重み係数ｗと、について中心に説明する。
【０１７４】
画像特徴量算出部７０は、色補間処理部５１から出力されている現フレームの色補間画像２６１のＧ、Ｂ及びＲ信号を入力信号として受け、この入力信号に基づいて、現フレームの色補間画像２６１の画像特徴量を算出する。また、画像特徴量算出部７０は、現フレームの色補間画像２６１の輝度画像２６１Ｙ（図２２参照）を用いて、画像特徴量Ｃoを算出する。
【０１７５】
画像特徴量Ｃoとして、例えば、下記式（Ｃ１）を用いて算出される、輝度画像２６１Ｙの標準偏差σを利用することができる。下記式（Ｃ１）において、ｎは算出に用いる画素数を表し、ｘkは画素の輝度値、ｘaveは算出に用いる画素の輝度値の平均値を表す。
【０１７６】
【数６】
2010004396.tif 000008
【０１７７】
尚、この標準偏差σを、一部画像領域ＡＲ1〜ＡＲ9ごとの値としても構わないし、輝度画像２６１Ｙの全体の値としても構わない。また、標準偏差σを、一部画像領域ＡＲ1〜ＡＲ9ごとに算出した標準偏差を平均化した値としても構わない。
【０１７８】
また例えば、輝度画像２６１Ｙにおける所定の高域周波数成分Ｈをハイパスフィルタによって抽出することによって得られる値を、画像特徴量Ｃoに利用することも可能である。より具体的に、例えば、ハイパスフィルタを所定のフィルタサイズを有するラプラシアンフィルタ（例えば、図３２（ａ）に示す３×３のラプラシアンフィルタ）にて形成し、そのラプラシアンフィルタを輝度画像２６１Ｙの各画素に作用させる空間フィルタリングを行う。そうすると、ハイパスフィルタからは、そのラプラシアンフィルタのフィルタ特性に応じた出力値が順次得られる。そして、これらの値を用いて高域周波数成分Ｈを算出する。尚、上記のハイパスフィルタの出力値の絶対値（ハイパスフィルタによって抽出された高域周波数成分の大きさ）を積算し、積算した値を高域周波数成分Ｈとしても構わない。
【０１７９】
また、高域周波数成分Ｈを、画素ごとの値としても構わないし、輝度画像２６１Ｙの一部画像領域ＡＲ1〜ＡＲ9ごとの値としても構わないし、輝度画像２６１Ｙの全体の値としても構わない。また、高域周波数成分Ｈを、画素ごとに算出した高周波成分を一部画像領域ＡＲ1〜ＡＲ9ごとで夫々平均化した値としても構わない。また、高域周波数成分Ｈを、一部画像領域ＡＲ1〜ＡＲ9ごとに算出した高周波成分を平均化した値としても構わない。
【０１８０】
さらに例えば、輝度画像２６１Ｙにおけるエッジ成分Ｐ（画素の変化量）を微分フィルタによって抽出することによって得られる値を、画像特徴量Ｃoに利用することも可能である。より具体的に、例えば、微分フィルタを所定のフィルタサイズを有するプレウィットフィルタ（例えば、図３２（ｂ）に示す３×３のプレウィットフィルタ）にて形成し、そのプレウィットフィルタを輝度画像２６１Ｙの各画素に作用させる空間フィルタリングを行う。そうすると、微分フィルタからは、その微分フィルタのフィルタ特性に応じた出力値が順次得られる。そして、これらの値を用いてエッジ成分Ｐを算出する。尚、水平方向のエッジ成分Ｐxと、垂直方向のエッジ成分Ｐyとを別々に算出することが可能であり、下記式（Ｃ２）及び（Ｃ３）を用いてエッジ成分Ｐを算出しても構わない。
【０１８１】
【数７】
2010004396.tif 000009
【０１８２】
上記式（Ｃ２）及び（Ｃ３）に示す例では、エッジ成分Ｐとして、水平方向のエッジ成分Ｐxと、垂直方向のエッジ成分Ｐyとの中の大きい方の値を利用することとしている。尚、エッジ成分Ｐを、画素ごとの値としても構わないし、輝度画像２６１Ｙの一部画像領域ＡＲ1〜ＡＲ9ごとの値としても構わないし、輝度画像２６１Ｙの全体の値としても構わない。また、エッジ成分Ｐを、画素ごとに算出したエッジ成分を一部画像領域ＡＲ1〜ＡＲ9ごとで夫々平均化した値としても構わない。また、エッジ成分Ｐを、一部画像領域ＡＲ1〜ＡＲ9ごとに算出したエッジ成分を平均化した値としても構わない。
【０１８３】
以上のように算出される夫々の値（標準偏差σ、高域周波数成分Ｈ及びエッジ成分Ｐ）は、大きいほど注目した画素の周辺の画素の輝度の変化が大きいことを示し、小さいほど注目した画素の周辺の画素の輝度の変化が小さいことを示す。そのため、下記式（Ｃ４）に示すように、上記の夫々の値を加重加算して組み合わせた値を、画像特徴量Ｃoとすることも可能である。尚、下記式中、Ａ〜Ｃは、夫々の値の大きさを調整したり加算割合を設定したりするための係数である。
【０１８４】
【数８】
2010004396.tif 000010
【０１８５】
上記のように、画像特徴量Ｃoに寄与する夫々の値（標準偏差σ、高域周波数成分Ｈ及びエッジ成分Ｐ）は、一部画像領域ＡＲ1〜ＡＲ9ごとに算出することが可能である。そのため、画像特徴量Ｃoも一部画像領域ＡＲ1〜ＡＲ9ごとに算出することが可能である。尚、以下の説明においては、画像特徴量Ｃoが一部画像領域ＡＲ1〜ＡＲ9ごとに算出されるものとし、一部画像領域ＡＲmに対する画像特徴量を、画像特徴量Ｃomで表すこととする。但し、本例の場合ｍは、１≦ｍ≦９を満たす整数とする。
【０１８６】
画像特徴量算出部７０は、画像特徴量Ｃo1〜Ｃo9に基づいて、上述した重み係数最大値Ｚ1〜Ｚ9（図２９参照）を一部画像領域ＡＲ1〜ＡＲ9ごとに算出する。重み係数最大値Ｚmは、図３２（ｃ）に示す如く、画像特徴量Ｃomがゼロ以上かつ所定の画像特徴量閾値ＣTH1より小さい値である場合（０≦Ｃom＜ＣTH1）、１に設定される。また、画像特徴量Ｃomが所定の画像特徴量閾値ＣTH2以上の値である場合（ＣTH2≦Ｃm）は、０．５に設定される。但し、ＣTH1＞０、ＣTH2＞０、ＣTH1＜ＣTH2である。
【０１８７】
また、重み係数最大値Ｚmは、所定の画像特徴量閾値ＣTH1以上でありかつ所定の画像特徴量閾値ＣTH2より小さい場合（ＣTH1≦Ｃom＜ＣTH2）は、画像特徴量Ｃomの値に応じて１〜０．５の間の値に設定される。この場合、画像特徴量Ｃomの値が大きいほど重み係数最大値Ｚmが小さい値となる。より具体的には例えば、式“Ｚm＝−Θ・Ｃom＋１”に従って算出される。ここで、Θ＝０．５／（ＣTH2−ＣTH1）であり、所定の正の値を有する、画像特徴量Ｃomと重み係数最大値Ｚmとの関係式における傾きである。
【０１８８】
第２実施例において説明したように、重み係数算出部７１は、動き検出部５３から出力される動き検出結果に応じて重み係数ｗi,jを設定する。本実施例ではこのとき、重み係数算出部７１が、上記のように画像特徴量算出部７０から出力される画像特徴量Ｃomに応じて、重み係数ｗi,jの最大値である重み係数最大値Ｚmを決定することとなる。
【０１８９】
撮像される画像においてノイズはランダムに発生するため、現フレームより前の色補間画像を順次合成して生成されている前フレームの合成画像２７０（図２６参照）は、ノイズが低減されたものとなる。また、現フレームの色補間画像２６１（図２１参照）の平坦画像領域（画像特徴量Ｃomが比較的小さい画像領域）は、ジャギーが目立ちにくく合成によってジャギーを低減する意義が小さいため、前フレームの寄与率が高くなっても問題がない。そこで、このような画像領域については、重み係数最大値Ｚmを大きくして前フレームの合成画像２７０の寄与率が大きくなることを許容する。このように重み係数最大値Ｚmを設定することによって、第１及び第２実施例で説明した合成画像から生成される出力合成画像よりも、さらにノイズが低減された出力合成画像を得ることが可能となる。
【０１９０】
一方、画像特徴量Ｃomが比較的大きい画像領域はエッジを多く含む画像領域であるため、ジャギーが目立ちやすい。そのため、画像合成によるジャギー低減効果が大きい。そこで、効果的な合成を実現するために、重み係数最大値Ｚmを０．５に近い値とする。このように構成すると、動きがない画像領域においては、現フレームの合成画像に対する色補間画像２６１と前フレームの合成画像２７０との寄与率がともに０．５に近い値となる。そのため、ジャギーを効果的に低減することが可能となる。
【０１９１】
したがって、ジャギー低減が必要とされる画像領域においては効果的にジャギーを低減するとともに、ジャギー低減があまり必要とされない画像領域ではさらなるノイズ低減を行うことが可能となる。
【０１９２】
尚、画像特徴量Ｃoは、上記のように領域ごとに設定しても構わないし、画素ごとに設定しても構わないし、画像ごとに設定しても構わない。また、傾きＫ（図２９参照）が、重み係数最大値Ｚに応じて可変となるものとしても構わない。また、画像特徴量Ｃoを算出するための式（Ｃ４）は一例に過ぎず、これ以外の方法で画像特徴量Ｃoを算出しても構わない。例えば、標準偏差σや高域周波数成分Ｈ、エッジ成分Ｐの少なくとも一つを用いないこととしても構わないし、他の成分（例えば、一部画像領域ＡＲ1〜ＡＲ9内や画像内における画素の信号値の最大値と最小値との差など）を考慮して算出することとしても構わない。
【０１９３】
＜＜第４実施例＞＞
次に、第４実施例を説明する。第４実施例では、圧縮処理部１６（図１等参照）にて採用可能な、特異な画像圧縮方法を説明する。第４実施例では、圧縮処理部１６が、映像信号に対する代表的な圧縮方式である、ＭＰＥＧ（Moving Picture Experts Group）圧縮方式を採用して映像信号の圧縮を行う場合を想定する。ＭＰＥＧでは、フレーム間差分を利用して、圧縮動画像であるＭＰＥＧ動画像を生成する。図３３に、このＭＰＥＧ動画像の構成を模式的に示す。ＭＰＥＧ動画像は、３種類のピクチャ、即ち、Ｉピクチャ、Ｐピクチャ及びＢピクチャから構成される。
【０１９４】
Ｉピクチャは、フレーム内符号化画像（Intra-Coded Picture）であり、１枚のフレームの映像信号を当該フレーム画像内で符号化した画像である。Ｉピクチャ単独で１枚のフレームの映像信号を復号することが可能である。
【０１９５】
Ｐピクチャは、フレーム間予測符号化画像（Predictive-Coded Picture）であり、時間的に先のＩピクチャまたはＰピクチャから予測される画像である。Ｐピクチャの対象となる元の画像と当該Ｐピクチャから見て時間的に先のＩピクチャまたはＰピクチャとの差分を圧縮符号化したデータにより、Ｐピクチャが形成される。Ｂピクチャは、フレーム内挿双方向予測符号化画像（Bidirectionally Predictive-Coded Picture）であり、時間的に後及び先のＩピクチャまたはＰピクチャから双方向予測される画像である。Ｂピクチャの対象となる元の画像と、当該Ｂピクチャから見て時間的に後のＩピクチャまたはＰピクチャとの差分及び当該Ｂピクチャから見て時間的に前のＩピクチャまたはＰピクチャとの差分を圧縮符号化したデータにより、Ｂピクチャが形成される。
【０１９６】
ＭＰＥＧ動画像は、ＧＯＰ（Group Of Pictures）を単位として構成されている。ＧＯＰは、圧縮及び伸張が行われる単位であり、１つのＧＯＰは、或るＩピクチャから次のＩピクチャまでのピクチャで構成される。１又は２以上のＧＯＰにてＭＰＥＧ動画像は構成される。或るＩピクチャから次のＩピクチャまでのピクチャ枚数は、固定されることもあるが、ある程度の範囲内で変動させることも可能である。
【０１９７】
ＭＰＥＧに代表される、フレーム間差分を利用した画像圧縮方式を用いる場合、ＩピクチャはＢ及びＰピクチャの何れにも差分データを提供するため、Ｉピクチャの画質はＭＰＥＧ動画像の全体画質に大きな影響を与える。これを考慮し、ノイズやジャギーが効果的に低減されていると判断される画像番号を映像信号処理部１３又は圧縮処理部１６にて記録しておき、画像圧縮の際、記録している画像番号に対応する出力合成画像を優先的にＩピクチャの対象として利用する。これにより、圧縮によって得られたＭＰＥＧ動画像の全体的な画質を向上させることができる。
【０１９８】
図３４を参照して、より具体的な例を説明する。第４実施例に係る映像信号処理部１３として、図２８又は図３１に示される映像信号処理部１３ａ又は１３ｂが用いられる。今、色補間処理部５１によって、第ｎ、第（ｎ＋１）、第（ｎ＋２）、第（ｎ＋３）、第（ｎ＋４）・・・フレームの原画像から第ｎ、第（ｎ＋１）、第（ｎ＋２）、第（ｎ＋３）、第（ｎ＋４）・・・フレームの色補間画像３５１、３５２、３５３及び３５４・・・、が生成され、画像合成部５４又は５４ｂにおいて、色補間画像３５１及び合成画像３６０から合成画像３６１、色補間画像３５２及び合成画像３６１から合成画像３６２、色補間画像３５３及び合成画像３６２から合成画像３６３、色補間画像３５４及び合成画像３６３から合成画像３６４、・・・が生成された場合を考える。さらにこの場合、生成された合成画像３６１〜３６４から、色同時化処理部５５によって出力画像信号３７１〜３７４が夫々生成される。
【０１９９】
注目した色補間画像及び合成画像から１枚の合成画像を生成する手法は、第２又は第３実施例で述べた手法と同じであり、注目した色補間画像及び合成画像に対して算出された重み係数ｗi,jに従う合成によって１枚の合成画像が生成される。その１枚の合成画像を生成する際に使用した重み係数ｗi,jは、水平画素番号ｉ及び垂直画素番号ｊに応じて様々な値を取りうる（図２９（ｃ）参照）。また、重み係数ｗi,jを算出する過程で用いた重み係数最大値Ｚも、例えば、一部画像領域ＡＲ1〜ＡＲ9ごとに様々な値を取りうる（図３２（ｃ）参照）。本実施例では、重み係数ｗi,j及び重み係数最大値Ｚmを用いて総合重み係数を算出する。尚、総合重み係数は、例えば重み係数算出部６１又は７１によって算出される（図２８又は図３１参照）。
【０２００】
総合重み係数を求める場合、まず、重み係数ｗi,jを重み係数最大値Ｚmで割った値（即ち、ｗi,j／Ｚm）をそれぞれの画素（または、一部画像領域）ごとに求める。そして、この値を画像全体で平均化した値を、総合重み係数として設定する。尚、画像全体ではなく、画像の中央部などの所定の領域で上記値を平均化して得られる値を、総合重み係数として設定しても構わない。また、注目した色補間画像及び合成画像に対して設定される重み係数の個数を１つにすることが可能であることを第２実施例にて述べたが、このように設定される重み係数の個数が１つである場合は、その１つの重み係数を重み係数最大値Ｚで割った値を総合重み係数として機能させるとよい。
【０２０１】
合成画像３６１〜３６４に対して算出された総合重み係数を、夫々、ｗT1〜ｗT4にて表す。合成画像３６１〜３６４を指し示す符号３６１〜３６４は、対応する合成画像の画像番号を表している。また、出力合成画像３７１〜３７４を指し示す符号３７１〜３７４は、対応する出力合成画像の画像番号を表している。出力合成画像３７１〜３７４と、総合重み係数ｗT1〜ｗT4と、は互いに関連付けられて、圧縮処理部１６が参照可能なように映像信号処理部１３ａ又は１３ｂ内に記録される（図２８又は図３１を参照）。
【０２０２】
比較的大きな総合重み係数に対応する出力合成画像は、ジャギー及びノイズが比較的大きく低減されている画像であると推測される。そこで、圧縮処理部１６は、比較的大きな総合重み係数に対応する出力合成画像を優先的にＩピクチャの対象として利用する。従って、出力合成画像３７１〜３７４の中から１枚の出力合成画像をＩピクチャの対象として選択する場合、総合重み係数ｗT1〜ｗT4の値が最も大きい出力合成画像をＩピクチャの対象として選択する。例えば、総合重み係数ｗT1〜ｗT4の内、総合重み係数ｗT2が最も大きければ、出力合成画像３７２がＩピクチャの対象として選択され、出力合成画像３７２と出力合成画像３７１、３７３及び３７４とに基づいて、Ｐ及びＢピクチャが生成される。出力合成画像３７４以降に得られる複数の出力合成画像の中からＩピクチャの対象を選択する場合も同様である。
【０２０３】
圧縮処理部１６は、Ｉピクチャの対象として選択された出力合成画像を、ＭＰＥＧ圧縮方式に従って符号化することによりＩピクチャを生成すると共に、Ｉピクチャの対象として選択された出力合成画像とＩピクチャの対象として選択されなかった出力合成画像とに基づいてＰ及びＢピクチャを生成する。
【０２０４】
＜＜第５実施例＞＞
次に、第５実施例について説明する。第１〜第４実施例では、図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）に対応する加算パターンＰA1〜ＰA4を、原画像を取得するための第１〜第４の加算パターンとして用いることを想定しているが、原画像を取得するための加算パターンとして、加算パターンＰA1〜ＰA4と異なる加算パターンを用いることも可能である。利用可能な加算パターンには、加算パターンＰB1〜ＰB4、加算パターンＰC1〜ＰC4及び加算パターンＰD1〜ＰD4が含まれる。
【０２０５】
加算パターンＰB1〜ＰB4を利用する場合、加算パターンＰB1〜ＰB4は、夫々、第１〜第４実施例における第１、第２、第３及び第４の加算パターンとして機能する。
加算パターンＰC1〜ＰC4を利用する場合、加算パターンＰC1〜ＰC4は、夫々、第１〜第４実施例における第１、第２、第３及び第４の加算パターンとして機能する。
加算パターンＰD1〜ＰD4を利用する場合、加算パターンＰD1〜ＰD4は、夫々、第１〜第４実施例における第１、第２、第３及び第４の加算パターンとして機能する。
【０２０６】
図３５（ａ）〜（ｄ）は、夫々、加算パターンＰB1〜ＰB4を用いた場合の信号加算の様子を示し、図３６（ａ）〜（ｄ）は、夫々、加算パターンＰB1〜ＰB4を用いて加算読み出しを行った場合における、原画像の画素信号の様子を示す。
図３７（ａ）〜（ｄ）は、夫々、加算パターンＰC1〜ＰC4を用いた場合の信号加算の様子を示し、図３８（ａ）〜（ｄ）は、夫々、加算パターンＰC1〜ＰC4を用いて加算読み出しを行った場合における、原画像の画素信号の様子を示す。
図３９（ａ）〜（ｄ）は、夫々、加算パターンＰD1〜ＰD4を用いた場合の信号加算の様子を示し、図４０（ａ）〜（ｄ）は、夫々、加算パターンＰD1〜ＰD4を用いて加算読み出しを行った場合における、原画像の画素信号の様子を示す。
【０２０７】
図３５（ａ）〜（ｄ）において、黒塗りの丸は、夫々、加算パターンＰB1〜ＰB4を第１〜第４の加算パターンとして用いた場合に想定される仮想的な受光画素の配置位置を示している。但し、図３５（ａ）〜（ｄ）では、想定される仮想的な受光画素の内、Ｒ信号に対応する、仮想的な受光画素の配置位置のみを明示している。
図３７（ａ）〜（ｄ）において、黒塗りの丸は、夫々、加算パターンＰC1〜ＰC4を第１〜第４の加算パターンとして用いた場合に想定される仮想的な受光画素の配置位置を示している。但し、図３７（ａ）〜（ｄ）では、想定される仮想的な受光画素の内、Ｂ信号に対応する、仮想的な受光画素の配置位置のみを明示している。
図３９（ａ）〜（ｄ）において、黒塗りの丸は、夫々、加算パターンＰD1〜ＰD4を第１〜第４の加算パターンとして用いた場合に想定される仮想的な受光画素の配置位置を示している。但し、図３９（ａ）〜（ｄ）では、想定される仮想的な受光画素の内、Ｇ信号に対応する、仮想的な受光画素の配置位置の一部のみを明示している。
【０２０８】
図３５（ａ）〜（ｄ）、図３７（ａ）〜（ｄ）及び図３９（ａ）〜（ｄ）において、黒塗りの丸の周囲に示された矢印は、その丸に対応する仮想的な受光画素の画素信号を生成するために、該仮想的な受光画素の周辺受光画素の画素信号が加算される様子を示している。
【０２０９】
任意の加算パターンを用いて加算読み出しを行う場合、
撮像素子３３の画素位置［ｐG1＋４ｎA，ｐG2＋４ｎB］及び［ｐG3＋４ｎA，ｐG4＋４ｎB］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［ｐB1＋４ｎA，ｐB2＋４ｎB］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［ｐR1＋４ｎA，ｐR2＋４ｎB］に仮想的な赤受光画素が配置される、と想定する（ｎA及びｎBは整数）。但し、
加算パターンＰB1、ＰB2、ＰB3及びＰB4を用いる場合、（ｐG1，ｐG2，ｐG3，ｐG4，ｐB1，ｐB2，ｐR1，ｐR2）は、夫々、
（４，２，３，３，３，２，４，３）、（６，４，５，５，５，４，６，５）、
（６，２，５，３，５，２，６，３）及び（４，４，３，５，３，４，４，５）であり、
加算パターンＰC1、ＰC2、ＰC3及びＰC4を用いる場合、（ｐG1，ｐG2，ｐG3，ｐG4，ｐB1，ｐB2，ｐR1，ｐR2）は、夫々、
（３，３，２，４，３，４，２，３）、（５，５，４，６，５，６，４，５）、
（５，３，４，４，５，４，４，３）及び（３，５，２，６，３，６，２，５）であり、
加算パターンＰD1、ＰD2、ＰD3及びＰD4を用いる場合、（ｐG1，ｐG2，ｐG3，ｐG4，ｐB1，ｐB2，ｐR1，ｐR2）は、夫々、
（３，３，４，４，３，４，４，３）、（５，５，６，６，５，６，６，５）、
（５，３，６，４，５，４，６，３）及び（３，５，４，６，３，６，４，５）である。
尚、（ｐG1，ｐG2，ｐG3，ｐG4，ｐB1，ｐB2，ｐR1，ｐR2）が（ｐG1’，ｐG2’，ｐG3’，ｐG4’，ｐB1’，ｐB2’，ｐR1’，ｐR2’）であるとは、ｐG1＝ｐG1’、ｐG2＝ｐG2’、ｐG3＝ｐG3’、ｐG4＝ｐG4’、ｐB1＝ｐB1’、ｐB2＝ｐB2’、ｐR1＝ｐR1’且つｐR2＝ｐR2’、であることを意味する。
【０２１０】
また、上述の加算パターンＰA1、ＰA2、ＰA3及びＰA4を用いる場合を、上記と同様の方法で表現すると、（ｐG1，ｐG2，ｐG3，ｐG4，ｐB1，ｐB2，ｐR1，ｐR2）は、夫々、
（２，２，３，３，３，２，２，３）、（４，４，５，５，５，４，４，５）、
（４，２，５，３，５，２，４，３）及び（２，４，３，５，３，４，２，５）となる。
【０２１１】
第１実施例で述べたように、１つの仮想的な受光画素の画素信号は、その仮想的な受光画素の左斜め上、右斜め上、左斜め下及び右斜め下に隣接する実際の受光画素の画素信号の加算信号とされる。そして、位置［ｘ，ｙ］に配置された仮想的な受光画素の画素信号が、画像上の位置［ｘ，ｙ］の画素信号として取り扱われるように原画像が取得される。
【０２１２】
従って、任意の加算パターンを用いた加算読み出しによって得られる原画像は、図３６（ａ）〜（ｄ）、図３８（ａ）〜（ｄ）及び図４０（ａ）〜（ｄ）に示す如く、画素位置［ｐG1＋４ｎA，ｐG2＋４ｎB］及び［ｐG3＋４ｎA，ｐG4＋４ｎB］に配置された、Ｇ信号のみを有する画素と、画素位置［ｐB1＋４ｎA，ｐB2＋４ｎB］に配置された、Ｂ信号のみを有する画素と、画素位置［ｐR1＋４ｎA，ｐR2＋４ｎB］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。
【０２１３】
尚、加算パターンＰA1〜ＰA4から成る加算パターン群、加算パターンＰB1〜ＰB4から成る加算パターン群、加算パターンＰC1〜ＰC4から成る加算パターン群及び加算パターンＰD1〜ＰD4から成る加算パターン群を、夫々、ＰA、ＰB、ＰC及びＰDによって表す。
【０２１４】
第１実施例において示したように、図１０の色補間処理部５１は、所定の加算パターン群（ＰA）用いて得られる原画像に色補間処理を施し、所定の補間画素位置（色信号が生成され得る位置［ｘ、ｙ］）に色信号を生成する（図１３、図１５、図１７及び図１９参照）。これは、加算パターン群ＰB、加算パターン群ＰC及び加算パターン群ＰDを用いる場合であっても同様である。即ち、加算パターン群ＰB〜ＰDを用いて得られる原画像（図３６、図３８及び図４０参照）に対しても、第１実施例と同様の色補間処理を行い、所定の補間画素位置に色信号を生成する。このとき、第１実施例と同様に、周辺の色信号を用いた補間処理を行う。
【０２１５】
尚、色補間処理を行う際に、加算パターン群ＰAを用いた場合と同じ補間画素位置に色信号を生成しても構わない。また、加算パターン群ごとで、補間画素位置を異ならせても構わない。また、加算パターン群ごとで、補間画素位置を同じものとして生成される色信号の種類を異ならせても構わない。例えば、加算パターン群ＰAでは位置［１．５，１．５］がＧ信号となるが、加算パターン群ＰBでは同位置に生成される色信号をＢ信号としても構わない。
【０２１６】
また、必ずしも１つの加算パターン群から加算パターンを選択して用いる必要はない。例えば、加算パターンＰA1と、加算パターンＰB2と、を選択して用いることとしても構わない。但し、画像合成部５４において行う合成処理を簡単にするために、補間画素位置を等しくし、かつ、同じ位置［ｘ、ｙ］に同じ種類の色信号が生成されることとすると好ましい。
【０２１７】
＜＜第６実施例＞＞
第１〜第５実施例では、加算読み出しによって原画像の画素信号を取得しているが、間引き読み出しによって原画像の画素信号を取得することも可能である。間引き読み出しを行うことによって原画像の画素信号を取得する実施例を、第６実施例として説明する。間引き読み出しによって原画像の画素信号を取得した場合においても、矛盾無き限り、第１〜第５実施例で述べた事項は適用可能である。
【０２１８】
周知の如く、間引き読み出しでは、撮像素子３３の受光画素信号が間引いて読み出される。第６実施例では、原画像の取得に用いる間引きパターンを複数の間引きパターンの間で順次変更させながら間引き読み出しを行う。間引きパターンとは、間引きの対象となる受光画素の組み合わせパターンを意味する。
【０２１９】
第１〜第４の間引きパターンから成る間引きパターン群として、間引きパターンＱA1〜ＱA4から成る間引きパターン群ＱA、間引きパターンＱB1〜ＱB4から成る間引きパターン群ＱB、間引きパターンＱC1〜ＱC4から成る間引きパターン群ＱC、又は、間引きパターンＱD1〜ＱD4から成る間引きパターン群ＱDを利用可能である。
【０２２０】
図４１（ａ）〜（ｄ）は、夫々、間引きパターンＱA1〜ＱA4を示しており、図４２（ａ）〜（ｄ）は、夫々、間引きパターンＱA1〜ＱA4を用いて間引き読み出しを行った場合における、原画像の画素信号の様子を示している。
図４３（ａ）〜（ｄ）は、夫々、間引きパターンＱB1〜ＱB4を示しており、図４４（ａ）〜（ｄ）は、夫々、間引きパターンＱB1〜ＱB4を用いて間引き読み出しを行った場合における、原画像の画素信号の様子を示している。
図４５（ａ）〜（ｄ）は、夫々、間引きパターンＱC1〜ＱC4を示しており、図４６（ａ）〜（ｄ）は、夫々、間引きパターンＱC1〜ＱC4を用いて間引き読み出しを行った場合における、原画像の画素信号の様子を示している。
図４７（ａ）〜（ｄ）は、夫々、間引きパターンＱD1〜ＱD4を示しており、図４８（ａ）〜（ｄ）は、夫々、間引きパターンＱD1〜ＱD4を用いて間引き読み出しを行った場合における、原画像の画素信号の様子を示している。
【０２２１】
図４１（ａ）〜（ｄ）、図４３（ａ）〜（ｄ）、図４５（ａ）〜（ｄ）及び図４７（ａ）〜（ｄ）において、丸枠内の受光画素の画素信号が原画像の実画素の画素信号として読み出され、水平又は垂直方向に隣接する丸枠間に位置する受光画素の画素信号は間引かれる。
【０２２２】
任意の間引きパターンを用いて間引き読み出しを行う場合、
撮像素子３３の画素位置［ｐG1＋４ｎA，ｐG2＋４ｎB］及び［ｐG3＋４ｎA，ｐG4＋４ｎB］に配置される緑受光画素の画素信号が原画像の画素位置［ｐG1＋４ｎA，ｐG2＋４ｎB］及び［ｐG3＋４ｎA，ｐG4＋４ｎB］におけるＧ信号として読み出され、撮像素子３３の画素位置［ｐB1＋４ｎA，ｐB2＋４ｎB］に配置される青受光画素の画素信号が原画像の画素位置［ｐB1＋４ｎA，ｐB2＋４ｎB］におけるＢ信号として読み出され、撮像素子３３の画素位置［ｐR1＋４ｎA，ｐR2＋４ｎB］に配置される青受光画素の画素信号が原画像の画素位置［ｐR1＋４ｎA，ｐR2＋４ｎB］におけるＲ信号として読み出される（ｎA及びｎBは整数）。但し、
間引きパターンＱA1、ＱA2、ＱA3及びＱA4を用いる場合、（ｐG1，ｐG2，ｐG3，ｐG4，ｐB1，ｐB2，ｐR1，ｐR2）は、夫々、
（１，１，２，２，２，１，１，２）、（３，３，４，４，４，３，３，４）、
（３，１，４，２，４，１，３，２）及び（１，３，２，４，２，３，１，４）であり、
間引きパターンＱB1、ＱB2、ＱB3及びＱB4を用いる場合、（ｐG1，ｐG2，ｐG3，ｐG4，ｐB1，ｐB2，ｐR1，ｐR2）は、夫々、
（３，１，２，２，２，１，３，２）、（５，３，４，４，４，３，５，４）、
（５，１，４，２，４，１，５，２）及び（３，３，２，４，２，３，３，４）であり、
間引きパターンＱC1、ＱC2、ＱC3及びＱC4を用いる場合、（ｐG1，ｐG2，ｐG3，ｐG4，ｐB1，ｐB2，ｐR1，ｐR2）は、夫々、
（２，２，１，３，２，３，１，２）、（４，４，３，５，４，５，３，４）、
（４，２，３，３，４，３，３，２）及び（２，４，１，５，２，５，１，４）であり、
間引きパターンＱD1、ＱD2、ＱD3及びＱD4を用いる場合、（ｐG1，ｐG2，ｐG3，ｐG4，ｐB1，ｐB2，ｐR1，ｐR2）は、夫々、
（２，２，３，３，２，３，３，２）、（４，４，５，５，４，５，５，４）、
（４，２，５，３，４，３，５，２）及び（２，４，３，５，２，５，３，４）である。
【０２２３】
Ｇ、Ｂ又はＲ信号が読み出された画素位置に対応する、原画像上の画素は、Ｇ、Ｂ又はＲ信号が存在する実画素であるが、Ｇ、Ｂ及びＲ信号の何れもが読み出されなかった画素位置に対応する、原画像上の画素は、Ｇ、Ｂ及びＲ信号の何れもが存在しない空白画素である。
【０２２４】
図４１、図４３、図４５及び図４７に示すように、各種間引きパターンを用いた間引き読み出しを行って得られる原画像は、実画素の位置が僅かに異なることを除けば、加算読み出しを行って得られる原画像と同様のものとなる（図１３、図１５、図１７及び図１９参照）。したがって、間引きパターン群ＱA〜ＱDを用いて得られる原画像（図４１、図４３、図４５及び図４７参照）に対しても、第１実施例と同様の色補間処理を行い、所定の補間画素位置に色信号を生成することができる。またこのとき、第１実施例と同様に、周辺の色信号を用いた補間処理を行う。
【０２２５】
尚、色補間処理を行う際に、加算パターン群ＰAを用いた場合と同じ補間画素位置に色信号を生成しても構わないし、異なる補間画素位置に色信号を生成しても構わない。また、間引きパターン群ごとで、補間画素位置を異ならせても構わない。また、間引きパターン群ごとで、補間画素位置を同じものとして生成される色信号の種類を異ならせても構わない。例えば、間引きパターン群ＱAで位置［１．５，１．５］をＧ信号とした場合に、間引きパターン群ＱBで同位置に生成される色信号をＢ信号としても構わない。
【０２２６】
また、必ずしも１つの間引きパターン群から複数の間引きパターンを選択して用いる必要はない。例えば、間引きパターンＱA1と、間引きパターンＱB2と、を用いることとしても構わない。但し、画像合成部５４において行う合成処理を簡単にするために、補間画素位置を等しくし、かつ、同じ位置［ｘ、ｙ］に同じ種類の色信号が生成されることとすると好ましい。
【０２２７】
上記のように、間引き読み出しによって得られる原画像からも、加算読み出しによって得られる原画像から得られる色補間画像と同様の色補間画像を得ることができる。そのため、両原画像から得られる色補間画像を、等価なものとして取り扱うことができる。したがって、第１〜第４実施例にて述べた事項を、そのまま第６実施例にも適用可能である。基本的には、第１〜第４実施例における加算パターン及び加算読み出しを間引きパターン及び間引き読み出しに置き換えて考えればよい。
【０２２８】
即ち例えば、時間的に異なる間引きパターンを用いることによって原画像を取得する。そして、得られる原画像に対して第１実施例にて述べた色補間処理を実行することにより、色補間処理部５１にて色補間画像を生成する一方で、第１実施例にて述べた動き検出処理を実行することにより、動き検出部５３にて現フレームの色補間画像と前フレームの合成画像との動きベクトルを検出する。そして、その検出された動きベクトルに基づきつつ、第１〜第３実施例の何れかにて述べた手法に従って、画像合成部５４又は５４ｂにて現フレームの色補間画像と前フレームの合成画像とから１枚の合成画像を生成する。そして、この合成画像に対して色同時化処理部５５において色同時化処理を行い、出力合成画像を生成する。また、間引き読み出しによって得られた原画像列に基づく出力合成画像列に対して、第４実施例にて述べた画像圧縮技術を適用することも可能である。
【０２２９】
尚、時間的に異なる加算パターンを用いる方法、時間的に異なる間引きパターンを用いる方法に限らず、加算パターンと間引きパターンとを交互に用いるなどして、時間的に異なる方法で原画像を生成することとしても構わない。例えば、加算パターンＰA1と、間引きパターンＱD2と、を交互に用いることとしても構わない。
【０２３０】
また、上述してきた加算読み出し方式と間引き読み出し方式を組み合わせた読み出し方式（以下、加算/間引き方式という）を用いて、撮像素子３３の受光画素信号を読み出してもよい。加算/間引き方式を用いた時の読み出しパターンを、加算/間引きパターンという。例として、図４９及び図５０に対応するような加算/間引きパターンを採用することができる。この加算/間引きパターンは、第１の加算/間引きパターンとして機能する。図４９は、第１の加算/間引きパターンを用いた時の、信号加算の様子及び信号間引きの様子を示しており、図５０は、第１の加算/間引きパターンに従って受光画素信号を読み出した時の、原画像の画素信号の様子を示す。
【０２３１】
この第１の加算/間引きパターンを用いた場合、
撮像素子３３の画素位置［２＋６ｎA，２＋６ｎB］及び［３＋６ｎA，３＋６ｎB］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［３＋６ｎA，２＋６ｎB］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［２＋６ｎA，３＋６ｎB］に仮想的な赤受光画素が配置される、と想定する（ｎA及びｎBは整数）。
【０２３２】
第１実施例で述べたように、１つの仮想的な受光画素の画素信号は、その仮想的な受光画素の左斜め上、右斜め上、左斜め下及び右斜め下に隣接する実際の受光画素の画素信号の加算信号とされる。そして、位置［ｘ，ｙ］に配置された仮想的な受光画素の画素信号が、画像上の位置［ｘ，ｙ］の画素信号として取り扱われるように原画像が取得される。従って、第１の加算/間引きパターンを用いた読み出しによって得られる原画像は、図５０に示す如く、画素位置［２＋６ｎA，２＋６ｎB］及び［３＋６ｎA，３＋６ｎB］に配置された、Ｇ信号のみを有する画素と、画素位置［３＋６ｎA，２＋６ｎB］に配置された、Ｂ信号のみを有する画素と、画素位置［２＋６ｎA，３＋６ｎB］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。
【０２３３】
このように、複数の受光画素信号を加算することによって原画像の画素信号が形成されるため、加算/間引き方式は、加算読み出し方式の一種である。同時に、位置［５，ｎB］、［６，ｎB］、［ｎA，５］及び［ｎA，６］における受光画素信号は、原画像の画素信号の生成に寄与しない。つまり、原画像の生成に際して、位置［５，ｎB］、［６，ｎB］、［ｎA，５］及び［ｎA，６］における受光画素信号は間引かれる。故に、加算/間引き方式は、間引き読み出し方式の一種であるとも言える。
【０２３４】
上述したように、加算パターンは、加算の対象となる受光画素の組み合わせパターンを意味し、間引きパターンは、間引きの対象となる受光画素の組み合わせパターンを意味する。これに対し、加算/間引きパターンは、加算及び間引きの対象となる受光画素の組み合わせパターンを意味する。加算/間引き方式を用いる場合も、互いに異なる複数の加算/間引きパターンを設定し、原画像の取得に用いる加算/間引きパターンを該複数の加算/間引きパターンの間で順次変更させながら受光画素信号の読み出しを行い、得られる現フレームの色補間画像と前フレームの合成画像とを合成することによって、１枚の合成画像を生成すればよい。
【０２３５】
＜＜第７実施例＞＞
上述の各実施例では、色補間画像と色補間画像と同様に色信号が配置された合成画像とを合成し、得られた合成画像に色同時化処理を施すことによって出力合成画像を得る構成としたが、予め色補間画像に色同時化処理を施して、得られる色同時化画像を合成することで出力合成画像を得る構成とすることも可能である。この構成を第７実施例として説明する。また、上述の各実施例に記載した事項は、矛盾なき限り、第７実施例に適用することができる。
【０２３６】
図５１は、第７実施例に係る、図１の撮像装置１の一部ブロック図であり、図５１には、図１の映像信号処理部１３として用いられる映像信号処理部１３ｃの内部ブロック図が示されている。図５１は、第１実施例の映像信号処理部１３ａについて示した図１０に相当するものであり、対比され得るものである。
【０２３７】
また、図５２は、図５１の映像信号処理部１３ｃの動作を示すフローチャートである。図５２は、第１実施例の映像信号処理部１３ａの動作について示した図１１に相当するものであり、対比され得るものである。尚、図５２は、図１１と同様に１枚の画像の処理について示したフローチャートである。
【０２３８】
図５１に示す映像信号処理部１３は、上述したものと同様の色補間処理部５１を備え、入力される原画像から色補間画像を生成する（ＳＴＥＰ１及びＳＴＥＰ２）。色補間処理部５１を備える構成や、色補間処理部５１の動作については第１実施例において説明したものと同様であるため、詳細な説明については省略する。尚、以下においては、第１〜第４の加算パターンとして加算パターンＰA1〜ＰA4を採用するとともに、加算パターンＰA1〜ＰA4を用いた原画像が入力される場合を例に挙げて説明するが、第１、第５及び第６実施例で示したような加算パターンや間引きパターン、加算／間引きパターンを用いた原画像が入力されることとしても構わない。
【０２３９】
また、色補間画像の生成方法や生成される色補間画像は、第１実施例で説明したものと同様としても構わない（図１３〜図２４参照）。そのため、以下では第１実施例で説明したものと同様の生成方法で生成された、同様の色補間画像を用いる場合について説明する。但し、本実施例では、第１実施例において説明したものと異なる生成方法や、異なる色補間画像を用いることが可能である。尚、第１実施例で説明したものと異なる場合の詳細については、後述する。
【０２４０】
ＳＴＥＰ２で生成された色補間画像は、色同時化処理部５５ｃによって色同時化処理が施され、色同時化画像が生成される（ＳＴＥＰ３ａ）。このとき、色同時化処理部５５ｃに第１、第２、・・・、第（ｎ−１）、第ｎフレームの色補間画像が順次入力されるとともに、色同時化処理部５５ｃにより、第１、第２、・・・、第（ｎ−１）、第ｎフレームの色同時化画像が生成される。
【０２４１】
生成される色同時化画像について、図５３〜５６を用いて説明する。図５３は、図２１に示した色補間画像２６１（第１の加算パターンを用いて生成された原画像から得られる色補間画像）に色同時化処理を施して得られる色同時化画像３０１を示すものである。図５４は、図２２に示した色補間画像２６２（第２の加算パターンを用いて生成された原画像から得られる色補間画像）に色同時化処理を施して得られる色同時化画像３０２を示すものである。図５５は、図２３に示した色補間画像２６３（第３の加算パターンを用いて生成された原画像から得られる色補間画像）に色同時化処理を施して得られる色同時化画像３０３を示すものである。図５６は、図２４に示した色補間画像２６４（第４の加算パターンを用いて生成された原画像から得られる色補間画像）に色同時化処理を施して得られる色同時化画像３０４を示すものである。
【０２４２】
色同時化画像３０１におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ１ｓi,j、Ｂ１ｓi,j及びＲ１ｓi,jを用い、色同時化画像３０２におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ２ｓi,j、Ｂ２ｓi,j及びＲ２ｓi,jを用いる。また、色補間画像３０３におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ３ｓi,j、Ｂ３ｓi,j及びＲ３ｓi,jを用い、色補間画像３０４におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ４ｓi,j、Ｂ４ｓi,j及びＲ４ｓi,jを用いる。ｉ及びｊは、整数である。尚、Ｇ１ｓi,j〜Ｇ４ｓi,jを、Ｇ信号の値を表す記号として用いることもある（Ｂ１ｓi,j〜Ｂ４ｓi,j、Ｒ１ｓi,j〜Ｒ４ｓi,jに対しても同様）。
【０２４３】
また、色同時化画像３０１の注目画素の色信号Ｇ１ｓi,j、Ｂ１ｓi,j及びＲ１ｓi,jにおけるｉ及びｊは、夫々、色同時化画像３０１の注目画素の水平画素番号及び垂直画素番号を示している（色信号Ｇ２ｓi,j〜Ｇ４ｓi,j、Ｂ２ｓi,j〜Ｂ４ｓi,j及びＲ２ｓi,j〜Ｒ４ｓi,jについても同様）。
【０２４４】
色補間画像２６１から生成される色同時化画像３０１における色信号Ｇ１ｓi,j、Ｂ１ｓi,j及びＲ１ｓi,jの配置について説明する。図５３（ａ）〜（ｃ）に示す如く、色同時化画像３０１の位置［１．５，１．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色同時化画像３０１では、位置［１．５，１．５］のＧ信号をＧ１ｓ1,1、Ｂ信号をＢ１ｓ1,1及びＲ信号をＲ１ｓ1,1とする。そして、位置［２×（ｉ−１）＋１．５，２×（ｊ−１）＋１．５］に、色信号Ｇ１ｓi,j、Ｂ１ｓi,j及びＲ１ｓi,jの夫々が配置される。
【０２４５】
色補間画像２６２から生成される色同時化画像３０２における色信号Ｇ２ｓi,j、Ｂ２ｓi,j及びＲ２ｓi,jの配置について説明する。図５４（ａ）〜（ｃ）に示す如く、色同時化画像３０２の位置［３．５，３．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色同時化画像３０２では、位置［３．５，３．５］のＧ信号をＧ２ｓ1,1、Ｂ信号をＢ２ｓ1,1及びＲ信号をＲ２ｓ1,1とする。そして、位置［２×（ｉ−１）＋３．５，２×（ｊ−１）＋３．５］に、色信号Ｇ２ｓi,j、Ｂ２ｓi,j及びＲ２ｓi,jの夫々が配置される。
【０２４６】
色補間画像２６３から生成される色同時化画像３０３における色信号Ｇ３ｓi,j、Ｂ３ｓi,j及びＲ３ｓi,jの配置について説明する。図５５（ａ）〜（ｃ）に示す如く、色同時化画像３０３の位置［３．５，１．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色同時化画像３０３では、位置［３．５，１．５］のＧ信号をＧ３ｓ1,1、Ｂ信号をＢ３ｓ1,1及びＲ信号をＲ３ｓ1,1とする。そして、位置［２×（ｉ−１）＋３．５，２×（ｊ−１）＋１．５］に、色信号Ｇ３ｓi,j、Ｂ３ｓi,j及びＲ３ｓi,jの夫々が配置される。
【０２４７】
色補間画像２６４から生成される色同時化画像３０４における色信号Ｇ４ｓi,j、Ｂ４ｓi,j及びＲ４ｓi,jの配置について説明する。図５６（ａ）〜（ｃ）に示す如く、色同時化画像３０４の位置［１．５，３．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色同時化画像３０４では、位置［１．５，３．５］のＧ信号をＧ４ｓ1,1、Ｂ信号をＢ４ｓ1,1及びＲ信号をＲ４ｓ1,1とする。そして、位置［２×（ｉ−１）＋１．５，２×（ｊ−１）＋３．５］に、色信号Ｇ４ｓi,j、Ｂ４ｓi,j及びＲ４ｓi,jの夫々が配置される。
【０２４８】
上記のように、色同時化処理を行うと１つの補間画素位置に対してＧ、Ｂ及びＲの３つの信号が含まれることとなる。しかしながら、色同時化処理を施す色補間画像に含まれる色信号の位置に応じて、色同時化画像の色信号の水平画素番号ｉ及び垂直画素番号ｊが異なるものとなる。具体的には、色同時化画像３０１〜３０４の夫々の色信号で同じ水平画素番号ｉ及び垂直画素番号ｊを有しているものであったとしても、異なる位置［ｘ、ｙ］の信号を示すものとなる（図５３〜図５６参照）。
【０２４９】
ここで、画像合成部５４ｃにおいて生成される出力合成画像は、第１実施例において説明した出力合成画像と同様のものとする。即ち、図２７（ａ）〜（ｃ）に示した出力合成画像２８０と同様のものとする。したがって、Ｇ信号Ｇｏi,j、Ｂ信号Ｂｏi,j、Ｒ信号Ｒｏi,jが、補間画素位置［１．５＋２×（ｉ−１），１．５＋２×（ｊ−１）］に夫々揃って生成されているものとなる。そのため、色同時化画像３０１（図５３（ａ）〜（ｃ）参照）の色信号Ｇ１ｓi,j、Ｂ１ｓi,j及びＲ１ｓi,jと、出力合成画像２８０の色信号Ｇｏi,j、Ｂｏi,j及びＲｏi,jと、は等しい位置［ｘ、ｙ］に存在する。換言すると、ある位置［ｘ、ｙ］に存在する色信号の水平画素番号ｉと垂直画素番号ｊとが、色同時化画像３０１と合成画像２８０とで等しいものとなる。即ち、水平画素番号ｉ及び垂直画素番号ｊが、色同時化画像３０１と出力合成画像２８０とで対応したものとなる。一方、他の色同時化画像３０２〜３０４（図５４〜図５６参照）の色信号の水平画素番号ｉと垂直画素番号ｊと、出力合成画像の色信号の水平画素番号ｉと垂直画素番号ｊと、は対応したものとならない。
【０２５０】
ＳＴＥＰ３ａで生成された色同時化画像（以下、現フレームの色同時化画像とも呼ぶ）は画像合成部５４ｃに入力され、画像合成部５４ｃにおいて１フレーム前に出力された出力合成画像（以下、前フレームの出力合成画像とも呼ぶ）と合成される。そして、この合成処理によって出力合成画像が生成される（ＳＴＥＰ４ａ）。ここで、色同時化処理部５５ｃから画像合成部５４ｃに入力される第１、第２、・・・、第（ｎ−１）、第ｎフレームの色補間画像からは、夫々第１、第２、・・・、第（ｎ−１）、第ｎフレームの出力合成画像が生成されることとする（但し、ｎは２以上の整数）。即ち、第ｎフレームの色同時化画像と第（ｎ−１）フレームの出力合成画像とが合成されることにより、第ｎフレームの出力合成画像が生成されることとなる。
【０２５１】
ＳＴＥＰ４ａの合成を行うために、フレームメモリ５２ｃは、画像合成部５４ｃから出力される出力合成画像を一時記憶する。ここで、画像合成部５４ｃに第ｎフレームの色同時化画像が入力される場合であれば、フレームメモリ５２ｃには第（ｎ−１）フレームの出力合成画像が記憶されていることとなる。そして、画像合成部５４ｃは、フレームメモリ５２ｃに記憶した前フレームの出力合成画像を構成する信号と、色同時化処理部５５ｃから入力される現フレームの色同時化画像を構成する信号と、の夫々を順次入力させるとともに合成し、現フレームの出力合成画像を構成する信号を順次出力する。
【０２５２】
また、ＳＴＥＰ４ａで色同時化画像と出力合成画像とを合成する場合においても、第１実施例のＳＴＥＰ３（図１１参照）における合成と同様の問題が生じ得る。即ち、合成する画像の色信号の位置［ｘ、ｙ］が異なる問題や、画像合成部５４ｃから出力される出力合成画像の信号（Ｇｏi,j、Ｂｏi,j及びＲｏi,j）の位置［ｘ、ｙ］が一定にならず画像全体が動いてしまう問題が生じ得る。これを回避すべく、第１実施例と同様に、一連の出力合成画像を生成する際に合成基準画像を設定する。そして、例えばフレームメモリ５２ｃや色同時化処理部５５ｃから読み出す画像データを制御することにより、これらの問題に対応する。尚、以下では、色同時化画像３０１が合成基準画像として設定される場合について説明する。
【０２５３】
合成基準画像を設定して合成を行う場合、第１実施例と同様の方法で合成することとなる。さらに、第１実施例において説明した条件と同様の条件（第１の加算パターンを用いて得られる原画像に基づいた画像（色同時化画像３０１）を合成基準画像にする）としているため、上記式（Ｂ１）〜（Ｂ１２）と同様の方法（同様の水平画素番号ｉ及び垂直画素番号ｊの対応方法）を用いて合成を行うことができる。尚、下記式（Ｄ１）〜（Ｄ１２）中の重み係数ｋは、第１実施例と同様のものである。即ち、動き検出部５３から出力される動き検出結果に応じたものとなる。
【０２５４】
色同時化画像３０１と出力合成画像２８０とを合成する場合、下記式（Ｄ１）〜（Ｄ３）に示す式に従って、色同時化画像３０１のＧ、Ｂ及びＲ信号値と、出力合成画像２８０のＧ、Ｂ及びＲ信号値とを加重加算することにより、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を算出する。尚、下記式（Ｄ１）〜（Ｄ３）中において、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を、Ｇｐｏi,j、Ｂｐｏi,j及びＲｐｏi,jとし、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値と区別する。
【０２５５】
【数９】
2010004396.tif 000011
【０２５６】
式（Ｄ１）〜（Ｄ３）に示すように、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｐｏｃi,j、Ｂｐｏi,j及びＲｐｏi,jと、色同時化画像３０１のＧ、Ｂ及びＲ信号値Ｇ１ｓi,j、Ｂ１ｓi,j及びＲ１ｓi,jとは、水平方向及び垂直方向にずらすことなく合成を行う。これによって、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｏi,j、Ｂｏi,j及びＲｏi,jを得ることができる。
【０２５７】
また、色同時化画像３０２と出力合成画像２８０とを合成する場合、下記式（Ｄ４）〜（Ｄ６）に示す式に従って、色同時化画像３０２のＧ、Ｂ及びＲ信号値と、出力合成画像２８０のＧ、Ｂ及びＲ信号値とを加重加算することにより、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を算出する。尚、下記式（Ｄ４）〜（Ｄ６）中においても、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を、Ｇｐｏi,j、Ｂｐｏi,j及びＲｐｏi,jとし、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値と区別する。
【０２５８】
【数１０】
2010004396.tif 000012
【０２５９】
式（Ｄ４）〜（Ｄ６）に示すように、本例の場合は水平画素番号ｉ及び垂直画素番号ｊをずらして合成する。具体的には、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｐｏi,j、Ｂｐｏi,j及びＲｐｏi,jと、色同時化画像３０２のＧ、Ｂ及びＲ信号値Ｇ２ｓi-1,j-1、Ｂ２ｓi-1,j-1及びＲ２ｓi-1,j-1と、を合成する。これによって、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｏi,j、Ｂｏi,j及びＲｏi,jを得ることができる。
【０２６０】
また、色同時化画像３０３と出力合成画像２８０とを合成する場合、下記式（Ｄ７）〜（Ｄ９）に示す式に従って、色同時化画像３０３のＧ、Ｂ及びＲ信号値と、出力合成画像２８０のＧ、Ｂ及びＲ信号値とを加重加算することにより、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を算出する。尚、下記式（Ｄ７）〜（Ｄ９）中においても、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を、Ｇｐｏi,j、Ｂｐｏi,j及びＲｐｏi,jとし、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値と区別する。
【０２６１】
【数１１】
2010004396.tif 000013
【０２６２】
式（Ｄ７）〜（Ｄ９）に示すように、本例の場合は水平画素番号ｉ及び垂直画素番号ｊをずらして合成する。具体的には、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｐｏi,j、Ｂｐｏi,j及びＲｐｏi,jと、色同時化画像３０３のＧ、Ｂ及びＲ信号値Ｇ３ｓi-1,j、Ｂ３ｓi-1,j及びＲ３ｓi-1,jと、を合成する。これによって、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｏi,j、Ｂｏi,j及びＲｏi,jを得ることができる。
【０２６３】
また、色同時化画像３０４と出力合成画像２８０とを合成する場合、下記式（Ｄ１０）〜（Ｄ１２）に示す式に従って、色同時化画像３０４のＧ、Ｂ及びＲ信号値と、出力合成画像２８０のＧ、Ｂ及びＲ信号値とを加重加算することにより、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を算出する。尚、下記式（Ｄ１０）〜（Ｄ１２）中においても、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を、Ｇｐｏi,j、Ｂｐｏi,j及びＲｐｏi,jとし、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値と区別する。
【０２６４】
【数１２】
2010004396.tif 000014
【０２６５】
式（Ｄ１０）〜（Ｄ１２）に示すように、本例の場合は水平画素番号ｉ及び垂直画素番号ｊをずらして合成する。具体的には、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｐｏi,j、Ｂｐｏi,j及びＲｐｏi,jと、色同時化画像３０３のＧ、Ｂ及びＲ信号値Ｇ４ｓi,j-1、Ｂ４ｓi,j-1及びＲ４ｓi,j-1と、を合成する。これによって、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｏi,j、Ｂｏi,j及びＲｏi,jを得ることができる。
【０２６６】
上記式（Ｄ１）〜（Ｄ１２）における重み係数ｋを設定するために、動き検出部５３は、入力される色同時化画像及び出力合成画像の夫々の色信号から夫々の輝度信号（輝度画像）を生成し、両輝度画像間のオプティカルフローを求めることにより動きの大きさ及び向きを検出して画像合成部５４ｃに出力する。夫々の輝度画像は、第１実施例と同様に、任意の位置［ｘ、ｙ］のＧ、Ｂ及びＲ信号の信号値を求めることにより生成することができる。尚、第７実施例では、色同時化画像及び出力合成画像の補間画素位置のＧ、Ｂ及びＲ信号の夫々の信号値が既に得られているため、色信号の補間を行うことなく補間画素位置の輝度信号は求めることができる。また、上記式（Ｄ１）〜（Ｄ１２）に示す対応関係を用いてオプティカルフローを求めても構わない。特に、求める輝度信号の水平画素番号ｉ及び垂直画素番号ｊを、合成時と同様にずらして比較することとする。このように比較することで、夫々の輝度信号が示す位置［ｘ、ｙ］がずれることを抑制することができる。
【０２６７】
ＳＴＥＰ４ａで得られた出力合成画像は信号処理部５６に入力される。信号処理部５６は、出力合成画像を構成するＲ、Ｇ及びＢ信号を変換して、輝度信号Ｙ及び色差信号Ｕ及びＶから成る映像信号を生成する（ＳＴＥＰ５）。以上のＳＴＥＰ１〜ＳＴＥＰ５の動作は、夫々のフレームの画像に対して行われる。その結果、夫々のフレームの映像信号（Ｙ、Ｕ及びＶ）が生成され、順次信号処理部５６から出力される。出力される映像信号は圧縮処理部１６に入力され、圧縮処理部１６において所定の画像圧縮方式に従って圧縮符号化される。
【０２６８】
第７実施例に示すように、色同時化画像と出力合成画像とを合成する構成（色同時化処理を行ったあとに合成処理を行う構成）としても、第１実施例（合成を行ったあとに色同時化処理を行う構成）と同様の効果を得ることができる。即ち、ジャギーや偽色を抑制することができるとともに、解像感の向上を図ることができる。さらに、生成される出力合成画像のノイズを低減することができる。
【０２６９】
また、ジャギー及び偽色とノイズとを低減するための合成が一度だけであり、合成する画像が、順次入力される現フレームの色同時化画像と、前フレームの出力合成画像だけとなる。そのため、合成を行うために記憶する画像が前フレームの出力合成画像だけとなる。したがって、備えるフレームメモリ５２ｃを１つ（１フレーム分）とすることが可能となり、回路構成の簡略化や小型化を図ることが可能となる。
【０２７０】
さらに第７実施例では、色補間画像２６１〜２６４（図２１〜図２４参照）の色信号の存在位置を限定する必要を無くすことができる。第１実施例では、合成する色補間画像及び合成画像が、１つの補間画素位置にＧ、Ｂ及びＲ信号のいずれか１つが存在するものとなる。そのため、色補間処理によって生成する色信号の補間画素位置を規定して、特定の補間画素位置に特定の種類の色信号が生成されるようにすることで、合成を容易に行うこととしていた。これに対して第７実施例では、合成を行う前に色同時化処理を行うため、色同時化画像及び出力合成画像の１つの補間画素位置には、Ｇ、Ｂ及びＲ信号が全て含まれる。そのため、色補間画像を生成する際に、特定の補間画素位置に特定の種類の色信号を生成することを不要とすることが可能となる。但し、色信号を生成する補間画素位置自体は規定する必要がある。
【０２７１】
上記の効果について、具体的に図５７を参照して説明する。図５７は、第７実施例における第４の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図であり、第１実施例について示した図１９に対応するとともに比較され得るものである。第１実施例では、特定の種類の色信号を生成する補間画素位置を規定すると好適であるため、上述のように原画像に応じて色信号の生成方法を異ならせる必要がある。例えば、図１３及び図１９では、黒色及び灰色の矢印で示される色信号の生成方法が異なるものとなる。これに対して第７実施例では、特定の種類の色信号が生成される補間画素位置を規定する必要がないため、図１３及び図５７に示すように、色信号の生成方法を同じものとすることができる。したがって、入力される原画像が時間によって異なるものであったとしても、加算パターン群、間引きパターン群及び加算／間引きパターン群が同じものであれば、入力される異なる種類の原画像に対して同じ色補間処理方法を適用することが可能となる。
【０２７２】
また、このようにして得られる色補間画像の色信号の位置［ｘ、ｙ］は、上述のようにずれたものとなるが、パターンは同じものとなる。例えば、水平画素位置ｉ及び垂直画素位置ｊが偶数及び奇数であればＧ信号、水平画素位置ｉが奇数かつ垂直画素位置ｊが偶数であればＢ信号、水平画素位置ｉが偶数かつ垂直画素位置ｊが奇数であればＲ信号となり、原画像によらず等しくなる。そのため、入力される異なる種類の色補間画像の信号に対して同じ色同時化処理方法を適用することが可能となる。
【０２７３】
尚、第７実施例は第１実施例と対応するものであるため、第１実施例に適用可能な第２〜第６実施例の構成を、第７実施例にも組み合わせることが可能となる。即ち、第２や第３実施例に示した重み係数の決定方法を第７実施例に適用しても構わないし、第４実施例に示した画像圧縮方法を適用しても構わないし、第５や第６実施例に示した加算パターンや間引きパターン、加算／間引きパターンを第７実施例に適用しても構わない。
【０２７４】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０２７５】
［注釈１］
上述してきた加算パターンは様々に変形可能である。上述の加算読み出し方式では、４個の受光画素信号を加算することによって原画像上の１つの画素信号を形成しているが、４個以外の複数の受光画素信号（例えば、９個又は１６個の受光画素信号）を加算することによって原画像上の１つの画素信号を形成するようにしてもよい。
【０２７６】
同様に、上述してきた間引きパターンも様々に変形可能である。上述の間引き読み出し方式では、水平及び垂直方向に２画素ずつ受光画素信号が間引かれるが、間引かれる受光画素信号の個数は２以外であってもよい。例えば、水平及び垂直方向に４画素ずつ受光画素信号を間引くようにしてもよい。
【０２７７】
［注釈２］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、映像信号処理部（１３、１３ａ、１３ｂ又は１３ｃ）内で実行される処理の全部又は一部を、ソフトウェアを用いて実現することも可能である。勿論、映像信号処理部をハードウェアのみで形成することも可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【０２７８】
［注釈３］
例えば、以下のように考えることができる。図１のＣＰＵ２３は、原画像の取得の際に、どのような加算パターン又は間引きパターンを用いるかを制御し、この制御の下、撮像素子３３から原画像の画素信号となるべき信号が読み出される。従って、原画像を取得する原画像取得手段は、主としてＣＰＵ２３と映像信号処理部１３によって実現されると考えることもでき、この原画像取得手段に、加算読み出し又は間引き読み出しを行う読出手段が内包されていると考えることもできる。尚、加算読み出し方式と間引き読み出し方式を組み合わせた加算/間引き方式は、上述したように、加算読み出し方式又は間引き読み出し方式の一種であるので、加算読み出し方式による加算／間引きパターンは加算パターン又は間引きパターンの一種であると考えることができると共に、加算読み出し方式による受光画素信号の読み出しは加算読み出し又は間引き読み出しの一種であると考えることができる。
【図面の簡単な説明】
【０２７９】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像素子の有効領域内における受光画素配列を示す図である。
【図３】図１の撮像素子に対するカラーフィルタ配列を示す図である。
【図４】図１の撮像装置によって撮影された原画像の画素配列を示す図（ａ）と、原画像を含む任意の画像にとっての画像座標面を示す図（ｂ）である。
【図５】全画素読み出し方式を用いて得た原画像における画素信号のイメージ図である。
【図６】図５の原画像に対して施される色補間処理の概念図（ａ）〜（ｃ）と、図５の原画像に色補間処理を施すことによって得られた色補間画像のイメージ図（ｄ）〜（ｅ）である。
【図７】本発明の第１実施例に係り、第１及び第２の加算パターンを用いた場合における信号加算の様子を示す図である。
【図８】本発明の第１実施例に係り、第３及び第４の加算パターンを用いた場合における信号加算の様子を示す図である。
【図９】本発明の第１実施例に係り、第１〜第４の加算パターンを用いて加算読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。
【図１０】本発明の第１実施例に係り、図１の映像信号処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。
【図１１】本発明の第１実施例に係り、図１０の映像信号処理部の動作を示すフローチャートである。
【図１２】本発明の第１実施例に係り、複数の画素信号から補間画素位置の画素信号を算出する手法を説明するための図である。
【図１３】本発明の第１実施例に係り、第１の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図である。
【図１４】本発明の第１実施例に係り、図１３（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。
【図１５】本発明の第１実施例に係り、第２の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図である。
【図１６】本発明の第１実施例に係り、図１５（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。
【図１７】本発明の第１実施例に係り、第３の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図である。
【図１８】本発明の第１実施例に係り、図１７（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。
【図１９】本発明の第１実施例に係り、第４の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図である。
【図２０】本発明の第１実施例に係り、図１９（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。
【図２１】本発明の第１実施例に係り、図１３（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。
【図２２】本発明の第１実施例に係り、図１５（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。
【図２３】本発明の第１実施例に係り、図１７（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。
【図２４】本発明の第１実施例に係り、図１９（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。
【図２５】本発明の第１実施例に係り、色補間画像及び合成画像とそれに対応する輝度画像を示す図である。
【図２６】本発明の第１実施例に係り、合成画像上のＧ、Ｂ及びＲ信号の存在位置を示す図である。
【図２７】本発明の第１実施例に係り、出力合成画像のＧ、Ｂ及びＲ信号の存在位置を示す図である。
【図２８】本発明の第２実施例に係り、図１の映像信号処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。
【図２９】本発明の第２実施例に係り、動きベクトルの大きさと、色補間画像及び前フレームの合成画像の合成に利用される重み係数との関係例を示す図である。
【図３０】１枚の画像の全体画像領域が９つの一部画像領域に分割されている様子を示す図（ａ）と、２枚の画像間における動きベクトル群を示す図（ｂ）である。
【図３１】本発明の第３実施例に係り、図１の映像信号処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。
【図３２】本発明の第３実施例に係り、画像特徴量を算出するためのフィルタの例を示す図（ａ）及び（ｂ）、及び、画像特徴量と現フレームの色補間画像及び前フレームの合成画像の合成に利用される基準重み値との関係例を示す図（ｃ）である。
【図３３】本発明の第４実施例に係るＭＰＥＧ動画像の構成を示す図である。
【図３４】本発明の第４実施例に係り、色補間画像列と、合成画像と、出力合成画像列と、総合重み係数列と、の関係を示す図である。
【図３５】本発明の第５実施例に係り、加算パターン群（ＰB1〜ＰB4）を用いた場合における信号加算の様子を示す図である。
【図３６】本発明の第５実施例に係り、図３５（ａ）〜（ｄ）の加算パターン群を用いて加算読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。
【図３７】本発明の第５実施例に係り、加算パターン群（ＰC1〜ＰC4）を用いた場合における信号加算の様子を示す図である。
【図３８】本発明の第５実施例に係り、図３７（ａ）〜（ｄ）の加算パターン群を用いて加算読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。
【図３９】本発明の第５実施例に係り、加算パターン群（ＰD1〜ＰD4）を用いた場合における信号加算の様子を示す図である。
【図４０】本発明の第５実施例に係り、図３９（ａ）〜（ｄ）の加算パターン群を用いて加算読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。
【図４１】本発明の第６実施例に係り、間引きパターン群（ＱA1〜ＱA4）を示す図である。
【図４２】本発明の第６実施例に係り、図４１（ａ）〜（ｄ）の間引きパターン群を用いて間引き読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。
【図４３】本発明の第６実施例に係り、間引きパターン群（ＱB1〜ＱB4）を示す図である。
【図４４】本発明の第６実施例に係り、図４３（ａ）〜（ｄ）の間引きパターン群を用いて間引き読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。
【図４５】本発明の第６実施例に係り、間引きパターン群（ＱC1〜ＱC4）を示す図である。
【図４６】本発明の第６実施例に係り、図４５（ａ）〜（ｄ）の間引きパターン群を用いて間引き読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。
【図４７】本発明の第７実施例に係り、間引きパターン群（ＱD1〜ＱD4）を示す図である。
【図４８】本発明の第６実施例に係り、図４７（ａ）〜（ｄ）の間引きパターン群を用いて間引き読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。
【図４９】本発明の第６実施例に係り、加算/間引きパターンを用いた時の、信号加算の様子及び信号間引きの様子を示す図である。
【図５０】本発明の第６実施例に係り、図４９の加算/間引きパターンに従って受光画素信号を読み出した時の、原画像の画素信号の様子を示す図である。
【図５１】本発明の第７実施例に係り、図１の映像信号処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。
【図５２】本発明の第７実施例に係り、図５１の映像信号処理部の動作を示すフローチャートである。
【図５３】本発明の第７実施例に係り、図２１（ａ）〜（ｃ）に対応する色補間画像から生成された色同時化画像上のＧ、Ｂ及びＲ信号を示す図である。
【図５４】本発明の第７実施例に係り、図２２（ａ）〜（ｃ）に対応する色補間画像から生成された色同時化画像上のＧ、Ｂ及びＲ信号を示す図である。
【図５５】本発明の第７実施例に係り、図２３（ａ）〜（ｃ）に対応する色補間画像から生成された色同時化画像上のＧ、Ｂ及びＲ信号を示す図である。
【図５６】本発明の第７実施例に係り、図２４（ａ）〜（ｃ）に対応する色補間画像から生成された色同時化画像上のＧ、Ｂ及びＲ信号を示す図である。
【図５７】本発明の第７実施例に係り、第４の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図である。
【図５８】従来技術に係り、撮像素子の受光画素信号の加算読み出しを行って得た原画像から出力画像を生成する処理を説明するための図である。
【符号の説明】
【０２８０】
１  撮像装置
１１  撮像部
１２  ＡＦＥ
１３、１３ａ、１３ｂ、１３ｃ  映像信号処理部
１６  圧縮処理部
３３  撮像素子
５１  色補間処理部
５２、５２ｃ  フレームメモリ
５３  動き検出部
５４、５４ｂ、５４ｃ  画像合成部
５５、５５ｃ  色同時化処理部
５６  信号処理部
６１、７１  重み係数算出部
６２、７２  合成処理部
７０  画像特徴量算出部
【図１】
2010004396.tif 000015
【図２】
2010004396.tif 000016
【図３】
2010004396.tif 000017
【図４】
2010004396.tif 000018
【図５】
2010004396.tif 000019
【図６】
2010004396.tif 000020
【図７】
2010004396.tif 000021
【図８】
2010004396.tif 000022
【図９】
2010004396.tif 000023
【図１０】
2010004396.tif 000024
【図１１】
2010004396.tif 000025
【図１２】
2010004396.tif 000026
【図１４】
2010004396.tif 000027
【図１６】
2010004396.tif 000028
【図１８】
2010004396.tif 000029
【図２０】
2010004396.tif 000030
【図２１】
2010004396.tif 000031
【図２２】
2010004396.tif 000032
【図２３】
2010004396.tif 000033
【図２４】
2010004396.tif 000034
【図２５】
2010004396.tif 000035
【図２６】
2010004396.tif 000036
【図２７】
2010004396.tif 000037
【図２８】
2010004396.tif 000038
【図２９】
2010004396.tif 000039
【図３０】
2010004396.tif 000040
【図３１】
2010004396.tif 000041
【図３２】
2010004396.tif 000042
【図３３】
2010004396.tif 000043
【図３４】
2010004396.tif 000044
【図３５】
2010004396.tif 000045
【図３６】
2010004396.tif 000046
【図３７】
2010004396.tif 000047
【図３８】
2010004396.tif 000048
【図３９】
2010004396.tif 000049
【図４０】
2010004396.tif 000050
【図４１】
2010004396.tif 000051
【図４２】
2010004396.tif 000052
【図４３】
2010004396.tif 000053
【図４４】
2010004396.tif 000054
【図４５】
2010004396.tif 000055
【図４６】
2010004396.tif 000056
【図４７】
2010004396.tif 000057
【図４８】
2010004396.tif 000058
【図４９】
2010004396.tif 000059
【図５０】
2010004396.tif 000060
【図５１】
2010004396.tif 000061
【図５２】
2010004396.tif 000062
【図５３】
2010004396.tif 000063
【図５４】
2010004396.tif 000064
【図５５】
2010004396.tif 000065
【図５６】
2010004396.tif 000066
【図５８】
2010004396.tif 000067
【図１３】
2010004396.tif 000068
【図１５】
2010004396.tif 000069
【図１７】
2010004396.tif 000070
【図１９】
2010004396.tif 000071
【図５７】
2010004396.tif 000072