(57)【要約】【課題】より効率よく画像情報を出力できる撮像素子と、該撮像装置を備える撮像装置を提供する。【解決手段】撮像装置（１００）は撮像素子（１４０）を備える。撮像素子の各画素に対して、第一ないし第四のカラーフィルタのいずれかが設けられる。第一ないし第四のカラーフィルタは特定の配列で配置される。特定の配列は、第一のカラーフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素の重心位置である第一の重心位置と、第二のカラーフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素の重心位置である第二の重心位置と、第三のカラーフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素の重心位置である第三の重心位置とが、ベイヤ配列となるような配列である。【選択図】図８
2013192214.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を有し、受光した光から画素毎に画像情報を生成する撮像素子を備え、
前記撮像素子の各画素に対して、第一ないし第四のカラーフィルタのいずれかが設けられ、
前記第一ないし第四のカラーフィルタは互いに異なる分光特性を有しており、前記第四のカラーフィルタは前記第一ないし第三のカラーフィルタのいずれよりも高い光透過率を有し、
前記第一ないし第四のカラーフィルタは特定の配列で配置され、
前記特定の配列は、前記第一のカラーフィルタの透過光に基づき生成される画素情報に対する第一の画素加算処理において使用される複数の画素の重心位置である第一の重心位置と、前記第二のカラーフィルタの透過光に基づき生成される画素情報に対する第二の画素加算処理において使用される複数の画素の重心位置である第二の重心位置と、前記第三のカラーフィルタの透過光に基づき生成される画素情報に対する第三の画素加算処理において使用される複数の画素の重心位置である第三の重心位置とが、ベイヤ配列となるような配列であり、
前記第一の画素加算処理によって前記第一のカラーフィルタに対応する色に関する画素情報が生成され、前記第二の画素加算処理によって前記第二のカラーフィルタに対応する色に関する画素情報が生成され、前記第三の画素加算処理によって前記第三のカラーフィルタに対応する色に関する画素情報が生成されることを特徴とする、
撮像装置。
【請求項２】
前記第四のカラーフィルタは、前記第四のカラーフィルタの透過光に基づき生成される画素情報に対する第四の画素加算処理において使用される複数の画素の重心位置が、前記第一ないし第三の重心位置の重心に位置するよう、配列され、
前記第四の画素加算処理によって前記第四のカラーフィルタに対応する色に関する画素情報が生成される、
請求項１に記載の撮像装置。
【請求項３】
前記第三のカラーフィルタは市松状に配列されている、
請求項１又は２に記載の撮像装置。
【請求項４】
前記画素加算処理において、画素の重心位置により近い位置にある画素に対する前記画素加算処理における重み付けをより大きくする、
請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記撮像素子は、前記画素加算処理を実行する画素加算部を備える
請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記第一のカラーフィルタは、Ｒフィルタであり、
前記第二のカラーフィルタは、Ｂフィルタであり、
前記第三のカラーフィルタは、Ｇフィルタである、
請求項１から５のいずれかに記載の撮像装置。
【請求項７】
前記第四のカラーフィルタは、Ｗフィルタである、
請求項２から６のいずれかに記載の撮像装置。
【請求項８】
複数の画素を有し、受光した光から画素毎に画像情報を生成する撮像素子であって、
前記複数の画素のそれぞれに対して、第一ないし第四のカラーフィルタのいずれかが設けられ、
前記第一ないし第四のカラーフィルタは互いに異なる分光特性を有しており、前記第四のカラーフィルタは前記第一ないし第三のカラーフィルタのいずれよりも高い光透過率を有し、
前記第一ないし第四のカラーフィルタは特定の配列で配置され、
前記特定の配列は、前記第一のカラーフィルタの透過光に基づき生成される画素情報に対する第一の画素加算処理において使用される複数の画素の重心位置である第一の重心位置と、前記第二のカラーフィルタの透過光に基づき生成される画素情報に対する第二の画素加算処理において使用される複数の画素の重心位置である第二の重心位置と、前記第三のカラーフィルタの透過光に基づき生成される画素情報に対する第三の画素加算処理において使用される複数の画素の重心位置である第三の重心位置とが、ベイヤ配列となるような配列であり、
前記第一の画素加算処理によって前記第一のカラーフィルタに対応する色に関する画素情報が生成され、前記第二の画素加算処理によって前記第二のカラーフィルタに対応する色に関する画素情報が生成され、前記第三の画素加算処理によって前記第三のカラーフィルタに対応する色に関する画素情報が生成されることを特徴とする、
撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は複数種類のカラーフィルタを有する撮像素子と、撮像素子を備える撮像装置に関する。
【背景技術】
【０００２】
特許文献１は撮像素子を開示している。特許文献１記載の撮像素子では、画素が行列状に２次元配置された画素アレイ部に、輝度信号の主成分となる色が市松状に配置され、残りの部分に色情報成分となる複数色が配列される。そして特許文献１には、この撮像素子が、画素アレイ部の各画素から出力される色フィルタ部の色配列に対応した信号を、ベイヤ配列に対応した信号に変換して出力する旨が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１３６２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、同一の撮像素子を用いて、静止画像のみならず、動画像も撮影可能なデジタルカメラが普及してきている。また、撮像素子の画素の高精細化が進んでおり、より高精細な画像情報を有するデータを記録できるようになってきている。
【０００５】
静止画像撮影においては、原則的には一枚ずつの撮影であるため、各種画像処理に要する時間をある程度確保することができる。そのため、撮像素子の高精細化により処理対象となる情報量が多くなっても、比較的容易に画像を処理することができる。
【０００６】
一方、デジタルカメラは、動画像撮影においては、一秒間あたりに数十枚に及ぶ複数の画像を撮影する。例えば、デジタルカメラは一秒間あたりに６０枚の画像を撮影する。すなわち、動画像撮影においては、静止画像撮影と比較して、単位時間あたりに処理しなくてはならない情報量が格段に多い。
【０００７】
また、撮像素子の画素（赤色、緑色、青色）に第４の色（例えば白色）の画素を追加する技術が知られている。これにより、撮像素子が出力する情報量はさらに増える。
【０００８】
前述の通り、動画像撮影においては、一秒間あたりに数十枚に及ぶ複数の画像を撮影する。滑らかな動画像を得るためには、例えば一秒間あたりに６０枚の画像を撮影する必要がある。すなわち、動画像撮影においては、静止画像撮影と比較して、単位時間あたりに処理しなくてはならない情報量が格段に多い。そのため、高精細化な撮像素子を搭載したデジタルカメラにおいて、静止画像撮影を行えるようにしながらも、同一の撮像素子を用いて、滑らかな動画像撮影を実現するためには、撮像素子の出力に工夫を要する。
【０００９】
本開示は、静止画像撮影および動画像撮影を行うことが可能で、より効率よく画像情報を出力することが可能な撮像素子、および該撮像素子を搭載した撮像装置を提供する。
【課題を解決するための手段】
【００１０】
本開示の撮像装置は、複数の画素を有し、受光した光から画素毎に画像情報を生成する撮像素子を備える。撮像素子の各画素に対して、第一ないし第四のカラーフィルタのいずれかが設けられる。第一ないし第四のカラーフィルタは互いに異なる分光特性を有している。第四のカラーフィルタは第一ないし第三のカラーフィルタのいずれよりも高い光透過率を有する。第一ないし第四のカラーフィルタは特定の配列で配置される。特定の配列は、第一のカラーフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素の重心位置である第一の重心位置と、第二のカラーフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素の重心位置である第二の重心位置と、第三のカラーフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素の重心位置である第三の重心位置とが、ベイヤ配列となるような配列である。第一の画素加算処理によって第一のカラーフィルタに対応する色に関する画素情報が生成され、第二の画素加算処理によって第二のカラーフィルタに対応する色に関する画素情報が生成され、第三の画素加算処理によって第三のカラーフィルタに対応する色に関する画素情報が生成される。
【００１１】
本開示の撮像素子は、複数の画素を有し、受光した光から画素毎に画像情報を生成する。複数の画素のそれぞれに対して、第一ないし第四のカラーフィルタのいずれかが設けられる。第一ないし第四のカラーフィルタは互いに異なる分光特性を有している。第四のカラーフィルタは第一ないし第三のカラーフィルタのいずれよりも高い光透過率を有する。第一ないし第四のカラーフィルタは特定の配列で配置され、特定の配列は、第一のカラーフィルタの透過光に基づき生成される画素情報に対する第一の画素加算処理において使用される複数の画素の重心位置である第一の重心位置と、第二のカラーフィルタの透過光に基づき生成される画素情報に対する第二の画素加算処理において使用される複数の画素の重心位置である第二の重心位置と、第三のカラーフィルタの透過光に基づき生成される画素情報に対する第三の画素加算処理において使用される複数の画素の重心位置である第三の重心位置とが、ベイヤ配列となるような配列である。第一の画素加算処理によって第一のカラーフィルタに対応する色に関する画素情報が生成され、第二の画素加算処理によって第二のカラーフィルタに対応する色に関する画素情報が生成され、第三の画素加算処理によって第三のカラーフィルタに対応する色に関する画素情報が生成される。
【発明の効果】
【００１２】
本開示によれば、より効率良く画像情報を出力できる撮像素子および該撮像素子を搭載した撮像装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態１のビデオカメラの構成を示すブロック図。
【図２】４種のカラーフィルタ（Ｒ、Ｇ、Ｂ、Ｗ）の分光感度特性を示す図。
【図３】一般的な画素配列であるベイヤ配列を示す図。
【図４】実施形態１のＣＭＯＳイメージセンサでのカラーフィルタの基本配列を示す図。
【図５】実施形態１のＣＭＯＳイメージセンサでの画素配列を示す図。
【図６】実施形態１のビデオカメラの動作を示すフローチャート。
【図７】実施形態１での画素加算を説明するための図。
【図８】実施形態１での画素加算の結果得られた各画素の位置を示す図。
【図９】実施形態２での画素加算を説明するための図である。
【図１０】実施形態２での画素加算の結果得られた各画素の位置を示す図。
【図１１】実施形態３でのカラーフィルタの基本配列を示す図。
【図１２】実施形態３のＣＭＯＳイメージセンサでの画素配列を示す図。
【図１３】実施形態３での画素加算を説明するための図。
【図１４】実施形態３での画素加算の結果得られた各画素の位置を示す図。
【図１５】実施形態４での画素加算を説明するための図。
【図１６】実施形態４での画素加算の結果得られた各画素の位置を示す図。
【図１７】実施形態５でのカラーフィルタの基本配列を示す図。
【図１８】実施形態５のＣＭＯＳイメージセンサでの画素配列を示す図。
【図１９】実施形態５での画素加算を説明するための図。
【図２０】実施形態５の画素加算の結果得られた各画素の位置を示す図。
【図２１】実施形態６での画素加算を説明するための。
【図２２】実施形態６での画素加算の結果得られた各画素の位置を示す図。
【図２３】実施形態７での画素加算を説明するための図。
【図２４】実施形態７での画素加算の結果得られた各画素の位置を示す図。
【図２５】実施形態８でのカラーフィルタの基本配列を示す図。
【図２６】実施形態８のＣＭＯＳイメージセンサでの画素配列を示す図。
【図２７】実施形態８での画素加算を説明するための図。
【図２８】実施形態８での画素加算の結果得られた各画素の位置を示す図。
【図２９】実施形態９での画素加算を説明するための図。
【図３０】実施形態９での画素加算の結果得られた各画素の位置を示す図。
【図３１】実施形態１０での画素加算を説明するための図。
【図３２】実施形態１０での画素加算の結果得られた各画素の位置を示す図。
【図３３】実施形態１１でのカラーフィルタの配列を示す図。
【図３４】実施形態１２でのカラーフィルタの配列を示す図。
【発明を実施するための形態】
【００１４】
＜１．実施形態１＞
以下、添付の図を参照しながら、実施形態１について説明する。実施形態の一例としてビデオカメラを用いる。
【００１５】
＜１‐１．概要＞
本実施形態のビデオカメラは、同一の撮像素子（本実施形態ではＣＭＯＳイメージセンサ）を用いて、静止画像撮影および動画像撮影を行うことができる。また、本実施形態のビデオカメラに搭載されたＣＭＯＳイメージセンサのカラーフィルタは、四種の画素を混合した結果、ベイヤ配列に対応した信号を出力可能なよう配列される。このフィルタ配列により、ビデオカメラは、静止画像撮影においても、動画像撮影においても、同一の撮像素子を用いて、より効率良く画像情報を出力することができる。
【００１６】
以下、本実施形態のビデオカメラの構成および動作について図を用いて説明する。
【００１７】
＜１‐２．ビデオカメラの構成＞
実施形態１のビデオカメラの電気的構成について図１を用いて説明する。図１は、ビデオカメラの構成を示すブロック図である。
【００１８】
ビデオカメラ１００は、光学系１１０と、絞り３００と、シャッタ１３０と、ＣＭＯＳイメージセンサ１４０と、Ａ／Ｄコンバータ１５０と、画像処理部１６０と、バッファ１７０と、コントローラ１８０と、メモリカード２００を格納できるカードスロット１９０と、レンズ駆動部１２０と、内部メモリ２４０と、操作部材２１０と、表示モニタ２２０とを含む。
【００１９】
ビデオカメラ１００は、１つ又は複数のレンズからなる光学系１１０により形成された被写体像をＣＭＯＳイメージセンサ１４０で撮像する。ＣＭＯＳイメージセンサ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、ビデオカメラ１００の構成を詳細に説明する。
【００２０】
光学系１１０は、ズームレンズやフォーカスレンズを含む。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。
【００２１】
レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動する。レンズ駆動部１２０は、例えばズームレンズを駆動するズームモータや、フォーカスレンズを駆動するフォーカスモータを含む。
【００２２】
絞り３００は、使用者の設定に応じて若しくは自動で、開口部の大きさを調整し、ＣＭＯＳイメージセンサ１４０に入射する光の量を調整する。
【００２３】
シャッタ１３０は、ＣＭＯＳイメージセンサ１４０に入射する光を遮るための手段である。
【００２４】
ＣＭＯＳイメージセンサ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＭＯＳイメージセンサ１４０は、露光、転送、電子シャッタなどの各種動作を行う。ＣＭＯＳイメージセンサ１４０は複数の画素を含み、各画素に対応してフォトダイオードが設けられている。すなわち、ＣＭＯＳイメージセンサ１４０の受光面には多数のフォトダイオードが２次元的に配列されている。
【００２５】
また、各画素に対応して各種カラーフィルタが所定の配列で配置されている。本実施形態では４種のカラーフィルタが用いられる。各画素に対して、４種のカラーフィルタのいずれか１種が配置される。各画素は、対応するカラーフィルタを透過した光を受け付け、受け付けた光の強さに応じた信号（画素情報）を出力する。ＣＭＯＳイメージセンサ１４０のカラーフィルタの詳細は後述する。
【００２６】
また、ＣＭＯＳイメージセンサ１４０は加算部１４５を内蔵している。加算部１４５は「画素加算」を行ない、加算によって得られた信号を出力する。ここで「画素加算」は、ＣＭＯＳイメージセンサ１４０の複数の画素から出力された信号を足し合わせて（加算して）、１つの信号（画像情報）を生成することである。画素加算の詳細については後述する。
【００２７】
Ａ／Ｄコンバータ（ＡＤＣ）１５０は、ＣＭＯＳイメージセンサ１４０によって生成されたアナログ画像データをデジタル画像データに変換する。
【００２８】
画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して各種処理を施すことにより、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等で圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。
【００２９】
コントローラ１８０は、ビデオカメラ１００全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現可能である。コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコンなどで実現できる。
【００３０】
バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
【００３１】
カードスロット１９０は、メモリカード２００を格納可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内蔵し、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。
【００３２】
内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどを含む。内部メモリ２４０は、ビデオカメラ１００全体を制御するための制御プログラム等を記憶している。
【００３３】
操作部材２１０は、使用者からの操作を受け付けるユーザーインターフェースを含む。操作部材２１０は、例えば、使用者からの操作を受け付ける十字キー、決定釦、各種モードを切り替えるための操作釦、静止画撮影を指示するための釦、動画撮影を指示するための釦などを含む。
【００３４】
表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成された画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、ビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。
【００３５】
＜１‐３．ＣＭＯＳイメージセンサのカラーフィルタ配列＞
以下、本実施形態のＣＭＯＳイメージセンサ１４０が有するカラーフィルタの詳細を説明する。ＣＭＯＳイメージセンサ１４０は、赤色フィルタ、緑色フィルタ、青色フィルタ、および白色フィルタの４種のカラーフィルタを有している。以下、赤色フィルタ、緑色フィルタ、青色フィルタ、および白色フィルタを、それぞれ「Ｒフィルタ」、「Ｇフィルタ」、「Ｂフィルタ」、および「Ｗフィルタ」と称する。
【００３６】
図２は、各カラーフィルタの分光感度特性を示す図である。図２に示すように、Ｒフィルタは赤色（Ｒ）の光を透過する特性を有し、Ｇフィルタは緑色（Ｇ）の光を透過する特性を有し、Ｂフィルタは青色（Ｂ）の光を透過する特性を有する。そしてＷフィルタは、ＲフィルタとＧフィルタとＢフィルタのうち最も光透過率が高いＧフィルタよりも光透過率が高く、かつ全波長帯の光を透過する特性を有する。
【００３７】
上記４種のカラーフィルタを用いた、ＣＭＯＳイメージセンサ１４０のカラーフィルタ配列について説明する。以下、カラーフィルタ配列を画素配列とも称する。図３は一般的な画素配列であるベイヤ配列の基本配列を示す図である。図４は、本実施形態のＣＭＯＳイメージセンサ１４０での画素の基本配列を示す図である。「基本配列」は、本実施形態の画素配列における基本単位となる配列である。
【００３８】
ベイヤ配列では、Ｒフィルタ、Ｇフィルタ、Ｂフィルタの３種のカラーフィルタが、図３に示す基本配列が繰り返し配列されるよう、配列される。ベイヤ配列では、Ｇフィルタが市松状に配列され、ＲフィルタとＢフィルタとはそれぞれＧフィルタのみに隣接して配列される。
【００３９】
これに対して、ＣＭＯＳイメージセンサ１４０の画素の基本配列は、図４に示すように、Ｒフィルタ、Ｇフィルタ、ＢフィルタおよびＷフィルタの４種のカラーフィルタによって構成されている。本実施形態の画素配列の基本配列は、４行２列の配列である。
【００４０】
本実施形態のＣＭＯＳイメージセンサ１４０は、輝度信号への寄与率の高いＧフィルタを市松状に配置している。Ｇフィルタを市松状に配置することにより、図３に示したベイヤ配列と同様の輝度解像度を確保することができる。
【００４１】
図５は、図４に示す基本配列を水平方向および垂直方向に繰り返して配列したときの画素配列を示す図である。図５は、繰り返し配列された画素配列の一部である、縦６×横４の配列を示す。実際には、画素は、図５に示された配列の上下左右にも続けて配列されている。例えば、図５の左上の８フィルタおよび、右上の８フィルタの一行上には、基本配列に従ってＧフィルタ、Ｗフィルタが配列されているが、説明の便宜上、図示を省略している。同様に、図５の左下の４フィルタおよび、右下の４フィルタの一行下にも、基本配列に従ってＷフィルタ、Ｇフィルタが配列されているが、図示を省略している。
【００４２】
＜１‐４．ビデオカメラの動作＞
以下、本実施形態のビデオカメラ１００の動作について説明する。合わせて、ビデオカメラ１００に搭載のＣＭＯＳイメージセンサ１４０の動作について説明する。
【００４３】
図６は、本実施形態のビデオカメラ１００の動作を示すフローチャートである。ビデオカメラ１００の電源をＯＮにすると、コントローラ１８０は、ビデオカメラ１００を構成する各部に電力を供給する。これにより、光学系１１０を構成する各レンズや、ＣＭＯＳイメージセンサ１４０等は、初期設定を行なうことができる。光学系１１０およびＣＭＯＳイメージセンサ１４０等の初期設定が終わると、ビデオカメラ１００は、撮影可能な状態となる。
【００４４】
ビデオカメラ１００は、撮影モードと再生モードの二つのモードを有している。再生モードでのビデオカメラ１００の動作についての説明は省略する。ビデオカメラ１００が撮影モードに設定されているときに撮影可能な状態となると、表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０により撮像され画像処理部１６０によって処理されたスルー画像の表示を開始する。
【００４５】
表示モニタ２２０がスルー画像を表示しているとき、コントローラ１８０は、静止画撮影の指示釦が押下されたか否か、および動画撮影の指示釦が押下されたか否かを監視している。コントローラ１８０は、いずれかの指示釦が押下されたのに従って、その指示されたモードにて撮影を開始する（Ｓ１００）。すなわち、コントローラ１８０は、静止画撮影の指示釦が押下されたときは、動作モードを静止画モードに設定する。また、コントローラ１８０は、動画撮影の指示釦が押下されたときは、動作モードを動画モードに設定する。
【００４６】
本実施形態のビデオカメラ１００のＣＭＯＳイメージセンサ１４０は、設定された動作モード（静止画モード／動画モード）に応じて、画像データの出力モードを切り替える（Ｓ１１０）。
【００４７】
具体的には、静止画モードが設定されている場合（ステップＳ１１０におけるＮＯ）、ＣＭＯＳイメージセンサ１４０は、加算部１４５で各画素からの出力に対して画素加算を行なうことなく、全画素から出力された信号から構成されるＲＡＷデータを出力する（Ｓ１５０）。これにより、静止画モードが設定されている場合は、高精細な画像データを出力することができる。
【００４８】
ここで、本実施形態のビデオカメラ１００は、動画モードにおいて、ＣＭＯＳイメージセンサ１４０の加算部１４５が各画素からの出力信号に対して画素加算を行なう画素加算モードと、加算部１４５が画素加算を行なわない画素非加算モードとの２つの出力モードを有する。画素加算モードと画素非加算モードとのいずれか一方をユーザによって予め選択可能である。動画モードにおいて、ＣＭＯＳイメージセンサ１４０の加算部１４５は、予め選択された出力モード（画素加算モード／画素非加算モード）に応じて、画像データの出力モードを切り替える（Ｓ１２０）。
【００４９】
具体的には、加算部１４５は、動作モードとして動画モードが選択されていたとき（ステップＳ１１０におけるＹｅｓ）、出力モードが画素加算モードに設定されているか否か判定する（Ｓ１２０）。
【００５０】
画素非加算モードが設定されている場合（Ｓ１２０におけるＮｏ）、ＣＭＯＳイメージセンサ１４０は、各画素からの出力信号に対して画素加算を行なうことなく、全画素の出力信号から構成されるＲＡＷデータを出力する（Ｓ１５０）。以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、Ｗフィルタが設置された画素を、それぞれ「画素Ｒ」、「画素Ｇ」、「画素Ｂ」、「画素Ｗ」と称する。
【００５１】
例えば、動画撮影において、フレームレートを多少低くしてでも、高精細な画像データを出力したい場合や、動画と静止画を同時に取得した場合などには、画素加算を行なうことなく全画素によるＲＡＷデータを出力することが有用である。
【００５２】
一方、画素加算モードが設定されている場合（ステップＳ１２０におけるＹｅｓ）、ＣＭＯＳイメージセンサ１４０は、画素加算において各画素（Ｒ、Ｇ、Ｂ、Ｗ）からの出力信号を加算するときの比率を選択する（Ｓ１３０）。
【００５３】
なお、画素加算での比率を選択する構成を有さなくてもよい。その場合、予め所定の加算比率を設定しておけばよい。
【００５４】
ＣＭＯＳイメージセンサ１４０の加算部１４５は、選択された加算比率に従って、各画素（Ｒ、Ｇ、Ｂ、Ｗ）からの出力信号に対して画素加算処理を行なう。そして加算部１４５は、画素加算した結果得られた信号を出力する（Ｓ１４０）。以下、画素Ｒ、Ｇ、Ｂ、Ｗからの出力信号を、それぞれ「信号Ｒ」、「信号Ｇ」、「信号Ｂ」、「信号Ｗ」と称する。
【００５５】
以上のように各画素Ｒ、Ｇ、Ｂ、Ｗからの出力信号Ｒ、Ｇ、Ｂ、Ｗに対して画素加算を行なうことは、例えば、動画撮影においてフレームレートを上げて滑らかな画像を取得したい場合や、低照度時にＳ／Ｎを改善したい場合などに有用である。
【００５６】
＜１‐５．画素加算動作＞
以下、ＣＭＯＳイメージセンサ１４０による画素加算動作の詳細について説明する。
【００５７】
図７は、本実施形態での画素加算動作を説明するための図である。なお、図７に示す画素配列において、画素Ｒの水平方向に隣接した画素Ｇを「画素Ｇｒ」、また画素Ｂの水平方向に隣接した画素Ｇを「画素Ｇｂ」と称する。画素加算動作は、図７で示す６行４列の画素配列を単位として行なわれる。
【００５８】
ＣＭＯＳイメージセンサ１４０は、各画素（Ｒ、Ｇｒ、Ｇｂ、Ｂ、Ｗ）からの出力信号（Ｒ、Ｇｒ、Ｇｂ、Ｂ、Ｗ）に対して、下記の式１を用いた演算を行ない、加算された信号（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’）を生成する。例えば、複数の画素Ｒ（Ｒ１〜Ｒ４）から出力された複数の信号Ｒ（Ｒ１〜Ｒ４）を加算して１つの信号Ｒ’を生成する。
【００５９】
（式１）
Ｒ’＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）／４
Ｂ’＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／４
Ｇｒ’＝（Ｇｒ１＋Ｇｒ２＋Ｇｒ３＋Ｇｒ４）／４
Ｇｂ’＝（Ｇｂ１＋Ｇｂ２＋Ｇｂ３＋Ｇｂ４）／４
Ｗ’＝（Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４）／４
【００６０】
図８は、式１に基づく画素加算処理の結果得られた各画素（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’）の、それぞれの位置を示す図である。位置Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’は、それぞれ複数の画素Ｒ、Ｇｒ、Ｇｂ、Ｂ、Ｗの重心位置を示す。つまり、例えば、本図における位置Ｒ’は、複数の画素Ｒ（Ｒ１〜Ｒ４）の重心位置を示す。他の位置Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’についても同様である。
【００６１】
加算部１４５は、各信号（Ｒ、Ｇｒ、Ｇｂ、Ｂ、Ｗ）に対して画素加算を行ない、画素加算の結果得られた信号（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’）をＡＤＣ１５０に出力する。このとき、各信号Ｒ’ 、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’は、画素加算に用いた複数の画素の重心位置で生成されたものとして出力される。例えば、信号Ｒ’は、複数の画素Ｒ（Ｒ１〜Ｒ４）の重心位置で生成されたものとして出力される。
【００６２】
図８に示すように、各複数の画素（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の重心位置は、ベイヤ配列（図３）と同じである。つまり、加算部１４５は、画素加算の結果得られた信号（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’）を、ベイヤ配列型に配置して出力する。
【００６３】
すなわち、本実施形態では、ＣＭＯＳイメージセンサ１４０において、画素加算処理の結果がベイヤ配列型の出力となるよう、カラーフィルタ（Ｒ、Ｇ、Ｂ、Ｗ）が配置されている。
【００６４】
このように、信号（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’）がベイヤ配列型で出力されるので、後段の処理装置に、ベイヤ配列型に対応する従来の処理装置を利用できるという利点がある。
【００６５】
また、加算部１４５は、複数の画素Ｗ（Ｗ１〜Ｗ４）から出力された信号Ｗを加算し、信号Ｗ’を出力する。このとき、信号Ｗ’は、複数の画素Ｗ（Ｗ１〜Ｗ４）の重心位置（図８の位置Ｗ’）で生成されたものとして出力される。図８に示すように、複数の画素Ｗ（Ｗ１〜Ｗ４）の重心位置Ｗ’は、位置Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’の重心と一致する。つまり信号Ｗ’の出力位置Ｗ’がベイヤ配列の中央にあるために、信号Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’を用いた信号処理に際しても偽色など重心ずれ起因のエラーが発生しにくい。
【００６６】
＜１‐６．画像処理部の動作＞
＜１‐６‐１．画素加算モードでの信号処理＞
図６を参照して説明したように、画素加算モードが選択されているとき、ＣＭＯＳイメージセンサ１４０は、画素加算で生成した信号Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’を出力する。
【００６７】
以下、ＣＭＯＳイメージセンサ１４０が画素加算で生成した信号Ｒ’、Ｇｒ’、Ｇｂ'、Ｂ’、Ｗ’を出力した場合の、画像処理部１６０での信号処理について説明する。
【００６８】
画像処理部１６０は、ＣＭＯＳイメージセンサ１４０から出力された信号Ｒ’、Ｇｒ’、Ｇｂ'、Ｂ’、Ｗ’に基づいて輝度信号を生成する。
【００６９】
具体的には、画像処理部１６０は、下記の式２を用いて、輝度信号の低域成分ＹＬを、信号Ｒ'、Ｇｒ'、Ｇｂ'、Ｂ'の低域成分であるＲ’Ｌ、Ｇｒ’Ｌ、Ｇｂ’Ｌ、Ｂ’Ｌから生成する。式２内の各定数はＢＴＡ  Ｓ−００１Ｃの標準規格にて規定されている係数である。
【００７０】
（式２）
ＹＬ＝０．２１３＊Ｒ’Ｌ＋０．７１５＊（Ｇｒ’Ｌ＋Ｇｂ’Ｌ）／２＋０．０７２＊Ｂ’Ｌ
【００７１】
なお、低域成分ＹＬは下記の式３に基づいて生成されてもよい。ここで、式３における低域成分Ｒ’Ｌ、Ｇｒ’Ｌ、Ｇｂ’Ｌ、Ｂ’Ｌの係数は、例えば無彩色の被写体を撮像した場合に生じうるモアレを抑圧するのに有効な係数である。
【００７２】
（式３）
ＹＬ＝０．２５＊Ｒ’Ｌ＋０．５＊（Ｇｒ’Ｌ＋Ｇｂ’Ｌ）／２＋０．２５＊Ｂ’Ｌ
【００７３】
また、画像処理部１６０は、輝度信号の高域成分ＹＨを、下記の式４を用いて、信号Ｇｒ’、信号Ｇｂ’のそれぞれの高域成分Ｇｒ’Ｈ、Ｇｂ’Ｈから求める。
【００７４】
（式４）
ＹＨ＝（Ｇｒ’Ｈ＋Ｇｂ’Ｈ）／２
【００７５】
そして画像処理部１６０は、下記の式５を用いた演算を行なうことにより、輝度信号Ｙを生成する。
【００７６】
（式５）
Ｙ＝ＹＨ＋ＹＬ＋ｍ＊Ｗ’Ｌ、  ０≦ｍ
【００７７】
具体的には画像処理部１６０は、得られた低域成分ＹＬおよび高域成分ＹＨに対して、係数ｍを乗算した信号Ｗ’の低域成分Ｗ’Ｌを加算して輝度信号Ｙを構成する。係数ｍは例えば照度やレンズの絞り値のレベルに応じてコントローラ１８０により設定されてもよい。
【００７８】
なお、信号ＷはＲ、Ｇ、Ｂすべての成分を有するので、信号Ｗ’内のＲ、Ｂ成分(Ｒ"、Ｂ")を、下記の式６を用いた演算によって生成することも可能である。すなわち、信号Ｗ’内のＲ、Ｂ成分(Ｒ"、Ｂ")を、画素加算で生成された信号Ｗ’から信号Ｒ'、信号Ｂ'、信号Ｇｒ'、信号Ｇｂ'を減算することにより算出できる。
【００７９】
（式６）
Ｒ”Ｌ＝Ｗ’Ｌ−（Ｇｒ’Ｌ＋Ｇｂ’Ｌ）／２−Ｂ’Ｌ
Ｂ”Ｌ＝Ｗ’Ｌ−（Ｇｒ’Ｌ＋Ｇｂ’Ｌ）／２−Ｒ’Ｌ
【００８０】
画像処理部１６０は、得られた信号Ｒ”、Ｂ”を信号Ｒ’、Ｂ’に加算して色信号として使用してもよい。
【００８１】
＜１‐６‐２．画素非加算モードでの信号処理＞
画素非加算モードが選択された場合の画像処理部１６０における信号処理について図５の画素配列を用いて説明する。図５は、前述の通り、本実施形態でのＣＭＯＳイメージセンサ１４０の画素の配列を示す図である。
【００８２】
図５に示すように、画素Ｇはベイヤ配列（図３）と同様に市松状に配列されているので、画素Ｇからの出力信号Ｇの高域成分ＧＨに基づく輝度信号は高解像度が期待できる。
【００８３】
さらには、画素加算時と同様に、信号Ｗを輝度信号の低域成分ＹＬに加算することで感度の向上やＳ／Ｎの改善が可能である。
【００８４】
なお、信号Ｗの低域成分ＷＬに係数ｍを乗算してＹＬ成分に加算してもよい。このとき、係数ｍは撮影条件に応じてコントローラ１８０により調節される。
【００８５】
以上の演算に相当するのが下記の式７である。輝度信号Ｙは輝度信号Ｙの高域成分ＹＨと低域信号ＹＬの加算で構成する。
【００８６】
（式７）
ＹＬ＝０．２１３＊ＲＬ＋０．７１５＊ＧＬ＋０．０７２＊ＢＬ＋ｍ＊ＷＬ
ＹＨ＝ＧＨ
Ｙ＝ＹＨ＋ＹＬ
ｍ≧０
【００８７】
＜１−７．本実施形態のまとめ＞
本実施形態のビデオカメラ１００は、複数の画素を有し、受光した光から画素毎に画像情報を生成するＣＭＯＳイメージセンサ１４０を備える。ＣＭＯＳイメージセンサ１４０の各画素に対して、Ｒフィルタ、Ｂフィルタ、Ｇフィルタ、およびＷフィルタのいずれかが設けられる。Ｒフィルタ、Ｂフィルタ、Ｇフィルタ、およびＷフィルタは互いに異なる分光特性を有している。ＷフィルタはＲフィルタ、Ｂフィルタ、およびＧフィルタのいずれよりも高い光透過率を有する。Ｒフィルタ、Ｂフィルタ、Ｇフィルタ、およびＷフィルタは特定の配列で配置される。特定の配列は、Ｒフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素Ｒの重心位置である第一の重心位置Ｒ’と、Ｂフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素Ｂの重心位置である第二の重心位置Ｂ’と、Ｇフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素Ｇの重心位置である第三の重心位置Ｇ’とが、ベイヤ配列となるような配列である。第一の画素加算処理によってＲフィルタに対応する色に関する画素情報が生成され、第二の画素加算処理によってＢフィルタに対応する色に関する画素情報が生成され、第三の画素加算処理によってＧフィルタに対応する色に関する画素情報が生成される。
【００８８】
上記構成を有するビデオカメラ１００は、複数の画素Ｒ、Ｂ、Ｇから出力された信号Ｒ、Ｂ、Ｇを加算して、対応する１つの信号Ｒ’、Ｂ’、Ｇ’を生成する。そして生成した信号Ｒ’、Ｂ’、Ｇ’をベイヤ配列に配列して出力する。これにより、信号（画像情報）をより効率良く出力できる。
【００８９】
＜２．実施形態２＞
以下、実施形態２について説明する。
【００９０】
本実施形態でのビデオカメラ１００の構成および動作は、実施形態１でのビデオカメラ１００の構成および動作と基本的に同じである。しかし、本実施形態の画素の加算方法が、実施形態１の画素の加算方法と異なる。
【００９１】
図９は、本実施形態での画素加算を説明するための図である。本実施形態でのフィルタ配列は、実施形態１でのフィルタ配列と同じである。
【００９２】
実施形態１（図７）では、画素Ｇｒ、Ｇｂについて４つの画素を加算した。これに対し、本実施形態では画素Ｇｒ、Ｇｂについて６つの画素をそれぞれ加算する。他の色の画素の信号（Ｒ、Ｂ、Ｗ）については、実施形態１と同様、４つの画素を加算する。
【００９３】
具体的には、ＣＭＯＳイメージセンサ１４０の加算部１４５は、各画素からの出力信号に対して、下記の式８を用いた演算を行なう。
【００９４】
（式８）
Ｒ’＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）／４
Ｂ’＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／４
Ｇｒ’＝（Ｇｒ１＋Ｇｒ２＋Ｇｒ３＋Ｇｒ４＋Ｇｒ５＋Ｇｒ６）／６
Ｇｂ’＝（Ｇｂ１＋Ｇｂ２＋Ｇｂ３＋Ｇｂ４＋Ｇｂ５＋Ｇｂ６）／６
Ｗ’＝（Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４）／４
【００９５】
図１０は、式８を用いた画素加算処理の結果得られた各画素Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’の位置を示す図である。例えば、位置Ｇｒ’は、複数の画素Ｇｒ（Ｇｒ１〜Ｇｒ６）の重心位置を示す。加算部１４５は、複数の信号Ｇｒ（Ｇｒ１〜Ｇｒ６）を加算して信号Ｇｒ’を生成し、信号Ｇｒ’が位置Ｇｒ’で生成されたものとして信号Ｇｒ’を出力する。他の色の信号（Ｒ、Ｇｂ、Ｂ、Ｗ）についても同様である。
【００９６】
式８を用いた演算を行なった場合も、図１０に示すように、画素加算処理の結果得られた信号Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’の位置の配列は、ベイヤ配列と同じである。本実施形態では、ＣＭＯＳイメージセンサ１４０のカラーフィルタＲ、Ｇ、Ｂ、Ｗは、画素加算処理の結果がベイヤ配列型の出力となるよう、配置されている。
【００９７】
これにより加算部１４５は、実施形態１と同様、より効率良く信号（画像情報）を出力できる。
【００９８】
更には、図１０に示すように、加算部１４５は、画素加算の結果得られた信号Ｗ’がベイヤ配列（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’）の中央に位置するよう、信号Ｗ’を生成し出力する。これにより、実施形態１と同様、信号Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’を用いた信号処理に際しても偽色など重心ずれ起因のエラーが発生しにくい。
【００９９】
また、加算する画素の数が増えると、ノイズ低減の効果が増す。
【０１００】
＜３．実施形態３＞
以下、図１１〜図１４を参照して実施形態３について説明する。
【０１０１】
本実施形態の基本配列は、実施形態１の基本配列（図４）と異なる。それに伴って、画素加算の対象となる画素の位置が、実施形態１と異なる。それ以外のビデオカメラ１００の構成および動作は実施形態１と同様である。
【０１０２】
図１１は、本実施形態での画素の基本配列を示す図である。
【０１０３】
図１１に示すように、本実施形態でのカラーフィルタの基本配列は、６行２列の配列である。本実施形態の基本配列でも、実施形態１での基本配列（図４）と同様に、４種のカラーフィルタ（Ｒ、Ｇ、Ｂ、およびＷ）が配列され、かつＧが市松状に配列される。
【０１０４】
図１２は、図１１に示す本実施形態の基本配列を水平方向および垂直方向に繰り返して配列したときの画素の配列を示す図である。実際のＣＭＯＳイメージセンサ１４０上には図１２の左上の１０フィルタおよび右上の１０フィルタの一行上には基本配列に従って画素Ｇ、Ｗが配列されているが、図１２では、説明の便宜上、配列された画素の一部である、縦１０×横４の配列を示している。同様に、図１２の左下の１０フィルタおよび、右下の１０フィルタの一行下にも、基本配列に従って画素Ｗ、Ｇが配列されているが、図示を省略している。
【０１０５】
図１３は、本実施形態での画素加算を説明するための図である。図１３では、画素Ｒに隣接する画素Ｇを「画素Ｇｒ」、画素Ｂに隣接する画素Ｇを「画素Ｇｂ」と表記している。さらにはＷに関しては加算対象となる４つの画素Ｗを画素Ｗ１からＷ４と表記している。
【０１０６】
ＣＭＯＳイメージセンサ１４０の加算部１４５は、このように配列された各画素からの出力に対して、実施形態１において説明した式１を用いた演算を行なう。
【０１０７】
図１４は、本実施形態の画素加算の結果得られた画素Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’の、それぞれの位置を示す図である。例えば、位置Ｒ’は、複数の画素Ｒ（添え字が付いたＲによって示される画素のみ）の重心位置を示す。他の色の画素Ｇｒ、Ｇｂ、Ｂ、Ｗについても同様である。図１４に示すように、本実施形態では、画素Ｗに対する画素加算の対象となるのは、画素Ｗの重心位置Ｗ’の近傍に存在する画素Ｗ１〜Ｗ４である。
【０１０８】
図１４に示すように、画素加算処理の対象となった複数の画素Ｒ、Ｇｒ、Ｇｂ、Ｂの重心位置Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’の配列はベイヤ配列（図３）と同じである。本実施形態では、ＣＭＯＳイメージセンサ１４０において、画素加算処理の結果がベイヤ配列型の出力となるよう、カラーフィルタ（Ｒ、Ｇ、Ｂ、Ｗ）が配置されている。
【０１０９】
更には、図１４に示すように、画素加算の結果得られた信号Ｗ’は、複数の画素Ｗの重心位置Ｗ’で生成されたものとして出力される。位置Ｗ’がベイヤ配列（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’）の中央に位置するために、実施形態１と同様、信号Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’を用いた信号処理に際しても偽色など重心ずれ起因のエラーが発生しにくい。
【０１１０】
＜４．実施形態４＞
図１５〜図１６を参照して実施形態４について説明する。本実施形態での画素配列は実施形態３と同じであるが、本実施形態で画素加算の対象となる画素の数が実施形態３と異なる。それ以外のビデオカメラ１００の構成および動作は実施形態３と同様である。
【０１１１】
実施形態３（図１３）では画素Ｇｒ、Ｇｂそれぞれについて４つの画素を加算した。しかし加算される画素Ｇｒ、Ｇｂの数は、実施形態２（図９）と同様に、４以外でもよい。本実施形態の加算部１４５は、画素Ｇｒ、Ｇｂそれぞれについて８つの画素を加算する。
【０１１２】
図１５は、本実施形態での画素加算を説明するための図である。本実施形態の加算部１４５は、複数の画素Ｇｒ１〜Ｇｒ８からの出力信号Ｇｒ１〜Ｇｒ８を加算して１つの信号Ｇｒ’を生成し、複数の画素Ｇｂ１〜Ｇｂ８からの出力信号Ｇｂ１〜Ｇｂ８を加算して１つの信号Ｇｂ’を生成する。他の色の画素（Ｒ、Ｂ、Ｗ）については実施形態３と同様である。
【０１１３】
具体的には、加算部１４５は、下記の式９を用いた演算を行なう。
【０１１４】
（式９）
Ｒ’＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）／４
Ｂ’＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／４
Ｇｒ’＝（Ｇｒ１＋Ｇｒ２＋Ｇｒ３＋Ｇｒ４＋Ｇｒ５＋Ｇｒ６＋Ｇｒ７＋Ｇｒ８）／８
Ｇｂ’＝（Ｇｂ１＋Ｇｂ２＋Ｇｂ３＋Ｇｂ４＋Ｇｂ５＋Ｇｂ６＋Ｇｂ７＋Ｇｂ８）／８
Ｗ’＝（Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４）／４
【０１１５】
図１６は、本実施形態での各画素の重心位置を示す図である。図１６に示す通り、画素加算の対象となった複数の画素Ｇｒ（Ｇｒ１〜Ｇｒ８）、Ｇｂ（Ｇｂ１〜Ｇｂ８）の重心位置Ｇｒ’、Ｇｂ’は、実施形態３での複数の画素Ｇｒ（Ｇｒ１〜Ｇｒ４）、Ｇｂ（Ｇｂ１〜Ｇｂ４）の重心位置Ｇｒ’、Ｇｂ’（図１４）と同じである。
【０１１６】
本実施形態の加算部１４５は、画素加算の結果得られた信号Ｇｒ’、Ｇｂ’をそれぞれ、複数の画素Ｇｒ、Ｇｂの重心位置Ｇｒ’、Ｇｂ’で生成されたものとして出力する。
【０１１７】
以上のように画素加算を行なっても、実施形態１と同様の効果が得られる。
【０１１８】
＜５．実施形態５＞
以下、図１７〜図２０を参照して実施形態５を説明する。本実施形態での画素の基本配列は実施形態１の基本配列および実施形態３の基本配列と異なる。それ以外のビデオカメラ１００の構成および動作は、実施形態１と同様である。
【０１１９】
図１７は、本実施形態での画素の基本配列を示す図である。本実施形態の基本配列は４行４列の配列である。本実施形態の基本配列は、前述の実施形態１、３の基本配列と同様に、４種の画素Ｒ、Ｇ、Ｂ、Ｗで構成され、画素Ｇは市松状に配列される。
【０１２０】
図１８は、ＣＭＯＳイメージセンサ１４０の画素配列を示す図である。図１８に示すように、本実施形態の基本配列がＣＭＯＳイメージセンサ１４０に水平方向および垂直方向に繰り返して配置される。図１８では、説明の便宜上、ＣＭＯＳイメージセンサ１４０に配列された画素の一部である、６行６列の配列を示す。
【０１２１】
図１９は、本実施形態での画素加算を説明するための図である。図１９は、実施形態１（図７）および実施形態３（図１３）と同様に、画素Ｒに隣接する画素Ｇを「画素Ｇｒ」、画素Ｂに隣接する画素Ｇを「画素Ｇｂ」と表記する。そして、画素Ｗに関しては、画素加算の対象となる４つの画素Ｗを画素Ｗ１からＷ４と表記する。
【０１２２】
ＣＭＯＳイメージセンサ１４０の加算部１４５は、各画素からの出力に対して、実施形態１で説明した式１を用いた演算を行なう。
【０１２３】
図２０は、画素加算の結果得られた各画素（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’）の位置を示す図である。例えば、位置Ｒ’は、複数の画素Ｒ（Ｒ１〜Ｒ４）の重心位置を示す。信号Ｒ’は位置Ｒ’で生成されたものとして出力される。他の位置（Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’）についても同様である。
【０１２４】
図２０に示すように、画素加算処理の結果得られた信号Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’の出力位置Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’の配列は、ベイヤ配列（図３）と同じである。本実施形態では、ＣＭＯＳイメージセンサ１４０は、画素加算処理の結果がベイヤ配列型の出力となるよう、カラーフィルタ（Ｒ、Ｇ、Ｂ、Ｗ）が配置されている。更には、図２０に示すように信号Ｗ’が出力される位置Ｗ’はベイヤ配列の中央であるために、実施形態１と同様、信号Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’を用いた信号処理に際しても偽色など重心ずれ起因のエラーが発生しにくい。
【０１２５】
＜６．実施形態６＞
以下、図２１〜図２２を参照して実施形態６について説明する。本実施形態の基本配列は実施形態５と同じである。しかし、本実施形態での画素加算の対象となる画素の数が、実施形態５と異なる。
【０１２６】
加算する画素の数の増大は更なるＳ／Ｎの改善を可能とする。従って、実施形態２（図９）および実施形態４（図１５）に示した例と同様に、加算する画素を増加させてもよい。
【０１２７】
図２１は本実施形態での画素加算を説明するための図である。本実施形態の加算部１４５は、実施形態５での画素加算よりも多い数の画素を加算し、さらには重心位置の画素Ｒ（Ｒ３）、Ｂ（Ｂ３）、Ｇｒ（Ｇｒ３）、Ｇｂ（Ｇｂ３）も画素加算の対象に加える。これにより加算部１４５は、画素Ｒ、Ｂ、Ｇｒ、Ｇｂについては５画素平均を算出し、画素Ｗについては８画素平均を算出する。
【０１２８】
具体的には、ＣＭＯＳイメージセンサ１４０の加算部１４５は、各画素からの出力に対して、下記の式１０を用いた演算を行なう。
【０１２９】
（式１０）
Ｒ’＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４＋Ｒ５）／５
Ｂ’＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４＋Ｂ５）／５
Ｇｒ’＝（Ｇｒ１＋Ｇｒ２＋Ｇｒ３＋Ｇｒ４＋Ｇｒ５）／５
Ｇｂ’＝（Ｇｂ１＋Ｇｂ２＋Ｇｂ３＋Ｇｂ４＋Ｇｂ５）／５
Ｗ’＝（Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４＋Ｗ５＋Ｗ６＋Ｗ７＋Ｗ８）／８
【０１３０】
図２２は、本実施形態での画素加算の結果得られた各画素（Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’）の位置を示す図である。例えば位置Ｒ’は、図２０と同様、複数の画素Ｒの重心位置を示す。信号Ｒ’は、位置Ｒ’で生成されたものとして出力される。他の位置Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’についても同様である。図２２に示すように、本実施形態での各画素の重心位置Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’は、実施形態５（図２０）と同じである。
【０１３１】
本実施形態の画素加算によっても、実施形態１と同様の効果が得られる。
【０１３２】
＜７．実施形態７＞
以下、図２３〜図２４を参照して実施形態７について説明する。上記実施形態の加算部１４５は複数の画素からの出力信号の相加平均を算出したが、本実施形態の加算部１４５は加重平均を算出する。
【０１３３】
図２３は、本実施形態での画素加算を説明するための図である。本実施形態の画素配列は実施形態６の画素配列（図２１）と同じである。しかし本実施形態で画素加算の対象となる画素が、実施形態６と異なる。本実施形態の画素加算では、菱形を形作るよう位置する複数の画素Ｇｒ、Ｇｂを対象とする。
【０１３４】
図２４は、本実施形態での画素加算の結果得られた各画素（Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’）の位置を示す図である。例えば位置Ｒ’は、図２２と同様、複数の画素Ｒの重心位置を示す。本実施形態での各重心位置Ｒ’、Ｂ’、Ｇｒ’、Ｇｂ’、Ｗ’は、実施形態６での各重心位置Ｒ’、Ｂ’、Ｇｒ’、Ｇｂ’、Ｗ’と同じである。
【０１３５】
加算部１４５は、下記の式１１を用いた演算を行なう。
【０１３６】
（式１１）
Ｒ’＝（Ｒ１＋Ｒ２＋Ｒ４＋Ｒ５）＊（１−ｋ）＋Ｒ３＊ｋ
Ｂ’＝（Ｂ１＋Ｂ２＋Ｂ４＋Ｂ５）＊（１−ｋ）＋Ｂ３＊ｋ
Ｇｒ’＝（Ｇｒ１＋Ｇｒ２＋Ｇｒ４＋Ｇｒ５）＊（１−ｋ）＋Ｇｒ３＊ｋ
Ｇｂ’＝（Ｇｂ１＋Ｇｂ２＋Ｇｂ４＋Ｇｂ５）＊（１−ｋ）＋Ｇｂ３＊ｋ
Ｗ’＝（Ｗ１＋Ｗ８）／２＊ｑ＋(Ｗ２＋Ｗ７)／２＊ｒ＋（Ｗ３＋Ｗ６）／２＊ｓ＋（Ｗ４+Ｗ５）／２＊ｔ
【０１３７】
式１１に基づく演算において、例えば、重心位置Ｒ’上に存在する画素Ｒ３からの出力信号Ｒ３は、他の画素Ｒ（Ｒ１、Ｒ２、Ｒ４、Ｒ５）よりも大きな係数ｋを乗じて加算される。他の色に関する信号Ｂ３、Ｇｒ３、Ｇｂ３についても同様である。これにより、重心位置上に存在する画素からの信号の、画素加算結果への寄与を大きくすることができる。
【０１３８】
なお、式１１における係数ｋ、ｑ、ｒ、ｓ、ｔは、下記の式１２で示す条件を満たすよう設定される。
【０１３９】
（式１２）
０≦ｋ≦1、０≦（ｑ＋ｒ＋ｓ＋ｔ）≦１
【０１４０】
なお、本実施形態では式１１に基づいて加重平均を算出したが、式１０に基づいて相加平均を算出してもよい。
【０１４１】
＜８．実施形態８＞
以下、図２５〜図２８を参照して実施形態８について説明する。上記実施形態１〜７では、ＣＭＯＳイメージセンサ１４０の画素配列において画素Ｇが市松状に配置された。これに対し、本実施形態では画素Ｇが市松状に配置されない。ただし、各画素は、上記実施形態１〜７と同様に、画素加算の結果がベイヤ配列の出力となるよう配列される。
【０１４２】
図２５は、本実施形態の基本配列を示す図である。本実施形態のＣＭＯＳイメージセンサ１４０は、画素Ｇを市松状に配列していないが、信号Ｒ、Ｇ、Ｂ、Ｗの画素加算の結果がベイヤ配列となるよう、画像信号を出力する。本実施形態の基本配列は４行４列であり、上記実施形態１〜７と同様に４種の画素Ｒ、Ｇ、Ｂ、およびＷを使用して構成される。
【０１４３】
図２６は、本実施形態の基本配列（図２５）を繰り返し配列したときの、画素配列を示す図である。図２６は、説明の便宜上、本実施形態の画素配列の一部である、６行４列の画素配列を示す。
【０１４４】
図２７は、本実施形態の画素加算を説明するための図である。本実施形態の加算部１４５は、画素ＲおよびＢに関しては６画素を画素加算の対象とし、画素Ｇｒ、Ｇｂ、およびＷに関しては４画素を画素加算の対象とする。
【０１４５】
図２８は、本実施形態での画素加算の結果得られた各画素Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’の位置を示す図である。例えば位置Ｒ’は、図２２と同様、複数の画素Ｒの重心位置を示す。加算部１４５は、画素加算で得られた信号Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’をそれぞれ、位置Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’で生成されたものとして出力する。
【０１４６】
本実施形態の画素加算によれば、ＣＭＯＳイメージセンサ１４０の画素配列において画素Ｇが市松状に配列されていなくても、出力信号Ｇが市松状に配列されるよう、画像信号を出力できる。
【０１４７】
＜９．実施形態９＞
以下、図２９〜図３０を参照して実施形態９について説明する。上記実施形態１〜８では画素は垂直方向および水平方向に並べて配列された（正方配列）。これに対して、本実施形態の画素は、斜め方向に配列される（斜行配列）。
【０１４８】
画素配列を斜行配列とすることで画素間距離は正方配列の１／√２となるために、水平方向、垂直方向の解像度について有利である。
【０１４９】
図２９は、本実施形態の画素配列を示す図である。本実施形態の画素配列は、実施形態１の画素配列を４５度回転したものである。それ以外は同じである。
【０１５０】
図２９に示すように配列された画素からの出力に対して、加算部１４５は画素加算を行なう。このときの演算は実施形態１での演算（式１）と同じでよい。例えば、加算部１４５は信号Ｒを加算して信号Ｒ’を生成する。他の色の信号Ｇｂ、Ｇｒ、Ｂ、Ｗについても同様である。
【０１５１】
図３０は、本実施形態での画素加算の結果得られた各画素Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’の位置を示す図である。例えば、位置Ｒ’は、複数の画素Ｒの重心位置を示す。他の位置Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’についても同様である。
【０１５２】
加算部１４５は、画素加算で生成した信号Ｒ’を、位置Ｒ’で生成されたものとして出力する。他の色の信号Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’についても同様である。
【０１５３】
以上のように、本実施形態によれば、画素配列が斜行配列であっても、信号Ｒ’、Ｇ’、Ｂ’をベイヤ配列型で出力でき、かつ信号Ｗ’をベイヤ配列の中心位置に出力できる。よって、上記実施形態と同様、より効率良く信号を出力できる。
【０１５４】
＜１０．実施形態１０＞
以下、図３１〜図３２を参照して実施形態１０について説明する。
図３１は、本実施形態の画素加算について説明するための図である。本実施形態の画素配列は実施形態９（図２９）と同じである。実施形態９では画素Ｇｂ、Ｇｒについてそれぞれ４画素を画素加算の対象とした。これに対し、本実施形態では画素Ｇｂ、Ｇｒについてそれぞれ６画素を画素加算の対象とする。
【０１５５】
ＣＭＯＳイメージセンサ１４０の加算部１４５は、実施形態２の画素加算における演算（式８）と同様の演算を行なって、信号Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’を生成する。
【０１５６】
図３２は、本実施形態での画素加算の結果得られた各画素（Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’）の位置を示す図である。位置Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’は、各複数の画素Ｒ、Ｇｂ、Ｇｒ、Ｂ、Ｗの重心位置を示す。加算部１４５は、生成した信号Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’をそれぞれ、位置Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’で生成されたものとして出力する。
【０１５７】
本実施形態によっても、前述の実施形態と同様の効果が得られる。
【０１５８】
＜１１．実施形態１１＞
以下、図３３を参照して実施形態１１について説明する。上記実施形態１〜１０においては、ＣＭＯＳイメージセンサ１４０のカラーフィルタの配列にＷフィルタを用いたが、本実施形態では、Ｗフィルタの代わりに黄色フィルタ（以下、「Ｙｅフィルタ」と称する）を用いる。ただし、本実施形態のＹｅフィルタは、ＣＭＯＳイメージセンサ１４０のＧフィルタより光透過率が高い。
【０１５９】
図３３は、本実施形態の画素配列を示す図である。本実施形態は、実施形態１（図５）と比べると、ＷフィルタをＹｅフィルタに置換している以外は同じである。本実施形態の加算部１４５は、図３３で示す各画素からの出力信号に対して、実施形態１での画素加算における演算（式１）と同様の演算を行ない、演算の結果得られた信号を各画素の重心位置に出力する。
【０１６０】
なお、本実施形態ではＧフィルタより光透過率の高いカラーフィルタとしてＹｅフィルタを使用した。しかしＧフィルタより光透過率の高いフィルタであれば、Ｙｅフィルタ以外のフィルタが使用されてもよい。
【０１６１】
＜１２．実施形態１２＞
以下、図３４を参照して実施形態１２について説明する。
図３４は、本実施形態の画素配列を示す図である。本実施形態では、Ｒフィルタに代わって例えばＹｅフィルタ、Ｂフィルタに代わってシアン色フィルタ（以下、「Ｃｙフィルタ」と称する）を使用する。
【０１６２】
本実施形態の加算部１４５は、図３４で示す各画素から得られた信号に対して、ＡＤＣ１５０へ出力される信号（画像情報）が上記実施形態１〜１１と同様にベイヤ配列型となるよう、画素加算を行なう。
【０１６３】
なお、本実施形態ではＹｅフィルタおよびＣｙフィルタを使用したが、ＹｅフィルタおよびＣｙフィルタ以外のカラーフィルタを使用してもよい。要するに、画素加算の結果がベイヤ配列の出力となるようカラーフィルタが配列されればよい。
【０１６４】
＜１３．他の実施形態＞
以上により、実施形態を説明した。しかし、上記実施形態の思想は、上記実施形態に限定されない。以下、上記実施形態の思想を適用できる他の実施形態をまとめて説明する。
【０１６５】
上記の実施形態では、撮像手段として、ＣＭＯＳイメージセンサ１４０を例示したが、撮像手段はこれに限定されない。例えば、撮像手段を、ＣＣＤイメージセンサやＮＭＯＳイメージセンサで構成してもよい。
【０１６６】
上記の実施形態では、画素加算が静止画像撮影時に行われなかった。しかし、静止画像撮影時にも画素加算が行われてもよい。例えば、連射撮影時に画素加算が行われてもよい。
【０１６７】
また、画像処理部１６０とコントローラ１８０とは、１つの半導体チップで構成してもよく、別々の半導体チップで構成してもよい。
【０１６８】
上記実施形態では、ＣＭＯＳイメージセンサ１４０は画素加算を行ない、加算された画素を出力する加算部１４５を内蔵したが、上記実施形態の思想はこれに限定されない。すなわち、ＣＭＯＳイメージセンサ１４０よりも後段の演算処理装置（例えば、画像処理部１６０）により画素加算を行うようにしてもよい。これによっても、信号（画像情報）をより効率良く出力できる。
【０１６９】
以上のように、上記実施形態によれば、ＣＭＯＳイメージセンサ１４０で生成された信号の配列を画素加算によって処理効率の高いベイヤ型の配列に変換できる。これにより、静止画像撮影用の高精細なイメージセンサを動画像撮影に用いたとしても、効率良く画素処理を施すことができるので、動画像撮影においても、より容易に適切なフレームレートを設定できる。
【産業上の利用可能性】
【０１７０】
上記実施形態の思想は、ビデオカメラ１００だけでなく、デジタルスチルカメラ、撮像素子を搭載する情報端末などにも適用可能である。
【符号の説明】
【０１７１】
１００  ビデオカメラ
１１０  光学系
１２０  レンズ駆動部
１３０  シャッタ
１４０  ＣＭＯＳイメージセンサ
１４５  加算部
１５０  Ａ／Ｄコンバータ
１６０  画像処理部
１７０  バッファ
１８０  コントローラ
１９０  カードスロット
２００  メモリカード
２１０  操作部材
２２０  表示モニタ
２４０  内部メモリ
【図１】
2013192214.tif 000003
【図２】
2013192214.tif 000004
【図６】
2013192214.tif 000005
【図３】
2013192214.tif 000006
【図４】
2013192214.tif 000007
【図５】
2013192214.tif 000008
【図７】
2013192214.tif 000009
【図８】
2013192214.tif 000010
【図９】
2013192214.tif 000011
【図１０】
2013192214.tif 000012
【図１１】
2013192214.tif 000013
【図１２】
2013192214.tif 000014
【図１３】
2013192214.tif 000015
【図１４】
2013192214.tif 000016
【図１５】
2013192214.tif 000017
【図１６】
2013192214.tif 000018
【図１７】
2013192214.tif 000019
【図１８】
2013192214.tif 000020
【図１９】
2013192214.tif 000021
【図２０】
2013192214.tif 000022
【図２１】
2013192214.tif 000023
【図２２】
2013192214.tif 000024
【図２３】
2013192214.tif 000025
【図２４】
2013192214.tif 000026
【図２５】
2013192214.tif 000027
【図２６】
2013192214.tif 000028
【図２７】
2013192214.tif 000029
【図２８】
2013192214.tif 000030
【図２９】
2013192214.tif 000031
【図３０】
2013192214.tif 000032
【図３１】
2013192214.tif 000033
【図３２】
2013192214.tif 000034
【図３３】
2013192214.tif 000035
【図３４】
2013192214.tif 000036