(57)【要約】【課題】撮像素子を非加算モード及び加算モードの両方で駆動可能な場合に、いずれのモードで読み出した場合でも同じカメラ信号処理を行うこと。【解決手段】原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有し、非加算読み出し方法と、加算読み出し方法とにより駆動可能な撮像素子（２）から出力される画像信号を処理する信号処理装置であって、非加算読み出し方法と加算読み出し方法とを切り換える撮影モード設定部（１２）と、非加算読み出し方法が設定されたときに、撮像素子から入力した信号をそのまま出力し、加算読み出し方法が設定されたときに、撮像素子から入力した信号を信号の重心位置を補正して出力する重心ずれ補正処理部（６）と、重心ずれ補正処理部から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行うカメラ信号処理部（８）とを有する。【選択図】　図１
2004147092.tif 000002
【特許請求の範囲】
【請求項１】
原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、各受光素子からそれぞれ信号を読み出す第１の読み出し方法と、１行おきに同じ色の受光素子から得られる信号を加算して読み出す第２の読み出し方法とにより駆動可能な撮像素子から出力される画像信号を処理する信号処理装置であって、
前記第１の読み出し方法と、前記第２の読み出し方法とを切り換える切り換え手段と、
前記第１の読み出し方法が設定されたときに、前記撮像素子から入力した信号をそのまま出力し、前記第２の読み出し方法が設定されたときに、前記撮像素子から入力した信号の重心位置を補正して出力する補正手段と、
前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理手段と
を有することを特徴とする信号処理装置。
【請求項２】
前記補正手段は、補正する対象の信号の偶数行をＰ２ｎ、奇数行をＰ２ｎ−１（ｎは共に自然数）とし、重心ずれ補正後の信号の偶数行をＰ’２ｎ、奇数行をＰ’２ｎ−１（ｎは共に自然数）とした場合に、
Ｐ’２ｎ　＝　１／８×Ｐ２ｎ−２＋７／８×Ｐ２ｎ
Ｐ’２ｎ−１　＝　７／８×Ｐ２ｎ−１＋１／８×Ｐ２ｎ＋１
の演算により補正することを特徴とする請求項Ｄ０１に記載の信号処理装置。
【請求項３】
請求項１または２に記載の信号処理装置を有する撮像装置。
【請求項４】
原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、各受光素子からそれぞれ信号を読み出す第１の読み出し方法と、１行おきに同じ色の受光素子から得られる信号を加算して読み出す第２の読み出し方法とにより駆動可能な撮像素子から出力される画像信号を処理する信号処理装置であって、前記撮像素子から入力した信号の重心位置を補正して出力する補正手段と、前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理手段とを有する信号処理装置の制御方法であって、
前記第１の読み出し方法と、前記第２の読み出し方法のいずれが設定されているかを判断する判断工程と、
前記第１の読み出し方法が設定されている時に、前記撮像素子から入力した信号に前記補正手段が処理を行わないようにし、前記第２の読み出し方法が設定されたときに、前記補正手段により処理を行うように制御する制御工程と
を有することを特徴とする制御方法。
【請求項５】
情報処理装置が実行可能なプログラムであって、前記プログラムを実行した情報処理装置を、請求項１または２に記載の信号処理装置として機能させることを特徴とするプログラム。
【請求項６】
請求項４に記載の制御方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
【請求項７】
請求項５又は６に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は固体撮像素子から出力される画像信号に対して処理を行う信号処理装置、ビデオカメラ等の撮像装置、信号処理装置の制御方法に関し、特に撮像領域の各画素から信号をそのまま読み出すモードと、信号を加算して読み出すモードとにより選択的に駆動可能な固体撮像素子から出力される画像信号に対して処理を行う信号処理装置、撮像装置、信号処理装置の制御方法に関する。
【０００２】
【従来の技術】
従来、撮像装置の各受光素子から得られる信号電荷を混合して読み出す撮像装置では、例えば、撮像素子の駆動手段が同色の色要素に対応する電荷どうしが垂直列に対応する垂直転送レジスタ上で混合されるように撮像素子を駆動する方法が考えられている（例えば、特許文献１参照。）。
【０００３】
図４に原色ベイヤー配列をもつ撮像素子を垂直方向に同色混合される場合の概念図を示す。原色ベイヤー配列の撮像素子では、図４（ａ）で示されるようにＲＧＢの色フィルタが配置されている。すなわち、水平方向に見た場合にＲ、Ｇの繰り返しのラインと、Ｇ、Ｂの繰り返しのラインとが交互に配置されている。画素混合が垂直方向に行われる場合、同色の色フィルタは１画素おきに配置されているので、撮像素子駆動手段は混合される画素も１画素おきのタイミングで混合されるように撮像素子を駆動する。
【０００４】
具体的には例えば図４（ａ）に示すＲ００、Ｇ０１のラインと　Ｒ２０、Ｇ２１のラインの画素信号を混合して、図４（ｂ）に示すＲ１０、Ｇ１１のラインの画素信号が生成される。また、Ｇ１０、Ｂ１１のラインの画素信号とＧ３０、Ｂ３１のラインの画素信号からＧ２０、Ｂ２１のラインの画素信号が生成される。同様にして、Ｒ４０、Ｇ４１のラインとＲ６０、Ｇ６１のラインの画素信号からＲ５０、Ｇ５１のラインの画素信号が、Ｇ５０、Ｂ５１のラインとＧ７０、Ｂ７１のラインの画素信号からＧ６０、Ｂ６１のラインの画素信号が生成される。混合後の信号は、混合前と同じ原色のベイヤー配列になる。
【０００５】
【特許文献１】
特開２０００−２５３４１５号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の方法で混合処理を行うと、混合後の信号の重心位置が混合前の２画素の中央になるので、重心位置に注目すると垂直方向に均等ではなく、図４（ｂ）に示すような２ラインずつ接近した位置となってしまう問題がある。従って、このような配列に合わせたカメラ信号処理を行う必要がある。更に、静止画を撮影するときなど撮像素子の信号電荷を混合せずにそのまま読み出す場合には原色ベイヤー配列に合わせたカメラ信号処理が必要となり、混合せずに読み出す場合と、動画撮影における混合して読み出す場合とのそれぞれに合わせたカメラ信号処理部が必要であった。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、混合せずに読み出す場合と、混合して読み出す場合の両方において同じカメラ信号処理を行うことができるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、各受光素子からそれぞれ信号を読み出す第１の読み出し方法と、１行おきに同じ色の受光素子から得られる信号を加算して読み出す第２の読み出し方法とにより駆動可能な撮像素子から出力される画像信号を処理する本発明の信号処理装置は、前記第１の読み出し方法と、前記第２の読み出し方法とを切り換える切り換え手段と、前記第１の読み出し方法が設定されたときに、前記撮像素子から入力した信号をそのまま出力し、前記第２の読み出し方法が設定されたときに、前記撮像素子から入力した信号の重心位置を補正して出力する補正手段と、前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理手段とを有することを特徴とする。
【０００９】
また、本発明の撮像装置は、上記信号処理装置を備えることを特徴とする。
【００１０】
更に、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、各受光素子からそれぞれ信号を読み出す第１の読み出し方法と、１行おきに同じ色の受光素子から得られる信号を加算して読み出す第２の読み出し方法とにより駆動可能な撮像素子から出力される画像信号を処理する信号処理装置であって、前記撮像素子から入力した信号の重心位置を補正して出力する補正手段と、前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理手段とを有する信号処理装置の本発明の制御方法は、前記第１の読み出し方法と、前記第２の読み出し方法のいずれが設定されているかを判断する判断工程と、前記第１の読み出し方法が設定されている時に、前記撮像素子から入力した信号に前記補正手段が処理を行わないようにし、前記第２の読み出し方法が設定されたときに、前記補正手段により処理を行うように制御する制御工程とを有することを特徴とする。
【００１１】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１２】
図１は、本発明の実施の形態における撮像装置のブロック図である。図１において、２は不図示の光学系を介して入射した光束を、その光量に応じて電気信号に変換するＣＣＤやＭＯＳ等の撮像素子、４は撮像素子２から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、６はＡ／Ｄ変換器４から出力されたデジタル信号に対して、後述する重心ずれの補正を行う重心ずれ補正処理部、８は重心ずれ補正処理部６から出力されたデジタル信号に対して、色分離処理、アパーチャー処理、ガンマ処理等を施した後、輝度信号、色差信号を生成するカメラ信号処理部、１０は撮像素子２を制御するタイミング信号を生成する撮像素子駆動部、１２は、撮像素子２の各受光素子から得られる信号電荷を非加算で読み出す非加算モード（静止画撮影モード）と、各受光素子から得られる同色の信号電荷を混合して読み出す加算モード（動画撮影モード）とを切り換える撮影モード設定部である。
【００１３】
撮影モード設定部１２により非加算モード（静止画撮影モード）が設定されている場合には、撮像素子駆動部１０は撮像素子２の各受光素子から信号電荷を加算せずに順に出力するように制御し、加算モードに設定されている場合には、上記従来例で図４を参照して説明したようにして読み出し制御する。
【００１４】
更に、重心ずれ補正処理部６は、図３に示すように、撮影モード設定部１２により非加算モードが設定されている場合には（ステップＳ１０でＮＯ）、補正を行わず、Ａ／Ｄ変換器４から入力されるデジタル信号をそのままカメラ信号処理部８に出力し（ステップＳ１２）、加算モードが設定されている場合には（ステップＳ１０でＹＥＳ）、後述する補正を行ってから（ステップＳ１１）、カメラ信号処理部８に出力する（ステップＳ１２）。
【００１５】
従って、非加算モードでは、撮像素子２が図４（ａ）に示すような原色ベイヤー配列のカラーフィルターで覆われている場合、フィルター配列に従った信号電荷が読み出され、重心ずれ補正処理部６は読み出された順でそのままカメラ信号処理部８に出力するので、カメラ信号処理部８では原色ベイヤー配列の撮像素子に対応した信号処理を施して輝度信号、色差信号を出力させる。
【００１６】
一方、加算モード（動画撮影モード）では、図４を参照して従来例で説明したようにして、撮像素子２から同色信号を加算して読み出す。
【００１７】
混合後の信号は、混合前と同じ原色のベイヤー配列に似た配置になる。しかし、従来例でも説明したように、混合後の信号の重心位置は混合前の２画素の中央になるので、重心位置に注目すると、各画素は垂直方向に均等ではなく、図４（ｂ）に示すように、２ラインずつ接近した配置となる。
【００１８】
そこで、本実施の形態における重心ずれ補正処理部６では、撮影モード設定部１２により加算モードが選択されている場合に、重心位置が均等になるように補正する。
【００１９】
図２は、本実施の形態における重心ずれ補正処理を説明する図である。図２（ａ）は、図４を用いて説明した画素混合が行われた場合に、Ａ／Ｄ変換器４から出力された同色画素混合信号を表す。ここで、Ｐ２ｎ及びＰ２ｎ−２は偶数ラインを示し、偶数ラインでは重心ずれによって接近した２ラインのうち上のラインとする。また、Ｐ２ｎ−１及びＰ２ｎ＋１は奇数ラインを示し、奇数ラインでは重心ずれによって接近した２ラインのうち下のラインとする。
【００２０】
Ｐ’２ｎ及びＰ’２ｎ−２は偶数ラインの重心ずれ補正後のライン、Ｐ’２ｎ−１及びＰ’２ｎ＋１は奇数ラインの重心ずれ補正後のラインを表す。なお、ｎは自然数を表す。
【００２１】
図２（ａ）に示すように、Ｐ２ｎ−２とＰ２ｎ−１の間隔と、Ｐ２ｎ−１とＰ２ｎの間隔の比は１：３になるため、本実施の形態における重心ずれ補正処理部６は重心ずれ補正後の信号を図２（ｂ）に示すように等間隔にするため、以下の式によって補正処理を行う。
Ｐ’２ｎ　＝　１／８×Ｐ２ｎ−２　＋　７／８×Ｐ２ｎ
Ｐ’２ｎ−１　＝　７／８×Ｐ２ｎ−１　＋　１／８×Ｐ２ｎ＋１
【００２２】
すなわち、偶数ラインの信号は、そのラインの画素信号（例えば、Ｐ２ｎラインの画素信号）と、２ライン前の画素信号（例えばＰ２ｎ−２ラインの画素信号）とを７：１の比率で加重加算して補完を行い、奇数ラインの信号は、そのラインの画素信号（例えば、Ｐ２ｎ−１ラインの画素信号）と、２ライン後のラインの画素信号（例えばＰ２ｎ＋１ラインの画素信号）とを７：１の比率で加重換算して補間を行う。
【００２３】
ここで、図２（ａ）に示す同色混合後の色信号順では、同色の信号が１画素おきに配置されているため、上式で表される補間点の信号も、１ラインおきの同色の画素対を用いて算出される。
【００２４】
図２（ｂ）は、上記のようにして重心補正して得られた信号の概念を示している。
【００２５】
重心ずれ補正処理部６により上記の様な処理を行った後、図２（ｂ）に示すように垂直方向の重心位置が均等になった画素混合信号が図１のカメラ信号処理部８に入力される。重心ずれ補正処理を施した画素混合信号は、通常の原色ベイヤー配列のカラーフィルターに従った信号電荷と同じとして扱えるので、非加算モード時と同じカメラ信号処理を施して輝度信号、色差信号を出力することができる。
【００２６】
なお、上記実施の形態においては、
Ｐ’２ｎ　＝　１／８×Ｐ２ｎ−２　＋　７／８×Ｐ２ｎ
Ｐ’２ｎ−１　＝　７／８×Ｐ２ｎ−１　＋　１／８×Ｐ２ｎ＋１
【００２７】
の式を用いて重心ずれを補正したが、重心ずれを補正する方法はこれに限るものでは無く、本発明はこれ以外の重心ずれ補正方法を用いた場合にも適用することができる。
【００２８】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。
【００２９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【００３０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図４に示すフローチャート及び図２に示す補正動作に対応するプログラムコードが格納されることになる。
【００３２】
【発明の効果】
上記の通り本発明によれば、撮像素子を非加算モード及び加算モードの両方で駆動可能な場合に、いずれのモードで読み出した場合でも同じカメラ信号処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における撮像装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態における重心ずれ補正動作を説明するための図である。
【図３】本発明の実施の形態における制御を示すフローチャートである。
【図４】従来の撮像素子における画素混合の様子を示す概念図である。
【符号の説明】
２　撮像素子
４　Ａ／Ｄ変換器
６　重心ずれ補正処理部
８　カメラ信号処理部
１０　撮像素子駆動部
１２　撮影モード設定部
【図１】
2004147092.tif 000003
【図２】
2004147092.tif 000004
【図３】
2004147092.tif 000005
【図４】
2004147092.tif 000006