(57)【要約】【課題】光電変換部が複数の領域に分割され、光電変換部の各領域に対応する複数のチャンネルを介して映像信号を並列に出力する撮像素子を備える撮像装置において、ある分割領域の映像が他の分割領域の映像に混入することに起因するゴースト妨害を軽減させることが可能な技術を提供する。【解決手段】光電変換部が複数の領域に分割され、分割された各領域に対応する複数のチャンネルを介して映像信号を並列に出力する撮像素子を備える撮像装置であって、基準信号を１つのチャンネルに入力したときの他のチャンネルの混信度合の測定を、すべてのチャンネルに対して施して得られた混信度合マトリクスに基づいて演算された、混信を補正するための補正係数マトリクスを保存するメモリ手段と、メモリ手段に保存された補正係数マトリクスを用いて、複数の領域から並列に出力される映像信号を補正処理する信号処理手段とを備える。【選択図】        図１
2004336339.tif 000002
【特許請求の範囲】
【請求項１】
光電変換部が複数の領域に分割され、前記分割された光電変換部の各領域に対応する複数のチャンネルを介して映像信号を並列に出力する撮像素子を備える撮像装置であって、基準信号を１つのチャンネルに入力したときの他のチャンネルの混信度合の測定を、すべてのチャンネルに対して施して得られた混信度合マトリクスに基づいて演算された、混信を補正するための補正係数マトリクスを保存するメモリ手段と、前記メモリ手段に保存された前記補正係数マトリクスを用いて、前記複数の領域から並列に出力される映像信号を補正処理する信号処理手段とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、前記補正係数マトリクスは、前記混信度合マトリクスの対角成分を１としたマトリクスの逆行列であることを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、前記補正係数マトリクスは、前記混信度合マトリクスの対角成分を１とし、非対角成分を逆符号としたマトリクスであることを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関し、特に多並列出力撮像素子を用いた撮像装置に関するものである。
【０００２】
【従来の技術】
多並列出力撮像素子として、例えば撮像素子を領域で分割し、各領域毎に個別の読出し回路を用いて信号出力する撮像装置がある。例えば、特許文献１には領域分割並列読み出し固体撮像素子が記載されており、また、例えば、特許文献２には各分割領域から映像信号が同時に読み出される種類の固体撮像素子を用いた撮像装置が記載されている。
【０００３】
【特許文献１】
特開２０００−１９６０５４号公報
【特許文献２】
特開２０００−２０９５０３号公報
【０００４】
【発明が解決しようとする課題】
本発明者は、前記従来技術を検討した結果、以下の問題点を見いだした。
多並列出力撮像素子を用いた場合、撮像素子内部の半導体基板上の配線においては、例えば隣り合って配置されているアンプ回路に対し、自分の信号が相手の回路に誘起電流を発生させたり電源電圧の変動を招いたりすることにより、お互いの信号がゴースト妨害となって相手の回路に混入してしまうことがあった。
【０００５】
また、撮像素子外部の信号ケーブルや回路の配線において、例えば隣り合って配置されているケーブルや回路の配線に対し、自分の信号が相手のケーブルや回路に誘起電流を発生させたり、回路の電源電圧の変動を招いたりすることにより、お互いの信号がゴースト妨害となって相手の回路に混入してしまうこともあった。
【０００６】
このように、多並列出力を用いると、例えば撮像素子内部もしくは外部などにおいて、並列する信号が互いに飛び込みあい、ある分割領域の映像が他の分割領域の映像に混入（混信）し、ゴーストのような映像となって現れ、映像品質を低下させてしまうという問題があった。
【０００７】
本発明は、このような問題に鑑みなされたものであり、本発明の目的は、ある分割領域の映像が他の分割領域の映像に混入することに起因するゴースト妨害を軽減させることが可能な技術を提供することにある。
【０００８】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【０００９】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。
【００１０】
（１）光電変換部が複数の領域に分割され、前記分割された光電変換部の各領域に対応する複数のチャンネルを介して映像信号を並列に出力する撮像素子を備える撮像装置であって、基準信号を１つのチャンネルに入力したときの他のチャンネルの混信度合の測定を、すべてのチャンネルに対して施して得られた混信度合マトリクスに基づいて演算された、混信を補正するための補正係数マトリクスを保存するメモリ手段と、前記メモリ手段に保存された前記補正係数マトリクスを用いて、前記複数の領域から並列に出力される映像信号を補正処理する信号処理手段とを備える。
【００１１】
（２）前述した（１）に記載の撮像装置において、前記補正係数マトリクスは、前記混信度合マトリクスの対角成分を１としたマトリクスの逆行列である。
【００１２】
（３）前述した（１）に記載の撮像装置において、前記補正係数マトリクスは、前記混信度合マトリクスの対角成分を１とし、非対角成分を逆符号としたマトリクスである。
【００１３】
前述した手段によれば、キャリブレーションモードにおいて各領域からのゴースト妨害の影響を測定し、その値もしくは演算結果をマトリクス係数としてメモリヘ保存し、映像出力モードにおいてその結果を用いてゴースト妨害軽減演算処理をリアルタイムで行うことができる。
【００１４】
【発明の実施の形態】
以下、図面を参照して、発明の実施の形態を詳細に説明する。なお、発明の実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００１５】
（実施の形態１）
図１は本発明の実施の形態１の撮像装置の概略構成を説明するための図である。
図１に示すように、実施の形態１の撮像装置は、撮像領域がｎ個の領域（分割領域）に分割された領域分割並列読出し型の固体撮像素子である並列出力撮像素子１と、並列出力撮像素子１から出力される映像信号をデジタル信号に変換するアナログデジタル変換器であるＡＤＣ回路２と、デジタル変換された映像信号とメモリ回路４から読み込んだゴースト妨害の補正係数とのマトリクス演算によりゴースト妨害の補正処理を行う信号処理回路３と、ゴースト妨害の補正係数を格納するメモリ回路４と、キャリブレーションモード時の映像信号からゴースト妨害の補正係数となる補正係数マトリクスを演算する演算回路５とを備えている。なお、並列出力撮像素子１は周知の領域分割並列読出し型のＭＯＳ型固体撮像素子およびＣＣＤ型固定撮像素子のいずれでもよいことはいうまでもない。
【００１６】
図１において、並列出力撮像素子１からの出力信号は各出力毎にＡＤＣ回路２によりデジタル信号に変換され、信号処理回路３へ入力する。信号処理回路３では入力された信号から演算した結果をメモリ回路４へ保存したり、またメモリ回路４に保存された値を用いて入力信号を演算し、その結果を映像信号として出力する。
【００１７】
つぎに信号処理回路３についてさらに詳しく説明する。信号処理回路３では、特定の被写体を撮像しゴーストの影響を計測するキャリブレーションモードと、通常の被写体を撮像し計測結果からゴースト妨害の影響を低減した映像信号を演算する映像出力モードの、２つのモードがある。
【００１８】
図２は本実施の形態の撮像装置におけるゴースト妨害の補正係数の求め方を説明するための図である。図２（ａ）は撮像素子の領域１に入射光を入力した場合を示す図であり、図２（ｂ）は撮像素子の領域２に入射光を入力した場合を示す図であり、図２（ｃ）は撮像素子の領域ｎに入射光を入力した場合を示す図である。以下、図２に基づいてキャリブレーションモード時における動作を説明する。
【００１９】
本実施の形態では、キャリブレーションモードにおいて、基準信号を１つのチャンネルに入力し、他のチャンネルの混信度合を測定し、この測定をすべてのチャンネルに対して施し、測定した結果をマトリクスとしてマトリクス演算することによって補正係数マトリクスを得る。
【００２０】
すなわち、まず、図２（ａ）に示すように、領域１に全面基準強度となる入射光を撮像素子に入力し、他の領域には光を入射しない。このとき領域１からの信号出力のゴーストの影響が他の領域に現れる。それぞれの領域について、ランダム雑音を減少させるため領域内の信号を２次元方向もしくは時間方向で積分するなど平均処理を行い、各領域の被ゴースト妨害係数とする。具体的には、領域２に現れたゴースト信号はｈ１，２、領域３に現れたゴースト信号はｈ１，３、・・・、領域ｋに現れたゴースト信号はｈ１，ｋ、・・・、領域ｎに現れたゴースト信号はｈ１，ｎ、とする。これらの係数は、メモリ回路に保存される。なお、撮像素子１の特定の領域にのみ順番に入射光を入力させる構成については後述する。
【００２１】
次に、図２（ｂ）に示すように、領域２に全面基準強度となる入射光を撮像素子に入力し、他の領域には光を入射しない。このとき領域２からの信号出力のゴーストの影響が他の領域に現れる。先ほどの説明と同様に、領域１に現れたゴースト信号はｈ２，１、領域３に現れたゴースト信号はｈ２，３、・・・、領域ｋに現れたゴースト信号はｈ２，ｋ、・・・、領域ｎに現れたゴースト信号はｈ２，ｎ、とし、メモリ回路に保存する。
【００２２】
最後に、図２（ｃ）に示すように、領域ｎに全面基準強度となる入射光を撮像素子に入力し、同様に領域１に現れたゴースト信号はｈｎ，１、領域２に現れたゴースト信号はｈｎ，２、・・・、領域ｋに現れたゴースト信号はｈｎ，ｋ、・・・、領域ｎ−１に現れたゴースト信号はｈｎ，ｎ−１、とし、メモリ回路４に保存する。
【００２３】
以上のようにして、各領域から他の領域に与えるゴーストの影響を被ゴースト妨害係数マトリクス（混信度合マトリクス）としてメモリ回路４に保存する。
【００２４】
メモリ回路４に保存されたマトリクス係数は、演算回路５によって計算された後、再度メモリ回路４に保存される。演算回路５での動作を、以下に説明する。
【００２５】
撮像素子１の領域分割数をｎとし、ある領域ｍの本来の信号（ゴースト妨害を受けなかった場合の信号）をＳＩＧｍ、ある領域ｋから領域ｍに与えるゴースト妨害を係数ｈｋ，ｍ、領域ｍ以外の領域のゴーストの影響を受けた出力信号をＯＵＴｍとすると、その出力信号ＯＵＴｍは下記の（式１）と表すことができる。
【００２６】
【数１】
2004336339.tif 000003
【００２７】
ただし、このときゴーストの影響は信号ＳＩＧと比べて十分小さく、ゴーストの２次影響（すなわちゴーストの影響を受けた出力信号が更に他の領域に与えるゴーストの影響）は無視しうるものとしている。
【００２８】
（式１）はまた、行列式を用いると、下記の（式２）と表せる。
【数２】
2004336339.tif 000004
【００２９】
ここでＨは対角成分（ｋ＝ｍの時の成分）がすべて１のｎ次の正方行列である。このとき、係数Ｈが正則行列であるならば、その逆行列を計算することにより、ゴースト妨害の影響を受けていない本来の信号ＳＩＧは、下記の（式３）として求めることができる。
【００３０】
【数３】
2004336339.tif 000005
【００３１】
逆行列Ｈ−１は演算回路５で求められ、補正係数として再びメモリ回路４に保存される。
【００３２】
以上の手順によって、混信を補正するための補正係数マトリクスとなる逆行列Ｈ−１が演算される。
【００３３】
キャリブレーション後の映像出力モード時は、信号処理回路においてメモリ回路から読出した補正係数を用いて、リアルタイムにマトリクス演算処理を行うことにより、各領域のゴースト妨害を軽減させた信号出力を出力する。例えば、撮像素子１からは各分割領域の画素から映像信号が同じタイミングすなわち同時並列で出力されることとなるので、出力された映像信号を（式３）に基づいてマトリクス演算処理を行うことによって、ゴースト妨害が軽減された映像信号を得ることが可能となる。
【００３４】
図３はキャリブレーション時に撮像素子１の特定の領域に順番に入射光を入力させる構成を説明するための図である。図３（ａ）は光を自発光するテストチャートを用いる場合であり、図３（ｂ）は暗い背景に明るい被写体を用い撮像装置をパン・チルト方向に回転させる場合であり、図３（ｃ）は暗い背景に明るい被写体を用い明るい被写体を移動させる場合である。
【００３５】
図３（ａ）〜（ｃ）に示すように、本実施の形態では特定の被写体を用いることによって、カメラが有する撮像素子の特定の領域（分割領域）に対して順番にキャリブレーション用の入射光を入射する構成となっている。
【００３６】
図３（ａ）に示す被写体では、被写体（テストチャート）８の前面が発光面を形成しており、その発光面は撮像素子の分割領域と一致するような幾何学模様の面に分割されている。分割した発光面がちょうど撮像素子の分割領域と一致するように被写体８を撮像装置（カメラ）１０で撮像し、分割した発光面を例えば斜線で示す発光領域９のように１つずつ個別に点灯する。撮像素子に入射する光強度が発光面の点灯時と消灯時とで十分な差（例えば、１０００：１）であれば、撮像素子の特定の領域のみに光を入射したことになる。その結果、撮像素子の他の領域に発生する信号を測定し、その強度をゴースト発生量（被ゴースト妨害係数）とみなすことが可能である。なお、このときに被写体８のどの位置の分割面（発光領域９）が発光しているかという、発光位置情報をカメラ側に入力する。
【００３７】
図３（ｂ）に示す被写体では、暗い背景において明るい被写体１１を用いる。カメラ１０を固定している三脚などを制御し、明るい被写体１１が撮像素子の分割領域と同じ大きさで撮像するようにカメラ１０のズームレンズなどを調整する。そしてカメラヘッドを必要に応じてパン・チルト方向に回転させることにより、希望する分割撮像面上のみに明るい被写体１１を結像させる。なお、このときカメラヘッドがどのくらいの角度でパン・チルトしたのか、その角度情報または位置情報をカメラ１０側に入力し、現在どの分割領域に入射しているかを情報として得る。
【００３８】
図３（ｃ）に示す特定の被写体では、暗い背景１２において斜線で示す明るい被写体１３を用いる。明るい被写体１３が撮像素子の分割領域と同じ大きさで撮像するように明るい被写体１３の位置やカメラ１０のズームレンズなどを調整する。そして明るい被写体１３を必要に応じて水平・垂直・奥行き方向に移動していくことにより、希望する分割撮像面上のみに明るい被写体１３を結像させる。すなわち、カメラ１０を固定しておき、明るい被写体１３を移動させることによって、撮像素子の各分割領域に対して順番に明るい被写体１３を結像させるものである。なお、このとき明るい被写体１３が撮像素子のどの分割領域に当たっていたかという情報をカメラ１０側に入力し、現在どの分割領域に入射しているかを情報として得る。
【００３９】
以上の実施の形態１では、どの分割面に入射しているかの情報をカメラに入力する構成をとっていたが、以下のようにして自動化することもできる。
【００４０】
（１）カメラで撮影する明るい被写体について、カメラで撮影した映像を分割面ごとに比較し、一番明るい映像を取得したところをゴースト妨害の基準光入射分割面であると判断し、図３（ａ）〜（ｃ）において、現在どの分割面に入射しているかの情報をカメラに入力する手間を省略する。
【００４１】
（２）図３（ａ），（ｂ）において、ある撮像素子分割面について測定が終了したら、次の分割面を自動で発光させる、もしくは次の撮像素子分割面に光が入射するようにカメラ方向を自動で移動することにより次の分割面の測定に自動的に進行する。
【００４２】
なお、本実施の形態の撮像装置は演算回路５を備えているが、撮像装置に演算回路５を備えずに、キャリブレーションの時だけ外部の演算手段を接続して演算し、演算結果をメモリ回路４に保存するようにしてもよい。また、同種の撮像装置においてバラツキが少ない場合は、一つの撮像装置においてキャリブレーションを行い、その演算結果を同種の撮像装置のメモリ回路４に保存するようにしてもよい。
【００４３】
（実施の形態２）
図４は本発明の実施の形態２の撮像装置の概略構成を説明するための図である。実施の形態２の撮像装置においても、キャリブレーションを行い、映像出力モード時にゴースト妨害の補正係数を用いて補正する点は実施の形態１の撮像装置と同様である。しかし、実施の形態２では、実施の形態１で用いた演算回路５を用いず、キャリブレーション時に信号処理回路６がキャリブレーション用の信号からゴースト妨害の補正係数を生成し、メモリ回路７に格納する構成となっている。
【００４４】
以下、実施の形態２の撮像装置におけるキャリブレーションモード時における補正係数の生成動作を説明する。
【００４５】
前述する実施の形態１における（式１）より本来の信号ＳＩＧは、下記の（式４）と表せる。
【００４６】
【数４】
2004336339.tif 000006
【００４７】
このとき、被ゴースト妨害係数ｈは１と比べて十分小さく、そのゴースト信号成分を算出する場合において、本来の信号ＳＩＧに係数ｈを乗じた場合と実際に得られる出力信号ＯＵＴに係数ｈを乗じた場合でほとんど値に差がないとすると、（式４）は下記の（式５）とすることができる。
【００４８】
【数５】
2004336339.tif 000007
【００４９】
これを行列式で表すと、下記の（式６）となる。
【数６】
2004336339.tif 000008
【００５０】
このとき、行列式の係数は単位行列および測定より得られた結果の逆符号で表すことができる。すなわち、実施の形態１で用いたような演算回路を用いて逆行列を用いる必要が無く、回路規模の縮小が可能となるだけでなく、逆行列が求められないような係数であった場合でもゴースト妨害軽減処理が可能となる。
【００５１】
なお、本実施の形態の撮像装置は、信号処理回路６がキャリブレーション用の信号から補正係数を生成するものであるが、キャリブレーションの時だけ外部の演算手段を接続して演算し、演算結果をメモリ回路７に保存するようにしてもよい。また、同種の撮像装置においてバラツキが少ない場合は、一つの撮像装置においてキャリブレーションを行い、その演算結果を同種の撮像装置のメモリ回路７に保存するようにしてもよい。
【００５２】
以上、本発明者によってなされた発明を、前記発明の実施の形態に基づき具体的に説明したが、本発明は、前記発明の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００５３】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
【００５４】
本発明をもちいることにより、キャリブレーションモードにおいて一度測定を行うことで、以後映像出力モードにおいてリアルタイムにゴースト妨害を軽減した映像が得られる効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１の撮像装置の概略構成を説明するための図である。
【図２】本実施の形態の撮像装置における補正係数の求め方を説明するための図である。
【図３】本実施の形態の撮像装置が備える撮像素子１の特定の領域に順番に入射光を入力させる構成を説明するための図である。
【図４】本発明の実施の形態２の撮像装置の概略構成を説明するための図である。
【符号の説明】
１…並列出力撮像素子                ２…ＡＤＣ回路
３，６…信号処理回路                ４，７…メモリ回路
５…演算回路                        ８…被写体
９…発光領域                        １０…撮像装置（カメラ）
１１，１３…明るい被写体            １２…暗い背景の被写体
【図１】
2004336339.tif 000009
【図２】
2004336339.tif 000010
【図３】
2004336339.tif 000011
【図４】
2004336339.tif 000012