(57)【要約】【課題】画像出力に必要なダイナミックレンジを確保するとともに、画質の低下も少なくし、さらに光量の制御も簡単に行えるようにする。【解決手段】本発明の画像撮像装置では、レンズ１を介して入射されアイリス２で調整された入力光が分光器２１で２系統に分光される。２系統に分光された入力光はイメージセンサー３，２０でそれぞれ電気信号へ変換される。２系統の電気信号からサンプルホールド回路及びＡＧＣ回路５、２４~リニアリティ調整回路２２，２７により画素信号の生成処理がされる。信号処理された２系統の画素信号は画素混合ブロック２３により混合され、混合された画素信号より同時化回路９で画像信号が取り出され、ニー回路１３で画像信号を出力画像のダイナミックレンジ内に収められる。【選択図】図１
2007124533.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像した画像信号に対して信号処理を施して、所定のダイナミックレンジによる出力画像を出力する画像撮像装置であって、
上記被写体からの入力光を取り込む光学系と、
上記光学系を介して入射された被写体光量を調整する光量調整部と、
上記光量調整部により調整された入力光を複数に分光する分光部と、
上記分光部により複数に分光された入力光をそれぞれ電気信号へ変換する複数の撮像部と、
上記複数の撮像部により変換された複数の電気信号から画素信号を生成するための複数の第１の信号処理部と、
上記複数の第１の信号処理部により複数に分配されて信号処理された複数の画素信号を混合する混合部と、
上記混合部により混合された画素信号より出力画像として出力可能な画像信号を取り出す第２の信号処理部と、
上記第２の信号処理部により取り出された上記画像信号を出力画像のダイナミックレンジ内に収めるための圧縮部と、
を備えたことを特徴とする画像撮像装置。
【請求項２】
上記複数の第１の信号処理部は、上記複数の撮像部から出力される複数の電気信号のバラツキを補正するためのゲイン調整部を備えたことを特徴とする請求項１に記載の画像撮像装置。
【請求項３】
上記複数の第１の信号処理部は、生成される複数の画素信号のリニアリティを調整するためのリニアリティ調整部と、上記リニアリティ調整部の調整レベルを記憶しておく調整レベル記憶部と、上記ゲイン調整部及び／又は上記リニアリティ調整部を制御して、上記複数の撮像部から出力される複数の電気信号のバラツキを補正するための制御を行う制御部とを備えたことを特徴とする請求項２に記載の画像撮像装置。
【請求項４】
上記混合部は、上記複数の第１の信号処理部に設けられる複数の画素信号の黒レベルをクランプする黒クランプ部の後段に設けられることを特徴とする請求項1に記載の画像撮像装置。
【請求項５】
上記分光部は、上記複数の第１の信号処理部における信号処理のダイナミックレンジ内の光量となるように複数に分光されることを特徴とする請求項1に記載の画像撮像装置。
【請求項６】
被写体を撮像した画像信号に対して信号処理を施して、所定のダイナミックレンジによる出力画像を出力する撮像画像処理方法であって、
上記光学系を介して入射された被写体光量を調整するステップと、
上記光量調整された入力光を複数に分光するステップと、
上記複数に分光された入力光をそれぞれ複数の電気信号へ変換するステップと、
上記変換された複数の電気信号から複数の画素信号を生成するための第１の信号処理を行うステップと、
上記第１の信号処理により複数に分配されて信号処理された複数の画素信号を混合するステップと、
上記混合された画素信号より出力画像として出力可能な画像信号を取り出す第２の信号処理を行うステップと、
上記第２の信号処理により取り出された画像信号を出力画像のダイナミックレンジ内に収めるために画像信号を圧縮するステップと、
を含むことを特徴とする撮像画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、カメラ一体型記録再生装置などに適用される画像撮像装置及び撮像画像処理方法に関する。
【背景技術】
【０００２】
図１５は、従来の撮像装置の構成を示すブロック図である。
図１５において、レンズ１を介して入射された入射光は被写体光量として、アイリス２を介してイメージセンサー３に供給される。ここで、イメージセンサー３はタイミング発生回路４で発生するタイミングで駆動される。イメージセンサー３では、供給された入射光はその被写体光量に対応した電気信号に変換される。
【０００３】
イメージセンサー３の出力は、サンプルホールド回路（Ｓ／Ｈ）及びＡＧＣ（自動ゲイン制御）回路５に供給される。サンプルホールド回路及びＡＧＣ回路５のサンプルホールド及びＡＧＣ出力は、Ａ／Ｄ変換器６に供給され、ディジタル信号に変換される。Ａ／Ｄ変換器６のディジタル出力は、画素信号のうちの黒レベルをクランプする黒クランプ回路７へ供給され、黒クランプされた出力はゲイン調整回路８へ供給される。ゲイン調整回路８の出力は同時化回路９へ供給され、同時化回路９で各画素信号の出力タイミングを同時化処理することによりＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号へ変換される。なお、ここで、画素信号とは、Ｒ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号を同時に取り出す前に、順次処理される画素単位の信号である。
【０００４】
このＲＧＢ信号は、ＡＥ（自動露光）、ＡＷＢ（自動ホワイトバランス）等の制御をするために基準値を検波する検波回路１５と信号処理系のプリニー回路１０へ供給され、ＲＧＢ信号の信号レベルの圧縮がされる。プリニー回路１０で前処理のためにレベルが圧縮された信号は、ガンマ補正回路（１／γ）１１へ供給され、出力画像の特性を補正するガンマ補正がされる。ガンマ補正後の信号は、色信号系を作るための低域通過処理を行うＬＰＦ１７へ供給された後に、ヒュー（色合い）／ゲインマトリクス１８におけるヒュー（色合い）／ゲインのパラメータ調整により色差信号（Ｒ−Ｙ／Ｂ−Ｙ）へ変換され、画像信号として出力される。なお、ここで、画像信号とは、最終的に出力される画像の信号である。
【０００５】
一方、ＲＧＢ信号は、輝度変換マトリクス回路１２へも供給され、この輝度変換マトリクス回路１２からの出力は、ニー回路１３で出力画像の特性に適合するように圧縮処理される。ニー回路１３で圧縮された信号は、ＬＰＦ１４へ供給され、輝度信号Ｙとして出力される。これらのサンプルホールド回路及びＡＧＣ回路５からヒュー（色合い）／ゲインマトリクス１８までの各信号処理、及び、アイリス２等における被写体光量の調整はコントロールバス１９を介してマイクロコンピュータ１５によって行われる。
【０００６】
上述したイメージセンサー３として、従来からＣＣＤ（charge coupled device）等の固体撮像素子を用いた撮像装置が広く普及している。
しかしながら、民生用の撮像装置においては、業務用と違いコストを抑え、サイズの小型化の要求もあり、入射光に対するダイナミックレンジを十分に取れなくなってきている。そのため、撮影画角内に明るい被写体と暗い被写体が混在する場合には、明るい被写体が白とびしたり、暗い被写体が潰れたりすることがあった。
【０００７】
また、イメージセンサー３の出力ダイナミックレンジが大きく取れたとしても、後段のサンプルホールド回路（Ｓ／Ｈ）５、Ａ／Ｄ変換器６も同様にその信号を通せるだけの十分なダイナミックレンジを待たなければいけなかった。しかし、低消費電力化から、デバイスの電源電圧を下げることが必要とされるため、この点に関しても対応することは難しいものであった。
上記のような理由から、撮像装置として高価で、消費戦力も民生機よりは多少レベルの高い業務用機器にはダイナミックレンジを上げるという点で民生機は遠く及ばない状況であった。
【０００８】
上記の広いダイナミックレンジが確保できない具体的な内容を図１６に基づいて説明する。図１６は、従来の撮像装置の動作を説明する図である。この図１６は、図１５で説明した従来の撮像装置における動作を説明するためにカメラ信号処理系のみを表すものである。図１７は、撮像画像の例を示す図である。図１６に示すような撮像装置において図１７に示すような人物Ｐ及び空Ｓの画像を撮像した場合を例にとって説明する。図１６において、レンズ１からニー回路１３までの出力をＳ１~Ｓ１１として、このＳ１〜Ｓ１１に対応した入力と出力の関係を図１８〜図２４に示す特性図における横軸と縦軸として図示している。
【０００９】
図１８は、レンズからアイリスまでの入出力光の特性図である。図１９は、イメージセンサーの入出力の特性図である。
人物Ｐの顔が適当露出になるように撮像した場合、図１８に示すように、横軸に示すレンズ１より入力された光は、アイリス２を通して、縦軸に示す出力光としてイメージセンサー３へ入力される。ここで、人物Ｐの出力光はイメージセンサー３のサチレーションレベルIs以内であるが、空Ｓの出力光はイメージセンサー３のサチレーションレベルIs以上である。しかし、イメージセンサー３のサチレーションレベルIs以上の信号はイメージセンサー３から出力されないため、図１９に示されるように、Is以上の空Ｓの出力光の信号レベルは一定値ＳＷＴになってしまう。
【００１０】
図２０は、背景の空の部分が白飛びする例を示す図である。
すなわち、上述の結果として出力される画像は、この図２０に示されるようになって、背景の空Ｓの部分は一定値ＳＷＴになるため、白飛びしてしまうのである。仮に、イメージセンサー３の出力が十分なダイナミックレンジがあった場合でも、後段のサンプルホールド回路（Ｓ／Ｈ）５、Ａ／Ｄ変換器６のダイナミックレンジが足りなければ同様の結果となる。
【００１１】
この白飛びを抑える方法としては、アイリス２により、イメージセンサー３への入力光をイメージセンサー３が飽和しないイメージセンサー３のサチレーションレベルIsにまで抑えてしまう他の方法がある。以下に、他の方法を説明する。
図２１は、他のレンズからアイリスまでの入出力光の特性図である。図２２は、他のイメージセンサーの入出力の特性図である。
この方法では、図２１、図２２に示すようにアイリス２からの出力光、イメージセンサー３からの出力光ともに、空部分Ｓの信号もイメージセンサー３のサチレーションレベルIsの空部分ＳＢＫに抑えて飽和せず階調を保つことができる。しかし、この場合は、人物部分ＰＢＫが必要な信号量を得られない。
【００１２】
このため、結果として、人物部分ＰＢＫが背景と区別できない程度に黒つぶれしてしまう。図２３は、この人物部分が黒つぶれする例を示したものである。
これを回避するために、一度信号をゲイン調整回路８でゲインを上げる処理をして、プリニー回路１０、ガンマ補正回路１１、ニー回路１３を利用して、出力画像のダイナミックレンジＤ内に圧縮する方法がある。
【００１３】
図２４は、ゲイン調整回路の入出力の特性図である。図２５は、プリニー回路、ガンマ補正回路、ニー回路から画像出力までの入出力の特性図である。
図２４、２５に示すように、ゲイン調整回路８の出力、最終的な画像出力ともに、人物部分ＰＮＡ及び空部分ＳＮＡとしてダイナミックレンジＤとしては目的の出力レベルを確保できる。しかし、この場合は信号量の小さな人物部分ＰＢＫ及び空部分ＳＢＫをゲインアップすることで出力レベルを補っている。
【００１４】
このため、人物部分ＰＮＡのノイズも増幅されＳ／Ｎの悪い画像になってしまうことになる。図２６は、人物部分のノイズが増幅される例を示した図である。
そこで、１フィールド期間中に露出の異なる複数枚の画像を取り込み、その露出の適切な部分のみを合成して１枚の画像を得ることにより、ダイナミックレンジの拡大を図る方法が提案されている（特許文献１参照）。
【００１５】
また、同様に露光時間の異なる複数の撮影画像を利用する方法（例えば、特許文献２参照）や、被写体を光量比が可変できる手段により分離して得た複数の画像信号のうち、最適な露出の部分のみを集めて一枚の画像を合成するという方法も提案されている（例えば、特許文献３参照）。さらに、光路分割部材を用いて光路を像の上半分と下半分に分けて各部分空間像の位置に撮像部を配置した画像分割光学系も提案されている（例えば、特許文献４参照）。
【特許文献１】特開平７−９５４８１号公報
【特許文献２】特開平７−１３１７９９号公報
【特許文献３】特開２００１−１３６４３４公報
【特許文献４】特開平９−１０１４７６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかし、特許文献１に記載の方法では、１フィールド間に複数枚の画像を取り込まなければならないので、撮像素子の高速な駆動が要求されるため、要求される多画素化には向かなかった。
また、特許文献２に記載の方法は、画像の取り込みに時間的なずれが生じるため、動体などの撮影が不可能であった。また、露光量を絞り等で変更する方法も開示されているが、異なる絞りの複数の画像を合成すると背景のぼけ具合の違いから正常な画像合成を行うことができなかった。
【００１７】
さらに、特許文献３に記載の方法は、ダイナミックレンジの拡大は図れるが、露出の不適当な部分の信号は捨てられてしまうため感度的に不利となる。そして、被写体により光量比を変化させるための光量制御が複雑になるため、動画撮影のようなリアルタイム性が要求される撮像装置には向かないものであった。
従って、いずれの方法でも撮像画像の画質が低下するという不都合が生じていた。また、特許文献４に記載の技術では、画像の解像度を上げることはできるが、ダイナミックレンジを上げることはできなかった。
【００１８】
本発明は、上記問題点に鑑みてなされたものであり、画像出力に必要なダイナミックレンジを確保するとともに、画質の低下も少なくし、更に光量の制御が簡単に行える動画撮影に適した画像撮像装置を提供することを目的とするものである。
【課題を解決するための手段】
【００１９】
上記課題を解決し、本発明の目的を達成するため、本発明の画像撮像装置は、被写体からの入力光を取り込む光学系と、光学系を介して入射された被写体光量を調整する光量調整部と、光量調整部により調整された入力光を複数に分光する分光部と、分光部により複数に分光された入力光をそれぞれ電気信号へ変換する複数の撮像部と、複数の撮像部により変換された複数の電気信号から画素信号を生成するための複数の第１の信号処理部と、複数の第１の信号処理部により複数に分配されて信号処理された複数の画素信号を混合する混合部と、混合部により混合された画素信号より出力画像として出力可能な画像信号を取り出す第２の信号処理部と、第２の信号処理部により取り出された画像信号を出力画像のダイナミックレンジ内に収めるための圧縮部と、を備えたものである。
【００２０】
また、本発明の撮像画像処理方法は、光学系を介して入射された被写体光量を調整するステップと、この光量が調整された入力光を複数に分光するステップと、この複数に分光された入力光をそれぞれ複数の電気信号へ変換するステップと、この変換された複数の電気信号から複数の画素信号を生成するための第１の信号処理を行うステップと、この第１の信号処理により複数に分配され信号処理された複数の画素信号を混合するステップと、この混合された画素信号より出力画像として出力可能な画像信号を取り出すための第２の信号処理を行うステップと、この第２の信号処理により取り出された画像信号を出力画像のダイナミックレンジ内に収めるために出力画像を圧縮するステップと、を含むものである。
【００２１】
上述した本発明の画像撮像装置及び撮像画像処理方法によれば、分光部（あるいは分光するステップ）により入力光を複数に分光して、複数に分配されて信号処理された複数の画素信号を混合部（あるいは混合するステップ）により混合して、圧縮部（あるいは圧縮するステップ）により画像信号を出力画像のダイナミックレンジ内に収めるようにしている。
【００２２】
これにより、例えば、ＣＣＤなどの撮像素子を使用した撮像装置に関して、広いダイナミックレンジを確保する上で一番ネックとなる、撮像素子自体のダイナミックレンジ、及びその後段のアナログデバイスのダイナミックレンジを、業務用撮像装置のように高価で特別な（例えば、電源電圧を高くしてダイナミックレンジを広く取るような）部品を使用したりすることなく、安価なイメージセンサーとアナログデバイスのみを使用して、ダイナミックレンジの拡大を実現することができる。
【発明の効果】
【００２３】
本発明によれば、分光部により入力光を複数に分光して、複数に分配されて信号処理された複数の画素信号を混合部により混合して、圧縮部により画像信号を出力画像のダイナミックレンジ内に収めることにより、画像出力に必要なダイナミックレンジを確保するとともに、撮像画像の画質を向上させることができるという効果を奏する。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、適宜、図面を参照しながら説明する。
図１は、本発明の実施の形態における撮像装置の構成を示すブロック図である。図１において、図１５に対応するものには、同一の符号を付してある。
図１において、レンズ１を介して入射された入射光は被写体光量として、アイリス２を介して、分光器２１へ入射される。分光器２１は入射光をおよそ半分に分光して、半分に分光された入射光の被写体光量はそれぞれ、３に示すイメージセンサーＡ、２０に示すイメージセンサーＢへ入力される。イメージセンサー３、２０はタイミング発生回路４で発生する、タイミングで駆動される。
【００２５】
イメージセンサー３、２０では、分光器２１より供給された入射光の被写体光量がそれぞれ２系統の電気信号に変換される。イメージセンサー３、２０の出力は、それぞれ別々の系統のサンプルホールド回路及びＡＧＣ回路５、２４に供給される。次に、２系統のサンプルホールド回路及びＡＧＣ回路５、２４の出力は、それぞれ別の系統のＡ／Ｄ変換器６、２５に供給され、ディジタル信号に変換される。２系統のＡ／Ｄ変換器６、２５のディジタル出力は、それぞれ別々の系統の画素信号のうちの黒レベルをクランプする黒クランプ回路７、２６へ供給される。
【００２６】
この２系統の黒クランプ回路７、２６で黒レベルをクランプされた出力は、それぞれ別々のリニアリティ調整回路２２、２７へ供給される。この２系統のリニアリティ調整回路２２、２７を使用してリニアリティを補正するとともに、２系統の調整データを記憶しておくための補正値記憶領域２４がマイクロコンピュータ１５に接続されている。これらのサンプルホールド回路及びＡＧＣ回路５、２４からヒュー（色合い）／ゲインマトリクス１８までの各信号処理、及び、アイリス２等における被写体光量の調整はコントロールバス１９を介してマイクロコンピュータ１５によって行われる。
【００２７】
次に、リニアリティ調整回路２２、２７の２系統の出力は、画素混合ブロック２３へ供給される。この画素混合ブロック２３で、２系統のそれぞれの画素信号を混合する。このとき画素混合ブロック２３のビット長は、２系統の信号Ａ、Ｂの最大レベルを足したレベルが十分通せるだけのビット長をもつものとする。また、分光器２１は、２系統のサンプルホールド回路及びＡＧＣ回路５、２４、Ａ／Ｄ変換器６、２５における信号処理のダイナミックレンジ内の光量となるように２系統に分光される。
【００２８】
次に、画素混合ブロック２３で画素混合された出力は、ゲイン調整回路８へ供給される。ゲイン調整回路８の出力は同時化回路９へ供給され、同時化回路９で各画素信号の出力タイミングを同時化処理することによりＲ信号、Ｇ信号、Ｂ信号へ変換される。なお、ここで、画素信号とは、Ｒ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号を同時に取り出す前に、順次処理される画素単位の信号である。このＲＧＢ信号は、ＡＥ、ＡＷＢ等の制御のための基準値を検波する検波回路１５と、後段の信号処理系の前処理のために信号レベルの圧縮処理を行うプリニー回路１０へ供給される。プリニー回路で前処理のためにレベルが圧縮された信号は、ガンマ補正回路１１へ供給され、出力画像の特性を補正するガンマ補正が施される。
【００２９】
ガンマ補正後の信号は、色差信号で表される色信号系を作るための低域通過処理を行うＬＰＦ１７へ供給される。低域通過処理後の信号は、ヒュー（色合い）／ゲインマトリクス１８においてヒュー（色合い）／ゲインのパラメータ調整により色差信号（Ｒ−Ｙ／Ｂ−Ｙ）へ変換され、画像信号として出力される。なお、ここで、画像信号とは、最終的に出力される画像の信号である。
一方、ＲＧＢ信号は、輝度変換マトリクス回路１２へも供給され、この出力は、ニー回路１３で信号レベルが圧縮処理された後に、ＬＰＦ１４へ供給され、低域通過処理後の信号は、輝度信号Ｙとして出力される。
【００３０】
図２は、撮像装置の動作を説明する図である。
図１で示した撮像装置における実際の動作を図２に基づいて説明する。この図は、図１で説明した本実施の形態の撮像装置におけるカメラ信号処理系のみを表すものである。図２に示すような撮像装置を使用して、従来技術として示した図１７と同様に、人物Ｐ及び空Ｓの画像を撮像した場合を例にとって説明する。図２において、レンズ１からニー回路１３までの出力をＳ１〜Ｓ１１として、それぞれの入出力を図３〜図１４の特性図における縦軸及び横軸の信号に対応させて図示している。なお、サンプルホールド回路及びＡＧＣ回路５、２４からリニアリティ調整回路２２、２７の２系統の出力はチャンネルＡ及びチャンネルＢとする。
【００３１】
図３は、レンズ１からアイリス２までの入出力光の特性図である。
図３に示すように、横軸に示す被写体からのレンズ１の入力光に対して、縦軸に示すアイリス２からの出力光が、アイリス２を通して、分光器２１へ入力される。ここで、人物Ｐの出力光はイメージセンサー３のサチレーションレベルIs以内であるが、空Ｓの出力光はイメージセンサー３のサチレーションレベルIs以上である。
【００３２】
図４は、分光器の入出力光の特性図であり、図４ＡはチャンネルＡ、図４ＢはチャンネルＢである。
分光器２１により、入力光は図４Ａ、Ｂのように、チャンネルＡとチャンネルＢへ１／２に分光されて出力される。図４Ａ、Ｂに示されるように、チャンネルＡとチャンネルＢとでそれぞれ光量が１／２となったことで、人物ＰＡ、ＰＢ及び空ＳＡ、ＰＢの出力光はいずれもイメージセンサーのサチレーションレベルＩｓ内に収めることができる。
【００３３】
図５は、イメージセンサーの入出力の特性図であり、図５ＡはチャンネルＡ、図５ＢはチャンネルＢである。
上述したように、チャンネルＡとチャンネルＢとでそれぞれ光量が１／２となったため、図５Ａ、Ｂに示すように、イメージセンサー３からの人物ＰＡ、ＰＢ及び空ＳＡ、ＰＢの出力レベルは、サンプルホールド回路（Ｓ／Ｈ）及びＡＧＣ回路５，２４の入力ダイナミックレンジIsの範囲内となるように欲しい領域の全信号レベルを取り出すことが可能となる。
【００３４】
ここで、イメージセンサー３の最大出力Ｉｓを考慮して、後段のサンプルホールド回路（Ｓ／Ｈ）及びＡＧＣ回路５，２４、Ａ／Ｄ変換器６，２５、などの画素混合処理前の信号処理系を選択しておけば、つまりチャンネルＡとチャンネルＢの回路としてそれぞれを設定しておけば、イメージセンサー３よりの出力は、そのままのダイナミックレンジを保持したまま画素混合ブロック２３の入力段へ入力されることになる。
【００３５】
図６は、画素混合ブロックの入出力の特性図である。
画素混合ブロック２３へ入力されたチャンネルＡとチャンネルＢの人物ＰＡとＰＢ及び空ＳＡとＰＢの出力信号は、画素混合ブロック２３にて加算され、図６に示すような人物Ｐ及び空Ｓの出力を得る。
【００３６】
ここで、画素混合ブロック２３への入力のチャンネルＡとチャンネルＢの人物ＰＡとＰＢ及び空ＳＡとＰＢのダイナミックレンジIsに対して、画素混合ブロック２３からの出力である信号処理系の入力ダイナミックレンジＧＭｏは２倍となる。なお、画素混合ブロック２３以降の信号処理系では、ダイナミックレンジＧＭｏはＩｓの２倍の信号量を十分通せるビット長を確保するものとする。
【００３７】
画素混合ブロック２３よりの出力は、プリニー回路１０へ入力される。プリニー回路１０では、その後段においてビット長が足りない場合には、あらかじめここで高域部分を圧縮しておく。後段の信号処理のビット長が十分な場合にはここで圧縮せず、そのままの信号をガンマ補正回路１１へ入力してもよい。ここでは、後段のビット長が十分あるものとしてプリニー回路１０による圧縮処理を省略する。
【００３８】
図７は、γ回路（ガンマ補正回路）の入出力の特性図である。
画素混合ブロック２３の出力はそのままガンマ補正回路１１へ入力され、図７に示すようなガンマ補正後の出力が得られる。ここで、ガンマ補正回路１１の出力最大値γｏは、最終出力画像のダイナミックレンジＳｏよりも大きく、このままでは空Ｓ部分の信号が切れてしまうことになる。
【００３９】
図８は、ニー回路の入出力の特性図である。図９は、ニー回路から画像出力までの入出力の特性図である。
このため、ニー回路１３で図８に示すようなニー特性によって、ニー回路出力を最終出力画像のダイナミックレンジＳｏ内に収まるように圧縮する。
これにより、最終的に図９に示すような空Ｓ`部分の信号を最終出力画像のダイナミックレンジＳｏ内に収めるように圧縮した画像出力を得る。
【００４０】
この方法を用いれば、チャンネルＡとチャンネルＢの画素を混合して必要な信号レベルを得ているので、Ｓ／Ｎの低下を抑え、しかも、ダイナミックレンジを２倍にすることができる。また、アナログデバイスでのダイナミックレンジ拡大は小型化、消費電力等の問題などで非常に難しいが、本実施の形態の方法では、消費電力の増大を必要とせず、比較的容易なディジタル信号処理のビット長の確保のみで実現することが可能となる。
【００４１】
上記の例で説明した場合は、分光器２１、イメージセンサー３，２０、サンプルホールド回路及びＡＧＣ回路５、２４、Ａ／Ｄ変換器６、２５の特性が理想的な場合について説明したが、実際には分光器２１の特性ばらつき、イメージセンサー３，２０、サンプルホールド回路及びＡＧＣ回路５、２４、Ａ／Ｄ変換器６、２５による、感度や処理の特性の直線性を示すリニアリティのバラツキが発生する。
【００４２】
以下に、それらニアリティのバラツキに対する補正に関して説明する。
図１０は、分光器の特性のバラツキを示す図である。図１１は、イメージセンサーのバラツキを示す図である。
図１０に示すように、チャンネルＡ、チャンネルＢ間で実線から点線までの分光器２１の特性バラツキによって、分光器２１よりの出力はレベル差が生じる。この分光器２１からの出力がイメージセンサー３，２０へ入力されると、イメージセンサー３，２０の出力には、これに対して実線から点線までのイメージセンサー３，２０による感度差、リニアリティのバラツキが付加されるため、図１１に示すようにバラツキが増大する。
【００４３】
イメージセンサー３，２０の出力のレベル差、黒レベルの差をサンプルホールド（Ｓ／Ｈ）及びＡＧＣ５によりレベル調整後に、黒クランプ回路７、２６により起点を合わせるようにして両者の差分を引く補正をし、チャンネルＡ、チャンネルＢ間のレベル差を補正する。
【００４４】
図１２は、サンプルホールド（Ｓ／Ｈ）から黒クランプ回路によるレベル差の補正を示す図である。
この補正によって、図１２の細い実線と点線で示されるチャンネルＡ、チャンネルＢにおけるサンプルホールド（Ｓ／Ｈ）から黒クランプ回路によるレベル差が、太い実線及び点線で示されるように変更されるため、チャンネルＡ、チャンネルＢ間のバラツキが改善される。
しかし、このままでは、まだチャンネルＡ、チャンネルＢ間でリニアリティに差があり、階調特性、Ｓ／Ｎの劣化につながるため、リニアリティ調整回路２２，２７にて、チャンネルＡ、チャンネルＢのリニアリティを補正する。
【００４５】
図１３は、理想直線と実際の入出力の差分を示す図である。
図１３に示すように、リニアリティ調整回路２２，２７では、理想的な入出力特性になるように、理想直線と実際の入出力信号の差分をあらかじめ測定し、マイクロコンピュータ１５によって、補正値記憶領域２４に補正値を記憶させておく。
【００４６】
これにより、補正値をもとにリニアリティ調整回路２２，２７にて補正値との差分を引く補正を行い、チャンネルＡ、チャンネルＢ間でリニアリティのとれた出力が得られる。図１４は、このリニアリティ調整回路により入出力を補正した結果を示す図である。
【００４７】
なお、チャンネルＡ、チャンネルＢ間でリニアリティの差がそれほど大きくないときは、一方側のリニアリティのみを補正して、他方のリニアリティと合わせることで整合性をとってもよい。
これをもとに、前述のように画素混合、信号処理系による信号レベルの圧縮を行うことで、感度を損なうことなく、Ｓ／Ｎの悪化も最小限に抑え、さらにダイナミックレンジの拡大を実現することが可能となる。
【００４８】
本実施の形態によれば、業務用撮像装置のように、高価な部品を使用したりすることなく、安価な撮像素子、及び、イメージセンサーの出力をＡ／Ｄ変換してディジタル信号にするまでのアナログ信号処理部分に、ダイナミックレンジを大きく取れるような特別な部品（例えば、電源電圧レベルを高くしたような）を使用しなくてもダイナミックレンジの拡大を実現でき、そのために、著しいＳ／Ｎの劣化等の問題もない画像撮像装置を提供できる。電源電圧を上げる必要がないので、電源の削減にもつながり、トータルでのパワー削減にもつながる。
【００４９】
また、通常は、２系統の信号系間のバラツキを抑えるために、デバイスのペアリングを行ったり、また、ハイスペックな部品を要求されるが、本実施の形態においては、分光器のばらつき、イメージセンサーのばらつき、及び、アナログデバイスのばらつきに関する補正処理も同時に行っているため、上記のような制約を軽減することが可能である。上述した例では、分光器により２系統に光及び信号を分配する例を示したが、２系統に限らず、信号処理系のダイナミックレンジの範囲内に収めるために、３系統、４系統に分配してもよい。
【００５０】
上述した本実施の形態に限らず、本発明の特許請求の範囲内であれば、適宜、その構成を変更しうることはいうまでもない。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施による撮像装置の構成を示すブロック図である。
【図２】撮像装置の動作を説明する図である。
【図３】レンズからアイリスまでの入出力光の特性図である。
【図４】分光器の入出力光の特性図であり、図４ＡはチャンネルＡ、図４ＢはチャンネルＢである。
【図５】イメージセンサーの入出力の特性図であり、図５ＡはチャンネルＡ、図５ＢはチャンネルＢである。
【図６】画素混合ブロックの入出力の特性図である。
【図７】γ回路の入出力の特性図である。
【図８】ニー回路の入出力の特性図である。
【図９】ニー回路から画像出力までの入出力の特性図である。
【図１０】分光器の特性のバラツキを示す図である。
【図１１】イメージセンサーのバラツキを示す図である。
【図１２】サンプルホールド（Ｓ／Ｈ）から黒クランプ回路によるレベル差の補正を示す図である。
【図１３】理想直線と実際の入出力の差分を示す図である。
【図１４】リニアリティ調整回路による入出力の補正を示す図である。
【図１５】従来の撮像装置の構成を示すブロック図である。
【図１６】従来の撮像装置の動作を説明する図である。
【図１７】撮像画像の例を示す図である。
【図１８】レンズからアイリスまでの入出力光の特性図である。
【図１９】イメージセンサーの入出力の特性図である。
【図２０】背景の空の部分が白飛びする例を示す図である。
【図２１】他のレンズからアイリスまでの入出力光の特性図である。
【図２２】他のイメージセンサーの入出力の特性図である。
【図２３】人物部分が黒つぶれする例を示す図である。
【図２４】ゲイン調整回路の入出力の特性図である。
【図２５】プリニー回路、γ回路、ニー回路から画像出力までの入出力の特性図である。
【図２６】人物部分のノイズが増幅される例を示す図である。
【符号の説明】
【００５２】
１…レンズ、２…アイリス、３…イメージセンサー、４…タイミング発生回路、５…サンプルホールド回路及びＡＧＣ回路、６…Ａ／Ｄ変換器、７…黒クランプ回路、８…ゲイン調整回路、９…同時化回路、１０…プリニー回路、１１…ガンマ補正回路，１２…輝度変換マトリクス、１３…ニー回路、１４…ＬＰＦ、１５…マイクロコンピュータ、１６…検波回路、１７…ＬＰＦ、１８…ヒュー（色合い）／ゲインマトリクス、１９…コントロールバス、２０…イメージセンサー、２１…分光器、２２…リニアリティ調整回路、２３…画素混合ブロック、２４…サンプルホールド回路及びＡＧＣ回路、２５…Ａ／Ｄ変換器，２６…黒クランプ回路、２７…リニアリティ調整回路、２８…補正値記憶領域
【図１】
2007124533.tif 000003
【図２】
2007124533.tif 000004
【図３】
2007124533.tif 000005
【図４】
2007124533.tif 000006
【図５】
2007124533.tif 000007
【図６】
2007124533.tif 000008
【図７】
2007124533.tif 000009
【図８】
2007124533.tif 000010
【図９】
2007124533.tif 000011
【図１０】
2007124533.tif 000012
【図１１】
2007124533.tif 000013
【図１２】
2007124533.tif 000014
【図１３】
2007124533.tif 000015
【図１４】
2007124533.tif 000016
【図１５】
2007124533.tif 000017
【図１６】
2007124533.tif 000018
【図１７】
2007124533.tif 000019
【図１８】
2007124533.tif 000020
【図１９】
2007124533.tif 000021
【図２０】
2007124533.tif 000022
【図２１】
2007124533.tif 000023
【図２２】
2007124533.tif 000024
【図２３】
2007124533.tif 000025
【図２４】
2007124533.tif 000026
【図２５】
2007124533.tif 000027
【図２６】
2007124533.tif 000028