(57)【要約】【課題】左右２画面表示において、左右独立にデジタル処理でゲイン制御を行うと、暗い側の画像をゲインアップした際に粗い画像になることが懸念される。【解決手段】広角歪み補正カメラシステム１０において、ＣＭＯＳセンサ１１に対して行列状配置の各画素を列ごとに順に走査選択しつつ選択列の各画素の信号を行信号線１１４を通して出力する駆動を行うことで、信号処理上において、ＣＭＯＳセンサ１１の撮像領域を列選択方向で２つの領域に分割する一方、２つの分割領域ごとに輝度情報をカメラ信号処理回路１３で検出し、その検出結果に基づいて２つの分割領域ごとに各領域の信号レベルを制御することで、各分割領域の撮像結果に基づく表示画面の明るさをそれぞれ最適な明るさに調整する。また、垂直水平変換＆歪み補正回路１４において、垂直走査の信号を水平走査の信号に変換する。【選択図】図１
2007166351.tif 000002
【特許請求の範囲】
【請求項１】
光電変換素子を含む画素が行列状に２次元配置されてなり、当該行列状配置の各画素を列ごとに順に走査選択しつつ選択列の各画素の信号を行ごとに配線された信号線を通して出力する固体撮像素子と、
前記固体撮像素子の列選択方向における複数の領域ごとに輝度情報を検出する複数の検出手段と、
前記複数の検出手段の検出結果に基づいて、前記複数の領域ごとに各領域の信号レベルを制御する制御手段と、
前記固体撮像素子から出力される画像信号の走査方向を標準のテレビジョン信号に対応した走査方向に変換する変換手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記複数の領域ごとにシャッタスピードを制御する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記固体撮像素子は、前記信号線を通して各画素から出力される信号を増幅する出力アンプを有し、
前記制御手段は、前記複数の領域ごとに前記出力アンプのゲインを制御する
ことを特徴とする請求項１記載の撮像装置。
【請求項４】
光電変換素子を含む画素が行列状に２次元配置されてなる固体撮像素子を用いた撮像装置の撮像方法であって、
前記固体撮像素子に対して行列状配置の各画素を列ごとに順に走査選択しつつ選択列の各画素の信号を行ごとに配線された信号線を通して出力する駆動を行う一方、
前記固体撮像素子の列選択方向における複数の領域ごとに輝度情報を検出し、その検出結果に基づいて前記複数の領域ごとに各領域の信号レベルを制御するとともに、前記固体撮像素子から出力される画像信号の走査方向を標準のテレビジョン信号に対応した走査方向に変換する
ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法に関し、特にカメラシステム等の撮像装置およびその撮像方法に関する。
【背景技術】
【０００２】
カメラシステム等の撮像装置、例えばブラインドコーナーカメラシステム等の車載カメラシステムでは、反射鏡やプリズムレンズ、あるいは魚眼レンズ等を含む光学系を介して入射する像光を１つの撮像素子で受光し、当該撮像素子による撮像画像をカメラ信号処理によって左右方向にて２分割し、この左右２分割して得た２つの画像を１台のディスプレイ上に表示するようにしている。
【０００３】
このように、２分割画像表示を行うカメラシステムにおいて、左右それぞれの領域における画面全体の輝度レベルの差が大きくなるときは、左右どちらか一方の画面の輝度レベルに合わせざるを得ない。そうすると、他方の画面の明るさが飽和して映像が見づらくなったり、逆に明るさが足りずに暗い映像となったりするという現象が起こる。
【０００４】
そのため、従来は、撮像素子の後段のデジタル信号処理回路において、左右２画面の画像に対してデジタル的にゲイン制御を行うことで、左右２画面の輝度レベルの差を調整するようにしていた（例えば、特許文献１参照）。
【０００５】
【特許文献１】特開２００２−３３０３３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、左右独立にデジタル処理でゲイン制御を行う上記従来技術では、デジタルの量子化精度の問題から、暗い側の画像をゲインアップした際に粗い画像になることが懸念される。
【０００７】
そこで、本発明は、デジタル処理でゲイン制御を行うのではなく、ゲイン制御をアナログ処理で左右独立に行うことで、左右２画面の明るさをそれぞれ最適な明るさに調整可能な撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明では、光電変換素子を含む画素が行列状に２次元配置されてなる固体撮像素子を用いた撮像装置において、固体撮像素子に対して行列状配置の各画素を列ごとに順に走査選択しつつ選択列の各画素の信号を行ごとに配線された信号線を通して出力する駆動を行う一方、前記固体撮像素子の列選択方向における複数の領域ごとに輝度情報を検出し、その検出結果に基づいて前記複数の領域ごとに各領域の信号レベルを制御するとともに、前記固体撮像素子から出力される画像信号の走査方向を標準のテレビジョン信号に対応した走査方向に変換する構成を採っている。
【０００９】
上記構成の撮像装置において、固体撮像素子に対して行列状配置の各画素を列ごとに順に走査選択しつつ選択列の各画素の信号を行ごとに配線された信号線を通して出力する駆動を行うことで、信号処理上において、固体撮像素子の撮像領域を列選択方向（即ち、左右方向）で複数の領域に分割することが可能になる。そして、複数の領域ごとに各領域の信号レベルを制御することで、各領域の撮像結果に基づく表示画面の明るさをそれぞれ最適な明るさに調整できる。固体撮像素子から出力される画像信号については、その走査方向を標準のテレビジョン信号に対応した走査方向に変換することで、固体撮像素子において垂直方向の走査によって得た撮像画像を通常の表示装置で表示できる。
【発明の効果】
【００１０】
本発明によれば、固体撮像素子において各領域のゲイン制御をアナログ処理で行うことができるために、デジタル処理で行う場合のような不具合を生じることなく、左右２画面の明るさをそれぞれ最適な明るさに調整することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１２】
図１は、本発明の一実施形態に係る撮像装置の構成の概略を示すブロック図である。ここでは、撮像装置として広角歪み補正カメラシステムの場合を例に挙げ、当該広角歪み補正カメラシステムにおける左右２分割ズーム機能について説明する。ここに、左右２分割ズームとは、１台のカメラにおいて魚眼レンズを搭載した撮像素子によって撮像した画像の左右端のみを信号処理によってズーム表示することを言う。
【００１３】
図１に示すように、本実施形態に係る広角歪み補正カメラシステム１０は、撮像素子１１、センサ駆動回路１２、カメラ信号処理回路１３、垂直水平変換＆歪み補正回路１４、ＮＴＳＣ変換回路１５および表示装置１６を有する構成となっている。
【００１４】
この広角歪み補正カメラシステム１０では、魚眼レンズ１７を搭載することで、１つの撮像素子１１で上下左右１８０度方向の画像を撮影することができる。そして、その撮像画像において、左右方向の画像を切り出し、その歪み補正を行うことにより、車載用カメラシステム、例えばブラインドコーナーカメラシステムと同様の機能を実現することができる。
【００１５】
撮像素子１１は、画素ごとに独立に信号の読み出しが可能であるとともに、いわゆるランダムシャッタと呼ばれるラインごと、画素ごとに独立したシャッタ制御が可能なＸ−Ｙアドレス型固体撮像素子、例えばＣＭＯＳセンサである（以下、「ＣＭＯＳセンサ１１」と記す）。センサ駆動回路１２は、各種タイミング信号を発生するタイミングジェネレータ等によって構成され、当該タイミングジェネレータで発生される各種タイミング信号に基づいてＣＭＯＳセンサ１１を駆動する。
【００１６】
（ＣＭＯＳセンサ）
図２は、ＣＭＯＳセンサ１１の構成の一例を示す概略構成図である。図２において、光電変換素子を含む画素１１１が行列状に２次元配置されて画素アレイ部１１２を構成している。画素１１１は、光電変換素子の他に、１個または複数個のトランジスタを有することになるが、ここでは、画素１１１の回路構成は問わないものとする。したがって、画素回路の詳細な説明は省略する。
【００１７】
この画素アレイ部１１２の行列状の画素配置に対して、列ごとに１本または複数本の画素駆動線１１３が配線されて各画素１１１に接続され、行ごとに行信号線１１４が配線されて各画素１１１に接続されている。画素駆動線１１３の各一端は、列選択回路１１５の各列に対応する出力端にそれぞれ接続されている。
【００１８】
列選択回路１１５は、シフトレジスタやアドレスデコーダ等によって構成され、画素駆動線１１３を介して画素アレイ部１１２の各画素１１１を列単位で順に選択走査する。すなわち、列選択回路１１５は、画素アレイ部１１２を垂直方向に走査することによって各画素１１１を列単位で選択する。
【００１９】
ここでは、図示を省略するが、列選択回路１１５は、画素１１１を列単位で順に選択して当該選択列の各画素１１１の信号を読み出す読み出し動作を行うための読み出し走査系と、当該読み出し走査系による読み出し走査よりもシャッタ速度に対応した時間分だけ前に同じ列の画素１１１の光電変換素子にそれまでに蓄積された電荷を捨てる（リセットする）電子シャッタ動作を行うための電子シャッタ走査系とを有する構成となっている。
【００２０】
画素１１１における信号電荷の蓄積時間（露光時間）は、読み出し走査系による読み出し走査の間隔を何列にするかによって決まる。但し、読み出し走査系による読み出し走査の後に電子シャッタ走査系によるシャッタ走査によって光電変換素子の不要な電荷がリセットされた場合には、そのタイミングから、読み出し走査系による次の読み出し走査によって画素１１１の信号が読み出されるタイミングまでの期間が、画素１１１における信号電荷の蓄積時間となる。すなわち、電子シャッタ動作とは、光電変換素子に蓄積された信号電荷をリセットし、新たに信号電荷の蓄積を開始する動作である。
【００２１】
列選択回路１１５によって各列が順に選択されることで、選択列の各画素から行信号線１１４に信号が出力される。この信号は行信号線１１４を介して行信号処理回路１１６に供給される。行信号処理回路１１６は、行信号線１１４を通して各列の画素１１１から供給される信号を画素行ごとに受けて、その信号に対して画素固有の固定パターンノイズを除去するためのＣＤＳ(Correlated Double Sampling;相関二重サンプリング)等の信号処理を行うとともに、処理後の信号を一時的に保持する。
【００２２】
行信号処理回路１１６の各行の出力端と信号出力線１１７との間には、列選択スイッチ１１８がそれぞれ接続されている。行選択回路１１９は、シフトレジスタやアドレスデコーダ等によって構成され、列選択スイッチ１１８を選択駆動する。この行選択回路１１９による選択駆動によって列選択スイッチ１１８がオン（閉）状態になると、行信号処理回路１１６に行単位で一時的に保持されていた信号が、列選択スイッチ１１８を介して信号出力線１１７に出力され、さらに出力アンプ１２０を介してセンサ外部へ出力される。
【００２３】
ところで、一般的に、ＣＭＯＳセンサに代表される固体撮像素子は、行列状配置の各画素１１１を行単位で順に走査選択しつつ選択行の各画素の信号を列ごとに配線された列信号線を介して出力する構成となっている。これに対して、本例に係るＣＭＯＳセンサ１１は、上述した構成の説明から明らかなように、行列状配置の各画素１１を列単位で順に走査選択しつつ選択列の各画素の信号を行ごとに配線された行信号線１１４を介して出力する構成を採っている。
【００２４】
かかる構成を採ることにより、本例に係るＣＭＯＳセンサ１１では、信号処理上において、画素アレイ部１１２の領域である撮像領域を列選択方向（水平方向／左右方向）で複数の領域に分割することが可能になる。ここでは、本広角歪み補正カメラシステム１０が左右２分割ズーム機能を持つことから、撮像領域を左右２分割するものとする。
【００２５】
このように、ＣＭＯＳセンサ１１の撮像領域を左右２分割する場合において、本実施形態では、分割領域ごとに例えば電子シャッタのシャッタスピードを制御することにより、分割領域ごとに露光時間を設定できるようにすることを特徴とする。シャッタスピードの制御の詳細については後述する。
【００２６】
（カメラ信号処理回路）
図３は、カメラ信号処理回路１３の構成の一例を示すブロック図である。図３に示すように、カメラ信号処理回路１３は、Ａ／Ｄ変換部１３１、信号処理部１３２、輝度検波部１３３，１３４およびマイコン（マイクロコンピュータ）１３５を有し、ＣＭＯＳセンサ１１から出力されるアナログ信号をＡ／Ｄ変換部１３１でデジタル信号に変換し、デジタル的に信号処理を行う構成となっている。
【００２７】
信号処理部１３２は、ＣＭＯＳセンサ１１からの撮像信号に対して原色分離、ホワイトバランス、ガンマ補正などの信号処理を行う。輝度検波部１３３，１３４は、左右２分割された各分割領域に対応して設けられており、分割領域ごとにある一定期間の輝度信号成分を積分（検波）することにより、分割領域ごとの輝度（明るさ）に応じた輝度情報（明るさ情報）を得てマイコン１３５に与える。
【００２８】
（シャッタスピードの設定）
マイコン１３５は、特許請求の範囲における制御手段に相当し、ＣＭＯＳセンサ１１の分割領域ごとの露光制御を始め、システム全体の制御を行う。露光制御では、輝度検波部１３３，１３４から与えられる分割領域ごとの輝度情報に応じて、電子シャッタ動作時のシャッタスピードを決めるシャッタスピード制御量を設定する制御がセンサ駆動回路１２内のタイミングジェネレータに対して行われる。すると、タイミングジェネレータは、マイコン１３５の制御に応じたタイミングで、列選択回路１１５内の電子シャッタ走査系を駆動制御することで、２つの分割領域ごとに異なるシャッタスピードを設定する。
【００２９】
図４は、分割領域ごとに異なるシャッタスピードを設定する場合の概念図である。ここでは、列選択回路１１５によって選択走査される走査線（列）の数をＮとする。そして、シャッタスピード設定値１で決まるシャッタスピードで撮像領域の左側から列ごとに順に走査を開始し、走査線数がＮ／２となったところで、シャッタスピード設定値２で決まるシャッタスピードに切り替える。
【００３０】
このように、２つの分割領域ごとにシャッタスピードを切り替えることで、分割領域ごとに露光時間（信号電荷の蓄積時間）を異ならせることができる。分割領域ごとに露光時間が異なると、分割領域ごとに画素１１１の信号レベル、即ち輝度レベルが異なることになる。すなわち、シャッタスピードが長くなると、画素１１１の受光量が多くなるために輝度レベルが上がり、逆に、シャッタスピードが短くなると、画素１１１の受光量が少なくなるために輝度レベルが下がる。
【００３１】
したがって、マイコン１３５による制御の下に、輝度検波部１３３，１３４で検出した分割領域ごとの輝度情報を基に、２つの分割領域ごとにシャッタスピードを制御することで、左右２画面の明るさをそれぞれ最適な明るさに調整できることになる。これにより、左右２画面表示において、左右２画像の明るさが揃った違和感のない表示できることになる。
【００３２】
（垂直水平変換＆歪み補正回路）
垂直水平変換＆歪み補正回路１４は、カメラ信号処理回路１３を経た映像信号、即ちＣＭＯＳセンサ１１において、列選択回路１１５による垂直方向の走査によって得られた映像信号を、標準のテレビジョン信号に対応した走査方向、即ち水平方向の走査によって得られた映像信号に変換する処理を行い、同時に歪み補正処理、さらに左右２分割のズーム処理（解像度変換処理）を行う。
【００３３】
歪み補正処理および左右２分割のズーム処理については周知の手法を用いることで実現できる。ここでは、歪み補正やズーム処理を含む垂直水平変換＆歪み補正回路１４の説明は省略し、単純なフレームメモリの書き込み／読み出しの制御のみで垂直水平変換を行う垂直水平変換回路１４Ａについて述べる。
【００３４】
図５は、垂直水平変換回路１４Ａの構成の一例を示すブロック図である。図５に示すように、本例に係る垂直水平変換回路１４Ａは、タイミングコントローラ１４１、書き込みアドレス生成部１４２、読み出しアドレス生成部１４３および２つのフレームメモリ１４４，１４５を有する構成となっている。
【００３５】
書き込みアドレス生成部１４２は、タイミングコントローラ１４１による制御の下に書き込みアドレスを生成し、当該書き込みアドレスによって垂直方向の走査による画像データを順次フレームメモリ１４４／１４５に書き込む。また、読み出しアドレス生成部１４３は、タイミングコントローラ１４１による制御の下に読み出しアドレスを生成し、当該読み出しアドレスによって水平方向の走査による画像データを順次フレームメモリ１４４／１４５から順次出力する。
【００３６】
タイミングコントローラ１４１は、１フレームごとに２つのフレームメモリ１４４，１４５を制御し、フレームメモリ１４４，１４５に対する書き込み／読み出しを交互に制御し、画像データが書き込まれていない方のフレームメモリ１４４／１４５から水平方向の走査による画像データを読み出す。
【００３７】
この垂直水平変換回路１４Ａにおける垂直水平変換処理について、図６を用いて説明する。ここでは、入力画像として水平Ｍ画素×垂直Ｎ画素の画像を、出力画像として水平Ｋ画素×垂直Ｌ画素（Ｋ＜Ｍ，Ｌ＜Ｎ）の画像を考える。
【００３８】
先ず、フレームメモリ１４４／１４５に対して垂直方向にＭライン（Ｍ列）のデータを線順次で書き込み、Ｍ×Ｎ画素分のデータをフレームメモリ１４４／１４５に格納する。書き込んだ画像データについては、次のフレームで読み出し処理を行う。その際は、フレームメモリ１４４／１４５からの画像データの読み出し方向を、書き込み時の垂直方向から水平方向に変更し、Ｌライン分のデータを線順次で読み出し、Ｋ×Ｌ画素分の出力画像を得る。
【００３９】
ここで、一例として、入力段（ＣＭＯＳセンサ１１）を１３０万画素と考えれば、有効画素領域は一般的に１２８０×９６０である。そして、出力段（表示装置１６）のグラフィックス表示規格をＶＧＡと考えれば、６４０×４８０となる。
【００４０】
また、ここでは、単純な画像の切り出しのみを考えているが、垂直水平変換を行う際に解像度変換の処理を行うことで拡大縮小の処理を同時に行うことが可能であり、また歪み補正処理についても同様である。
【００４１】
図７に、画像変換フローを示す。図７において、各画像（Ａ）〜（Ｄ）は図１におけるＣＭＯＳセンサ１１、カメラ信号処理回路１３、垂直水平変換＆歪み補正回路１４およびＮＴＳＣ変換回路１５の各出力画像（Ａ）〜（Ｄ）にそれぞれ対応している。図７に実線の矢印で示すように、ＣＭＯＳセンサ１１、カメラ信号処理回路１３の各画像（Ａ），（Ｂ）の走査方向は垂直方向となり、垂直水平変換＆歪み補正回路１４、ＮＴＳＣ変換回路１５の各画像（Ｃ），（Ｄ）の走査方向は水平方向となる。
【００４２】
図１に説明を戻す。ＮＴＳＣ変換回路１５は、垂直水平変換＆歪み補正回路１４で垂直水平変換処理、歪み補正処理、さらに左右２分割のズーム処理が行われた映像信号を、ＮＴＳＣ方式のテレビジョン信号に変換して表示装置１６に供給する。表示装置１６は、例えば液晶ディスプレイであり、ＮＴＳＣ変換回路１５から供給されるテレビジョン信号に基づいて、１つのＣＭＯＳセンサ１１による撮像画像を分割して得られる左右２分割画像をズーム表示する。
【００４３】
上述したように、広角歪み補正カメラシステム１０において、ＣＭＯＳセンサ１１に対して行列状配置の各画素１１１を列ごとに順に走査選択しつつ選択列の各画素１１１の信号を行信号線１１４を通して出力する駆動を行うことで、信号処理上において、ＣＭＯＳセンサ１１の撮像領域（画素アレイ部１１２の領域）を列選択方向（即ち、水平方向／左右方向）で複数の領域（本例では、２つの領域）に分割することが可能になる。
【００４４】
そして、２つの分割領域ごとに輝度情報を２つの輝度検波部１３３，１３４で検出し、その検出結果に基づいて２つの分割領域ごとに各領域の信号レベルを制御することで、各分割領域の撮像結果に基づく表示画面の明るさをそれぞれ最適な明るさに調整できる。すなわち、各分割領域のゲイン制御をＣＭＯＳセンサ１１内においてアナログ処理で行うことができる。したがって、デジタル処理で行う従来技術の場合のような不具合を生じることなく、左右２画面の明るさをそれぞれ最適な明るさに調整することができる。
【００４５】
ＣＭＯＳセンサ１１から出力される画像信号については、その走査方向を垂直水平変換＆歪み補正回路１４で標準のテレビジョン信号に対応した走査方向、即ち水平方向の走査によって得られた映像信号に変換する処理を行うとともに、歪み補正処理および左右２分割のズーム処理を行うことで、ＣＭＯＳセンサ１１において垂直方向の走査によって得た撮像画像を通常の表示装置１６で表示できる。その結果、左右２画像の明るさが揃った違和感のない２画面画像を表示できることになる。
【００４６】
なお、上記実施形態では、魚眼レンズ１７を用いた広角歪み補正カメラシステム１０に適用した場合を例に挙げて説明したが、本発明はこの適用例に限られるものではなく、魚眼レンズ１７に代えて反射鏡やプリズムレンズを用いたカメラシステムにも同様に適用可能である。
【００４７】
また、上記実施形態では、ＣＭＯＳセンサ１１の撮像領域、即ち画素アレイ部１１２の領域を信号処理上において列選択方向にて２分割し、分割領域ごとに各領域の信号レベルを制御するとしたが、分割数は２に限られるものではない。
【図面の簡単な説明】
【００４８】
【図１】本発明の一実施形態に係る撮像装置の構成の概略を示すブロック図である。
【図２】ＣＭＯＳセンサの構成の一例を示す概略構成図である。
【図３】カメラ信号処理回路の構成の一例を示すブロック図である。
【図４】分割領域ごとに異なるシャッタスピードを設定する場合の概念図である。
【図５】垂直水平変換回路の構成の一例を示すブロック図である。
【図６】垂直水平変換処理の説明図である。
【図７】画像変換フローを示す図である。
【符号の説明】
【００４９】
１０…広角歪み補正カメラシステム、１１…ＣＭＯＳセンサ（撮像素子）、１２…センサ駆動回路、１３…カメラ信号処理回路、１４…垂直水平変換＆歪み補正回路、１４Ａ…垂直水平変換回路、１５…ＮＴＳＣ変換回路、１６…表示装置、１７…魚眼レンズ、１３１…Ａ／Ｄ変換部、１３２…信号処理部、１３３，１３４…輝度検波部、１３５…マイコン、１４１…タイミングコントローラ、１４２…書き込みアドレス生成部、１４３…読み出しアドレス生成部、１４４，１４５…フレームメモリ
【図１】
2007166351.tif 000003
【図２】
2007166351.tif 000004
【図３】
2007166351.tif 000005
【図４】
2007166351.tif 000006
【図５】
2007166351.tif 000007
【図６】
2007166351.tif 000008
【図７】
2007166351.tif 000009