(57)【要約】【課題】広いダイナミックレンジが必要な撮像装置において、解像度を低下させることなくダイナミックレンジの広げることを目的とする。【解決手段】撮像部１により異なる電荷蓄積時間で取得された映像信号を、Ｌ／Ｓ分離部３でｌｏｎｇ信号とｓｈｏｒｔ信号に分離する。乗算部６によりｓｈｏｒｔ信号のゲイン調整をして生成した修正ｓｈｏｒｔ信号を、補間部７により補間ｌｏｎｇ信号に変換する。ｌｏｎｇ信号と補間ｌｏｎｇ信号とを選択部８で選択し、修正ｌｏｎｇ信号とする。修正ｓｈｏｒｔ信号と修正ｌｏｎｇ信号とを、Ｌ／Ｓ合成部９により合成することで映像信号を取得する。【選択図】図１
2008277875.tif 000002
【特許請求の範囲】
【請求項１】
１画素毎に異なる電荷蓄積時間を設定することができる複数の画素により構成される撮像素子であって、前記画素から構成され第１電荷蓄積時間で電荷を蓄積する第１画素群と、前記画素から構成され前記第１電荷蓄積時間より長い時間である第２電荷蓄積時間で電荷を蓄積する第２画素群とを含む撮像素子を有し、被写体からの光を電気信号に変換することで映像信号を取得する撮像部と、
前記第１電荷蓄積時間および前記第２電荷蓄積時間を設定する電荷蓄積時間設定部と、
前記第１電荷蓄積時間および前記第２電荷蓄積時間に基づいて前記撮像部を駆動する駆動部と、
前記撮像部から出力される前記映像信号を、前記第１電荷蓄積時間により取得された前記映像信号であるｓｈｏｒｔ信号と、前記第２電荷蓄積時間により取得された前記映像信号であるｌｏｎｇ信号とに分離するＬ／Ｓ分離部と、
前記ｌｏｎｇ信号の信号レベルを検出する飽和検出部と、
前記第１電荷蓄積時間と前記第２電荷蓄積時間とに基づいて、前記ｓｈｏｒｔ信号の信号レベルを前記ｌｏｎｇ信号の信号レベルに補正するための補正値を算出する補正値算出部と、
前記補正値算出部により算出された前記補正値を、前記ｓｈｏｒｔ信号に乗算することにより修正ｓｈｏｒｔ信号を取得する乗算部と、
前記修正ｓｈｏｒｔ信号を内挿してｌｏｎｇ信号と同タイミングの信号である補間ｌｏｎｇ信号を取得する補間部と、
前記飽和検出部により、前記ｌｏｎｇ信号の信号レベルが所定値以下であると判断された場合、前記ｌｏｎｇ信号を選択し、前記飽和検出部により、前記ｌｏｎｇ信号の信号レベルが所定値を超えると判断された場合、前記補間ｌｏｎｇ信号を選択し、選択された信号を修正ｌｏｎｇ信号として取得する選択部と、
前記選択部から出力される修正ｌｏｎｇ信号と前記乗算部から出力される修正ｓｈｏｒｔ信号とを順次切り替えることにより出力映像信号を生成するＬ／Ｓ合成部と、
を備える撮像装置。
【請求項２】
前記撮像素子は、複数行かつ複数列の前記画素から構成され、前記第１画素群は、奇数列の前記画素から構成され、前記第２画素群は、偶数列の前記画素から構成される、
請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、複数行かつ複数列の前記画素から構成され、前記第１画素群は、偶数列の前記画素から構成され、前記第２画素群は、奇数列の前記画素から構成される、
請求項１に記載の撮像装置。
【請求項４】
前記撮像素子は、複数行かつ複数列の前記画素から構成され、前記第１画素群は、奇数行の前記画素から構成され、前記第２画素群は、偶数行の前記画素から構成される、
請求項１に記載の撮像装置。
【請求項５】
前記撮像素子は、複数行かつ複数列の前記画素から構成され、前記第１画素群は、偶数行の前記画素から構成され、前記第２画素群は、奇数行の前記画素から構成される、
請求項１に記載の撮像装置。
【請求項６】
前記撮像素子は、ＣＭＯＳ型イメージセンサーである、
請求項１から５のいずれかに記載の撮像装置。
【請求項７】
１画素毎に異なる電荷蓄積時間を設定することができる複数の画素により構成される撮像素子であって、前記画素から構成され第１電荷蓄積時間で電荷を蓄積する第１画素群と、前記画素から構成され前記第１電荷蓄積時間より長い時間である第２電荷蓄積時間で電荷を蓄積する第２画素群とを含む撮像素子を有し、被写体からの光を電気信号に変換することで映像信号を取得する撮像部を備える撮像装置に用いられる撮像方法であって、
前記第１電荷蓄積時間および前記第２電荷蓄積時間を設定する電荷蓄積時間設定ステップと、
前記第１電荷蓄積時間および前記第２電荷蓄積時間に基づいて前記撮像部を駆動する駆動ステップと、
前記撮像部から出力される映像信号を、前記第１電荷蓄積時間により取得された前記映像信号であるｓｈｏｒｔ信号と、前記第２電荷蓄積時間により取得された前記映像信号であるｌｏｎｇ信号とに分離するＬ／Ｓ分離ステップと、
前記ｌｏｎｇ信号の信号レベルを検出する飽和検出ステップと、
前記第１電荷蓄積時間と前記第２電荷蓄積時間とに基づいて、前記ｓｈｏｒｔ信号の信号レベルを前記ｌｏｎｇ信号の信号レベルに補正するための補正値を算出する補正値算出ステップと、
前記補正値算出ステップにより算出された前記補正値を、前記ｓｈｏｒｔ信号に乗算することにより修正ｓｈｏｒｔ信号を取得する乗算ステップと、
前記修正ｓｈｏｒｔ信号を内挿してｌｏｎｇ信号と同タイミングの信号である補間ｌｏｎｇ信号を取得する補間ステップと、
前記飽和検出ステップにより、前記ｌｏｎｇ信号の信号レベルが所定値以下であると判断された場合、前記ｌｏｎｇ信号を選択し、前記飽和検出ステップにより、前記ｌｏｎｇ信号の信号レベルが所定値を超えると判断された場合、前記補間ｌｏｎｇ信号を選択し、選択された信号を修正ｌｏｎｇ信号として取得する選択ステップと、
前記選択ステップで取得された修正ｌｏｎｇ信号と前記乗算ステップで取得された修正ｓｈｏｒｔ信号とを順次切り替えることにより出力映像信号を生成するＬ／Ｓ合成ステップと、
を備える撮像方法。
【請求項８】
１画素毎に異なる電荷蓄積時間を設定することができる複数の画素により構成される撮像素子であって、前記画素から構成され第１電荷蓄積時間で電荷を蓄積する第１画素群と、前記画素から構成され前記第１電荷蓄積時間より長い時間である第２電荷蓄積時間で電荷を蓄積する第２画素群とを含む撮像素子を有する撮像部とともに用いられる集積回路であって、
前記第１電荷蓄積時間および前記第２電荷蓄積時間を設定する電荷蓄積時間設定部と、
前記第１電荷蓄積時間および前記第２電荷蓄積時間に基づいて前記撮像部を駆動する駆動部と、
前記撮像部から出力される映像信号を、前記第１電荷蓄積時間により取得された前記映像信号であるｓｈｏｒｔ信号と、前記第２電荷蓄積時間により取得された前記映像信号であるｌｏｎｇ信号とに分離するＬ／Ｓ分離部と、
前記ｌｏｎｇ信号の信号レベルを検出する飽和検出部と、
前記第１電荷蓄積時間と前記第２電荷蓄積時間とに基づいて、前記ｓｈｏｒｔ信号の信号レベルを前記ｌｏｎｇ信号の信号レベルに補正するための補正値を算出する補正値算出部と、
前記補正値算出部により算出された前記補正値を、前記ｓｈｏｒｔ信号に乗算することにより修正ｓｈｏｒｔ信号を取得する乗算部と、
前記修正ｓｈｏｒｔ信号を内挿してｌｏｎｇ信号と同タイミングの信号である補間ｌｏｎｇ信号を取得する補間部と、
前記飽和検出部により、前記ｌｏｎｇ信号の信号レベルが所定値以下であると判断された場合、前記ｌｏｎｇ信号を選択し、前記飽和検出部により、前記ｌｏｎｇ信号の信号レベルが所定値を超えると判断された場合、前記補間ｌｏｎｇ信号を選択し、選択された信号を修正ｌｏｎｇ信号として取得する選択部と、
前記選択部から出力される修正ｌｏｎｇ信号と前記乗算部から出力される修正ｓｈｏｒｔ信号とを順次切り替えることにより出力映像信号を生成するＬ／Ｓ合成部と、
を備える集積回路。
【請求項９】
１画素毎に異なる電荷蓄積時間を設定することができる複数の画素により構成される撮像素子であって、前記画素から構成され第１電荷蓄積時間で電荷を蓄積する第１画素群と、前記画素から構成され前記第１電荷蓄積時間より長い時間である第２電荷蓄積時間で電荷を蓄積する第２画素群とを含む撮像素子を有し、被写体からの光を電気信号に変換することで映像信号を取得する撮像部と、
前記第１電荷蓄積時間および前記第２電荷蓄積時間を設定する電荷蓄積時間設定部と、
前記第１電荷蓄積時間および前記第２電荷蓄積時間に基づいて前記撮像部を駆動する駆動部と、
前記撮像部から出力される前記映像信号を、前記第１電荷蓄積時間により取得された前記映像信号であるｓｈｏｒｔ信号と、前記第２電荷蓄積時間により取得された前記映像信号であるｌｏｎｇ信号とに分離するＬ／Ｓ分離部と、
前記ｌｏｎｇ信号の信号レベルを検出する飽和検出部と、
前記第１電荷蓄積時間と前記第２電荷蓄積時間とに基づいて、前記ｓｈｏｒｔ信号の信号レベルを前記ｌｏｎｇ信号の信号レベルに補正するための補正値を算出する補正値算出部と、
前記補正値算出部により算出された前記補正値を、前記ｓｈｏｒｔ信号に乗算することにより修正ｓｈｏｒｔ信号を取得する乗算部と、
前記修正ｓｈｏｒｔ信号を内挿してｌｏｎｇ信号と同タイミングの信号である補間ｌｏｎｇ信号を取得する補間部と、
前記飽和検出部により、前記ｌｏｎｇ信号の信号レベルが所定値以下であると判断された場合、前記ｌｏｎｇ信号を選択し、前記飽和検出部により、前記ｌｏｎｇ信号の信号レベルが所定値を超えると判断された場合、前記補間ｌｏｎｇ信号を選択し、選択された信号を修正ｌｏｎｇ信号として取得する選択部と、
前記選択部から出力される修正ｌｏｎｇ信号と前記乗算部から出力される修正ｓｈｏｒｔ信号とを順次切り替えることにより出力映像信号を生成するＬ／Ｓ合成部と、
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の駆動方法と信号処理の組み合わせにより、解像度の劣化がなく、動画に対応でき、ダイナミックレンジを拡大することができる撮像装置、撮像方法および集積回路に関するものである。
【背景技術】
【０００２】
近年、撮像装置は、様々な用途に利用されおり、利用される用途によって、撮像装置が取得する撮像画像のＳＮ比を高めたり、解像度を高くしたり、ダイナミックレンジを上げたりする方法が提案されている。
以下に従来のダイナミックレンジを拡大する機能を有する撮像装置について説明する。
従来、ダイナミックレンジを拡大するための撮像装置として、特開平９−１１６８１５号公報に開示されたものが知られている。図４に、この従来の撮像装置の撮像素子部９００（ＣＣＤによるもの）の概略構成図を示す。撮像素子部９００は、縦方向に並べられた高感度画素１９と、縦方向に並べられた低感度画素２０と、電荷を垂直に転送する垂直ＣＣＤ２１と、水平に電荷を転送する水平ＣＣＤ２２と、所定の電荷量以上をクリップするリミッタ２３と、フローティング・ディフィージョン・アンプ構成の電荷検出部２４と、から構成される。そして、撮像素子部９００において、高感度画素１９と低感度画素２０とは、水平方向（図４における横方向）に交互に配置されている。つまり、高感度画素１９の列と低感度画素２０の列とがストライプをなすように、高感度画素１９と低感度画素２０とが交互に配置されている。
【０００３】
次に、撮像素子部９００を有する従来の撮像装置の動作について説明する
まず、高感度画素１９で光電変換されて取得された電荷と、低感度画素２０で光電変換されて取得された電荷とが垂直同期信号に同期して、全ての画素から垂直ＣＣＤ２１に転送される。垂直ＣＣＤ２１に転送された電荷は、さらに、水平同期信号に同期して水平ＣＣＤ２２に転送される。水平ＣＣＤ２２に転送された電荷は、電荷検出部２４に転送する前にリミッタ２３により所定レベル以上の電荷である場合はクリップ処理される。水平ＣＣＤ２２に転送された電荷は、リミッタ２３によるクリップ処理がなされた後、電荷検出部２４に転送される。このとき、リセットゲートＲＧに印可されるパルスを、水平ＣＣＤ２２の駆動パルスの周波数の半分で駆動することによって、隣り合う高感度画素からの電荷と低感度画素からの電荷とを加算して生成された出力が、撮像素子部９００から出力される。
【０００４】
図５に示すように、高感度画素１９および低感度画素２０から得られる（出力される）信号量（電荷量）は、光量の増加にしたがって、正比例して増えていくが、リミッタ２３で設定された所定量ＴＨ１を超えると信号量は一定値Ｄ１になり、それ以上増加しない。一方、低感度画素２０において、光量が所定量ＴＨ１を超えても、低感度画素２０から出力される信号量（電荷量）は、一定値Ｄ１を超えていない。よって、低感度画素２０から出力される信号量（電荷量）は、光量が所定量ＴＨ１以上に増加しても、光量に比例して増加する。電荷検出部２４により、高感度画素１９で取得された電荷による信号と低感度画素２０で取得された電荷による信号との２つの画素信号が、加算されて混合される。電荷検出部２４により混合された信号（混合後の信号）は、図５のＬ１に示す特性を有するものとなる。図５のＬ１に示した光量−信号量特性から分かるように、混合後の信号は、光量が多い場合であっても出力される信号量が飽和することなく、ダイナミックレンジの広い信号として得られる。
【０００５】
また、特開平９−２００６２１号公報に開示されている撮像装置の動作説明用タイミングチャートを図６に示す。
図６は、撮像装置の撮像素子（ＣＣＤによる撮像素子）の駆動パルスを示すものである。
この撮像装置では、垂直同期パルスＶＤに対して、読み出しゲートパルスＶＧ、垂直レジスタ転送パルスＶＳ、および水平レジスタ転送パルスＶＨを２倍の速度にして、撮像素子を動作させる。
図６に示すように、この撮像装置では、フレームを前後２つに分け、前半のフレームでは長い電荷蓄積時間（図６の通常蓄積時間に相当。）で信号を取り出し、後半のフレームでは短い電荷蓄積時間（図６のシャッター蓄積時間に相当。）で信号を取り出し、その後、両信号を合成する。この方法によれば、前半のフレームでは光量が増えると撮像素子で取得された電荷による信号の出力は飽和するが、後半では飽和しないので、この２種類の信号を合成することで、飽和のない信号を得ることができる。したがって、この方法を用いることで、撮像装置のダイナミックレンジを拡大することができる。
【特許文献１】特開平９−１１６８１５号公報
【特許文献２】特開平９−２００６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特開平９−１１６８１５号公報に開示されている撮像装置では、２画素を加算して１画素の信号を作るために、解像度が劣化する問題点を有している。
また、特開平９−２００６２１号公報に開示されている撮像装置では、1フレーム期間内に１画面分の画像信号を、電荷蓄積時間を変えて２回取得し、取得した２つの画像信号を合成しているので、高速化しにくい。つまり、この撮像装置では、１フレーム期間内に１画面分の画像信号しか取得することができず、１フレーム期間内にＮ画面分（Ｎは、Ｎ＞１の自然数。）の画像信号を取得するといった処理を実現させることが困難である。また、この撮像装置において、１フレーム期間内に動きのある動画を処理する場合、撮像素子で電荷を蓄積させる２つの電荷蓄積時間のタイミングが異なるため、取得した２つの画像信号にはズレが生じており、この取得した２つの画像信号を合成した画像信号により形成される画像を表示装置に表示させると、表示画面上の画像（映像）にズレが生じるという問題点を有している。
【０００７】
本発明は、上記問題点を解決するもので、解像度の劣化がない映像信号を出力することができ、かつ、所定期間（例えば、フレーム期間やフィールド期間）内に激しく変化するような動画に対しても、映像（画像）ブレの発生を抑制することができる撮像装置、撮像方法および集積回路を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の発明は、撮像部と、電荷蓄積時間設定部と、駆動部と、Ｌ／Ｓ分離部と、飽和検出部と、補正値算出部と、乗算部と、補間部と、選択部と、Ｌ／Ｓ合成部と、を備える撮像装置である。撮像部は、１画素毎に異なる電荷蓄積時間を設定することができる複数の画素により構成される撮像素子であって、画素から構成され第１電荷蓄積時間で電荷を蓄積する第１画素群と、画素から構成され第１電荷蓄積時間より長い時間である第２電荷蓄積時間で電荷を蓄積する第２画素群とを含む撮像素子を有し、被写体からの光を電気信号に変換することで映像信号を取得する。電荷蓄積時間設定部は、第１電荷蓄積時間および第２電荷蓄積時間を設定する。駆動部は、第１電荷蓄積時間および第２電荷蓄積時間に基づいて撮像部を駆動する。Ｌ／Ｓ分離部は、撮像部から出力される映像信号を、第１電荷蓄積時間により取得された映像信号であるｓｈｏｒｔ信号と、第２電荷蓄積時間により取得された映像信号であるｌｏｎｇ信号とに分離する。飽和検出部は、ｌｏｎｇ信号の信号レベルを検出する。補正値算出部は、第１電荷蓄積時間と第２電荷蓄積時間とに基づいて、ｓｈｏｒｔ信号の信号レベルをｌｏｎｇ信号の信号レベルに補正するための補正値を算出する。乗算部は、補正値算出部により算出された補正値を、ｓｈｏｒｔ信号に乗算することにより修正ｓｈｏｒｔ信号を取得する。補間部は、修正ｓｈｏｒｔ信号を内挿してｌｏｎｇ信号と同タイミングの信号である補間ｌｏｎｇ信号を取得する。選択部は、飽和検出部により、ｌｏｎｇ信号の信号レベルが所定値以下であると判断された場合、ｌｏｎｇ信号を選択し、飽和検出部により、ｌｏｎｇ信号の信号レベルが所定値を超えると判断された場合、補間ｌｏｎｇ信号を選択し、選択された信号を修正ｌｏｎｇ信号として取得する。Ｌ／Ｓ合成部は、選択部から出力される修正ｌｏｎｇ信号と乗算部から出力される修正ｓｈｏｒｔ信号とを順次切り替えることにより出力映像信号を生成する。
【０００９】
この撮像装置では、第１電荷蓄積時間で電荷を蓄積する第１画素群と、第２電荷蓄積時間で電荷を蓄積する第２画素群とを含む撮像素子を有する撮像部から出力された映像信号から、Ｌ／Ｓ分離部によりｌｏｎｇ信号とｓｈｏｒｔ信号が取得される。また、ｌｏｎｇ信号が飽和しているか否かを飽和検出部で検出し、ｌｏｎｇ信号が飽和している部分については、ｓｈｏｒｔ信号をｌｏｎｇ信号の信号レベルに補間された補間ｌｏｎｇ信号にすげ替えて修正ｌｏｎｇ信号として選択部により出力され、さらに、Ｌ／Ｓ合成部により、修正ｌｏｎｇ信号と乗算部から出力される修正ｓｈｏｒｔ信号とを順次切り替えることにより出力映像信号が生成される。
つまり、この撮像装置では、ｌｏｎｇ信号の信号レベルが飽和していない部分については、電荷蓄積時間が長く、Ｓ／Ｎ比の良いｌｏｎｇ信号を、ｌｏｎｇ信号の信号レベルが飽和している部分は電荷蓄積時間の短いｓｈｏｒｔ信号を用いて、出力映像信号を生成するので、解像度の劣化がない映像信号を出力することができ、かつ、所定期間（例えば、フレーム期間やフィールド期間）内に激しく変化するような動画に対しても、映像（画像）ブレの発生を抑制することができる。
【００１０】
第２の発明は、第１の発明であって、撮像素子は、複数行かつ複数列の画素から構成され、第１画素群は、奇数列の画素から構成され、第２画素群は、偶数列の画素から構成される。
これにより、奇数列の画素での蓄積電荷から取得された映像信号をｓｈｏｒｔ信号として、かつ、偶数列の画素での蓄積電荷から取得された映像信号をｌｏｎｇ信号として取得することができる。
第３の発明は、第１の発明であって、撮像素子は、複数行かつ複数列の画素から構成され、第１画素群は、偶数列の画素から構成され、第２画素群は、奇数列の画素から構成される。
これにより、偶数列の画素での蓄積電荷から取得された映像信号をｓｈｏｒｔ信号として、かつ、奇数列の画素での蓄積電荷から取得された映像信号をｌｏｎｇ信号として取得することができる。
【００１１】
第４の発明は、第１の発明であって、撮像素子は、複数行かつ複数列の画素から構成され、第１画素群は、奇数行の画素から構成され、第２画素群は、偶数行の画素から構成される。
これにより、奇数行の画素での蓄積電荷から取得された映像信号をｓｈｏｒｔ信号として、かつ、偶数行の画素での蓄積電荷から取得された映像信号をｌｏｎｇ信号として取得することができる。
【００１２】
第５の発明は、第１の発明であって、撮像素子は、複数行かつ複数列の画素から構成され、第１画素群は、偶数行の画素から構成され、第２画素群は、奇数行の画素から構成される。
これにより、偶数行の画素での蓄積電荷から取得された映像信号をｓｈｏｒｔ信号として、かつ、奇数行の画素での蓄積電荷から取得された映像信号をｌｏｎｇ信号として取得することができる。
第６の発明は、第１から第５のいずれかの発明であって、撮像素子は、ＣＭＯＳ型イメージセンサーである。
これにより、撮像部の撮像素子としてＣＭＯＳ型イメージセンサーを用いることで撮像装置を実現することできる。
【００１３】
第７の発明は、１画素毎に異なる電荷蓄積時間を設定することができる複数の画素により構成される撮像素子であって、画素から構成され第１電荷蓄積時間で電荷を蓄積する第１画素群と、画素から構成され第１電荷蓄積時間より長い時間である第２電荷蓄積時間で電荷を蓄積する第２画素群とを含む撮像素子を有し、被写体からの光を電気信号に変換することで映像信号を取得する撮像部を備える撮像装置に用いられる撮像方法であって、電荷蓄積時間設定ステップと、駆動ステップと、Ｌ／Ｓ分離ステップと、飽和検出ステップと、補正値算出ステップと、乗算ステップと、補間ステップと、選択ステップと、Ｌ／Ｓ合成ステップと、を備える撮像方法である。電荷蓄積時間設定ステップでは、第１電荷蓄積時間および第２電荷蓄積時間を設定する。駆動ステップでは、第１電荷蓄積時間および第２電荷蓄積時間に基づいて撮像部を駆動する。Ｌ／Ｓ分離ステップでは、撮像部から出力される映像信号を、第１電荷蓄積時間により取得された映像信号であるｓｈｏｒｔ信号と、第２電荷蓄積時間により取得された映像信号であるｌｏｎｇ信号とに分離する。飽和検出ステップでは、ｌｏｎｇ信号の信号レベルを検出する。補正値算出ステップでは、第１電荷蓄積時間と第２電荷蓄積時間とに基づいて、ｓｈｏｒｔ信号の信号レベルをｌｏｎｇ信号の信号レベルに補正するための補正値を算出する。乗算ステップでは、補正値算出ステップにより算出された補正値を、ｓｈｏｒｔ信号に乗算することにより修正ｓｈｏｒｔ信号を取得する。補間ステップでは、修正ｓｈｏｒｔ信号を内挿してｌｏｎｇ信号と同タイミングの信号である補間ｌｏｎｇ信号を取得する。選択ステップでは、飽和検出ステップにより、ｌｏｎｇ信号の信号レベルが所定値以下であると判断された場合、ｌｏｎｇ信号を選択し、飽和検出ステップにより、ｌｏｎｇ信号の信号レベルが所定値を超えると判断された場合、補間ｌｏｎｇ信号を選択し、選択された信号を修正ｌｏｎｇ信号として取得する。Ｌ／Ｓ合成ステップでは、選択ステップで取得された修正ｌｏｎｇ信号と乗算ステップで取得された修正ｓｈｏｒｔ信号とを順次切り替えることにより出力映像信号を生成する。
これにより、第１の発明と同様の効果を奏する撮像方法を実現することができる。
【００１４】
第８の発明は、１画素毎に異なる電荷蓄積時間を設定することができる複数の画素により構成される撮像素子であって、画素から構成され第１電荷蓄積時間で電荷を蓄積する第１画素群と、画素から構成され第１電荷蓄積時間より長い時間である第２電荷蓄積時間で電荷を蓄積する第２画素群とを含む撮像素子を有する撮像部とともに用いられる集積回路であって、電荷蓄積時間設定部と、駆動部と、Ｌ／Ｓ分離部と、飽和検出部と、補正値算出部と、乗算部と、補間部と、選択部と、Ｌ／Ｓ合成部と、を備える集積回路である。電荷蓄積時間設定部は、第１電荷蓄積時間および第２電荷蓄積時間を設定する。駆動部は、第１電荷蓄積時間および第２電荷蓄積時間に基づいて撮像部を駆動する。Ｌ／Ｓ分離部は、撮像部から出力される映像信号を、第１電荷蓄積時間により取得された映像信号であるｓｈｏｒｔ信号と、第２電荷蓄積時間により取得された映像信号であるｌｏｎｇ信号とに分離する。飽和検出部は、ｌｏｎｇ信号の信号レベルを検出する。補正値算出部は、第１電荷蓄積時間と第２電荷蓄積時間とに基づいて、ｓｈｏｒｔ信号の信号レベルをｌｏｎｇ信号の信号レベルに補正するための補正値を算出する。乗算部は、補正値算出部により算出された補正値を、ｓｈｏｒｔ信号に乗算することにより修正ｓｈｏｒｔ信号を取得する。補間部は、修正ｓｈｏｒｔ信号を内挿してｌｏｎｇ信号と同タイミングの信号である補間ｌｏｎｇ信号を取得する。選択部は、飽和検出部により、ｌｏｎｇ信号の信号レベルが所定値以下であると判断された場合、ｌｏｎｇ信号を選択し、飽和検出部により、ｌｏｎｇ信号の信号レベルが所定値を超えると判断された場合、補間ｌｏｎｇ信号を選択し、選択された信号を修正ｌｏｎｇ信号として取得する。Ｌ／Ｓ合成部は、選択部から出力される修正ｌｏｎｇ信号と乗算部から出力される修正ｓｈｏｒｔ信号とを順次切り替えることにより出力映像信号を生成する。
この集積回路を、撮像部とともに用いることで、第１の発明と同様の効果を奏する集積回路を実現することができる。
【００１５】
第９の発明は、撮像部と、電荷蓄積時間設定部と、駆動部と、Ｌ／Ｓ分離部と、飽和検出部と、補正値算出部と、乗算部と、補間部と、選択部と、Ｌ／Ｓ合成部と、を備える集積回路である。撮像部は、１画素毎に異なる電荷蓄積時間を設定することができる複数の画素により構成される撮像素子であって、画素から構成され第１電荷蓄積時間で電荷を蓄積する第１画素群と、画素から構成され第１電荷蓄積時間より長い時間である第２電荷蓄積時間で電荷を蓄積する第２画素群とを含む撮像素子を有し、被写体からの光を電気信号に変換することで映像信号を取得する。電荷蓄積時間設定部は、第１電荷蓄積時間および第２電荷蓄積時間を設定する。駆動部は、第１電荷蓄積時間および第２電荷蓄積時間に基づいて撮像部を駆動する。Ｌ／Ｓ分離部は、撮像部から出力される映像信号を、第１電荷蓄積時間により取得された映像信号であるｓｈｏｒｔ信号と、第２電荷蓄積時間により取得された映像信号であるｌｏｎｇ信号とに分離する。飽和検出部は、ｌｏｎｇ信号の信号レベルを検出する。補正値算出部は、第１電荷蓄積時間と第２電荷蓄積時間とに基づいて、ｓｈｏｒｔ信号の信号レベルをｌｏｎｇ信号の信号レベルに補正するための補正値を算出する。乗算部は、補正値算出部により算出された補正値を、ｓｈｏｒｔ信号に乗算することにより修正ｓｈｏｒｔ信号を取得する。補間部は、修正ｓｈｏｒｔ信号を内挿してｌｏｎｇ信号と同タイミングの信号である補間ｌｏｎｇ信号を取得する。選択部は、飽和検出部により、ｌｏｎｇ信号の信号レベルが所定値以下であると判断された場合、ｌｏｎｇ信号を選択し、飽和検出部により、ｌｏｎｇ信号の信号レベルが所定値を超えると判断された場合、補間ｌｏｎｇ信号を選択し、選択された信号を修正ｌｏｎｇ信号として取得する。Ｌ／Ｓ合成部は、選択部から出力される修正ｌｏｎｇ信号と乗算部から出力される修正ｓｈｏｒｔ信号とを順次切り替えることにより出力映像信号を生成する。
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
【発明の効果】
【００１６】
本発明によれば、解像度の劣化のない映像信号を出力することができ、かつ、所定期間（例えば、フレーム期間やフィールド期間）内に激しく変化するような動画に対しても、映像（画像）ブレの発生を抑制することができる撮像装置、撮像方法および集積回路を実現することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態について、図面を用いて説明する。
［第１実施形態］
＜撮像装置の構成＞
図１に、本発明の第１実施形態に係る撮像装置１００の構成図を示す。
撮像装置１００は、撮像部１と、撮像部１を駆動するための駆動部２と、電荷蓄積時間の長短によって撮像部１で取得した映像信号を分離するＬ／Ｓ分離部３と、電荷蓄積時間の長い画素から得られるｌｏｎｇ信号のレベルが所定のレベルを超えるか否かを検出する飽和検出部４と、電荷蓄積時間によって変動する画素出力レベルを補正する補正値算出部５と、ｓｈｏｒｔ信号を補正して電荷蓄積時間による信号の低下を補正して修正ｓｈｏｒｔ信号を得るための乗算部６と、修正ｓｈｏｒｔ信号を用いて、修正ｓｈｏｒｔ信号の中間点すなわちｌｏｎｇ信号と同タイミングの補間ｌｏｎｇ信号を得るための補間部７と、を備える。さらに、撮像装置１００は、飽和検出部４での検出結果に基づきｌｏｎｇ信号と補間ｌｏｎｇ信号とのいずれかを選択する選択部８と、修正ｌｏｎｇ信号と修正ｓｈｏｒｔ信号を順次切り替えて映像信号を得るＬ／Ｓ合成部９と、映像信号をガンマ補正、ＤＴＬ（ディテール）付加等のカメラ用信号処理を行うプロセス部１０と、カメラの同期信号や撮像部１の駆動タイミングを決定させる駆動パルス信号等を発生させるタイミングジェネレータ部１１と、を備える。
【００１８】
撮像部１は、被写体からの光を光電変換により電気信号として取得し、取得した電気信号をＬ／Ｓ分離部に出力する。
図２に、本発明の撮像装置の撮像部１（ＣＭＯＳ型イメージセンサーの場合）および駆動部２の構成図を示す。図２において、撮像部１は、水平に６画素、垂直に４画素からなり、各画素１２は、フォトダイオードを有している。なお、画素数は説明の便宜のためのものであり、この画素数に限定されないことは言うまでもない。
撮像部１は、図２に示すように、縦横に配列された複数個の画素１２と、スイッチトランジスタ１６と、出力アンプ１７と、を備える。画素１２は、入射光量に比例した電荷を蓄積し、その蓄積電荷量に応じた電気信号を出力する素子である。撮像部１としては、ＣＭＯＳ型イメージセンサーを用いることが好ましい。
【００１９】
駆動部２は、タイミングジェネレータ部１１から出力される制御信号（カメラの同期信号や撮像部１の駆動タイミングを決定させる駆動パルス信号等）に基づいて、撮像部１を駆動する。駆動部２は、図２に示すように、第１垂直レジスタ・シャッター１３と、第２垂直レジスタ・シャッター１４と、水平レジスタ１５と、を備える。第１垂直レジスタ・シャッター１３は、奇数列の画素１２と接続されており、水平ラインアドレスを選択し、選択された水平方向アドレスにある画素１２を指定された時間だけ動作させ、電荷を蓄積させる（いわゆる電子シャッター機能を実現させる）。第２垂直レジスタ・シャッター１４は、偶数列の画素１２と接続されており、水平ラインアドレスを選択し、選択された水平方向アドレスにある画素１２を指定された時間だけ動作させ、電荷を蓄積させる（いわゆる電子シャッター機能を実現させる）。第１垂直レジスタ・シャッター１３および第２垂直レジスタ・シャッター１４として、例えば、シフトレジスタ回路を用いることができる。水平レジスタ１５は、画素１２が形成する列数分だけ設置されるスイッチトランジスタ１６と図２に示すように接続されており、垂直ラインアドレスを選択する（水平走査を行う）。水平レジスタ１５は、垂直ラインアドレスに対応するスイッチトランジスタ１６をＯＮ状態とすることで、垂直ラインアドレスを選択する。出力アンプ１７は、図２のように、スイッチトランジスタ１６と接続されている。出力アンプ１７に、第１垂直レジスタ・シャッター１３、第２垂直レジスタ・シャッター１４および水平レジスタ１５により選択されたアドレスの画素１２に蓄積された電荷量に対応する電気信号が入力されると、出力アンプ１７は、その入力信号を増幅し、出力端子１８を介してＬ／Ｓ分離部３へ出力する。
【００２０】
このように構成された撮像部１と駆動部２により、各画素に対応する画素１２の電荷蓄積時間を、個別に制御することができるので、１画面分の画像信号を取得するときの電荷蓄積時間を容易に調整することができる。例えば、奇数列に配置されている画素１２の電荷蓄積時間を短くし、偶数列に配置されている画素１２の電荷蓄積時間を長くすることが容易に可能となる。
以下、説明便宜のため、奇数列に配置されている画素１２の電荷蓄積時間を短くし、偶数列に配置されている画素１２の電荷蓄積時間を長くした場合について説明する。
Ｌ／Ｓ分離部３は、画素１２の電荷蓄積時間の長短によって、撮像部１から出力される信号を分離する。画素１２の電荷蓄積時間が長い場合の撮像部１からの出力信号をｌｏｎｇ信号とし、画素１２の電荷蓄積時間が長い場合の撮像部１からの出力信号をｓｈｏｒｔ信号とすると、Ｌ／Ｓ分離部３は、ｌｏｎｇ信号を飽和検出部４および選択部８に出力し、ｓｈｏｒｔ信号を乗算部６に出力する。また、Ｌ／Ｓ分離部３には、タイミングジェネレータ部１１から制御信号を入力することができ、Ｌ／Ｓ分離部３は、タイミングジェネレータ部１１から制御信号に基づき、ｌｏｎｇ信号およびｓｈｏｒｔ信号を出力する。
【００２１】
飽和検出部４は、Ｌ／Ｓ分離部３から出力されるｌｏｎｇ信号を入力とし、電荷蓄積時間の長い画素１２（１つの画素１２は、１画素に対応する。）から得られるｌｏｎｇ信号のレベルが所定のレベルを超えるか否かを検出し、検出結果を選択部８に出力する。
補正値算出部５は、電荷蓄積時間によって変動する画素出力レベル（画素に対応する画素１２から出力される電気信号の出力レベル）を補正するための補正値を算出する。なお、補正値は、ｌｏｎｇ信号を生成するための画素１２の電荷蓄積時間と、ｓｈｏｒｔ信号を生成するための画素１２の電荷蓄積時間とを基に算出する。補正値算出部５は、ｌｏｎｇ信号を生成するための画素１２の電荷蓄積時間と、ｓｈｏｒｔ信号を生成するための画素１２の電荷蓄積時間とに関する情報をタイミングジェネレータ部１１から取得し、その情報に基づいて、補正値を算出し、算出した補正値を乗算部６に出力する。
【００２２】
乗算部６は、補正値算出部５から出力された補正値と、Ｌ／Ｓ分離部３から出力されたｓｈｏｒｔ信号とを乗算し、乗算して得られた信号を、修正ｓｈｏｒｔ信号として、補間部７およびＬ／Ｓ合成部９に出力する。
補間部７は、乗算部６から出力された修正ｓｈｏｒｔ信号を用いて、修正ｓｈｏｒｔ信号の中間点すなわちｌｏｎｇ信号と同タイミングの補間ｌｏｎｇ信号を生成し、生成した補間ｌｏｎｇ信号を選択部８に出力する。補間部７は、例えば、前後２つの修正ｓｈｏｒｔ信号に対して平均処理（相加平均、相乗平均等の処理やＬＰＦ処理）を行い、補間ｌｏｎｇ信号を生成する。
選択部８は、飽和検出部４での検出結果、Ｌ／Ｓ分離部３から出力されたｌｏｎｇ信号、および補間部７から出力された補間ｌｏｎｇ信号を入力とし、飽和検出部４により、ｌｏｎｇ信号が所定レベル以下であると判断された場合、ｌｏｎｇ信号を修正ｌｏｎｇ信号として、Ｌ／Ｓ合成部９に出力し、飽和検出部４により、ｌｏｎｇ信号が所定レベルを超えると判断された場合、補間ｌｏｎｇ信号を修正ｌｏｎｇ信号としてＬ／Ｓ合成部９に出力する。
【００２３】
Ｌ／Ｓ合成部９は、選択部８から出力される修正ｌｏｎｇ信号と、乗算部６から出力される修正ｓｈｏｒｔ信号と、タイミングジェネレータ部からの制御信号と、を入力とし、タイミングジェネレータ部からの制御信号に基づき、修正ｌｏｎｇ信号と修正ｓｈｏｒｔ信号とを順次切り替えて映像信号としてプロセス部１０に出力する。
プロセス部１０は、Ｌ／Ｓ合成部９から出力される映像信号に、ガンマ補正、ＤＴＬ（ディテール）付加等のカメラ用信号処理を行う。
タイミングジェネレータ部１１は、カメラの同期信号や撮像部１の駆動タイミングを決定させる駆動パルス信号等を発生させ、駆動部２に出力する。また、タイミングジェネレータ部１１は、出力信号のタイミングを調整するための制御信号を、Ｌ／Ｓ分離部３およびＬ／Ｓ合成部９に出力する。また、タイミングジェネレータ部１１は、ｌｏｎｇ信号を生成するための画素１２の電荷蓄積時間と、ｓｈｏｒｔ信号を生成するための画素１２の電荷蓄積時間とに関する情報を補正値算出部５に出力する。なお、電荷蓄積時間設定部の機能は、タイミングジェネレータ部１１により実現される。
【００２４】
＜撮像装置の動作＞
以上のように構成された撮像装置１００の動作について、図１から図３を用いて説明する。
図３は、図１に示した撮像装置１００の各点（ａ点〜ｇ点）における信号波形を示したタイミングチャート図である。図３の縦軸は信号レベル、横軸は時間である。
まず、図２の撮像部１（ＣＭＯＳ型イメージセンサー）において、奇数列の画素についての電荷蓄積時間が長くなるように設定し、偶数列の画素についての電荷蓄積時間が短くなるように設定する。この設定は、第１垂直レジスタ・シャッター１３および第２垂直レジスタ・シャッター１４の設定により行われる。撮像部１において、第１垂直レジスタ・シャッター１３、および第２垂直レジスタ・シャッター１４により、画素ごとに異なる駆動が容易に行えるので、シャッター速度も画素ごとに設定できる。なお、このような画素ごとの制御は、撮像素子にＣＣＤを用いた場合は困難である。
【００２５】
奇数列の画素から取得された電荷蓄積時間の長い信号および偶数列の画素から取得された電荷蓄積時間の短い信号は、水平レジスタ１５により、水平方向に並んだスイッチトランジスタ１６がＯＮ状態とされることで、出力アンプ１７を介して出力端子１８へ出力される。この撮像部１（ＣＭＯＳ型イメージセンサー）の出力信号の一例を、図３（ａ）に示す。
図３において、最上段に記載している番号が奇数番号である部分の信号は、電荷蓄積時間の長いｌｏｎｇ信号を示し、偶数番号である部分の信号は、電荷蓄積時間の短いｓｈｏｒｔ信号を示す。撮像部１からの出力信号は、Ｌ／Ｓ分離部３により、ｌｏｎｇ信号とｓｈｏｒｔ信号とに分離される。図３（ｂ）にＬ／Ｓ分離部３で分離されたｌｏｎｇ信号を、図３（ｃ）にＬ／Ｓ分離部３で分離されたｓｈｏｒｔ信号を示す。
【００２６】
Ｌ／Ｓ分離部３から出力されたｓｈｏｒｔ信号は、乗算部６で、補正値算出部５により算出された補正係数（＝（長い方の電荷蓄積時間）／（短い方の電荷蓄積時間））を乗算されることにより、修正ｓｈｏｒｔ信号に変換される。図３（ｄ）に修正ｓｈｏｒｔ信号を示す。
次に、修正ｓｈｏｒｔ信号は、補間部７で補間され、Ｌ／Ｓ分離部３から出力されるｌｏｎｇ信号と同タイミングの信号に変換される。この変換された信号が補間ｌｏｎｇ信号である。図３（ｅ）にこの補間ｌｏｎｇ信号を示す。なお、ここで、補間部７は、例えば、前後２つの修正ｓｈｏｒｔ信号を平均した信号を生成し、その生成した信号のタイミングをｌｏｎｇ信号と一致させることで、補間ｌｏｎｇ信号を生成する。具体的には、図３の（２）の部分の修正ｓｈｏｒｔ信号と（４）の部分の修正ｓｈｏｒｔ信号とを加算平均した信号を生成し、その信号のタイミングを、（３）の部分のｌｏｎｇ信号と一致させることで、補間ｌｏｎｇ信号を作成する。なお、これ以外にも修正ｓｈｏｒｔ信号を単にディレーさせて、ｌｏｎｇ信号とタイミングを一致させることで生成した信号を、補間ｌｏｎｇ信号としてもよい。
【００２７】
選択部８により、Ｌ／Ｓ分離部３から出力されるｌｏｎｇ信号および補間部７から出力される補間ｌｏｎｇ信号が、飽和検出部４の検出結果に基づいて選択されることで、修正ｌｏｎｇ信号が生成される。これについて、図３を用いて説明する。図３において、図３に点線で示した信号レベルを所定値として説明する。ｌｏｎｇ信号が所定値を超えていない（１）、（３）、（５）、（７）、および（９）の部分においては、選択部８によりｌｏｎｇ信号が選択され、ｌｏｎｇ信号が修正ｌｏｎｇ信号として出力される。ｌｏｎｇ信号が所定値を超える（１１）、（１３）、および（１５）の部分においては、選択部８により補間ｌｏｎｇ信号が選択され、補間ｌｏｎｇ信号が修正ｌｏｎｇ信号として出力される。図３（ｆ）に、この修正ｌｏｎｇ信号を示す。
最後に、Ｌ／Ｓ合成部９により、修正ｓｈｏｒｔ信号と修正ｌｏｎｇ信号とを順次取り出すことで合成された信号が、映像信号として、Ｌ／Ｓ合成部９から出力される。図３（ｇ）に、この映像信号を示す。図３（ｇ）から分かるように、撮像部１からの出力信号では、信号レベルが飽和していた（１１）、（１３）および（１５）の部分の信号も飽和することなく再現されており、広いダイナミックレンジが実現されている。つまり、この撮像装置１００では、撮像部１のすべての画素の信号が飽和することなく再現されているので、解像度の高い映像信号を得ることができる。また、本発明の撮像装置１００では、ｌｏｎｇ信号とｓｈｏｒｔ信号とは、ほぼ同タイミングで取得されるので、１フレーム（またはフィールド）期間内に激しい動きのある映像を、本発明の撮像装置１００で処理する場合でも、ダイナミックレンジを拡大させる効果を維持しつつ、映像ブレの発生を抑制することできる。
【００２８】
なお、以上の説明では、ｌｏｎｇ信号とｓｈｏｒｔ信号との処理チャンネルを分離する構成の撮像装置１００について説明したが、デジタル処理により、ｌｏｎｇ信号とｓｈｏｒｔ信号を時系列で処理（時分割処理）して、処理チャンネルを分離しない構成としてもよい。
また、撮像部１において、電荷蓄積時間の長短の画素を水平方向に交代に並べた構成のものについて説明したが、電荷蓄積時間の長短の画素を垂直方向に交代に並べる構成にしても同様な効果が得られることは明白である。
３板カメラ装置のように、ＲＧＢを別々の撮像部（ＣＭＯＳ型イメージセンサー）で構成される撮像装置に、本発明を適用する場合、撮像装置１００において、図１で示した撮像装置１００の処理系をＲＧＢ別々に３系統設ける構成とすればよい。
【００２９】
また、本発明の撮像装置１００では、ｓｈｏｒｔ信号のレベルを補正する構成としたが、ｌｏｎｇ信号のレベルを補正する構成としても同様の効果が得られるのはいうまでもない。
［他の実施形態］
なお、上記実施形態では、フレームを基準に処理する場合について説明したが、フィールドを基準に処理してもよい。
また、上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
【００３０】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【００３１】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【００３２】
本発明に係る撮像装置は、解像度を劣化させることなくダイナミックレンジを拡大することができ、映像機器関連産業分野において有用であり、特に、高ダイナミックレンジが必要なトンネル用やセキュリティ用等の撮像装置として有用であり、本発明に係る撮像装置は、当該分野において実施することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の第１実施形態に係る撮像装置１００の構成図
【図２】本発明の第１実施形態に係る撮像部１および駆動部２の構成図
【図３】同第１実施形態における撮像装置１００の動作説明のための波形図
【図４】従来の撮像装置９００の構成図
【図５】撮像装置のダイナミックレンジ拡大説明図
【図６】従来例の撮像装置９００の動作波形図
【符号の説明】
【００３４】
１００  撮像装置
１  撮像部
２  駆動部
３  Ｌ／Ｓ分離部
４  飽和検出部
５  補正値算出部
６  乗算部
７  補間部
８  選択部
９  Ｌ／Ｓ合成部
１０  プロセス部
１１  タイミングジェネレータ部
１２  画素（フォトダイオードを含む画素）
１３  第１垂直レジスタ・シャッター
１４  第２垂直レジスタ・シャッター
１５  水平レジスタ・
１６  スイッチトランジスタ
１７  出力アンプ
１８  出力端子
【図１】
2008277875.tif 000003
【図２】
2008277875.tif 000004
【図３】
2008277875.tif 000005
【図４】
2008277875.tif 000006
【図５】
2008277875.tif 000007
【図６】
2008277875.tif 000008