(57)【要約】  【課題】  ダイナミックレンジが広く、解像度の高い画像が得られるとともに、得られる画像にライン濃淡が発生するのを抑えることのできる撮像装置を提供する。  【解決手段】  撮像装置１は、ＬＯＮＧ信号とＳＨＯＲＴ信号を１フィールド期間内に画素ラインごとに出力する全画素読み出し撮像素子２と、ＬＯＮＧ信号の輝度レベルが飽和する合成レベルを画素ラインごとに算出する合成レベル算出部７と、ＳＨＯＲＴ信号の輝度レベルを合成レベルまで底上げするオフセットを画素ラインごとに算出するオフセット算出部８を備え、レベル合成手段９において、輝度レベルが合成レベルよりも小さいときにはＬＯＮＧ信号となり、輝度レベルが合成レベルよりも大きいときにはオフセットを加えたＳＨＯＲＴ信号となるように、画素ラインごとにレベル合成信号を生成する。【選択図】  図１
2007235342.tif 000002
【特許請求の範囲】
【請求項１】
所定のフィールド期間内に、画素ラインごとに、露光時間が長時間の映像信号であるＬＯＮＧ信号と露光時間が短時間の映像信号であるＳＨＯＲＴ信号の２種類の映像信号を出力する全画素読み出し撮像手段と、
前記ＬＯＮＧ信号の輝度レベルが飽和する合成レベルを、前記画素ラインごとに算出する合成レベル算出手段と、
前記ＳＨＯＲＴ信号の輝度レベルを前記合成レベルまで底上げするオフセットを、前記画素ラインごとに算出するオフセット算出手段と、
前記映像信号の輝度レベルが前記合成レベルよりも小さいときには前記ＬＯＮＧ信号となり、前記映像信号の輝度レベルが前記合成レベルよりも大きいときには前記オフセットを加えた前記ＳＨＯＲＴ信号となるように、前記画素ラインごとにレベル合成信号を生成するレベル合成手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記全画素読み出し撮像手段は、互いに隣接して色配置の異なる第１画素ラインと第２画素ラインを有し、
前記合成レベル算出手段は、
前記第１画素ラインと前記第２画素ラインの輝度レベル差に基づいて、前記第１画素ライン用の第１合成レベルと前記第２画素ライン用の第２合成レベルを算出し、
前記オフセット算出手段は、
前記第１画素ラインと前記第２画素ラインの輝度レベル差に基づいて、前記第１画素ライン用の第１オフセットと前記第２画素ライン用の第２オフセットを算出し、
前記レベル合成手段は、
前記第１画素ラインについて、前記第１合成レベルと前記第１オフセットを用いて前記レベル合成信号を生成し、前記第２画素ラインについて、前記第２合成レベルと前記第２オフセットを用いて前記レベル合成信号を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記合成レベル算出手段は、
前記第１画素ラインと前記第２画素ラインの輝度レベル差を算出し、所定の基準合成レベルに前記輝度レベル差を加えて前記第１合成レベルを算出し、前記基準合成レベルから前記輝度レベル差を減じて前記第２合成レベルを算出し、
前記オフセット算出手段は、
前記第１画素ラインと前記第２画素ラインの輝度レベル差を算出し、所定の基準オフセットに前記輝度レベル差を加えて前記第１オフセットを算出し、前記基準オフセットから前記輝度レベル差を減じて前記第２オフセットを算出することを特徴とする請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオカメラ等に用いられ、ダイナミックレンジが広く、解像度の高い画像が得られるとともに、ライン濃淡の発生を抑えた撮像装置に関するものである。
【背景技術】
【０００２】
従来、ダイナミックレンジを拡大した撮像装置として、水平ＣＣＤの転送速度が通常の転送速度の２倍であり、露光時間が長時間の映像信号と露光時間が短時間の映像信号を、１フィールド期間内に出力できる撮像手段を備えたものが知られている（例えば、特許文献１参照）。
【０００３】
従来の撮像装置では、撮像手段で画素加算が行われ、撮像手段から出力された映像信号は、前処理手段においてＣＤＳやＡＧＣ等の前処理が施された後、Ａ／Ｄ手段によりディジタル信号に変換される。次に、時間軸変換手段に入力されたディジタル信号は、標準速度かつ同一タイミングである長時間露光画像信号（ＬＯＮＧ信号）と短時間露光画像信号（ＳＨＯＲＴ信号）に分離される。
【０００４】
レベル合成手段は、ＬＯＮＧ信号とＳＨＯＲＴ信号を受け取って、ＬＯＮＧ信号については飽和点に達している信号を圧縮し、また、ＳＨＯＲＴ信号についてはオフセットを足しこむ。そして、レベル合成手段では、飽和点を合成点（合成レベル）とし、合成点以下の輝度レベルのときはＬＯＮＧ信号になるように、合成点以上の輝度レベルのときはＳＨＯＲＴ信号になるように合成信号が生成される。
【０００５】
その後、ヒストグラムデータ検波手段は、合成信号の輝度のヒストグラムを検出し、また、ブロックデータ検波手段は、合成信号をブロックに分割して各ブロックの平均輝度を検出する。そして、平均輝度の検出結果に基づいて、画面分割位置データ算出手段で画面分割位置が決定される。画面分割した各領域における階調補正特性を階調補正データ算出手段が算出して、領域階調補正手段がその階調補正特性に基づいて階調補正を行う。
【０００６】
そして、算出された画面分割位置に従って、領域分割パルス生成手段が合成信号の領域を分割して合成するための制御パルスを生成し、その制御パルスに基づいて領域合成手段で階調補正された画像の合成を行う。その後、メイン信号処理手段で撮像装置のメイン部分の信号処理が行われて信号が出力される。このようにして、従来の撮像装置では、ＬＯＮＧ信号とＳＨＯＲＴ信号を合成して、ダイナミックレンジを拡大した画像が得られる。
【特許文献１】特開平１０−２６１０７７号公報（第３−５頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の撮像装置においては、撮像素子の撮像面に、例えば、Ｍｇ（マゼンダ）、Ｇ（グリーン）、Ｃｙ（シアン）、Ｙｅ（イエロー）の４色の画素が所定の配置パターンで配置されている。例えば、従来の撮像素子では、ＭｇとＧの画素ライン（第１画素ライン）と、ＣｙとＹｅの画素ライン（第２画素ライン）が交互に形成されるように画素が配置されている。そして、従来の撮像装置では、撮像素子の感度を向上するために画素加算が行われているので、その分だけ撮像素子の解像度が低下する。
【０００８】
そこで、より解像度の高い画像を得るために、画素加算を行わない全画素読み出し撮像素子を用いることも考えられる。しかし、撮像素子の入射光に対する感度特性が４色の画素ごとに異なるので、撮像素子の入射光に対する感度特性は画素ラインごとで異なる。したがって、従来の撮像装置において、全画素読み出し撮像素子を単に用いると、画素加算を行っていないため、本来、同じ輝度レベルであるはずの領域であっても、画素の感度特性の違いのために、第１画素ラインと第２画素ラインで輝度レベル（信号レベル）が異なることがある。例えば、本来、ＳＨＯＲＴ信号を用いるべきである明るい領域であっても、ＣｙとＹｅの感度が高い波長の光の光量が少ないと、第２画素ライン（ＣｙとＹｅの画素ライン）では暗い領域であるとしてＬＯＮＧ信号が用いられることになる。
【０００９】
そのため、上記従来のレベル合成を単に行うと、本来、同じ露光時間信号を用いるはずの領域であっても、ＳＨＯＲＴ信号の画素ライン（例えば第１画素ライン）と、ＬＯＮＧ信号に切り替わってしまう画素ライン（例えば第２画素ライン）ができるため、ＬＯＮＧ信号とＳＨＯＲＴ信号を合成して得られる画像にライン濃淡が発生してしまうという問題があった。
【００１０】
本発明は、上記従来の問題を解決するためになされたもので、ダイナミックレンジが広く、解像度の高い画像が得られるとともに、得られる画像にライン濃淡が発生するのを抑えることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の撮像装置は、所定のフィールド期間内に、画素ラインごとに、露光時間が長時間の映像信号であるＬＯＮＧ信号と露光時間が短時間の映像信号であるＳＨＯＲＴ信号の２種類の映像信号を出力する全画素読み出し撮像手段と、前記ＬＯＮＧ信号の輝度レベルが飽和する合成レベルを、前記画素ラインごとに算出する合成レベル算出手段と、前記ＳＨＯＲＴ信号の輝度レベルを前記合成レベルまで底上げするオフセットを、前記画素ラインごとに算出するオフセット算出手段と、前記映像信号の輝度レベルが前記合成レベルよりも小さいときには前記ＬＯＮＧ信号となり、前記映像信号の輝度レベルが前記合成レベルよりも大きいときには前記オフセットを加えた前記ＳＨＯＲＴ信号となるように、前記画素ラインごとにレベル合成信号を生成するレベル合成手段とを備えた構成を有している。
【００１２】
この構成により、画素ラインごとに合成レベルとオフセットが算出され、画素ラインごとにレベル合成信号が生成される。これにより、本来、同じ輝度レベルであるはずの領域にもかかわらず、画素の感度特性の違いのために、画素ラインごとに輝度レベルが異なる場合であっても、画素ラインごとの輝度レベルに応じたレベル合成信号の生成を行うことができる。したがって、本来、同じ輝度レベルであるはずの領域において、ＬＯＮＧ信号とＳＨＯＲＴ信号が切り替わる画素ラインができるのが抑制され、得られる画像にライン濃淡が発生するのが抑えられる。
【００１３】
また、本発明の撮像装置では、前記全画素読み出し撮像手段は、互いに隣接して色配置の異なる第１画素ラインと第２画素ラインを有し、前記合成レベル算出手段は、前記第１画素ラインと前記第２画素ラインの輝度レベル差に基づいて、前記第１画素ライン用の第１合成レベルと前記第２画素ライン用の第２合成レベルを算出し、前記オフセット算出手段は、前記第１画素ラインと前記第２画素ラインの輝度レベル差に基づいて、前記第１画素ライン用の第１オフセットと前記第２画素ライン用の第２オフセットを算出し、前記レベル合成手段は、前記第１画素ラインについて、前記第１合成レベルと前記第１オフセットを用いて前記レベル合成信号を生成し、前記第２画素ラインについて、前記第２合成レベルと前記第２オフセットを用いて前記レベル合成信号を生成する構成を有している。
【００１４】
この構成により、第１画素ラインと第２画素ラインの輝度レベル差に応じて、第１画素ライン用の第１合成レベルと第１オフセットが算出されるとともに、第２画素ライン用の第２合成レベルと第２オフセットが算出される。そして、画素ラインごとの輝度レベルの高低に応じて、第１合成レベルと第１オフセットまたは第２合成レベルと第２オフセットを用いて、レベル合成信号が生成される。これにより、本来、同じ輝度レベルであるはずの領域にもかかわらず、画素の感度特性の違いのために、第１画素ラインと第２画素ラインで輝度レベルが異なる場合であっても、第１画素ラインと第２画素ラインの輝度レベル差に応じたレベル合成信号の生成を行うことができる。したがって、本来、同じ輝度レベルであるはずの領域において、画素ラインごとにＬＯＮＧ信号とＳＨＯＲＴ信号が切り替わるのが抑制され、得られる画像にライン濃淡が発生するのが抑えられる。
【００１５】
また、本発明の撮像装置では、前記合成レベル算出手段は、前記第１画素ラインと前記第２画素ラインの輝度レベル差を算出し、所定の基準合成レベルに前記輝度レベル差を加えて前記第１合成レベルを算出し、前記基準合成レベルから前記輝度レベル差を減じて前記第２合成レベルを算出し、前記オフセット算出手段は、前記第１画素ラインと前記第２画素ラインの輝度レベル差を算出し、所定の基準オフセットに前記輝度レベル差を加えて前記第１オフセットを算出し、前記基準オフセットから前記輝度レベル差を減じて前記第２オフセットを算出する構成を有している。
【００１６】
この構成により、第１画素ラインと第２画素ラインの輝度レベル差に応じた第１合成レベルと第２合成レベルを、所定の基準合成レベルを用いて算出できるとともに、第１画素ラインと第２画素ラインの輝度レベル差に応じた第１オフセットと第２オフセットを、所定の基準オフセットを用いて算出できる。
【発明の効果】
【００１７】
本発明は、画素ラインごとに合成レベルを算出する合成レベル算出手段と、画素ラインごとにオフセットを算出するオフセット算出手段を設け、レベル合成手段において画素ラインごとの合成レベルとオフセットを用いてレベル合成処理を行うことにより、ダイナミックレンジが広く、解像度の高い画像が得られるとともに、得られる画像にライン濃淡が発生するのを抑えることができるという効果を有する撮像装置を提供することができるものである。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態の撮像装置について、図面を用いて説明する。本実施の形態では、例えばビデオカメラ等に用いられる撮像装置の場合を例示する。
【００１９】
図１は、本発明の実施の形態の撮像装置のブロック図である。図１に示すように、本実施の形態の撮像装置１は、全画素読み出し撮像素子２と、前処理部３と、Ａ／Ｄ変換部４と、時間軸変更部５と、任意枠信号生成部６と、合成レベル算出部７と、オフセット算出部８と、レベル合成部９と、ヒストグラムデータ検波部１０と、階調補正データ算出部１１と、ＬＯＮＧ領域階調補正部１２と、ＳＨＯＲＴ領域階調補正部１３と、領域合成部１４と、メイン信号処理部１５とを備えている。ここで、全画素読み出し撮像素子２が、本発明の全画素読み出し撮像手段に相当する。また、合成レベル算出部７が、本発明の合成レベル算出手段に相当し、オフセット算出部８が、本発明のオフセット算出手段に相当する。また、レベル合成部９が、本発明のレベル合成手段に相当する。
【００２０】
全画素読み出し撮像素子２は、例えばＣＣＤやＣＭＯＳなどの固体撮像素子であり、平面状に配置された複数の画素を備えている。本実施の形態では、図２に示すように、Ｍｇ（マゼンダ）、Ｇ（グリーン）、Ｃｙ（シアン）、Ｙｅ（イエロー）の４色の画素が所定の配置パターンで配置されている。そして、例えば、ＭｇとＧの画素ライン（第１画素ライン）と、ＣｙとＹｅの画素ライン（第２画素ライン）が交互に形成されるように画素が配置されている。すなわち、全画素読み出し撮像素子２の奇数画素ラインがＭｇとＧの画素ライン（第１画素ライン）となり、偶数画素ラインがＣｙとＹｅの画素ライン（第２画素ライン）となるように４色の画素が配置されている。全画素読み出し撮像素子２は、互いに隣接して色配置の異なる第１画素ライン（ＭｇとＧの画素ライン）と第２画素ライン（ＣｙとＹｅの画素ライン）を有しているともいえる。なお、図２では、説明の都合上、撮像素子２の一部の画素の配置パターンのみが図示されている。
【００２１】
撮像素子２は、露光時間が長時間の映像信号（ＬＯＮＧ信号）と露光時間が短時間の映像信号（ＳＨＯＲＴ信号）を出力する。このとき、撮像素子２は、ＣＣＤの水平転送速度を通常の２倍の転送速度にすることにより、水平画素ラインごとにＬＯＮＧ信号とＳＨＯＲＴ信号を１フィールド期間内に交互に出力する。すなわち、通常の撮像で１フィールド分の映像信号を出力する期間内に、ＬＯＮＧ信号およびＳＨＯＲＴ信号の各々が１フィールド分出力される。そして、全画素読み出し撮像素子２では画素加算が行われないため、ＭｇとＧの画素ライン（第１画素ライン）の映像信号と、ＣｙとＹｅの画素ライン（第２画素ライン）の映像信号が、１画素ラインごとに交互に出力される。
【００２２】
前処理部３は、ノイズ除去処理を行うＣＤＳ回路と、ゲイン制御処理を行うＡＧＣ回路とを備えている。そして、撮像素子２から出力された映像信号には、前処理部３においてノイズ除去やゲイン制御などの前処理が施される。また、Ａ／Ｄ変換部４は、前処理部３から出力された映像信号を、アナログ信号からディジタル信号に変換する処理を行う。
【００２３】
時間軸変換部５は、撮像素子２で生成されたＬＯＮＧ信号とＳＨＯＲＴ信号の時間軸をそれぞれ変換することにより、ＬＯＮＧ信号とＳＨＯＲＴ信号をそれぞれ標準の速度かつ同一のタイミングにする。そして、この時間軸変換部５によって、撮像素子２から出力された映像信号は、ＬＯＮＧ信号とＳＨＯＲＴ信号にそれぞれ分離され、独立して取り扱うことが可能になる。
【００２４】
図３（ａ）〜（ｄ）は、任意枠信号生成部６の動作を説明する図である。ここでは、全画素読み出し撮像素子２で、図３（ａ）に示すような被写体を撮像した場合について説明する。被写体は、楕円形の高輝度領域であるＳＨＯＲＴ領域と、その周辺の低輝度領域であるＬＯＮＧ領域を有している。図３（ｂ）は、時間軸変換部５によって得られるＬＯＮＧ信号のうち、被写体上の線ＡＢに対応する信号レベルを示す図である。また、図３（ｃ）は、時間軸変換部５によって得られるＳＨＯＲＴ信号のうち、被写体上の線ＡＢに対応する信号レベルを示す図である。そして、任意枠信号生成部６は、ＬＯＮＧ信号の輝度レベルと閾値の比較を行い、輝度レベルが閾値未満の領域は０で、輝度レベルが閾値以上の領域は１になるような任意枠信号を生成する。例えば、図３（ｄ）は、被写体においてＡからＢの水平方向で見た場合の任意枠信号を示す図面である。任意枠信号において０で示されている領域はＬＯＮＧ領域であり、１で示されている領域はＳＨＯＲＴ領域である。このようにして、任意枠信号生成部６により、映像信号がＬＯＮＧ領域とＳＨＯＲＴ領域の二つの領域に分けられる。
【００２５】
図４は、合成レベル算出部７のブロック図である。図４に示すように、合成レベル算出部７は、ラインカウンタ７１と、ラインセレクタ７２と、二つの加算器７３と、二つの除算器７４と、減算器７５と、ライン別合成レベル算出部７６とを備えている。ラインカウンタ７１は、画素ライン数をカウントし奇数画素ライン（第１画素ライン）と偶数画素ライン（第２画素ライン）を区別する切替信号を生成する。ラインセレクタ７２は、切替信号を基にＬＯＮＧ信号を偶数画素ラインと奇数画素ラインに分ける。偶数画素ラインと奇数画素ラインそれぞれ加算器７３で、１画素ライン分の全画素を加算して加算値を求め、同時に、加算した画素数（１画素ライン分の全画素数）であるサンプル数を数える。除算器７４は、加算値をサンプル数で割り、その偶数画素ラインの平均値と奇数画素ラインの平均値を算出する。減算器７５は、奇数画素ラインの平均値から偶数画素ラインの平均値を減算してライン差分を出力する。
【００２６】
そして、ライン別合成レベル算出部７６は、図示しないマイコンから提供される所定の基準合成レベル（基準飽和値）に対してライン差分を用いて以下の処理を行う。すなわち、基準合成レベルにライン差分を加算した値を合成レベル１として出力し、基準合成レベルからライン差分を減算した値を合成レベル２として出力する。このようにして、合成レベル算出部７では、画素ラインごとに合成レベル１または合成レベル２が生成される。ここでは、合成レベル１が、第１画素ライン（奇数画素ライン）用の第１合成レベルであり、合成レベル２が、第２画素ライン（偶数画素ライン）用の第２合成レベルである。
【００２７】
図５は、オフセット算出部８のブロック図である。図５に示すように、オフセット算出部８は、ラインカウンタ８１と、ラインセレクタ８２と、二つの加算器８３と、二つの除算器８４と、減算器８５と、ライン別オフセット算出部８６とを備えている。ラインカウンタ８１は、画素ライン数をカウントし奇数画素ライン（第１画素ライン）と偶数画素ライン（第２画素ライン）を区別する切替信号を生成する。ラインセレクタ８２は、切替信号を基にＬＯＮＧ信号を偶数画素ラインと奇数画素ラインに分ける。偶数画素ラインと奇数画素ラインそれぞれ加算器８３で、１画素ライン分の全画素を加算して加算値を求め、同時に、加算した画素数（１画素ライン分の全画素数）であるサンプル数を数える。除算器８４は、加算値をサンプル数で割り、その偶数画素ラインの平均値と奇数画素ラインの平均値を算出する。減算器８５は、奇数画素ラインの平均値から偶数画素ラインの平均値を減算してライン差分を出力する。
【００２８】
そして、ライン別オフセット算出部８６は、図示しないマイコンから提供される所定の基準オフセットに対してライン差分を用いて以下の処理を行う。すなわち、基準オフセットにライン差分を加算した値をオフセット１として出力し、基準オフセットからライン差分を減算した値をオフセット２として出力する。このようにして、オフセット算出部８では、画素ラインごとにオフセット１またはオフセット２が算出される。ここでは、オフセット１が、第１画素ライン（奇数画素ライン）用の第１オフセットであり、オフセット２が、第２画素ライン（偶数画素ライン）用の第２オフセットである。
【００２９】
図６は、レベル合成部９のブロック図である。図６に示すように、レベル合成部９は、ラインカウンタ９１と、ラインセレクタ９２と、圧縮部９３と、加算器９４と、合成部９５とを備えている。ラインカウンタ９１は、画素ライン数をカウントし奇数画素ライン（第１画素ライン）と偶数画素ライン（第２画素ライン）を区別する切替信号を生成する。ラインセレクタ９２は、切替信号に応じて合成レベル１または合成レベル２を選択して、選択合成レベルとして交互に出力するとともに、切替信号を基にオフセット１またはオフセット２を選択して、選択オフセットとして交互に出力する。すなわち、奇数画素ラインのときには、合成レベル１とオフセット１が選択され、偶数画素ラインのときには、合成レベル２とオフセット２が選択される。
【００３０】
そして、圧縮部９３は、飽和点である選択合成レベルに達しているＬＯＮＧ信号を圧縮し、加算器９４は、ＳＨＯＲＴ信号に選択オフセットを足しこむ。そして、合成部９５は、選択合成レベル以下の輝度レベルのときはＬＯＮＧ信号になり、選択合成レベル以上の輝度レベルのときはＳＨＯＲＴ信号になるように、ＬＯＮＧ信号とＳＨＯＲＴ信号を合成してレベル合成信号を生成する。
【００３１】
図７（ａ）〜（ｅ）は、レベル合成部９の動作を説明する図である。図７（ａ）、（ｂ）に示すように、レベル合成部９の圧縮部９３では、合成レベルに達しているＬＯＮＧ信号が圧縮される。また、レベル合成部９の加算器９４では、ＳＨＯＲＴ信号にはオフセットが足しこまれる。そして、レベル合成部９の合成部９５では、合成レベル以下の輝度レベルの時はＬＯＮＧ信号となり、合成レベル以上の時はＳＨＯＲＴ信号となるようにレベル合成信号が合成される。
【００３２】
このレベル合成は、画素ラインごとに行われる。図８は、レベル合成部９における画素ラインごとのレベル合成の動作を説明する図である。同じ輝度レベルであるはずの領域であっても、画素の感度特性の違いのために、画素ラインごとに輝度レベルが異なる場合がある。例えば、本来、明るい領域であっても、ＣｙとＹｅの感度が高い波長の光の光量が少ないと、第２画素ライン（ＣｙとＹｅの画素ライン）の輝度レベルが低くなる。そのような場合、本実施の形態では、図８に示すように、第１画素ラインについては、合成レベル１とオフセット１を選択したレベル合成信号１が生成され、第２画素ラインについては、合成レベル２とオフセット２を選択したレベル合成信号２が生成される。このようにして、輝度レベルの高い第１画素ラインにおいて、オフセットＳＨＯＲＴ信号１（オフセット１が足されたＳＨＯＲＴ信号）が用いられるとともに、輝度レベルの低い第２画素ラインにおいても、オフセットＳＨＯＲＴ信号２（オフセット２が足されたＳＨＯＲＴ信号）が用いられる。すなわち、本来、ＳＨＯＲＴ信号が用いられるはずの明るい領域で、画素ラインごとに、ＬＯＮＧ信号とＳＨＯＲＴ信号が切り替わるのが抑えられる。
【００３３】
図９（ａ）〜（ｆ）は、ヒストグラムデータ検波部１０と階調補正データ算出部１１の動作を示す図である。図９（ａ）は、レベル合成部９で合成された合成信号を示す図である。ヒストグラムデータ検波部１０は、レベル合成部９で生成された合成信号の中から、任意枠信号（図９（ｂ）参照）で示されるＬＯＮＧ領域とＳＨＯＲＴ領域ごとにヒストグラムを検波する。任意枠信号において０で示されているＬＯＮＧ領域のヒストグラムを算出すると、ＬＯＮＧ領域は被写体の暗い領域を示しているため、ヒストグラムは、図９(ｃ)に示すように暗いところに集中する特性を示す。また任意枠信号において１で示されているＳＨＯＲＴ領域のヒストグラムは、ＳＨＯＲＴ領域が被写体の明るい領域を示しているため、ヒストグラムは、図９(ｄ)に示すように明るいところに集中する特性を有する。
【００３４】
次に、階調補正データ算出部１１は、ヒストグラムデータ検波部１０で算出されたヒストグラムを用いて、階調補正データを算出する。ＬＯＮＧ領域のヒストグラムは暗い部分に集中しているので、図９（ｅ）に示すように暗い部分を持ち上げるような階調補正データを算出する。一方、ＳＨＯＲＴ領域のヒストグラムは明るい部分に集中しているので、図９（ｆ）に示すように明るい部分を持ち上げるような階調補正データを算出する。
【００３５】
図１０（ａ）〜（ｆ）は、ＬＯＮＧ領域階調補正部１２およびＳＨＯＲＴ領域階調補正部１３の動作を示す図である。ＬＯＮＧ領域階調補正部１２およびＳＨＯＲＴ領域階調補正部１３は、レベル合成部９で生成されたレベル合成信号と階調補正データを用いてそれぞれ階調補正を行う。ＬＯＮＧ領域階調補正部１２は、図１０（ａ）に示すレベル合成信号に対して、図１０（ｂ）に示す階調補正データを用いて階調補正を行うため、図１０（ｃ）に示すＬＯＮＧ階調補正信号のように信号レベルの低い部分が抑えられ、高い部分が強調される。一方、ＳＨＯＲＴ領域階調補正部１３は、図１０（ｄ）に示すレベル合成信号に対して、図１０（ｅ）に示す階調補正データを用いて階調補正を行うため、図１０（ｆ）に示すＳＨＯＲＴ階調補正信号のように信号レベルの低い部分が強調され、高い部分を抑えられる。
【００３６】
図１１（ａ）〜（ｄ）は、領域合成部１４の動作を示す図である。図１１（ａ）に示すように、領域合成部１４は、ＬＯＮＧ領域階調補正部１２で生成されたＬＯＮＧ階調補正信号と（図１１（ａ）参照）、ＳＨＯＲＴ領域階調補正１３で生成されたＳＨＯＲＴ階調補正信号を（図１１（ｃ）参照）、任意枠信号（図１１（ｂ）参照）を用いて出力切り替え処理を行う。すなわち、任意枠信号が０の領域についてはＬＯＮＧ階調補正信号を出力し、１の領域についてはＳＨＯＲＴ階調補正信号を出力し、ＬＯＮＧ階調補正信号とＳＨＯＲＴ階調補正信号を合成して、図１１（ｄ）に示すような領域合成信号を生成する。
【００３７】
そして、メイン信号処理部１５は、領域合成信号に対して、圧縮符号化処理などを含むメイン部分の信号処理を行い、外部の装置（図示せず）に出力信号を出力する。
【００３８】
上記のようにして、全画素読み出し撮像素子２を使用し、画素加算を行わずに、第１画素ライン（奇数画素ライン）と第２画素ライン（偶数画素ライン）について、それぞれ適正な合成レベル（合成レベル１および合成レベル２）とオフセット（オフセット１およびオフセット２）を算出する。そして、その合成レベルとオフセットを用いて、ＬＯＮＧ信号とＳＨＯＲＴ信号の合成を行う。したがって、適正な露光量で撮像された領域ごとにヒストグラムを検波し、階調補正を算出することができる。これにより、領域ごとに最適に階調補正された画像を出力することができ、どんな被写体でも明るい所から暗い所までよく見えるダイナミックレンジの広い画像を得ることができる。また、全画素読み出し撮像素子を使用しているので、解像度の高い画像を得ることができ、その上、得られる画像にライン濃淡が発生するのを抑えることができる。
【００３９】
このような発明の実施の形態の撮像装置１によれば、画素ラインごとに合成レベルを算出する合成レベル算出部７と、画素ラインごとにオフセットを算出するオフセット算出部８を設け、レベル合成部９において画素ラインごとの合成レベル（合成レベル１および合成レベル２）とオフセット（オフセット１およびオフセット２）を用いてレベル合成処理を行うことにより、ダイナミックレンジが広く、解像度の高い画像が得られるとともに、得られる画像にライン濃淡が発生するのを抑えることができる。
【００４０】
すなわち、本実施の形態では、画素ラインごとに合成レベル（合成レベル１および合成レベル２）とオフセット（オフセット１およびオフセット２）が算出され、画素ラインごとにレベル合成信号（レベル合成信号１およびレベル合成信号２）が生成される。これにより、本来、同じ輝度レベルであるはずの領域にもかかわらず、画素の感度特性の違いのために、画素ラインごとに輝度レベルが異なる場合であっても、画素ラインごとの輝度レベルに応じたレベル合成信号の生成を行うことができる。したがって、本来、同じ輝度レベルであるはずの領域において、ＬＯＮＧ信号とＳＨＯＲＴ信号が切り替わる画素ラインができるのが抑制され、得られる画像にライン濃淡が発生するのが抑えられる。
【００４１】
また、本実施の形態では、第１画素ライン（奇数画素ライン）と第２画素ライン（偶数画素ライン）の輝度レベル差に応じて、第１画素ライン用の第１合成レベル（合成レベル１）と第１オフセット（オフセット１）が算出されるとともに、第２画素ライン用の第２合成レベル（合成レベル２）と第２オフセット（オフセット２）が算出される。そして、画素ラインごとの輝度レベルの高低に応じて、合成レベル１とオフセット１または合成レベル２とオフセット２を用いて、レベル合成信号（レベル合成信号１またはレベル合成信号２）が生成される。これにより、本来、同じ輝度レベルであるはずの領域にもかかわらず、画素の感度特性の違いのために、奇数画素ラインと偶数画素ラインで輝度レベルが異なる場合であっても、奇数画素ラインと偶数画素ラインの輝度レベル差に応じたレベル合成信号の生成を行うことができる。したがって、本来、同じ輝度レベルであるはずの領域において、画素ラインごとにＬＯＮＧ信号とＳＨＯＲＴ信号が切り替わるのが抑制され、得られる画像にライン濃淡が発生するのが抑えられる。
【００４２】
また、本実施の形態では、第１画素ライン（奇数画素ライン）と第２画素ライン（偶数画素ライン）の輝度レベル差に応じた適正な第１合成レベル（合成レベル１）と第２合成レベル（合成レベル２）を、所定の基準合成レベルを用いて算出できるとともに、奇数画素ラインと偶数画素ラインの輝度レベル差に応じた適正な第１オフセット（オフセット１）と第２オフセット（オフセット２）を、所定の基準オフセットを用いて算出できる。
【００４３】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００４４】
例えば、以上の説明では、合成レベル算出部７において、偶数画素ラインと奇数画素ラインそれぞれ加算器７３で、１画素ライン分の全画素を加算して加算値を求め、その偶数画素ラインの平均値と奇数画素ラインの平均値を算出する場合を例示した。しかし、本発明の範囲はこれらに限定されるものではなく、合成レベル算出部７において、偶数画素ラインと奇数画素ラインそれぞれ加算器７３で、１画素ライン分の画素を任意の数おきに加算して加算値を求め、その偶数画素ラインの平均値と奇数画素ラインの平均値を算出してもよい。これにより、合成レベル算出部７における回路負荷が軽減される。
【００４５】
また、以上の説明では、オフセット算出部８において、偶数画素ラインと奇数画素ラインそれぞれ加算器８３で、１画素ライン分の全画素を加算して加算値を求め、その偶数画素ラインの平均値と奇数画素ラインの平均値を算出する場合を例示した。しかし、本発明の範囲はこれらに限定されるものではなく、オフセット算出部８において、偶数画素ラインと奇数画素ラインそれぞれ加算器８３で、１画素ライン分の画素を任意の数おきに加算して加算値を求め、その偶数画素ラインの平均値と奇数画素ラインの平均値を算出してもよい。これにより、オフセット算出部８における回路負荷が軽減される。
【産業上の利用可能性】
【００４６】
以上のように、本発明にかかる撮像装置は、ダイナミックレンジが広く、解像度の高い画像が得られるとともに、得られる画像にライン濃淡が発生するのを抑えるという効果を有し、例えばビデオカメラ等に用いられる撮像装置等として有用である。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施の形態における撮像装置のブロック図
【図２】本発明の実施の形態における撮像素子の画素の配置パターンの説明図
【図３】本発明の実施の形態における任意枠信号生成部の動作の説明図
【図４】本発明の実施の形態における合成レベル算出部のブロック図
【図５】本発明の実施の形態におけるオフセット値算出部のブロック図
【図６】本発明の実施の形態におけるレベル合成部のブロック図
【図７】本発明の実施の形態におけるレベル合成部の動作の説明図
【図８】本発明の実施の形態におけるレベル合成部の動作（画素ラインごとのレベル合成）の説明図
【図９】本発明の実施の形態におけるヒストグラムデータ検波部と階調補正データ算出部の動作の説明図
【図１０】本発明の実施の形態におけるＬＯＮＧ領域階調補正部およびＳＨＯＲＴ領域階調補正部の動作の説明図
【図１１】本発明の実施の形態における領域合成部の動作の説明図
【符号の説明】
【００４８】
１  撮像装置
２  全画素読み出し撮像素子
７  合成レベル算出部
８  オフセット算出部
９  レベル合成部
７１  ラインカウンタ
７２  ラインセレクタ
７３  加算器
７４  除算器
７５  減算器
７６  ライン別合成レベル算出部
８１  ラインカウンタ
８２  ラインセレクタ
８３  加算器
８４  除算器
８５  減算器
８６  ライン別オフセット算出部
９１  ラインカウンタ
９２  ラインセレクタ
９３  圧縮部
９４  加算器
９５  合成部
【図１】
2007235342.tif 000003
【図２】
2007235342.tif 000004
【図３】
2007235342.tif 000005
【図４】
2007235342.tif 000006
【図５】
2007235342.tif 000007
【図６】
2007235342.tif 000008
【図７】
2007235342.tif 000009
【図８】
2007235342.tif 000010
【図９】
2007235342.tif 000011
【図１０】
2007235342.tif 000012
【図１１】
2007235342.tif 000013