(57)【要約】【課題】広ダイナミックレンジで最適な画像を得ることができるカメラシステム及びカメラ制御方法を実現することを目的にする。【解決手段】本発明は、被写体の明るさに応じてイメージセンサのダイナミックレンジの圧縮カーブを制御することにより最適な画像を得るカメラシステムに改良を加えたものである。本装置は、イメージセンサへの光量を調整するアイリスと、このアイリスを駆動するアイリス駆動部と、イメージセンサの画像データに基づいてアイリス値を判断し、アイリス駆動部に修正させるアイリス修正部と、イメージセンサの画像データに基づいて圧縮カーブを修正するレンジ修正部とを有することを特徴とするものである。【選択図】        図１
2004282282.tif 000002
【特許請求の範囲】
【請求項１】
被写体の明るさに応じてイメージセンサのダイナミックレンジの圧縮カーブを制御することにより最適な画像を得るカメラシステムにおいて、
前記イメージセンサへの光量を調整するアイリスと、
このアイリスを駆動するアイリス駆動部と、
前記イメージセンサの画像データに基づいてアイリス値を判断し、アイリス駆動部に修正させるアイリス修正部と、
前記イメージセンサの画像データに基づいて圧縮カーブを修正するレンジ修正部と
を有することを特徴とするカメラシステム。
【請求項２】
アイリス修正部は、
画像データの輝度平均を求める輝度平均部と、
この輝度平均部の輝度平均を、所望の輝度平均にするアイリス値を演算し、アイリス駆動部に修正させるアイリス演算部と
を設けたことを特徴とする請求項１記載のカメラシステム。
【請求項３】
アイリス修正部は、
画像データの輝度のヒストグラムを求めるヒストグラム演算部と、
このヒストグラム演算部のヒストグラムにより、暗部の分布位置を検出する分布位置検出部と、
この分布位置検出部の分布位置により、暗部の分布位置を所望の位置にするアイリス値を演算し、アイリス駆動部に修正させるアイリス演算部と
を設けたことを特徴とする請求項１記載のカメラシステム。
【請求項４】
イメージセンサはＣＭＯＳセンサであることを特徴とする請求項１〜３のいずれかに記載のカメラシステム。
【請求項５】
被写体の明るさに応じてイメージセンサのダイナミックレンジの圧縮カーブを制御することにより最適な画像を得るカメラ制御方法において、
前記イメージセンサの画像データに基づいてアイリス値を判断し、前記イメージセンサへの光量を調整するアイリスをアイリス駆動部に修正させるアイリス修正手順と、
前記イメージセンサの画像データに基づいて圧縮カーブを修正するレンジ修正手順と
を有することを特徴とするカメラ制御方法。
【請求項６】
アイリス修正手順は、
画像データの輝度平均を求める輝度平均手順と、
この輝度平均を、所望の輝度平均にするアイリス値を演算し、アイリス駆動部に修正させるアイリス演算手順と
を設けたことを特徴とする請求項５記載のカメラ制御方法。
【請求項７】
アイリス修正手順は、
画像データの輝度のヒストグラムを求めるヒストグラム演算手順と、
このヒストグラムにより、暗部の分布位置を検出する分布位置検出手順と、
この分布位置により、暗部の分布位置を所望の位置にするアイリス値を演算し、アイリス駆動部に修正させるアイリス演算手順と
を設けたことを特徴とする請求項５記載のカメラ制御方法。
【請求項８】
イメージセンサはＣＭＯＳセンサであることを特徴とする請求項５〜７のいずれかに記載のカメラ制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写体の明るさに応じてイメージセンサのダイナミックレンジの圧縮カーブを制御することにより最適な画像を得るカメラシステム及びカメラ制御方法に関し、広ダイナミックレンジで最適な画像を得ることができるカメラシステム及びカメラ制御方法に関するものである。
【０００２】
【従来の技術】
被写体をデジタル的に取り込むイメージセンサとして、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）センサとＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサとがある。そして、ＣＭＯＳセンサは、例えば、非特許文献１等に記載されている。図９を用いて以下に説明する。
【０００３】
図９において、フォトダイオードＰＤはカソードを接地する。抵抗Ｒは一端をフォトセンサＰＤのアノードに接続する。コンデンサＣは一端を抵抗Ｒの他端に接続し、他端を接地する。ＦＥＴＱ１は、図示しないセンサコントローラからの制御信号がゲートに入力され、ドレインを電圧Ｖｄｄに接続し、ソースをコンデンサＣの一端に接続する。ＦＥＴＱ２は、ゲートをコンデンサＣの一端に接続し、ドレインを電圧Ｖｄｄに接続する。ＦＥＴＱ３は、図示しないセンサコントローラからの選択信号がゲートに入力され、ドレインをＦＥＴＱ２のソースに接続し、ソースから出力する。
【０００４】
このようなＣＭＯＳセンサの動作を図１０，１１を用いて説明する。図１０，１１はＣＭＯＳセンサの動作を説明する図である。（ａ）は積分時間と制御信号（バリア電圧）との関係を示す図で、横軸は積分時間、縦軸は電圧値を示す。（ｂ）は（ａ）に示す波形に対応する入出力特性を示す図で、横軸は入力輝度、縦軸は出力輝度である。なお、電圧値は、１．２５［Ｖ］を”７”とし、積分時間は、１／３０秒を”５１２”として表している。また、入力輝度の単位は［ｌｘ］、出力輝度は最大値”２５５”で表され、単位はない。
【０００５】
図１０（ａ）に示すように、積分時間”５１１”の間、バリア電圧”７”をＣＭＯＳセンサのＦＥＴＱ１に入力する。この結果、入力輝度に対し、ＣＭＯＳセンサは、図１０（ｂ）に示される特性の出力輝度を得る。この場合、入力輝度が”３４２”という小さい値で、出力輝度（明部）が飽和する。
【０００６】
この飽和を防止するため、例えば、図１０（ａ）に示すバリア電圧波形を、破線に示すように、積分時間”５１１”から”２５”に短くして、ＣＭＯＳセンサのＦＥＴＱ１に入力する。これにより、図１２に示すように、入力出力特性の波形ａから波形ｂになり、入力輝度範囲ｘに対して、出力輝度範囲はｙ１からｙ２になり、明部の飽和を防止することができるが、暗部の出力輝度変化が小さく、暗部が潰れた画像となる。
【０００７】
そこで、入力輝度が小さい領域のとき、出力輝度の変化が大きく、入力輝度が大きい領域のとき、出力輝度の変化が小さければ、明暗部とも最適に描写できる。つまり、ダイナミックレンジを図１１（ｂ）に示すように、リニアから対数カーブにする。すなわち、入力輝度に対して輝度圧縮を最適化して、明暗部を最適にする。
【０００８】
例えば、積分時間”５１１”、図１１（ａ）に示すように、階段波形の電圧を入力すると、入力輝度に対し、ＣＭＯＳセンサは、図１１（ｂ）に示される折れ線擬似対数特性の出力輝度を出力する。この結果、暗部の情報もある程度つぶさずに残り、最適な画像を表示することができる。
【０００９】
このようなＣＭＯＳセンサの自動設定として、全画像データ（全画素）において、明度閾値以上の画素数を計数して、対数圧縮カーブを制御し、明部の飽和を防止することが行われている。
【００１０】
【非特許文献１】
ＩＥＥＥ  ＪＯＵＲＮＡＬ  ＯＦ  ＳＯＬＩＤ−ＳＴＡＴＥ  ＣＩＲＣＵＩＴＳ，  ＶＯＬ．３３，  ＮＯ．１２，  ＤＥＣＥＭＢＥＲ  １９９８，  ”Ａ  ２５６  ×  ２５６  ＣＭＯＳ  Ｉｍａｇｉｎｇ  Ａｒｒａｙ  ｗｉｔｈ  Ｗｉｄｅ  Ｄｙｎａｍｉｃ  −Ｒａｎｇｅ  Ｐｉｘｅｌｓ  ａｎｄ  Ｃｏｌｕｍｎ−Ｐａｒａｌｌｅｌ  Ｄｉｇｉｔａｌ  Ｏｕｔｐｕｔ”，  Ｓｔｅｖｅｎ  Ｄｅｃｋｅｒ，  Ｒ．  Ｄａｎｉｅｌ  ＭｃＧｒａｔｈ，  Ｋｅｖｉｎ  Ｂｒｅｈｍｅｒ，  ａｎｄ  Ｃｈａｒｌｅｓ  Ｇ．  Ｓｏｄｉｎｉ
【００１１】
【発明が解決しようとする課題】
このような装置で、圧縮カーブを自動設定すると、明度閾値以上の画素数が多い場合、明部の飽和を防止する圧縮カーブになり、暗部の黒レベルが高くなってしまうという問題点があった。
【００１２】
そこで、本発明の目的は、広ダイナミックレンジで最適な画像を得ることができるカメラシステム及びカメラ制御方法を実現することにある。
【００１３】
【課題を解決するための手段】
請求項１記載の本発明は、
被写体の明るさに応じてイメージセンサのダイナミックレンジの圧縮カーブを制御することにより最適な画像を得るカメラシステムにおいて、
前記イメージセンサへの光量を調整するアイリスと、
このアイリスを駆動するアイリス駆動部と、
前記イメージセンサの画像データに基づいてアイリス値を判断し、アイリス駆動部に修正させるアイリス修正部と、
前記イメージセンサの画像データに基づいて圧縮カーブを修正するレンジ修正部と
を有することを特徴とする。
請求項２記載の本発明は、請求項１記載の本発明において、
アイリス修正部は、
画像データの輝度平均を求める輝度平均部と、
この輝度平均部の輝度平均を、所望の輝度平均にするアイリス値を演算し、アイリス駆動部に修正させるアイリス演算部と
を設けたことを特徴とするものである。
請求項３記載の本発明は、請求項１記載の本発明において、
アイリス修正部は、
画像データの輝度のヒストグラムを求めるヒストグラム演算部と、
このヒストグラム演算部のヒストグラムにより、暗部の分布位置を検出する分布位置検出部と、
この分布位置検出部の分布位置により、暗部の分布位置を所望の位置にするアイリス値を演算し、アイリス駆動部に修正させるアイリス演算部と
を設けたことを特徴とするものである。
請求項４記載の本発明は、請求項１〜３のいずれかに記載の本発明において、
イメージセンサはＣＭＯＳセンサであることを特徴とするものである。
請求項５記載の本発明は、
被写体の明るさに応じてイメージセンサのダイナミックレンジの圧縮カーブを制御することにより最適な画像を得るカメラ制御方法において、
前記イメージセンサの画像データに基づいてアイリス値を判断し、前記イメージセンサへの光量を調整するアイリスをアイリス駆動部に修正させる手順と、
前記イメージセンサの画像データに基づいて圧縮カーブを修正する手順と
を有することを特徴とするものである。
請求項６記載の本発明は、請求項５記載のカメラ制御方法において、
アイリス修正手順は、
画像データの輝度平均を求める輝度平均手順と、
この輝度平均を、所望の輝度平均にするアイリス値を演算し、アイリス駆動部に修正させるアイリス演算手順と
を設けたことを特徴とするものである。
請求項７記載の本発明は、請求項５記載の本発明において、
アイリス修正手順は、
画像データの輝度のヒストグラムを求めるヒストグラム演算手順と、
このヒストグラムにより、暗部の分布位置を検出する分布位置検出手順と、
この分布位置により、暗部の分布位置を所望の位置にするアイリス値を演算し、アイリス駆動部に修正させるアイリス演算手順と
を設けたことを特徴とするものである。
請求項８記載の本発明は、請求項５〜７のいずれかに記載の本発明において、
イメージセンサはＣＭＯＳセンサであることを特徴とするものである。
【００１４】
【発明の実施の形態】
以下図面を用いて本発明の実施の形態を説明する。図１は本発明の実施例を示した構成図である。
【００１５】
図１において、レンズ１は被写体の光を入力する。アイリス２は、レンズ１からの光量を調整する。アイリス駆動部３は、アイリス２を駆動する。ＣＭＯＳイメージャ４は、カラー撮影できるイメージセンサ（ＣＭＯＳセンサ）で、ダイナミックレンジを可変でき、アイリス２からの光を入力し、ＲＧＢ（赤、緑・青）データ（画像データ）を生成する。センサコントローラ５は、ＣＭＯＳイメージャ４を制御する。
【００１６】
カメラコントローラ６はＣＭＯＳイメージャ４が生成するＲＧＢデータを、カラー補間、カラー調整、カラーマトリックス調整、ホワイトバランス調整、ガンマ補正、ニー補正、黒レベル調整、カラー彩度調整等の色処理を行い、１６ビットＹＣｒＣｂ（輝度・色相）画像へデータ変換を行い、出力する。また、カメラコントローラ６は、アイリス修正部６１、レンジ修正部６２が設けられている。アイリス修正部６１は、輝度平均演算部６１１、アイリス演算部６１２を有し、ＣＭＯＳイメージャ４のＲＧＢデータに基づいてアイリス値を判断し、アイリス駆動部６１に修正させる。輝度平均演算部６１１は、ＲＧＢデータの輝度平均を求める。アイリス演算部６１２は、輝度平均部６１１の輝度平均を、所望の輝度平均にするアイリス値を演算し、アイリス駆動部３に修正させる。レンジ修正部６２は、ＣＭＯＳイメージャ４のＲＧＢデータに基づいて対数圧縮カーブを修正する。ここで、圧縮カーブは、例えば２９通り用意されている。
【００１７】
このような装置の動作を以下で説明する。図２は図１に示す装置の動作を示したフローチャート、図３はアイリス修正部６１の動作を示したフローチャート、図４はレンジ修正部６２の動作を示したフローチャートである。
【００１８】
センサコントローラ５はＣＭＯＳイメージャ４にバリア電圧を出力し、ＣＭＯＳイメージャ４がＲＧＢデータをセンサコントローラ５に出力する。そして、センサコントローラ５はカメラコントローラ６にＲＧＢデータを渡す（Ｓ１）。例えば、図５に示すように、入力出力特性は、対数圧縮カーブａとなり、入力輝度範囲Ｘに対して、出力輝度範囲Ｙ１を得る。
【００１９】
センサコントローラ５からのＲＧＢデータにより、アイリス修正部６１が黒レベルを調整、アイリス２の修正をする（Ｓ２）。つまり、輝度平均演算部６１１がＲＧＢデータの輝度平均を求め（Ｓ２１）、この輝度平均により、アイリス演算部６１２は所望の輝度平均になるように、アイリス値の演算を行い（Ｓ２２）、アイリス値により、アイリス駆動部３にアイリス２を修正させる（Ｓ２３）。この結果、図５に示すように、対数圧縮カーブａから対数圧縮カーブｂとなり、入力輝度範囲Ｘに対する出力輝度範囲はＹ２となる。
【００２０】
そして、センサコントローラ５は、ＣＭＯＳイメージャ４にバリア電圧を出力し、ＣＭＯＳイメージャ４がＲＧＢデータをセンサコントローラ５に出力する。そして、センサコントローラ５はカメラコントローラ６にＲＧＢデータを渡す（Ｓ３）。このＲＧＢデータにより、レンジ修正部６２はＣＭＯＳイメージャ４の圧縮カーブを修正する（Ｓ４）。つまり、レンジ修正部６２は、ＲＧＢデータから明度閾値以上の画素数の計数を行う（Ｓ４１）。この計数した画素数に基づき、レンジ修正部６２はセンサコントローラ５に対して圧縮カーブを指定する（Ｓ４２）。この結果、図５に示すように、対数圧縮カーブｂから対数圧縮カーブｃになり、入力輝度範囲Ｘに対する出力輝度範囲はＹ３となる。
【００２１】
このように、アイリス修正部６１がＲＧＢデータに基づいてアイリス値を判断し、アイリス駆動部３に修正させ、アイリス２を調整し、暗部レベルの分布を確保し、レンジ修正部６２により圧縮カーブを修正するので、広ダイナミックレンジで最適な画像を得ることができる。
【００２２】
次にアイリス修正部６１の他の構成を図６に示し説明する。ここで、図１と同一のものは同一符号を付し説明を省略する。
【００２３】
図６において、アイリス修正部６１は、ヒストグラム演算部６１３、分布位置検出部６１４、アイリス演算部６１５からなる。ヒストグラム演算部６１３は、画像データの輝度のヒストグラムを求める。分布位置検出部６１４は、ヒストグラム演算部６１３のヒストグラムにより、暗部の分布位置を検出する。アイリス演算部６１５は、分布位置検出部６１４の分布位置により、暗部の分布位置を所望の位置にするアイリス値を演算し、アイリス駆動部３に修正させる。
【００２４】
このような装置の動作を以下に説明する。図７は図６に示すアイリス修正部６１の動作を示したフローチャートである。ここで、図１に示す装置と同一の動作については説明を省略する。
【００２５】
ヒストグラム演算部６１３は、ＲＧＢデータによりヒストグラムを演算する（Ｓ２４）。このヒストグラムにより、分布位置検出部６１４は暗部の分布位置の開始位置を検出する（Ｓ２５）。例えば、図８（ａ）に示すように、暗部の所定度数により、暗部の開始位置ａを検出する。そして、アイリス演算部６１５は、分布位置検出部６１４の分布位置により、暗部の分布位置を所望の位置、つまり、暗部の分布位置を下げる位置にするアイリス値を演算する（Ｓ２６）。そして、アイリス演算部６１５は、アイリス値により、アイリス駆動部３にアイリス２を修正させる（Ｓ２７）。
【００２６】
そして、レンジ修正部６２がＣＭＯＳイメージャ４の圧縮カーブを修正し、図８（ｂ）に示すようなヒストグラムが得られる。この結果、暗部の分布開始位置ｂとなり、暗部レベルの分布を確保できる。ここで、図８（ａ）の輝度平均は”９３．２６”、図８（ｂ）の輝度平均は”４８．８２”である。すなわち、図１に示す装置のように輝度平均を下げることでも、暗部レベルの分布は確保できることもわかる。
【００２７】
なお、本発明はこれに限定されるものではなく、ＣＭＯＳイメージャ４が、センサコントローラ５を介して、カメラコントローラ６にＲＧＢデータを与える構成を示したが、ＣＭＯＳイメージャ４が直接カメラコントローラ６にＲＧＢデータを与える構成にしてもよい。
【００２８】
また、アイリス修正部６１、レンジ修正部６２はＲＧＢデータに基づいて修正を行う構成を示したが、ＹＣｒＣｂ画像データに基づいて修正を行う構成にしてもよい。要するに画像データの種類に限定されるものではない。
【００２９】
【発明の効果】
請求項１〜４によれば、アイリス修正部が画像データに基づいてアイリス値を判断し、アイリス駆動部に修正させ、アイリスを調整し、暗部レベルの分布を確保し、レンジ修正部により圧縮カーブを修正するので、広ダイナミックレンジで最適な画像を得ることができる。
【００３０】
請求項５〜８によれば、画像データに基づいてアイリス値を判断し、アイリス駆動部に修正させ、アイリスを調整し、暗部レベルの分布を確保し、圧縮カーブを修正するので、広ダイナミックレンジで最適な画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施例を示した構成図である。
【図２】図１に示す装置の動作を示したフローチャートである。
【図３】アイリス修正部６１の動作を示したフローチャートである。
【図４】レンジ修正部６２の動作を示したフローチャートである。
【図５】図１に示す装置の動作を説明する図である。
【図６】本発明の第２の実施例を示した構成図である。
【図７】図６に示すアイリス修正部６１の動作を示したフローチャートである。
【図８】画像データのヒストグラムを示した図である。
【図９】ＣＭＯＳセンサの構成を示した図である。
【図１０】ＣＭＯＳセンサの動作を説明する図である。
【図１１】ＣＭＯＳセンサの動作を説明する図である。
【図１２】ＣＭＯＳセンサの動作を説明する図である。
【符号の説明】
２  アイリス
３  アイリス駆動部
４  ＣＭＯＳイメージャ
６１  アイリス修正部
６１１  輝度平均演算部
６１２，６１５  アイリス演算部
６１３  ヒストグラム演算部
６１４  分布位置検出部
６２  レンジ修正部
【図１】
2004282282.tif 000003
【図２】
2004282282.tif 000004
【図３】
2004282282.tif 000005
【図４】
2004282282.tif 000006
【図５】
2004282282.tif 000007
【図６】
2004282282.tif 000008
【図７】
2004282282.tif 000009
【図８】
2004282282.tif 000010
【図９】
2004282282.tif 000011
【図１０】
2004282282.tif 000012
【図１１】
2004282282.tif 000013
【図１２】
2004282282.tif 000014