(57)【要約】【課題】カメラの動画出力に対してガンマ特性を有効活用することにより夜間の視認性を人の視覚以上にリアルタイムに向上させる技術を提供する。【解決手段】被写体を撮像する際の明るさを調整する第１の明るさ調整部と、第１の明るさ調整部により調整された明るさで撮像された被写体のアナログ画像信号の明るさを調整する第２の明るさ調整部と、第２の明るさ調整部により調整された明るさのアナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換部と、Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整部と、第３の明るさ調整部により明るさ調整されたデジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整部と、を含む。【選択図】図１
2020170917.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する際の明るさを調整する第１の明るさ調整部と、
前記第１の明るさ調整部により調整された明るさで撮像された前記被写体のアナログ画像信号の明るさを調整する第２の明るさ調整部と、
前記第２の明るさ調整部により調整された明るさの前記アナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換部と、
前記Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整部と、
前記第３の明るさ調整部により明るさ調整された前記デジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整部と、を含む、撮像装置。
【請求項２】
前記第１の明るさ調整部は、露光時間を調整する露光時間調整部であり、
前記第２の明るさ調整部は、前記アナログ画像信号の出力振幅を調整するアナログゲイン調整部であり、
前記第３の明るさ調整部は、前記デジタル画像信号の出力振幅を調整するデジタルゲイン調整部である、請求項１に記載の撮像装置。
【請求項３】
前記ゲインアップ調整部は、前記デジタル画像信号のデジタルゲインが最大値近傍となるような低照度状態において、２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせる、請求項１または２に記載の撮像装置。
【請求項４】
前記ゲインアップ調整部は、前記２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせる際に、２つ以上のガンマ特性の結果に対してそれぞれゲイン掛けした後、加算する構成に対して、２つ以上のゲイン係数の関係がαと１−α（α：０〜１）としてαの値を調整する、請求項３に記載の撮像装置。
【請求項５】
前記２つ以上のゲイン係数の関係がαと１−α（α：０〜１）としてαの値を調整するに際し、測光検出処理で得られた輝度レベルの値に相関性を持たせてαの値をリアルタイムに自動調整する、請求項４に記載の撮像装置。
【請求項６】
前記測光検出処理で得られた輝度レベルの値に相関性を持たせてαの値をリアルタイムに自動調整する際、目標輝度レベルの値に対して前記ゲイン係数α＝１となり、当該目標輝度レベルの減少に伴いαも徐々に減少し、任意設定の最小値に対して係数α＝０となるよう設定する、請求項５に記載の撮像装置。
【請求項７】
前記第１の明るさ調整、前記第２の明るさ調整、前記第３の明るさ調整を行う際、前記被写体の明るさに対して前記ガンマ特性を用いた前記リアルタイム変更調整を開始するときの明るさレベルを調整するために、前記デジタルゲイン調整部の値を最大値から任意の値に低下させた値に調整することで、ゲイン係数αが変化し始める明るさポイントを設定する、請求項２〜６の何れか１項に記載の撮像装置。
【請求項８】
前記２つ以上のガンマ特性の設定は、それぞれ任意に設定可能である、請求項３〜７の何れか１項に記載の撮像装置。
【請求項９】
被写体を撮像する際の明るさを調整する第１の明るさ調整工程と、
前記第１の明るさ調整工程により調整された明るさで撮像された前記被写体のアナログ画像信号の明るさを調整する第２の明るさ調整工程と、
前記第２の明るさ調整部により調整された明るさの前記アナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換工程と、
前記Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整工程と、
前記第３の明るさ調整工程により明るさ調整された前記デジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整工程と、を含む、画像調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、および、画像調整方法に関する。
【背景技術】
【０００２】
近年、自動車業界において、自動運転を実現するためのセンシング技術開発が活況を呈している。代表的な画像情報入力装置である車載カメラは、小型で車両デザインを重視した自由な配置で取り付けできることが望まれ、運転者はもちろん車両ＥＣＵ（Electronic Control Unit）は、車載カメラの映像情報により、車両の後方はもとより、車両の全周囲にわたっての車外状況を視認・検知できるようになってきている。
【０００３】
このような車載カメラにおいては、昼夜問わず視認性の高い映像を出力するもの、例えば、夜間における路面上の障害物被写体の視認性を人の視覚以上にあげてかつ、ヘッドライトなどのスポット高輝度被写体の視認性も担保して、運転者の画像視認による安全確認ができるようにするものが望まれている。
【０００４】
そして、入力信号のダイナミックレンジを広げる方法として、Ａ／Ｄ変換後の信号処理のダイナミックレンジを規定設定するに際し、一回の露光データに対して、第２の高ゲインと第１の低ゲインの比をＡＤ変換器のダイナミックレンジに乗じた値を信号処理のダイナミックレンジとして規定設定する技術が開示されている（例えば、特許文献１）。
【０００５】
また、入力した画像信号から所定の出力ビット長の輝度信号及び色差信号を出力する画像信号処理装置において、入力した画像信号のダイナミックレンジを拡張する増幅手段と、ダイナミックレンジが拡張された画像信号に基づいてＲＧＢ信号を算出する手段と、ＲＧＢ信号に対してＲＧＢγ補正を行ない、出力ビット長よりもビット拡張した信号として出力するＲＧＢγ補正手段と、ＲＧＢγ補正手段によりビット拡張されたＲＧＢ信号に基づいて輝度信号及び色差信号を算出する変換手段と、算出された輝度信号の出力レベルが出力ビット長に収まるように非線形補正を行なう非線形補正手段を備える技術が開示されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３３９５６号公報
【特許文献２】国際公開第２００７／１０８３１７号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１、２では、撮像装置の動画出力に対してガンマ特性を有効活用することにより夜間の視認性を人の視覚以上にリアルタイムに向上させることに関しては考えられていない。
【０００８】
そこで本開示は、上記課題に鑑み、撮像装置の動画出力に対してガンマ特性を有効活用することにより夜間の視認性を人の視覚以上にリアルタイムに向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本開示の撮像装置は、被写体を撮像する際の明るさを調整する第１の明るさ調整部と、前記第１の明るさ調整部により調整された明るさで撮像された前記被写体のアナログ画像信号の明るさを調整する第２の明るさ調整部と、前記第２の明るさ調整部により調整された明るさの前記アナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整部と、前記第３の明るさ調整部により明るさ調整された前記デジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整部と、を含む。
【００１０】
また、本開示の撮像装置は、前記第１の明るさ調整部は、露光時間を調整する露光時間調整部であり、前記第２の明るさ調整部は、前記アナログ画像信号の出力振幅を調整するアナログゲイン調整部であり、前記第３の明るさ調整部は、前記デジタル画像信号の出力振幅を調整するデジタルゲイン調整部である。
【００１１】
また、本開示の撮像装置は、前記ゲインアップ調整部は、前記デジタル画像信号のデジタルゲインが最大値近傍となるような低照度状態において、２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせる。
【００１２】
また、本開示の撮像装置は、前記ゲインアップ調整部は、前記２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせる際に、２つ以上のガンマ特性の結果に対してそれぞれゲイン掛けした後、加算する構成に対して、２つ以上のゲイン係数の関係がαと１−α（α：０〜１）としてαの値を調整する。
【００１３】
また、本開示の撮像装置は、前記２つ以上のゲイン係数の関係がαと１−α（α：０〜１）としてαの値を調整するに際し、測光検出処理で得られた輝度レベルの値に相関性を持たせてαの値をリアルタイムに自動調整する。
【００１４】
また、本開示の撮像装置は、前記測光検出処理で得られた輝度レベルの値に相関性を持たせてαの値をリアルタイムに自動調整する際、目標輝度レベルの値に対して前記ゲイン係数α＝１となり、当該目標輝度レベルの減少に伴いαも徐々に減少し、任意設定の最小値に対して係数α＝０となるよう設定する。
【００１５】
また、本開示の撮像装置は、前記第１の明るさ調整、前記第２の明るさ調整、前記第３の明るさ調整を行う際、前記被写体の明るさに対して前記ガンマ特性を用いた前記リアルタイム変更調整を開始するときの明るさレベルを調整するために、前記デジタルゲイン調整部の値を最大値から任意の値に低下させた値に調整することで、ゲイン係数αが変化し始める明るさポイントを設定する。
【００１６】
また、本開示の撮像装置は、前記２つ以上のガンマ特性の設定は、それぞれ任意に設定可能である。
【００１７】
また、本開示の画像調整方法は、被写体を撮像する際の明るさを調整する第１の明るさ調整工程と、前記第１の明るさ調整工程により調整された明るさで撮像された前記被写体のアナログ画像信号の明るさを調整する第２の明るさ調整工程と、前記第２の明るさ調整部により調整された明るさの前記アナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換工程と、前記Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整工程と、前記第３の明るさ調整工程により明るさ調整された前記デジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整工程と、を含む。
【発明の効果】
【００１８】
本開示によれば、撮像装置の動画出力に対してガンマ特性を有効活用することにより夜間の視認性を人の視覚以上にリアルタイムに向上させる技術を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本開示の実施形態に係る代表的な撮像装置の信号処理機能の構成を示す図である。
【図２】本開示の実施形態に係る輝度信号調整処理部の内部構成を示す図である。
【図３】本開示の実施形態に係る２つ以上の入出力非線形特性の混合処理による低照度部のゲインアップを説明するための図である。
【図４】本開示の実施形態に係る明るさ調整機能の環境照度に対する連携動作を説明するための図である。
【発明を実施するための形態】
【００２０】
以下、本開示の実施形態に係る撮像装置について説明する。 
【００２１】
（撮像装置の信号処理機能の構成）
まず、本開示の実施形態に係る代表的な撮像装置の信号処理機能の構成について、図１を用いて説明する。
【００２２】
撮像装置１は、前処理部１０と、後処理部２０を備える。前処理部１０は、イメージセンサ露光時間調整部１１、アナログゲイン調整部１２、Ａ／Ｄ変換処理部１３、デジタルゲイン調整部１４、ＷＤＲ（Wide Dynamic Range）撮像入力データ合成処理部１５を含む。
【００２３】
撮像装置１の信号処理機能は、イメージセンサを介して撮像された被写体の光学像のアナログ画像信号をデジタル画像信号に変換して輝度信号と色信号を出力するデジタルカメラである。
【００２４】
撮像装置１に設けられるイメージセンサ（図示なし）は、ＣＣＤ（Charge Coupled Device）型又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型等に代表されるイメージセンサである。
【００２５】
イメージセンサの受光面に結像された被写体の光学像のアナログ画像信号は、イメージセンサ内に２次元配置された各フォトダイオード（画素）によって入射光量に応じた量の信号電荷に変換さる。
【００２６】
そして、図示しないドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。
【００２７】
イメージセンサに設けられたイメージセンサ露光時間調整部１１は、シャッタゲートパルスのタイミング制御によって各フォトダイオード（画素）の電荷蓄積時間（シャッタスピード）を調整する露光時間調整（電子シャッター）機能（第１の明るさ調整）を有している。イメージセンサの動作（露光時間、読み出し等）はＣＰＵ（図示なし）により制御される。イメージセンサからは、アナログ画像信号がアナログゲイン調整部１２に出力される。
【００２８】
アナログゲイン調整部１２は、入力されたアナログ画像信号の出力振幅をゲイン調整することにより明るさ調整（第２の明るさ調整）する。明るさ調整後のアナログ画像信号は、Ａ／Ｄ変換処理部１３に出力される。
【００２９】
Ａ／Ｄ変換処理部１３は、入力されたアナログ画像信号をＡ／Ｄ変換によりデジタル画像信号に変換する。変換されたデジタル画像信号は、デジタルゲイン調整部１４に出力される。
【００３０】
デジタルゲイン調整部１４は、入力されたデジタル画像信号の出力振幅を調整することにより明るさ調整（第３の明るさ調整）する。
【００３１】
以上により、イメージセンサ露光時間調整部１１による第１の明るさ調整と、アナログゲイン調整部１２による第２の明るさ調整と、デジタルゲイン調整部１４による第３の明るさ調整と、を組み合わせて画像信号の明るさを調整することにより、被写体の撮像環境における照度変化に対応することができる。
【００３２】
被写体の撮像環境の照度が明るい場合、前処理部１０において、イメージセンサ露光時間調整部１１による露光時間調整により露光時間を短くし、アナログゲイン調整部１２によりアナログゲインを小さくし、デジタルゲイン調整部１４によりデジタルゲインを小さくする。このようにして、被写体の撮像環境の照度が明るい場合において、所望のデジタルデータ値の明るさをもつ画像データを後処理部２０へ出力することができる。
【００３３】
一方、被写体の撮像環境の照度が暗い場合、前処理部１０において、イメージセンサ露光時間調整部１１による露光時間調整により露光時間を長くし、アナログゲイン調整部１２によりアナログゲインを大きくし、デジタルゲイン調整部１４によりデジタルゲインを大きくする。このようにして、被写体の撮像環境の照度が明るい場合において、所望のデジタルデータ値の明るさをもつ画像データを後処理部２０へ出力することができる。
【００３４】
前処理部１０におけるイメージセンサ露光時間調整部１１による第１の明るさ調整、アナログゲイン調整部１２による第２の明るさ調整、デジタルゲイン調整部１４による第３の明るさ調整により出力レベルが調整された画像信号（画像データ）はＷＤＲ撮像入力データ合成処理部１５に入力される。
【００３５】
従来のイメージセンサは、１つの露光時間により撮像された画像信号を１フレーム毎に出力するものが主流であったが、近年、ワイドダイナミックレンジ（ＷＤＲ）対応、ハイダイナミックレンジ（ＨＤＲ）対応のセンサが主流になってきている。これらのセンサによる読み出し制御の特徴としては、１フレーム毎に２種類の露光時間で撮像を行うことにより明るさの違う２種類の画像信号を並列出力できることである。
【００３６】
また、アナログゲイン調整部１２とＡ／Ｄ変換処理部１３を２つ具備し、各々の調整値を２種類の異なる値に設定することにより、明るさの異なる２種類の画像信号を同時並列出力することができる。
【００３７】
ＷＤＲ撮像入力データ合成処理部１５は、同時に並列出力される明るさの違う画像信号を合成して１系統の合成画像信号を生成し、合成した合成画像信号（合成画像データ）を後処理部（カラー画像処理部）２０に出力する。
【００３８】
後処理部２０は、輝度信号調整処理部（ゲインアップ調整部）２１と色信号調整処理部２２と測光輝度レベル検出処理部（図示なし）で構成される。この後処理部２０による調整は、ＣＰＵにより制御される。
【００３９】
輝度信号調整処理部２１は、主に同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ガンマ補正処理、輝度信号生成処理、輪郭強調処理、オフセットレベル調整処理等の各種処理を実施する。また、輝度信号調整処理部２１には、ガンマ特性（非線形特性）入出力調整部２１ａを備える。
【００４０】
色信号調整処理部２２は、主に同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整処理、色ガンマ補正処理、色信号調整処理等の各種処理を実施する。
【００４１】
測光輝度レベル検出部は、後処理部２０に入力された合成画像信号の輝度レベルを検出する測光検出処理を実施する。なお、測光輝度レベル検出部による測光検出処理は、輝度信号調整処理部２１の前段で実施される場合と、輝度信号調整処理部２１における処理として実施される場合がある。
【００４２】
（後処理部２０における輝度信号調整処理部２１の内部構成）
次に、後処理部２０における輝度信号調整処理部２１の内部構成を、図２を用いて説明する。
【００４３】
後処理部２０における合成画像データの画像調整は、輝度信号調整処理部２１におけるガンマ特性入出力調整部２１ａで行われる。
【００４４】
一般的には、入力された画像信号の入力値に対して非線形な出力特性をもたせて出力することができ、入力された画像データのうち小レベルの画像データを持ち上げてかつ大レベルの画像データを抑えて弧を描くガンマ補正の非線形特性曲線を１種類有している。
【００４５】
しかしながら、本開示の実施形態では、ガンマ補正の非線形特定曲線として２種類の非線形特性曲線を有しており、同時並列処理が可能である。２種類の非線形特性曲線における第１の非線形特性曲線に対して第２の非線形特性曲線は、第１の非線形特性曲線よりも相対的に入力された画像データにおける小レベルの画像信号をより持ち上げ、かつ、画像データにおける大レベルの画像信号をより抑えて弧を描くガンマ補正の非線形特性曲線である。
【００４６】
この２種類の非線形特性曲線を用いて非線形特性のリアルタイム変更調整を行うにあたり、２つの入出力非線形特性出力の混合処理により、２種類の非線形特性曲線の中間非線形特性で低照度部のゲインアップ調整を行うことができる構成をとる。
【００４７】
２つの非線形特性曲線の中間非線形特性曲線を可変できるゲインアップ調整を行うにあたり、２つの非線形特性結果にそれぞれのゲインを掛けた後、加算する構成をとることにより、２つのゲイン係数の関係がαと１-α（α：０〜１）としてαの値を調整する。２つのゲイン係数であるαと１-αは、係数を加算することにより１になるように設定することが調整の特徴である。
【００４８】
（２つ以上の入出力非線形特性の混合処理による低照度部のゲインアップ）
次に、本開示の実施形態に係る２つ以上の入出力非線形特性の混合処理による低照度部のゲインアップについて図３を用いて説明する。
【００４９】
この図３において、昼間に撮像された画像データのガンマ特性がガンマ特性［１］、もしくは、ガンマ特性［１］´である。また、低照度部のゲインをアップして夜間の視認性を高くした夜間のガンマ特性がガンマ特性［２］の非線形特性である。このグラフのＸ軸は入力信号データレベルを示し、Ｙ軸が出力信号データレベルを示す。
【００５０】
ＷＤＲ撮像入力データ合成処理部１５から明るさの異なる２種類の画像データを合成して１系統の合成データとして出力された合成画像データは、輝度信号調整処理部２１のガンマ特性入出力調整部２１ａに入力される。
【００５１】
その際、ガンマ特性入出力調整部２１ａに入力される合成画像データの入力信号のレンジは、その最大値が図３に示す入力信号データレンジの最大値に合うように調整されて入力される。
【００５２】
入力される合成画像データに非線形特性を持たせる際、例えば、入力データ範囲を大きく３つに分け、低照度部（ＷＤＲ撮像データＬ（Ｌｏｗ））、中間照度部（ＷＤＲ撮像データＭ（Ｍｉｄｄｌｅ））、高照度部（ＷＤＲ撮像データＨ（Ｈｉｇｈ））として、非線形特性グラフの変化に対して特徴づけを行う。このようにすることで、第１の非線形特性曲線に対して第２の非線形特性曲線は相対的に画像データにおける小レベルの画像信号をより持ち上げて、かつ、画像データにおける大レベルの画像信号をより抑えて弧を描く非線形特性をとる。
【００５３】
また、［１］に示す非線形特性と［２］に示す非線形特性を２つのゲイン係数となるαと、１−α（加算して１となる）と、を設定し、それぞれの非線形特性出力に乗算して加算することにより［１］の非線形特性と［２］の非線形特性の中間特性として出力することができる。
【００５４】
また、昼間のガンマ特性を［１］´として調整することにより、［１］´の非線形特性と［２］の非線形特性の中間特性として出力することができる。
【００５５】
そして、２つの非線形特性の中間特性を生成する際、係数αを０から少しずつ増加させることにより、画像の変化として滑らかに変更することができる。
【００５６】
図４は、本開示の実施形態に係る明るさ調整機能の環境照度に対する連携動作を説明するための図である。
【００５７】
まず、連携動作を実現する従来からの一般的な一例を図４に基づいて説明する。
【００５８】
環境照度の変化に対する撮像装置１の自動明るさ調整機能の動作は、イメージセンサの露光時間調整機能とアナログゲイン調整機能とデジタルゲイン調整機能が連動して動作する。
【００５９】
図４において左に行くにしたがい環境照度の明るい状態（昼間）となり、右に行くにしたがい環境照度が暗い状態（夜間）を示している。
【００６０】
ここで、環境照度が明るい状態から徐々に暗い状態に遷移していく際の、一般的な撮像装置による自動明るさ調整機能の動作について説明する。
【００６１】
まず、明るい時はイメージセンサの露光時間調整が動作してイメージセンサの露光時間の出力レベルが所望の値に収束するように動作する。このとき、アナログゲイン調整値は最小値であり、デジタルゲイン調整値も最小値である（第１の状態）。
【００６２】
上記第１の状態よりさらに暗くなるのに従い、イメージセンサの露光時間の出力レベルが最大値である１／３０秒（３０ｆｐｓ動作）となる。続いて、アナログゲイン調整値が最小値から徐々に大きくなり、Ａ／Ｄ変換処理部１３に入力される画像信号のレベルが所望の値に収束するように動作する（第２の状態）。
【００６３】
上記第２の状態よりさらに暗くなるのに従い、イメージセンサの露光時間が最大値である１／３０秒（３０ｆｐｓ動作）となり、アナログゲイン調整値も最大値となる。続いて、デジタルゲイン調整値が最小値から徐々に大きくなり、Ａ／Ｄ変換処理部１３によるＡ／Ｄ変換後の画像信号が所望の値に収束するように動作する（第３の状態）。
【００６４】
上記第３の状態よりさらに暗くなるのに従い、イメージセンサの露光時間が最大値である１／３０秒（３０ｆｐｓ動作）となり、アナログゲイン調整値も最大値、デジタルゲイン調整値も最大値となる。よって、Ａ／Ｄ変換後の画像信号は所望の値に収束しない。そして、さらに暗くなるにしたがって信号データは黒レベル値に近づいていく（第４の状態）。
【００６５】
このように、一般的な撮像装置では、環境照度が明るい状態から暗い状態に繊維していく場合、上記第１の状態〜第４の状態による連携動作で明るさ調整を行う。
【００６６】
逆に環境照度が暗い状態（夜間）から徐々に明るい状態（昼間）へ遷移する場合、上記第１の状態〜第４の状態とは逆の連携動作を行う。
【００６７】
具体的には、上記第４の状態から明るくなるのに従い、画像信号のレベルが黒レベルから徐々に大きくなり、Ａ／Ｄ変換後の画像信号は所望の値に近づいてくる（第５の状態）。
【００６８】
上記第５の状態からさらに明るくなるのに従い、デジタルゲイン調整値はＭＡＸ値から徐々に小さくなるように調整し、Ａ／Ｄ変換後の画像信号が所望の値に収束するように動作する（第６の状態）。
【００６９】
上記第６の状態からさらに明るくなるのに従い、デジタルゲイン調整値はＭＩＮ値となり、続いて、アナログゲイン調整値が最大値から徐々に小さくなり、Ａ／Ｄ変換処理部１３に入力される画像信号のレベルが所望の値に収束するように動作する（第７の状態）。
【００７０】
上記第７の状態からさらに明るくなるのに従い、デジタルゲイン調整値とアナログゲイン調整値がＭＩＮ値となり、続いて、イメージセンサの露光時間の最大値の１／３０秒（３０ｆｐｓ動作）から徐々に小さくなり、イメージセンサの露光時間の出力レベルが所望の値に収束するように動作する（第８の状態）。
【００７１】
上記第８の状態からさらに明るくなるのに従い、イメージセンサの露光時間の出力レベルはＭＩＮ値となり、さらに明るくなるとイメージセンサ露光時間の出力レベルは飽和レベルに近づいていく。そして、所望の値に収束することができなくなり、白レベル値に近づいていく。また、Ａ／Ｄ変換前後の画像信号も飽和値に近づいていく（第９の状態）。
【００７２】
上記第１の状態〜第４の状態、および、上記第５の状態〜第９状態に示した一般的なカメラの連携動作による明るさ調整においては、本開示であるガンマ特性（非線形特性）は１種類の特性であり、代表的な特性は図３に示す［１］のガンマ特性である。
【００７３】
次に、連携動作を実現する本開示の調整方法に関して図４に基づいて説明する。
【００７４】
まず、環境照度が明るい状態から徐々に暗い状態に遷移していく際の自動明るさ調整機能の動作について説明する。環境照度が明るい状態から徐々に暗い状態に遷移していく際の自動明るさ調整機能の動作は、上記第１の状態〜第３の状態に示した動作と同じ動作を行う。
【００７５】
次に上記第４の状態より、さらに暗くなるのに従い、イメージセンサの露光時間の出力レベルが最大値の１／３０秒（３０ｆｐｓ動作）となり、続いて、アナログゲイン調整値が最大値となり、続いて、デジタルゲイン調整値が最大値となる。よって、Ａ／Ｄ変換後の画像信号は所望の値に収束できない。そこで、さらに暗くなるのに従い、夜間の視認性を向上させる調整として２つのガンマ特性（非線形特性）を用いた混合処理により画像信号における入力信号データレンジの低照度側を持ち上げる動作を行う。
【００７６】
上記混合処理では、使用する２つのゲイン係数の関係がαと１−α（α：０〜１）としてαの値を調整するに対し、本開示の調整方法では、測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルデータの値に相関性を持たせてαの値を自動調整する。
【００７７】
図４では検出輝度レベルがＹ＝ＡからＹ＝Ｂに値が低下していく際、Ａの値に対応してα＝０、Ｂの値に対してα＝１を対応させる。そして、さらに暗くなるのに従い、徐々にＡからＢに向かって小さくなる輝度レベルの検出データ値に相関性をもたせる。これにより、輝度レベルの検出データ値の減少に対してαが０から１（ＭＡＸ値）に増加する増加特性として自動で変化させることができる。
【００７８】
なお、Ａの値に対してα＝１と対応させた場合、さらに暗くなるのに従い、徐々に小さくなっていく輝度レベルの検出データ値に相関性をもたせる。これにより、輝度レベルの検出データ値の増加に対してαが１から０（ＭＩＮ値）に減少する減少特性としてαが１から０のＭＩＮ値に自動で変化させることができる。
【００７９】
その後、さらに暗くなるのに従い、測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルの検出データ値は、黒レベル値（Ｙ＝０）に近づいていく。
【００８０】
測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルの検出データ値に相関性を持たせて動作させるに際し、目標輝度レベルの値に対して上記ゲイン係数α＝０となり、目標輝度レベルの減少に伴いαを徐々に増加させ、任意設定の最小値に対して係数α＝１となるよう調整する。
【００８１】
また、測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルの検出データ値に相関性を持たせて動作させるに際し、目標輝度レベルの値に対して上記ゲイン係数α＝１となり、目標輝度レベルの減少に伴いαも徐々に減少させ、任意設定の最小値に対して係数α＝０となるよう調整する。
【００８２】
次に環境照度が暗い状態から徐々に明るい状態に遷移していく際の自動明るさ調整機能の動作について説明する。
【００８３】
まず、最も暗い状態より、徐々に明るい状態に遷移していくに従い、輝度レベルの検出データ値が黒レベル値より徐々に上昇する。
【００８４】
さらに上昇し検出値がＢの値より大きくなると、夜間の視認性を向上させる調整である２つのガンマ特性（非線形特性）を用いた混合処理により入力信号データレンジの低照度側を持ち上げる動作を行う。
【００８５】
上記混合処理では、使用する２つのゲイン係数の関係がαと１−α（α：０〜１）として、再び測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルデータの値に相関性を持たせてαの値を自動調整する。
【００８６】
図４では検出輝度レベルがＹ＝ＢからＹ＝Ａに値が上昇していく際、Ｂの値に対してα＝１、Ａの値に対してα＝０、を対応させる。そして、さらに明るくなるのに従い、徐々にＢからＡに向かって大きくなる輝度レベルの検出データ値に相関性をもたせる。これにより、輝度レベルの検出データ値の増加に対してαが１から０（ＭＩＮ値）に減少する減少特性として自動で変化させることができる。
【００８７】
なお、Ａの値に対してα＝１と対応させ、Ｂの値に対してα＝０と対応させた場合、さらに明るくなるのに従い徐々に大きくなっていく輝度レベルの検出データ値に相関性をもたせる。これにより、輝度レベルの検出データ値の増加に対してαが０から１（ＭＡＸ値）に増加する増加特性として自動で変化させることができる。
【００８８】
その後、さらに明るくなるのに従い、測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルの検出データ値は、露光時間調整機能、アナログゲイン調整機能、デジタルゲイン調整機能を用いた自動ゲイン調整収束状態により得られる値となる。
【００８９】
その後、さらに明るくなるのに従い、一般的な撮像装置と同様に、上記第６の状態〜第９の状態による状態遷移での自動調整連携動作となる。
【００９０】
（付記事項）
撮像装置１による画像調整方法であって、電子シャッター（露光時間）調整、Ａ／Ｄ前ゲイン調整、Ａ／Ｄ後のデジタルゲイン調整を行うに際して、被写体の明るさに対して信号処理内部のガンマ特性機能を用いた入出力非線形特性のリアルタイム変更調整が開始する明るさレベルを調整するために、デジタルゲインのＭＡＸ値を任意の値に下げた値に調整することで、ゲイン係数αが変化し始める明るさポイントを設定することができる。
【００９１】
撮像装置１による画像調整方法であって、夜間の低照度路面上障害物被写体の視認性を上げるとともに、ヘッドライトなどのスポット高輝度被写体の視認性も担保するため、ＷＤＲ（ワイドダイナミックレンジ）センサが撮像している複数のゲイン設定と露光設定より得られた複数の露光データの合成被写データをガンマ特性（入出力非線形特性）の入力信号データレンジ内の入るように調整し、映像信号処理出力データレンジ内で諧調を担保することにより、飽和クリップによる白とびを発生させずに照度のダイナミックレンジが非常に広く視認性を担保した好適な画像出力ができる撮像装置１を提供することができる。
【産業上の利用可能性】
【００９２】
本開示によれば、撮像装置の動画出力に対してガンマ特性を有効活用することにより夜間の視認性を人の視覚以上にリアルタイムに向上させる技術を提供することができる。
【符号の説明】
【００９３】
１  撮像装置
１０  前処理部
１１  イメージセンサ露光時間調整部
１２  アナログゲイン調整部
１３  Ａ／Ｄ変換処理部
１４  デジタルゲイン調整部
１５  ＷＤＲ撮像入力データ合成処理部
２０  後処理部
２１  輝度信号調整処理部
２１ａ  ガンマ特性入出力調整部
２２  色信号調整処理部
【図１】
2020170917.tif 000003
【図２】
2020170917.tif 000004
【図３】
2020170917.tif 000005
【図４】
2020170917.tif 000006