(57)【要約】【課題】光量制御可能な特別な光源や測定装置を使用することなく、撮像装置による撮像データと受光量との関係が線形になるように撮像データ補正するための補正データを作成し、正確な階調を表す撮像データを取得する。【解決手段】撮像装置により同一の被写体を明るさの異なる２つの露光条件で撮像して得られた２つの撮像データを取得する取得手段と、前記撮像装置により撮像して得られる撮像データを変換する変換関数であって、変換後の前記２つの撮像データの階調値が互いに正比例の関係に近くなるような変換関数を算出する算出手段と、前記変換関数に基づき、前記撮像装置により撮像して得られる撮像データの補正に用いる補正データを作成する作成手段と、を備える情報処理装置。【選択図】図３
2017158057.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により同一の被写体を明るさの異なる２つの露光条件で撮像して得られた２つの撮像データを取得する取得手段と、
前記撮像装置により撮像して得られる撮像データを変換する変換関数であって、変換後の前記２つの撮像データの階調値が互いに正比例の関係に近くなるような変換関数を算出する算出手段と、
前記変換関数に基づき、前記撮像装置により撮像して得られる撮像データの補正に用いる補正データを作成する作成手段と、
を備える情報処理装置。
【請求項２】
前記撮像装置により撮像して得られる撮像データを前記補正データを用いて補正する補正手段をさらに備える請求項１に記載の情報処理装置。
【請求項３】
前記撮像装置により撮像して得られる撮像データは、複数の画素の階調値からなる請求項１又は２に記載の情報処理装置。
【請求項４】
前記２つの露光条件は、露光時間が異なる請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記２つの露光条件は、光量の絞りレベルが異なる請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項６】
前記算出手段は、第１の露光条件で撮像して得られた第１の撮像データの階調値を近似関数で変換した値に所定の比例係数を乗じた値と、第２の露光条件で撮像して得られた第２の撮像データの階調値を前記近似関数で変換した値と、のずれを表す量を最小にする最小二乗法により前記近似関数を決定し、決定した近似関数に基づき前記変換関数を算出する請求項１〜５のいずれか１項に記載の情報処理装置。
【請求項７】
前記算出手段は、前記比例係数を異ならせて複数の近似関数を決定し、複数の近似関数のうち、第１の露光条件で撮像して得られた第１の撮像データの階調値を近似関数で変換した値に所定の比例係数を乗じた値と、第２の露光条件で撮像して得られた第２の撮像データの階調値を前記近似関数で変換した値と、のずれを表す量が最小になる比例係数に対応する近似関数に基づき前記変換関数を算出する請求項６に記載の情報処理装置。
【請求項８】
前記算出手段は、前記近似関数として、Ｎが２以上のＮ次多項式を用いる請求項６又は７に記載の情報処理装置。
【請求項９】
前記算出手段は、前記近似関数として、前記撮像装置の受光量と撮像データの階調値との間の特性に応じた関数を用いる請求項６又は７に記載の情報処理装置。
【請求項１０】
前記作成手段は、ルックアップテーブルの形式で前記補正データを作成する請求項１〜９のいずれか１項に記載の情報処理装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載の情報処理装置を備える撮像装置。
【請求項１２】
撮像装置により同一の被写体を明るさの異なる２つの露光条件で撮像して得られた２つの撮像データを取得する取得工程と、
前記撮像装置により撮像して得られる撮像データを変換する変換関数であって、変換後の前記２つの撮像データの階調値が互いに正比例の関係に近くなるような変換関数を算出
する算出工程と、
前記変換関数に基づき、前記撮像装置により撮像して得られる撮像データの補正に用いる補正データを作成する作成工程と、
を有する情報処理方法。
【請求項１３】
請求項１２に記載の情報処理方法の各工程をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
表示装置の表示能力は年々高まっており、特に階調表現は高精度、高分解能となってきている。そのため、表示する画像を取得する撮像装置にも正確な階調性が求められるようになってきている。しかし、撮像装置により得られる撮像データは、撮像素子による受光からデジタル変換までの各処理の特性の影響により、受光量に対し線形性を有していない場合がある。そのため、撮像装置の撮像データにおける階調の正確性には改善の余地がある。
【０００３】
撮像データの線形性を改善するために、撮像データの線形性補正をデジタル信号処理により行う方法があり、例えば特許文献１や特許文献２に示す方法である。これらの方法では、受光量とその受光量を受光した際の実際の撮像データをもとに補正データを予め作成し、その補正データを用いて撮像データを補正することにより、受光量に対し線形性を有する撮像データを得る。しかし、正確な補正データを作成するためには、基準となる受光量の正確な取得が必要であり、そのためには測色器や光量制御可能な光源を用いる必要がある。そのため、このような機材を所持しないユーザが補正データを作成することは困難である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３６３５３号公報
【特許文献２】特開２００３−２３６４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、光量制御可能な特別な光源や測定装置を使用することなく、撮像装置による撮像データと受光量との関係が線形になるように撮像データ補正するための補正データを作成し、正確な階調を表す撮像データを取得することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、撮像装置により同一の被写体を明るさの異なる２つの露光条件で撮像して得られた２つの撮像データを取得する取得手段と、
前記撮像装置により撮像して得られる撮像データを変換する変換関数であって、変換後の前記２つの撮像データの階調値が互いに正比例の関係に近くなるような変換関数を算出する算出手段と、
前記変換関数に基づき、前記撮像装置により撮像して得られる撮像データの補正に用いる補正データを作成する作成手段と、
を備える情報処理装置である。
【０００７】
本発明は、撮像装置により同一の被写体を明るさの異なる２つの露光条件で撮像して得られた２つの撮像データを取得する取得工程と、
前記撮像装置により撮像して得られる撮像データを変換する変換関数であって、変換後の前記２つの撮像データの階調値が互いに正比例の関係に近くなるような変換関数を算出する算出工程と、
前記変換関数に基づき、前記撮像装置により撮像して得られる撮像データの補正に用い
る補正データを作成する作成工程と、
を有する情報処理方法である。
【発明の効果】
【０００８】
本発明によれば、光量制御可能な特別な光源や測定装置を使用することなく、撮像装置による撮像データと受光量との関係が線形になるように撮像データ補正するための補正データを作成し、正確な階調を表す撮像データを取得することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例の情報処理装置の構成の一例を示す図
【図２】撮像装置における、受光量と撮像データの関係の一例を表した図
【図３】補正データ作成のための３つのステップを表した図
【図４】異なる露光条件で撮影された撮像データの相関関係を表した図
【図５】変換関数によって変換された撮像データの相関関係を表した図
【図６】入力１４ビット、出力１４ビットの場合に得られるＬＵＴの一例を表した図
【図７】補正データにより線形性補正を適用した場合の撮像データを表した図
【発明を実施するための形態】
【００１０】
（実施例１）
図１は、本発明の実施例１に係る情報処理装置の構成を示す図である。図２において、情報処理装置１は、取得部１１、算出部１２、記憶部１３、及び補正部１４を有する。
【００１１】
取得部１１は、外部の撮像装置１０から撮像データを取得する。後述する補正データの作成処理においては、取得部１１は、撮像装置１０から、異なる２つの露光条件で同一被写体を撮像した２つの撮像データを取得し、算出部１２へ出力する。また、作成した補正データを用いた撮像データの補正処理においては、取得部１１は、撮像装置１０から取得した撮像データを補正部１４へ出力する。
【００１２】
算出部１２は、取得部１１から、異なる２つの露光条件で同一被写体を撮像した２つの撮像データを取得し、それに基づいて、撮像データの補正処理に用いる補正データを算出し、記憶部１３に記憶させる。この補正データは、後述するように、撮像装置１０から取得した撮像データに対し、受光量と階調値との関係が線形になるように補正処理を行う際に、用いられる。
【００１３】
補正部１４また、取得部１１から撮像データ２１を取得し、記憶部１３から補正データ２３を取得し、補正データ２３を用いて撮像データ２１を補正し、補正後撮像データ２４を出力し、記憶部１３に記憶させる。
【００１４】
＜受光量と撮像データの線形性について＞
ここで、撮像データの階調値と受光量との関係が線形でないということについて説明する。図２に受光量と撮像データの階調値との関係の一例を示す。受光量は相対値で、撮像データの階調値は１４ビットの値で表しており、図中の曲線が受光量と撮像データの階調値との関係を示している。受光量と階調値との関係が線形であるとは、例えば受光量が２倍になった場合に階調値も２倍になることである。しかし、図２の例では、受光量が０．２から０．４へ２倍になった場合には、階調値は１．９倍になり、受光量が０．４から０．８へ２倍になった場合には、階調値は２．３倍になっている。このように、階調値の倍率が受光量の倍率と同じにならない上に、受光量のレベルによってその倍率の異なり方も異なる。この状態が、撮像データの階調値と受光量との関係が線形でない状態である。撮像データの階調値と受光量との関係が線形でない場合、撮像データの階調値から正確な受光量のレベルが得られない。
【００１５】
＜補正部１４の処理について＞
補正部１４は、撮像データの階調値と受光量との関係が線形になるように、デジタル信号処理により撮像データを補正する処理を行う。撮像データ２１が補正部１４に入力されると、補正部１４は予め設定された補正データ２３を用いて階調変換を行い、補正後撮像データ２４を出力する。補正データ２３は、入力階調値に対する出力階調値を一意に定義したものであり、例えばＬＵＴ（ルックアップテーブル）の形式をとる。補正部１４は、情報処理装置１の内部に補正回路として実装する実施の形態が考えられる。撮像装置が情報処理装置１を内蔵する構成も考えられ、その場合、補正部１４は、撮像装置の内部に補正回路として実装される（特許文献１を参照）。また、補正部１４を、撮像データの現像処理を行うアプリケーションソフトウェア（プログラム）の機能モジュールとして実装する実施の形態も考えられる。本発明は、補正部１４に設定する補正データ２３を作成する方法に関するものであり、作成した補正データ２３を用いて撮像データの補正を行う種々の構成に適用可能である。補正部１４で用いる補正データ２３の作成は、算出部１２において行われる。
【００１６】
＜補正データ作成処理のフローチャート＞
図３は、算出部１２による補正データの作成処理を示すフローチャートである。
ステップＳ１では、算出部１２は、補正データを作成する対象である撮像装置１０により同一の被写体を異なる露光条件で撮像して得られた２つの撮像データを取得する。
ステップＳ２では、算出部１２は、ステップＳ１で取得した２つの撮像データに対して、撮像データの複数の階調値を変換した値が、互いに正比例の関係に近くなるように、撮像データの階調値を変換する関数を決定する。
ステップＳ３では、算出部１２は、ステップＳ２で決定した変換関数に基づき補正データを作成する。
各ステップについて以下、具体的に説明する。
【００１７】
＜ステップＳ１：撮像データの取得＞
ステップＳ１では、算出部１２は、線形性補正の対象とする撮像装置１０により同一の被写体を第１の露光条件で撮像した第１の撮像データと、第２の露光条件で撮像した第２の撮像データを取得する。
撮像装置１０は、複数の階調値からなる撮像データを出力する装置を想定する。例えば、デジタル一眼レフカメラのように二次元配列された複数の画素毎に階調値を出力する装置である。撮像する被写体は、第１の撮像データ及び第２の撮像データを取得する間に明るさが変化しないものであれば、物体でも風景でもどのようなものでも良い。
【００１８】
第１の露光条件と第２の露光条件は、撮像装置１０の受光量が異なるような条件とする。撮像装置１０の受光量は、カメラの光量の絞りレベルを変更することにより異ならせることができるが、シャッター速度（露光時間）を変更する方法がより好適である。安定した補正データを作成するには、撮像素子の持つダイナミックレンジの範囲に受光量が広く分布する露光条件が望ましい。そのため、第１の露光条件は、被写体が明るく撮像されるシャッター速度とし、第２の露光条件は、第１の露光条件の半分以下の明るさとなるシャッター速度とするのが好適である。なお、これらの露光条件は一例であり、これに限られない。
【００１９】
＜ステップＳ２：変換関数の決定＞
ステップＳ２では、算出部１２は、ステップＳ１で取得した第１の撮像データに含まれる複数の階調値を変換した値と、第２の撮像データに含まれる複数の階調値を変換した値とが、互いに正比例の関係に近くなるように、階調値を変換する変換関数を決定する。
【００２０】
２つの撮像データについて、第１の撮像データに含まれる階調値をＸ、第２の撮像データに含まれる階調値をＹとし、ＸＹ平面にプロットしたものを図４に示す。例えば、撮像素子がＭ個の画素からなり、Ｍ個の階調値からなる撮像データを出力し、第１の撮像データの第ｉ番目の画素の出力する階調値Ｘｉと、第２の画像データの第ｉ番目の画素の出力する階調値Ｙｉとする。この場合、図４のプロットは、Ｍ個の点（Ｘｉ，Ｙｉ）（１≦ｉ≦Ｍ）をＸＹ平面にプロットすることにより得られる。
【００２１】
第１の撮像条件に対し第２の撮像条件において被写体の明るさがβ倍になったとすれば、理想的には撮像素子のどの画素の受光量も、第１の撮像条件に対し第２の撮像条件ではβ倍になっていると考えられる。よって、もし撮像データの階調値と受光量との関係が線形性を有しているなら、第１の撮像データの階調値に対する第２の撮像データの階調値の比は、階調値によらずに一定（β）となるはずである。その場合、図４に示すプロットは正比例の関係となる。
【００２２】
このことから、変換後の第１の撮像データの階調値と変換後の第２の撮像データの階調値との相関関係の、正比例からのずれが、最小なるような変換関数を求めればよい。以下、変換関数を決定する計算方法を説明する。
第１の撮像データのｉ番目の階調値をＲａ［ｉ］、第２の撮像データのｉ番目の階調値をＲｂ［ｉ］、変換関数をｆとして、各撮像データの階調値を関数ｆで変換した後の階調値が互いに正比例関係である場合には、全てのｉについて式１が成立する。
【数１】
2017158057.tif 000003
ここで、撮像データにはＭ個の階調値が含まれるとし、ｉは１からＭの値をとり、βは比例係数である。この式１の関係からのずれが最小となる比例係数β及び変換関数ｆを導出する。ずれ量は式２で算出する。
【数２】
2017158057.tif 000004
比例係数βについて、第１の露光条件と第２の露光条件の露光量の比が推定できる場合は、その値を所定の比例係数βとしても良い。例えば、第１の露光条件の露光量に対して第２の露光条件の露光量が半分となるように露光条件を異ならせた場合、比例係数βは０．５である。比例係数βを決めた後は、後述する方法を用いて変換関数ｆを求める。
【００２３】
なお、シャッターのメカ機構に起因するばらつき等により、実際の露光量の比には推定される露光量の比からのずれが存在する。そうした場合には、比例係数βと変換関数ｆの両方を導出する方法が最適である。具体的には、比例係数βを適当な値として、後述する方法にて変換関数ｆを求め、求めた変換関数ｆを用いた場合のずれ量を式２より算出する。様々な比例係数βの値について同様にずれ量を算出し、ずれ量が最小となる比例係数βに対応する変換関数ｆを採用する。これにより、比例係数β及び変換関数ｆの両方求めることができる。
【００２４】
変換関数の導出方法について説明する。変換関数の導出には、近似関数の最小二乗法によるフィッティングを用いる。近似関数には、式３のように既知の関数ｇの線形結合で表されるものを用い、Ａ０≠０とする。
【数３】
2017158057.tif 000005
このとき、式１は式４で表される。
【数４】
2017158057.tif 000006
ここで、式５，６，７のように文字を定義する。
【数５】
2017158057.tif 000007
【数６】
2017158057.tif 000008
【数７】
2017158057.tif 000009
さらにベクトルａ、ベクトルｂ、行列Ｇを、式８、９、１０で定義すると、式４は式１１のように書き換えられる。上付き添え字のＴは転置行列を示す。
【数８】
2017158057.tif 000010
【数９】
2017158057.tif 000011
【数１０】
2017158057.tif 000012
【数１１】
2017158057.tif 000013
このとき、この関係からの差分二乗和ｈは式１２で表される。
【数１２】
2017158057.tif 000014
最小二乗法では、差分二乗和ｈをベクトルａの各成分で偏微分した値がゼロとなるようにベクトルａの成分を決定する。式１２をベクトルａの各成分で偏微分してゼロと置いた式は、行列を用いて式１３にまとめて表される。
【数１３】
2017158057.tif 000015
よって、ベクトルａは式１４から算出される。上付き添え字の−１は逆行列を表す。
【数１４】
2017158057.tif 000016
変換関数の絶対値は任意であるため、Ａ０＝１等と置くことで、ベクトルａから近似関数ｆの係数Ａｋが決定される。この係数Ａｋによる式３が求める変換関数である。
【００２５】
撮像装置１０の受光量と出力する撮像データの階調値との関係について、予め既知の特性がある場合、その特性に則った関数を近似関数ｆとして用いる。既知の特性がない場合は、多項式を近似関数ｆとして用いるのが適当である。式３の関数ｇを式１５のＮ次多項式、Ｎは２以上とすれば、上述の方法で変換関数を算出することができる。
【数１５】
2017158057.tif 000017
図５に、上述の方法で求めた変換関数ｆを用いて変換した第１の撮像データの階調値と第２の撮像データの階調値との相関関係を示す。変換関数ｆによる変換により両者は正比例関係となっている。
【００２６】
＜ステップＳ３：補正データの作成＞
ステップＳ３では、算出部１２は、ステップＳ２で決定した変換関数ｆに基づき、補正データを作成する。補正データはここではＬＵＴ（ルックアップテーブル）の形式とするが、データ形式はこれに限らない。ＬＵＴでは、入出力値の範囲の仕様に応じて、得られた変換関数を規格化する必要がある。ＬＵＴの入出力値の範囲の仕様は、例えばビット数で決まる。例えば、入力値のビット数をＩＮ、出力値のビット数をＯＵＴとすると、式１６で規格化した数値を整数化し、ＬＵＴとして用いるのが最適である。
【数１６】
2017158057.tif 000018
入力１４ビット、出力１４ビットの場合に得られるＬＵＴの例を図６に示す。算出部１２は、得られたＬＵＴを、補正データとして記憶部１３に保存しておく。補正部１４は、撮像データの補正を行う際に記憶部１３から補正データを読み出して使用する。
【００２７】
＜補正による効果＞
図２で示した受光量と撮像データの階調値との関係に対し、図６の補正データを用いて補正を行った場合の受光量と補正後撮像データの階調値との関係を図７に示す。受光量に対しての撮像データが補正後では正比例関係となっており、これにより撮像データから正確な受光量レベルを得られることとなる。
【００２８】
＜変形例＞
実施例１では、撮像装置１０と情報処理装置１とが別体構成の例を示したが、撮像装置１０と情報処理装置１とが一体構成であっても良い。その場合、撮像装置１０の一つの機能として、情報処理装置１の機能が実装される。また、情報処理装置１は、各機能部の機能を有する専用のハードウェアにより構成しても良いし、各機能部の機能を実現するプログラム、ソフトウェア、アプリケーションがインストールされたＰＣやスマートフォン等のコンピュータによって実施しても良い。また、そのようなプログラム等を記録した記録
媒体も本発明の一実施形態である。
【００２９】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３０】
１：情報処理装置、１１：取得部、１２：算出部
【図１】
2017158057.tif 000019
【図２】
2017158057.tif 000020
【図３】
2017158057.tif 000021
【図４】
2017158057.tif 000022
【図５】
2017158057.tif 000023
【図６】
2017158057.tif 000024
【図７】
2017158057.tif 000025