(57)【要約】【課題】高ダイナミックレンジ画像生成方法および同方法を用いる電子デバイスを提供すること。【解決手段】この方法は、ニューラルネットワークアルゴリズムによって生成された輝度調整モデルをロードするステップと、オリジナル画像を得るステップと、オリジナル画像の画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得するステップと、オリジナル画像の画素固有値、第１の固有値、および第２の固有値に従って輝度調整モデルによってＨＤＲ画像を生成するステップとを含む。この電子デバイスは、輝度調整モデル、固有値取得ユニット、および輝度調整プロシージャを含む。この電子デバイスは、固有値取得ユニットによってオリジナル画像の画素固有値、第１の固有値、および第２の固有値を取得し、輝度調整モデルによってオリジナル画像からＨＤＲ画像を生成する。【選択図】図３
2010231756.tif 000002
【特許請求の範囲】
【請求項１】
ニューラルネットワークアルゴリズムによって生成された輝度調整モデルをロードするステップと、
オリジナル画像を得るステップと、
前記オリジナル画像の画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得するステップと、
前記オリジナル画像の前記画素固有値、前記第１の固有値、および前記第２の固有値に従って前記輝度調整モデルによってＨＤＲ画像を生成するステップとを含む高ダイナミックレンジ（ＨＤＲ）画像生成方法。
【請求項２】
前記第１の方向と前記第２の方向が異なり、前記第１の方向が水平方向で、前記第２の方向が垂直方向である請求項１に記載のＨＤＲ画像生成方法。
【請求項３】
前記オリジナル画像の前記画素固有値が次式で計算され、
【数１】
2010231756.tif 000046
ここで、Ｃ1は前記オリジナル画像の前記画素固有値であり、Ｎは前記オリジナル画像の前記水平方向の画素の合計数であり、Ｍは前記オリジナル画像の前記垂直方向の画素の合計数であり、Ｙijは前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である請求項１に記載のＨＤＲ画像生成方法。
【請求項４】
前記オリジナル画像の前記第１の固有値が次式で計算され、
【数２】
2010231756.tif 000047
ここで、
【数３】
2010231756.tif 000048
は前記オリジナル画像の前記第１の固有値であり、ｘは前記オリジナル画像の前記第１の方向の画素数であり、Ｙijは前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙ(i+x)jは前記オリジナル画像の前記第１の方向で（ｉ＋ｘ）番目かつ前記第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である請求項１に記載のＨＤＲ画像生成方法。
【請求項５】
前記オリジナル画像の前記第２の固有値が次式で計算され、
【数４】
2010231756.tif 000049
ここで、
【数５】
2010231756.tif 000050
は前記オリジナル画像の前記第２の固有値であり、ｙは前記オリジナル画像の前記第２の方向の画素数であり、Ｙijは前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙi(j+y)は前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である請求項１に記載のＨＤＲ画像生成方法。
【請求項６】
前記輝度調整モデルが外部デバイスで生成され、前記生成プロセスが、
複数の訓練画像をロードするステップと、
前記諸訓練画像のそれぞれの画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得し、前記ニューラルネットワークアルゴリズムによって前記輝度調整モデルを生成するステップとを含む請求項１に記載のＨＤＲ画像生成方法。
【請求項７】
前記第１の方向と前記第２の方向が異なり、前記第１の方向が水平方向で、前記第２の方向が垂直方向である請求項６に記載のＨＤＲ画像生成方法。
【請求項８】
前記諸訓練画像のそれぞれの前記画素固有値が次式で計算され、
【数６】
2010231756.tif 000051
ここで、Ｃ1は前記諸訓練画像のそれぞれの前記画素固有値であり、Ｎは前記諸訓練画像のそれぞれの前記水平方向の画素の合計数であり、Ｍは前記諸訓練画像のそれぞれの前記垂直方向の画素の合計数であり、Ｙijは前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である請求項６に記載のＨＤＲ画像生成方法。
【請求項９】
前記諸訓練画像のそれぞれの前記第１の固有値が次式で計算され、
【数７】
2010231756.tif 000052
ここで、
【数８】
2010231756.tif 000053
は前記諸訓練画像のそれぞれの前記第１の固有値であり、ｘは前記諸訓練画像のそれぞれの前記第１の方向の画素数であり、Ｙijは前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙ(i+x)jは前記諸訓練画像のそれぞれの前記第１の方向で（ｉ＋ｘ）番目かつ前記第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である請求項６に記載のＨＤＲ画像生成方法。
【請求項１０】
前記諸訓練画像のそれぞれの前記第２の固有値が次式で計算され、
【数９】
2010231756.tif 000054
ここで、
【数１０】
2010231756.tif 000055
は前記諸訓練画像のそれぞれの前記第２の固有値であり、ｙは前記諸訓練画像のそれぞれの前記第２の方向の画素数であり、Ｙijは前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙi(j+y)は前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である請求項６に記載のＨＤＲ画像生成方法。
【請求項１１】
前記ニューラルネットワークアルゴリズムが、逆伝播ニューラルネットワーク（ＢＮＮ）アルゴリズム、ラジアル基底関数（ＲＢＦ）アルゴリズム、または自己組織化マップ（ＳＯＭ）アルゴリズムである請求項１に記載のＨＤＲ画像生成方法。
【請求項１２】
ニューラルネットワークアルゴリズムによって生成された輝度調整モデルと、
オリジナル画像の画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得するための固有値取得ユニットと、
前記オリジナル画像の前記画素固有値、前記第１の固有値、および前記第２の固有値に従って前記輝度調整モデルによってＨＤＲ画像を生成するために、前記輝度調整モデルおよび前記固有値取得ユニットに接続された輝度調整プロシージャとを備え、前記輝度調整モデルによって前記オリジナル画像に対して輝度調整を実行するように適合された高ダイナミックレンジ（ＨＤＲ）画像生成用電子デバイス。
【請求項１３】
前記第１の方向と前記第２の方向が異なり、前記第１の方向が水平方向で、前記第２の方向が垂直方向である請求項１２に記載のＨＤＲ画像生成用電子デバイス。
【請求項１４】
前記オリジナル画像の前記画素固有値が次式で計算され、
【数１１】
2010231756.tif 000056
ここで、Ｃ1は前記オリジナル画像の前記画素固有値であり、Ｎは前記オリジナル画像の前記水平方向の画素の合計数であり、Ｍは前記オリジナル画像の前記垂直方向の画素の合計数であり、Ｙijは前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である請求項１２に記載のＨＤＲ画像生成用電子デバイス。
【請求項１５】
前記オリジナル画像の前記第１の固有値が次式で計算され、
【数１２】
2010231756.tif 000057
ここで、
【数１３】
2010231756.tif 000058
は前記オリジナル画像の前記第１の固有値であり、ｘは前記オリジナル画像の前記第１の方向の画素数であり、Ｙijは前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙ(i+x)jは前記オリジナル画像の前記第１の方向で（ｉ＋ｘ）番目かつ前記第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である請求項１２に記載のＨＤＲ画像生成用電子デバイス。
【請求項１６】
前記オリジナル画像の前記第２の固有値が次式で計算され、
【数１４】
2010231756.tif 000059
ここで、
【数１５】
2010231756.tif 000060
は前記オリジナル画像の前記第２の固有値であり、ｙは前記オリジナル画像の前記第２の方向の画素数であり、Ｙijは前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙi(j+y)は前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である請求項１２に記載のＨＤＲ画像生成用電子デバイス。
【請求項１７】
前記輝度調整モデルが外部デバイスで生成され、前記生成プロセスが、
複数の訓練画像をロードするステップと、
前記諸訓練画像のそれぞれの画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得し、前記ニューラルネットワークアルゴリズムによって前記輝度調整モデルを生成するステップとを含む請求項１２に記載のＨＤＲ画像生成用電子デバイス。
【請求項１８】
前記第１の方向と前記第２の方向が異なり、前記第１の方向が水平方向で、前記第２の方向が垂直方向である請求項１７に記載のＨＤＲ画像生成用電子デバイス。
【請求項１９】
前記諸訓練画像のそれぞれの前記画素固有値が次式で計算され、
【数１６】
2010231756.tif 000061
ここで、Ｃ1は前記諸訓練画像のそれぞれの前記画素固有値であり、Ｎは前記諸訓練画像のそれぞれの前記水平方向の画素の合計数であり、Ｍは前記諸訓練画像のそれぞれの前記垂直方向の画素の合計数であり、Ｙijは前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である請求項１７に記載のＨＤＲ画像生成用電子デバイス。
【請求項２０】
前記諸訓練画像のそれぞれの前記第１の固有値が次式で計算され、
【数１７】
2010231756.tif 000062
ここで、
【数１８】
2010231756.tif 000063
は前記諸訓練画像のそれぞれの前記第１の固有値であり、ｘは前記諸訓練画像のそれぞれの前記第１の方向の画素数であり、Ｙijは前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙ(i+x)jは前記諸訓練画像のそれぞれの前記第１の方向で（ｉ＋ｘ）番目かつ前記第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である請求項１７に記載のＨＤＲ画像生成用電子デバイス。
【請求項２１】
前記諸訓練画像のそれぞれの前記第２の固有値が次式で計算され、
【数１９】
2010231756.tif 000064
ここで、
【数２０】
2010231756.tif 000065
は前記諸訓練画像のそれぞれの前記第２の固有値であり、ｙは前記諸訓練画像のそれぞれの前記第２の方向の画素数であり、Ｙijは前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙi(j+y)は前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である請求項１７に記載のＨＤＲ画像生成用電子デバイス。
【請求項２２】
前記ニューラルネットワークアルゴリズムが、逆伝播ニューラルネットワーク（ＢＮＮ）アルゴリズム、ラジアル基底関数（ＲＢＦ）アルゴリズム、または自己組織化マップ（ＳＯＭ）アルゴリズムである請求項１７に記載のＨＤＲ画像生成用電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法および同方法を用いる電子デバイスに関し、より詳細には、高ダイナミックレンジ（ＨＤＲ）画像生成方法および同方法を用いる電子デバイスに関する。
【背景技術】
【０００２】
光を検出するとき、人間の目の視覚系は、周囲光の分布に従ってその感度を調整する。したがって、人間の目は、明るすぎるかまたは暗すぎる環境に対して、数分の調整の後に適合することができる。現在、ビデオカメラ、カメラ、一眼レフカメラ、およびウェブカメラなどの画像ピックアップ装置の作動原理は似ており、ピンホール結像の原理に基づいて、取り込んだ画像がレンズを介して検出部に投影される。しかし、フィルム、電荷結合素子センサ（ＣＣＤセンサ）、および相補型金属酸化膜半導体センサ（ＣＭＯＳセンサ）などの感光性素子の感光性範囲は、人間の目のそれとは異なり、画像に対して自動的に調整することができない。したがって、取り込んだ画像には、通常、明るすぎるかまたは暗すぎる部分がある。図１は、ダイナミックレンジが不十分な画像の概略図である。画像１０は、通常のデジタルカメラによって取り込まれた、ダイナミックレンジが不十分な画像である。図１で、画像ブロック１２の左下角は暗すぎるが、一方、画像ブロック１４の右上角は明るすぎる。そのような場合、左下角の画像ブロック１２内の木および家の詳細は、この領域が暗すぎるのではっきり見ることができない。
【０００３】
従来技術では、上記の問題を解決するために高ダイナミックレンジ（ＨＤＲ）画像が採用される。ＨＤＲ画像は、様々な露出設定を用いて様々な感光度で同一領域の画像を取り込み、次いで、取り込んだ画像を、人間の目で見て具合のよい画像へ合成することにより形成される。図２は、複数の画像をＨＤＲ画像へ合成する様子の概略図である。ＨＤＲ画像２０は、複数の画像２１、２３、２５、２７、および２９を様々な光感度で合成することにより形成される。この方法は優れた効果を達成するが、明白な欠点もある。まず、取り込まれた各画像の位置は正確でなければならず、いかなる誤差によっても合成が困難になる恐れがある。その上、諸画像を取り込むとき、必要な記憶空間が、単一フレームから複数フレームへと増加する。さらに、合成するのに要する時間も考えられる。したがって、この方法は、時間がかかり、記憶空間を浪費し、かつ間違いが起き易い。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、上記問題を解決するために、ニューラルネットワークアルゴリズムによって訓練された輝度調整モデルによってオリジナル画像からＨＤＲ画像を生成することができる高ダイナミックレンジ（ＨＤＲ）画像生成方法である。
【課題を解決するための手段】
【０００５】
本発明は、ＨＤＲ画像生成方法を提供する。この方法は、ニューラルネットワークアルゴリズムによって生成された輝度調整モデルをロードするステップと、オリジナル画像を得るステップと、オリジナル画像の画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得するステップと、オリジナル画像の画素固有値、第１の固有値、および第２の固有値に従って輝度調整モデルによってＨＤＲ画像を生成するステップとを含む。
【０００６】
第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。
【０００７】
オリジナル画像の画素固有値は次式で計算され、
【０００８】
【数１】
2010231756.tif 000003
ここで、Ｃ1はオリジナル画像の画素固有値であり、Ｎはオリジナル画像の水平方向の画素の合計数であり、Ｍはオリジナル画像の垂直方向の画素の合計数であり、Ｙijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。
【０００９】
オリジナル画像の第１の固有値は次式で計算され、
【００１０】
【数２】
2010231756.tif 000004
ここで、
【００１１】
【数３】
2010231756.tif 000005
はオリジナル画像の第１の固有値であり、ｘはオリジナル画像の第１の方向の画素数であり、Ｙijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ(i+x)jはオリジナル画像の第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。
【００１２】
オリジナル画像の第２の固有値は次式で計算され、
【００１３】
【数４】
2010231756.tif 000006
ここで、
【００１４】
【数５】
2010231756.tif 000007
はオリジナル画像の第２の固有値であり、ｙはオリジナル画像の第２の方向の画素数であり、Ｙijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙi(j+y)はオリジナル画像の第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。
【００１５】
輝度調整モデルは外部デバイスで生成される。生成プロセスは、複数の訓練画像をロードするステップと、諸訓練画像のそれぞれの画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得し、ニューラルネットワークアルゴリズムによって輝度調整モデルを生成するステップとを含む。
【００１６】
第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。
【００１７】
諸訓練画像のそれぞれの画素固有値は次式で計算され、
【００１８】
【数６】
2010231756.tif 000008
ここで、Ｃ1は諸訓練画像のそれぞれの画素固有値であり、Ｎは諸訓練画像のそれぞれの水平方向の画素の合計数であり、Ｍは諸訓練画像のそれぞれの垂直方向の画素の合計数であり、Ｙijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。
【００１９】
諸訓練画像のそれぞれの第１の固有値は次式で計算され、
【００２０】
【数７】
2010231756.tif 000009
ここで、
【００２１】
【数８】
2010231756.tif 000010
は諸訓練画像のそれぞれの第１の固有値であり、ｘは諸訓練画像のそれぞれの第１の方向の画素数であり、Ｙijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ(i+x)jは諸訓練画像のそれぞれの第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。
【００２２】
諸訓練画像のそれぞれの第２の固有値は次式で計算され、
【００２３】
【数９】
2010231756.tif 000011
ここで、
【００２４】
【数１０】
2010231756.tif 000012
は諸訓練画像のそれぞれの第２の固有値であり、ｙは諸訓練画像のそれぞれの第２の方向の画素数であり、Ｙijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙi(j+y)は諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。
【００２５】
ニューラルネットワークアルゴリズムは、逆伝播ニューラルネットワーク（ＢＮＮ）アルゴリズム、ラジアル基底関数（ＲＢＦ）アルゴリズム、または自己組織化マップ（ＳＯＭ）アルゴリズムである。
【００２６】
ＨＤＲ画像を生成するための電子デバイスは、輝度調整モデルによってオリジナル画像に対して輝度調整を実行するように適合させる。電子デバイスは、輝度調整モデル、固有値取得ユニット、および輝度調整プロシージャを含む。輝度調整モデルは、ニューラルネットワークアルゴリズムによって生成される。固有値取得ユニットは、オリジナル画像の画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得する。輝度調整プロシージャは、オリジナル画像の画素固有値、第１の固有値、および第２の固有値に従って輝度調整モデルによってＨＤＲ画像を生成するために、輝度調整モデルおよび固有値取得ユニットに接続される。
【００２７】
第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。
【００２８】
オリジナル画像の画素固有値は次式で計算され、
【００２９】
【数１１】
2010231756.tif 000013
ここで、Ｃ1はオリジナル画像の画素固有値であり、Ｎはオリジナル画像の水平方向の画素の合計数であり、Ｍはオリジナル画像の垂直方向の画素の合計数であり、Ｙijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。
【００３０】
オリジナル画像の第１の固有値は次式で計算され、
【００３１】
【数１２】
2010231756.tif 000014
ここで、
【００３２】
【数１３】
2010231756.tif 000015
はオリジナル画像の第１の固有値であり、ｘはオリジナル画像の第１の方向の画素数であり、Ｙijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ(i+x)jはオリジナル画像の第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。
【００３３】
オリジナル画像の第２の固有値は次式で計算され、
【００３４】
【数１４】
2010231756.tif 000016
ここで、
【００３５】
【数１５】
2010231756.tif 000017
はオリジナル画像の第２の固有値であり、ｙはオリジナル画像の第２の方向の画素数であり、Ｙijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙi(j+y)はオリジナル画像の第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。
【００３６】
輝度調整モデルは外部デバイスで生成される。生成プロセスは、複数の訓練画像をロードするステップと、諸訓練画像のそれぞれの画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得し、ニューラルネットワークアルゴリズムによって輝度調整モデルを生成するステップとを含む。
【００３７】
第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。
【００３８】
諸訓練画像のそれぞれの画素固有値は次式で計算され、
【００３９】
【数１６】
2010231756.tif 000018
ここで、Ｃ1は諸訓練画像のそれぞれの画素固有値であり、Ｎは諸訓練画像のそれぞれの水平方向の画素の合計数であり、Ｍは諸訓練画像のそれぞれの垂直方向の画素の合計数であり、Ｙijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。
【００４０】
諸訓練画像のそれぞれの第１の固有値は次式で計算され、
【００４１】
【数１７】
2010231756.tif 000019
ここで、
【００４２】
【数１８】
2010231756.tif 000020
は諸訓練画像のそれぞれの第１の固有値であり、ｘは諸訓練画像のそれぞれの第１の方向の画素数であり、Ｙijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ(i+x)jは諸訓練画像のそれぞれの第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。
【００４３】
諸訓練画像のそれぞれの第２の固有値は次式で計算され、
【００４４】
【数１９】
2010231756.tif 000021
ここで、
【００４５】
【数２０】
2010231756.tif 000022
は諸訓練画像のそれぞれの第２の固有値であり、ｙは諸訓練画像のそれぞれの第２の方向の画素数であり、Ｙijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙi(j+y)は諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。
【００４６】
ニューラルネットワークアルゴリズムは、ＢＮＮアルゴリズム、ＲＢＦアルゴリズム、またはＳＯＭアルゴリズムである。
【００４７】
本発明のＨＤＲ画像生成方法および電子デバイスによれば、ＨＤＲ画像は、ニューラルネットワークアルゴリズムによって訓練された輝度調整モデルにより、単一画像から生成することができる。それによって、複数の画像を取り込むのに要する時間が短縮され、また、取り込んだ画像を保存するための空間が縮小される。一方、複数の画像を単一画像へ合成する時間が短縮される。
【００４８】
本明細書で説明のためにのみ与えられ、したがって本発明を限定するものではない以下の詳細な説明から、本発明がより十分に理解されるであろう。
【図面の簡単な説明】
【００４９】
【図１】ダイナミックレンジが不十分な画像の概略図である。
【図２】複数の画像をＨＤＲ画像へ合成する様子の概略図である。
【図３】本発明の一実施形態によるＨＤＲ画像生成方法の流れ図である。
【図４】本発明の一実施形態による輝度調整モデル生成の流れ図である。
【図５】本発明の別の実施形態によるＨＤＲ画像生成用電子デバイスのアーキテクチャの概略図である。
【図６】本発明の別の実施形態による輝度調整モデル生成の流れ図である。
【図７】本発明の一実施形態によるＢＮＮアルゴリズムを説明する概略図である。
【発明を実施するための形態】
【００５０】
本発明の、ＨＤＲ画像生成方法は、画像を取り込むことができる電子デバイスに適用される。この方法は、ソフトウェアまたはファームウェアプログラムの形式で電子デバイスの記憶ユニット内に構築することができ、電子デバイスのプロセッサにより、その画像を取り込む機能を用いる一方で内蔵ソフトウェアまたはファームウェアプログラムを実行するやり方で実施することができる。電子デバイスは、デジタルカメラ、コンピュータ、携帯電話、または画像を取り込むことができる携帯情報端末（ＰＤＡ）でよいが、これらには限定されない。
【００５１】
図３は、本発明の一実施形態によるＨＤＲ画像生成方法の流れ図である。この方法は以下のステップを含む。
【００５２】
ステップＳ１００で、ニューラルネットワークアルゴリズムによって生成された輝度調整モデルがロードされる。
【００５３】
ステップＳ１１０で、オリジナル画像が得られる。
【００５４】
ステップＳ１２０で、オリジナル画像の画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値が取得される。
【００５５】
ステップＳ１３０で、オリジナル画像の画素固有値、第１の固有値、および第２の固有値に従って、輝度調整モデルによって、ＨＤＲ画像が生成される。
【００５６】
ステップＳ１２０では、第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。ここで、第１の方向および第２の方向は、実際の要件に従って調整することができる。例えば、２つの方向は、それぞれ、Ｘ軸に対してプラス４５°およびプラス１３５°で交差するか、またはＸ軸に対してプラス３０°およびプラス１５０°で交差してよい。しかし、オリジナル画像の固有値の取得方向は、訓練画像の固有値の取得方向と一致していなければならない（すなわち同一方向である）。
【００５７】
ステップＳ１２０で、オリジナル画像の画素固有値は次式で計算され、
【００５８】
【数２１】
2010231756.tif 000023
ここで、Ｃ1はオリジナル画像の画素固有値であり、Ｎはオリジナル画像の水平方向の画素の合計数であり、Ｍはオリジナル画像の垂直方向の画素の合計数であり、Ｙijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。
【００５９】
ステップＳ１２０で、オリジナル画像の第１の固有値は次式で計算され、
【００６０】
【数２２】
2010231756.tif 000024
ここで、
【００６１】
【数２３】
2010231756.tif 000025
はオリジナル画像の第１の固有値であり、ｘはオリジナル画像の第１の方向の画素数であり、Ｙijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ(i+x)jはオリジナル画像の第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。
【００６２】
ステップＳ１２０で、オリジナル画像の第２の固有値は次式で計算され、
【００６３】
【数２４】
2010231756.tif 000026
ここで、
【００６４】
【数２５】
2010231756.tif 000027
はオリジナル画像の第２の固有値であり、ｙはオリジナル画像の第２の方向の画素数であり、Ｙijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙi(j+y)はオリジナル画像の第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。
【００６５】
さらに、ステップＳ１００では、輝度調整モデルが外部デバイスで生成される。外部デバイスは製造業者のコンピュータ機器または実験室のコンピュータ機器でよいが、これらには限定されない。図４は、本発明の一実施形態による輝度調整モデル生成の流れ図である。生成プロセスは以下のステップを含む。
【００６６】
ステップＳ２００で、複数の訓練画像がロードされる。
【００６７】
ステップＳ２１０で、諸訓練画像のそれぞれの画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値が取得され、ニューラルネットワークアルゴリズムによって輝度調整モデルが生成される。
【００６８】
ステップＳ２１０では、第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。ここで、第１の方向および第２の方向は、実際の要件に従って調整することができる。例えば、２つの方向は、それぞれ、Ｘ軸に対してプラス４５°およびプラス１３５°で交差するか、またはＸ軸に対してプラス３０°およびプラス１５０°で交差してよい。しかし、オリジナル画像の固有値の取得方向は、訓練画像の固有値の取得方向と一致していなければならない（すなわち同一方向である）。
【００６９】
ステップＳ２１０で、諸訓練画像のそれぞれの画素固有値は次式で計算され、
【００７０】
【数２６】
2010231756.tif 000028
ここで、Ｃ1は諸訓練画像のそれぞれの画素固有値であり、Ｎは諸訓練画像のそれぞれの水平方向の画素の合計数であり、Ｍは諸訓練画像のそれぞれの垂直方向の画素の合計数であり、Ｙijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。
【００７１】
ステップＳ２１０で、諸訓練画像のそれぞれの第１の固有値は次式で計算され、
【００７２】
【数２７】
2010231756.tif 000029
ここで、
【００７３】
【数２８】
2010231756.tif 000030
は諸訓練画像のそれぞれの第１の固有値であり、ｘは諸訓練画像のそれぞれの第１の方向の画素数であり、Ｙijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ(i+x)jは諸訓練画像のそれぞれの第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。
【００７４】
ステップＳ２１０で、諸訓練画像のそれぞれの第２の固有値は次式で計算され、
【００７５】
【数２９】
2010231756.tif 000031
ここで、
【００７６】
【数３０】
2010231756.tif 000032
は諸訓練画像のそれぞれの第２の固有値であり、ｙは諸訓練画像のそれぞれの第２の方向の画素数であり、Ｙijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙi(j+y)は諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。
【００７７】
ニューラルネットワークアルゴリズムは、逆伝播ニューラルネットワーク（ＢＮＮ）アルゴリズム、ラジアル基底関数（ＲＢＦ）アルゴリズム、または自己組織化マップ（ＳＯＭ）アルゴリズムである。
【００７８】
図５は、本発明の別の実施形態によってＨＤＲ画像を生成するための電子デバイスのアーキテクチャの概略図である。電子デバイス３０は、記憶ユニット３２、処理ユニット３４、および出力ユニット３６を備える。記憶ユニット３２は、オリジナル画像３２２を保存し、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、または同期式ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）でよいが、これらには限定されない。
【００７９】
処理ユニット３４は、記憶ユニット３２に接続され、輝度調整モデル３４４、固有値取得ユニット３４２、および輝度調整プロシージャ３４６を備える。固有値取得ユニット３４２は、オリジナル画像３２２の画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得する。輝度調整モデル３４４は、ニューラルネットワークアルゴリズムによって生成される。輝度調整プロシージャ３４６は、オリジナル画像３２２の画素固有値、第１の固有値、および第２の固有値に従って、輝度調整モデル３４４によって、ＨＤＲ画像を生成する。処理ユニット３４は、中央処理ユニット（ＣＰＵ）またはマイクロコントロールユニット（ＭＣＵ）でよいが、これらには限定されない。出力ユニット３６は、生成されたＨＤＲ画像を電子デバイス３０の画面上に表示するために、処理ユニット３４に接続される。
【００８０】
第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。ここで、第１の方向および第２の方向は、実際の要件に従って調整することができる。例えば、２つの方向は、それぞれ、Ｘ軸に対してプラス４５°およびプラス１３５°で交差するか、またはＸ軸に対してプラス３０°およびプラス１５０°で交差してよい。しかし、オリジナル画像の固有値の取得方向は、訓練画像の固有値の取得方向と一致していなければならない（すなわち同一方向である）。
【００８１】
オリジナル画像３２２の画素固有値は次式で計算され、
【００８２】
【数３１】
2010231756.tif 000033
ここで、Ｃ1はオリジナル画像３２２の画素固有値であり、Ｎはオリジナル画像３２２の水平方向の画素の合計数であり、Ｍはオリジナル画像３２２の垂直方向の画素の合計数であり、Ｙijはオリジナル画像３２２の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。
【００８３】
オリジナル画像の第１の固有値は次式で計算され、
【００８４】
【数３２】
2010231756.tif 000034
ここで、
【００８５】
【数３３】
2010231756.tif 000035
はオリジナル画像３２２の第１の固有値であり、ｘはオリジナル画像３２２の第１の方向の画素数であり、Ｙijはオリジナル画像３２２の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ(i+x)jはオリジナル画像３２２の第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。
【００８６】
オリジナル画像３２２の第２の固有値は次式で計算され、
【００８７】
【数３４】
2010231756.tif 000036
ここで、
【００８８】
【数３５】
2010231756.tif 000037
はオリジナル画像３２２の第２の固有値であり、ｙはオリジナル画像３２２の第２の方向の画素数であり、Ｙijはオリジナル画像３２２の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙi(j+y)はオリジナル画像３２２の第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。
【００８９】
輝度調整モデルは外部デバイスで生成される。外部デバイスは製造業者のコンピュータ機器または実験室のコンピュータ機器でよいが、これらには限定されない。図６は、本発明の別の実施形態による輝度調整モデル生成の流れ図である。生成プロセスは以下のステップを含む。
【００９０】
ステップＳ３００で、複数の訓練画像がロードされる。
【００９１】
ステップＳ３１０で、諸訓練画像のそれぞれの画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値が取得され、ニューラルネットワークアルゴリズムによって輝度調整モデルが生成される。
【００９２】
ステップＳ３１０では、第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。ここで、第１の方向および第２の方向は、実際の要件に従って調整することができる。例えば、２つの方向は、それぞれ、Ｘ軸に対してプラス４５°およびプラス１３５°で交差するか、またはＸ軸に対してプラス３０°およびプラス１５０°で交差してよい。しかし、オリジナル画像の固有値の取得方向は、訓練画像の固有値の取得方向と一致していなければならない（すなわち同一方向である）。
【００９３】
ステップＳ３１０で、諸訓練画像のそれぞれの画素固有値は次式で計算され、
【００９４】
【数３６】
2010231756.tif 000038
ここで、Ｃ1は諸訓練画像のそれぞれの画素固有値であり、Ｎは諸訓練画像のそれぞれの水平方向の画素の合計数であり、Ｍは諸訓練画像のそれぞれの垂直方向の画素の合計数であり、Ｙijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。
【００９５】
ステップＳ３１０で、諸訓練画像のそれぞれの第１の固有値は次式で計算され、
【００９６】
【数３７】
2010231756.tif 000039
ここで、
【００９７】
【数３８】
2010231756.tif 000040
は諸訓練画像のそれぞれの第１の固有値であり、ｘは諸訓練画像のそれぞれの第１の方向の画素数であり、Ｙijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ(i+x)jは諸訓練画像のそれぞれの第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。
【００９８】
ステップＳ３１０で、諸訓練画像のそれぞれの第２の固有値は次式で計算され、
【００９９】
【数３９】
2010231756.tif 000041
ここで、
【０１００】
【数４０】
2010231756.tif 000042
は諸訓練画像のそれぞれの第２の固有値であり、ｙは諸訓練画像のそれぞれの第２の方向の画素数であり、Ｙijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙi(j+y)は諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。
【０１０１】
ニューラルネットワークアルゴリズムは、ＢＮＮアルゴリズム、ＲＢＦアルゴリズム、またはＳＯＭアルゴリズムである。
【０１０２】
図７は、本発明の一実施形態によるＢＮＮアルゴリズムを説明する概略図である。ＢＮＮアルゴリズム４０は、入力層４２、隠れ層４４および出力層４６を含む。各訓練画像は、総計でＭ×Ｎの画素を有し、各画素は、さらに各３つの固有値（すなわち画素固有値、第１の固有値、および第２の固有値）を有する。入力層は、それぞれ各訓練画像における画素の固有値を入力し、その結果、入力層４２内のノード（Ｘ1、Ｘ2、Ｘ3、・・・、Ｘα）の合計数は、α＝３×Ｍ×Ｎとなる。隠れ層４４内のノード（Ｐ1、Ｐ2、Ｐ3、・・・、Ｐβ）の数はβであり、出力層４６内のノード（Ｙ1、Ｙ2、Ｙ3、・・・、Ｙγ）の数はγであり、またα≧β≧γである。ＢＮＮアルゴリズムがすべての訓練画像の収束を訓練しかつ求めた後に、輝度調整モデル化が得られる。輝度調整モデルの入力層４２と隠れ層４４の間で重み値Ｗαβの第１の組が得られ、輝度調整モデルの隠れ層４４と出力層４６の間で重み値Ｗβγの第２の組が得られる。
【０１０３】
隠れ層４４内の各ノードの値は次式で計算され、
【０１０４】
【数４１】
2010231756.tif 000043
ここで、Ｐjは隠れ層４４内のｊ番目のノードの値であり、Ｘiは入力層４２内のｉ番目のノードの値であり、Ｗijは入力層４２内のｉ番目のノードと隠れ層４４内のｊ番目のノードの間の重み値であり、ｂjは隠れ層４４内のｊ番目のノードのオフセットであり、またα、ｉ、およびｊは正整数である。
【０１０５】
さらに、出力層４６内の各ノードの値は次式で計算され、
【０１０６】
【数４２】
2010231756.tif 000044
ここで、Ｙkは出力層４６内のｋ番目のノードの値であり、Ｐjは隠れ層４４内のｊ番目のノードの値であり、Ｗjkは隠れ層４４内のｊ番目のノードと出力層４６内のｋ番目のノードの間の重み値であり、ｃkは出力層４６内のｋ番目のノードのオフセットであり、またβ、ｊ、およびｋは正整数である。
【０１０７】
さらに、平均２乗誤差（ＭＳＥ）
【０１０８】
【数４３】
2010231756.tif 000045
によって収束が求められ、ここで、λは訓練画像の合計数であり、γは出力層内のノードの合計数であり、Ｔksはｓ番目の訓練画像内のｋ番目のノードの目標出力値であり、Ｙksはｓ番目の訓練画像内のｋ番目のノードの演繹出力値であり、またλ、γ、ｓ、およびｋは正整数である。
【符号の説明】
【０１０９】
３０  電子デバイス
３２  記憶ユニット
３４  処理ユニット
３６  出力ユニット
３２２  オリジナル画像
３４２  固有値取得ユニット
３４４  輝度調整モデル
３４６  輝度調整プロシージャ
４０  ＢＮＮアルゴリズム
４２  入力層
４４  隠れ層
４６  出力層
【図３】
2010231756.tif 000066
【図４】
2010231756.tif 000067
【図５】
2010231756.tif 000068
【図６】
2010231756.tif 000069
【図７】
2010231756.tif 000070
【図１】
2010231756.tif 000071
【図２】
2010231756.tif 000072