(57)【要約】１つの方法および装置は、第１の絞り設定で撮られた第１のディジタル画像における不適正に露出された領域を、第２の絞り設定を用いて同じ情景の第２のディジタル画像を素早くかつ自動的に撮影することにより、補正する。第１の画像の部分が適正に露出されている場合、その部分の画像情報は第３の調整された画像内で用いられる。その部分が不適正に露出されている場合、その部分の画像情報は、第２の画像内の対応する部分に対する画像情報と結合され、それによって調整された画像内で用いられる合成部分を生成する。結合する方法は、第１の画像におけるその部分の輝度に基づくかもしれない。別の例において、１つの画像が撮影される。不適切に露出された部分は、選別処理を用いて調整される。調整された画像は、画像が調整されたという表示をファイルヘッダにつけてファイルとして格納される。【選択図】      図１
2009504037.tif 000002
【特許請求の範囲】
【請求項１】
第１のディジタル画像および第２のディジタル画像から第３のディジタル画像を生成するための方法であって、第１のディジタル画像が１つの情景のものでありかつ複数の部分Ａ１-Ａｎを含み、第２のディジタル画像が実質的に同じ情景のものでありかつ複数の部分Ｂ１-Ｂｎを含み、第１のディジタル画像の部分Ａ１-Ａｎが実質的に第２のディジタル画像の部分Ｂ１-Ｂｎと一対一に対応しており、
第１のディジタル画像の部分Ａｍの光学特性を決定することと、
第３のディジタル画像の合成部分Ｃｍを生成するために、第１のディジタル画像の部分Ａｍと第２のディジタル画像の部分Ｂｍとを、部分Ａｍの光学特性に少なくとも部分的に基づいて結合することと、
第３のディジタル画像の少なくとも１部分を含む合成部分Ｃ１-Ｃｎ全体が生成されるように、決定および結合のステップを範囲１≦ｍ≦ｎに対して繰り返すこととを含む方法。
【請求項２】
部分Ａ１-Ａｎの各々が画素であり、部分Ｂ１-Ｂｎの各々が画素であり、および部分Ｃ１-Ｃｎの各々が画素である請求項１に記載の方法。
【請求項３】
光学特性が輝度特性である請求項１に記載の方法。
【請求項４】
部分Ａ１-Ａｎの各々が画素であり、各画素が赤色値、緑色値、および青色値を含み、並びに画素の光学特性が画素の赤色値、画素の緑色値、および画素の青色値の和をとることにより決定される、請求項１に記載の方法。
【請求項５】
第１のディジタル画像の部分Ａｍと第２のディジタル画像の部分Ｂｍとを結合することが、
部分Ａｍの光学特性が第１の予め定めた範囲内にある場合、合成部分Ｃｍに対して部分Ａｍを用いることと、
部分Ａｍの光学特性が第２の予め定めた範囲内にある場合、合成部分Ｃｍに対して部分Ｂｍを用いることと、を含む請求項１に記載の方法。
【請求項６】
第１のディジタル画像の部分Ａｍと第２のディジタル画像の部分Ｂｍとを結合することが、次式に従い、
ＲＣｍ＝（Ｆｍ＊ＲＡｍ）＋（（ｌ−Ｆｍ）＊ＲＢｍ），
ＧＣｍ＝（Ｆｍ＊ＧＡｍ）＋（（ｌ−Ｆｍ）＊ＧＢｍ），および
ＢＣｍ＝（Ｆｍ＊ＢＡｍ）＋（（ｌ−Ｆｍ）＊ＢＢｍ）
Ｆｍは０から１の範囲の乗算係数であり、Ｆｍは部分Ａｍの光学特性に少なくとも部分的に基づいて決定され、ＲＡｍは部分Ａｍの赤色値であり、ＲＢｍは部分Ｂｍの赤色値であり、ＲＣｍは部分Ｃｍの赤色値であり、ＧＡｍは部分Ａｍの緑色値であり、ＧＢｍは部分Ｂｍの緑色値であり、ＧＣｍは部分Ｃｍの緑色値であり、ＢＡｍは部分Ａｍの青色値であり、ＢＢｍは部分Ｂｍの青色値であり、ＢＣｍは部分Ｃｍの青色値である、請求上１に記載の方法。
【請求項７】
決定および結合のステップを繰り返すことが、
部分Ａ１-Ａｎの各々に対する光学特性を最初に決定することと、
合成部分Ｃ１-Ｃｎを生成するために複数回結合を実行することとをさらに含む請求項１に記載の方法。
【請求項８】
第１のディジタル画像の部分Ａｍと第２のディジタル画像の部分Ｂｍとを結合することが、
部分Ａ１-Ａｎは内部部分および境界部分を含み、各内部部分は複数の隣接部分を有している、各部分Ａｍに対する乗算係数Ｆｍを生成することと、
内部部分とその隣接部分との間の乗算係数における遷移の急峻性を緩和するために部分Ａ１-Ａｎの少なくともいくつかの乗算係数を調整することとを含む、請求項１に記載の方法。
【請求項９】
一つの画像センサを用いて第１のディジタル画像を撮影することと、
その画像センサを用いて第２のディジタル画像を撮影することとをさらに含む請求項１に記載の方法。
【請求項１０】
第１の絞り設定を用いて第１のディジタル画像を撮影することと、
第２の絞り設定を用いて第２のディジタル画像を撮影することとをさらに含む請求項１に記載の方法。
【請求項１１】
第１のディジタル画像および第２のディジタル画像を素早く続けて自動的に撮影することをさらに含む請求項１０に記載の方法。
【請求項１２】
方法が電子装置で実行され、
ユーザからの入力を受け取ることに応じて電子装置を１つのモードに置くことであって、前記モードにおける動作は電子装置に第１および第２のディジタル画像を素早く続けて撮影させ、前記モードにおける動作は請求項１０の方法に第３のディジタル画像が生成されるように実行させる、請求項１０に記載の方法。
【請求項１３】
第１のディジタル画像および第２のディジタル画像を撮影する画像センサと、
第１のディジタル画像の部分Ａｍの光学特性を決定し、かつ光学特性が第１の範囲内にある場合、第３のディジタル画像の部分Ｃｍとして部分Ａｍを含み、光学特性が第２の範囲内にある場合、第１のディジタル画像の部分Ａｍと第２のディジタル画像の対応する部分Ｂｍとを結合することによって合成部分を生成する手段であって、結合が部分Ａｍの光学特性に少なくとも部分的に基づいており、合成部分を第３のディジタル画像の部分Ｃｍとして含む手段とを含む電子装置。
【請求項１４】
電子装置が、無線通信装置であって、無線通信装置は無線エレクトロニクスを含み、前記手段が無線通信装置内のプロセッサでありかつプロセッサはまた無線エレクトロニクス制御する、請求項１３に記載の電子装置。
【請求項１５】
可変絞りをさらに含み、前記手段が、第１の絞り設定を用いて第１のディジタル画像が撮影されかつ第２の絞り設定を用いて第２のディジタル画像が撮影されるように、可変絞りを制御する請求項１３に記載の電子装置。
【請求項１６】
部分Ａｍが画素であり、光学特性が部分Ａｍの輝度である、請求項１３に記載の電子装置。
【請求項１７】
手段が、また第３のディジタル画像をファイルとして格納するためのものであり、ファイルはヘッダを有し、ヘッダは第３のディジタル画像に画像処理を実行したという表示を含む、請求項１３に記載の電子装置。
【請求項１８】
電子装置を一つのモードに置くためにユーザによって使用可能なスイッチをさらに含み、前記モードの動作は第２のディジタル画像に第１のディジタル画像が撮影された後に自動的に撮影されるようにし、前記モードの動作は第３のディジタル画像に生成されるようにする、請求項１３に記載の電子装置。
【請求項１９】
第１の絞り設定を用いて第１のディジタル画像を撮影し、第２の絞り設定を用いて第２のディジタル画像を撮影する画像センサであって、第１のディジタル画像と第２のディジタル画像が実質的に同じ情景のものである、画像センサと、
無線エレクトロニクスと、
無線エレクトロニクスと交信し、かつ制御するプロセッサと、
１組の命令を格納するメモリーであって、前記命令の組はプロセッサで実行可能であり、前記命令の組は、
（ａ）第１のディジタル画像の部分Ａｍの光学特性を決定することと、
（ｂ）第１のディジタル画像の部分Ａｍと第２のディジタル画像の対応する部分Ｂｍとを結合することにより合成部分を生成することであって、結合することが、ステップ（ａ）で決定される部分Ａｍの光学特性に少なくとも部分的に基づいており、合成部分が第３のディジタル画像の一部分として含まれている、合成部分の生成と、
（ｃ）携帯電話のファイルとして第３のディジタル画像を格納することとを含むステップを実行するためのものであるメモリーと、を含む無線通信装置。
【請求項２０】
（ａ）第１のディジタル画像の部分Ａｍの光学特性を決定することと、
（ｂ）前記光学特性が第１の基準を満たす場合、部分Ａｍを第２のディジタル画像に含めるが、前記光学特性が第２の基準を満たす場合、修正部分Ａｍ′を生成するために部分Ａｍに光学特性調整処理を実行し、第２のディジタル画像に修正部分Ａｍ′を含めることと、
（ｃ）合成部分Ｃ１-Ｃｎが生成されるようにｍ＝１からｎに対してステップ（ａ）および（ｂ）を繰り返すこととを含み、合成部分Ｃ１-Ｃｎ全体が第２ディジタル画像の少なくとも一部を含む方法。
【請求項２１】
部分Ａｍが、第１のディジタル画像の画素であり、画素が赤色値、緑色値および青色値を有し、光学特性が画素の輝度特性であり、光学特性調整処理が選別処理である、請求項２０に記載の方法。
【請求項２２】
光学特性調整処理が式（Ａ−（（Ａ−ＲＡｍ）＊（Ａ−ＲＡｍ）＞＞８）＝ＲＡｍ′、（Ａ−（（Ａ−ＧＡｍ）＊（Ａ−ＧＡｍ）＞＞８）＝ＧＡｍ′、（Ａ−（（Ａ−ＢＡｍ）＊（Ａ−ＢＡｍ）＞＞８）＝ＢＡｍ′を適用することを伴い、Ａは第１のディジタル画像における画素の色値の最大の明るさであり、ＲＡｍは部分Ａｍの赤色値であり、ＲＡｍ′は修正部分Ａｍ′の赤色値であり、ＧＡｍは部分Ａｍの緑色値であり、ＧＡｍ′は修正部分Ａｍ′の緑色値であり、ＢＡｍは部分Ａｍの青色値であり、ＢＡｍ′は修正部分Ａｍ′の青色値である、請求項２１に記載の方法。
【請求項２３】
光学特性が、輝度特性であり、および光学特性調整処理がステップ（ｂ）において、１）修正部分Ａｍ′の光学特性が光学特性のしきい値に達するまで、または２）選別処理が予め定められた最大回数繰り返されるかのいずれかまで繰り返し実行される、選別処理である、請求項２０に記載の方法。
【請求項２４】
第１の基準が第１の輝度範囲であり、第２の基準が第１の輝度範囲内の輝度値より大きい輝度値を表す第２の輝度範囲である、請求項２０に記載の方法。
【請求項２５】
電子装置によってステップ（ａ）、（ｂ）、および（ｃ）が実行される電子装置において第１のディジタル画像を撮影することと、
電子装置の表示に第２のディジタル画像を表示することと、をさらに含む請求項２０に記載の方法。
【請求項２６】
第１のディジタル画像を撮影する画像センサであって、ｍは１からｎとして、第１のディジタル画像が複数の部分Ａｍを含み、各部分Ａｍは光学特性を有する、画像センサと、
無線エレクトロニクスと、
無線エレクトロニクスと交信し、これを制御するプロセッサとを含み、プロセッサは、部分Ａｍの光学特性が基準を満たす場合、部分Ａｍを第２のディジタル画像内に含め、光学特性が基準を満たさない場合、プロセッサは部分Ａｍに光学特性調整処理を実行し修正部分Ａｍ′を生成し、第２のディジタル画像にその修正部分Ａｍ′を含める無線通信装置。
【請求項２７】
部分Ａｍが画素であり、光学特性が輝度特性であり、光学特性調整処理が選別処理である、請求項２６に記載の無線通信装置。
【請求項２８】
無線通信装置を第１のモードおよび第２のモードの一つに置くためのユーザによって使用可能なスイッチをさらに含み、第１のモードの動作は、部分Ａｍが基準を満たす場合、部分Ａｍに光学特性調整処理が実行される結果となり、第２のモードの動作は光学特性調整処理を動作禁止にする、請求項２７に記載の無線通信装置。
【請求項２９】
光学特性調整処理が選別処理である請求項２６に記載の無線通信装置。
【請求項３０】
プロセッサが、計算機可読媒体に格納された複数の計算機実行可能な命令を実行するプロセッサであり、計算機可読媒体は無線通信装置の一部である請求項２６に記載の無線通信装置。
【請求項３１】
第２のディジタル画像が、第１のディジタル画像における対応する部分と同一の部分を含み、第２のディジタル画像が、第１の画像における対応する部分の修正版である部分を含み、修正版は光学特性調整処理を用いて修正される、請求項２６に記載の無線通信装置。
【請求項３２】
第２のディジタル画像がファイルとして格納されるメモリーをさらに含む請求項３１に記載の無線通信装置。
【請求項３３】
第１のディジタル画像を撮影する画像センサであって、第１のディジタル画像はｍを１からｎとして複数の部分Ａｍを含み、部分Ａｍの各々は光学特性を有する、画像センサと、
部分Ａｍの光学特性が第１の範囲にある場合、部分Ａｍを第２のディジタル画像に含め、光学特性が第２の範囲にある場合、修正部分Ａｍ′を生成するために部分Ａｍに光学特性調整処理を実行し、その修正部分Ａｍ′を第２のディジタル画像内に含める手段とを含む電子装置。
【請求項３４】
第２のディジタル画像が光学特性調整処理で修正されない部分を含み、および第２のディジタル画像が光学特性調整処理で修正される部分を含む、請求項３３に記載の電子装置。
【請求項３５】
手段が、複数の計算機実行可能な命令を実行するプロセッサである、請求項３４に記載の電子装置。
【請求項３６】
電子装置が、携帯電話であって、
無線エレクトロニクスをさらに含み、手段が無線エレクトロニクスと交信し、かつ制御するためのものでもある、請求項３５に記載の電子装置。
【請求項３７】
光学特性が輝度であり、光学特性調整処理が輝度を調整する請求項３３に記載の電子装置。
【請求項３８】
手段が、ファイルとして第２のディジタル画像を格納するためのものでもある請求項３３に記載の電子装置。
【請求項３９】
複数の部分Ａｍの各々が画素である請求項３３に記載の電子装置。
【請求項４０】
複数の部分Ａｍの各々が１ブロックの画素である請求項３３に記載の電子装置。
【発明の詳細な説明】
【発明の分野】
【０００１】
開示された実施例は一般にディジタル画像処理に関する。
【発明の背景】
【０００２】
ディジタルカメラによって撮影されるようなディジタル画像には露出の問題があるかもしれない。例えば日の当たる明るい日中に従来のディジタルカメラを使うことを考えよう。カメラは、感じの良い木の先端を含む情景を撮影するために上の方に向けられる。前景の木は美しい夏の空の明るい青い背景に対して配置されている。撮影されるべきディジタル画像は２つの部分、木の部分、および背景の空の部分を含む。
【０００３】
カメラの絞りが多量の光を通すように設定される場合、木の部分はディテールを含むだろう。撮影された画像の木の幹と木の葉の中に微妙な色の陰影が見られるだろう。画像の木の部分を検出する画像センサの個々のセンサは飽和していない。しかし画像の空の部分を検出する個々のセンサは、飽和するくらい多量の光を受ける。その結果として、撮影された画像の空の部分は明るすぎて、空の微妙なディテールと陰影は撮影された画像には見られない。空の部分は「露出過多」と言われるかもしれない。
【０００４】
他方、カメラの絞りがカメラに入る光量を減少するように設定される場合、画像の空の部分を撮影する個々のセンサは飽和しないだろう。撮影された画像は空に微妙なディテールおよび陰影を示す。しかし、絞りを絞っているために、画像の木の部分は黒一色か非常に暗い特徴として現れるかもしれない。画像の木の部分の中のディテールおよび陰影は失われている。画像の木の部分は「露出不足」と言われるかもしれない。
【０００５】
したがって、１つの絞り設定により、撮影された画像の第１の部分が露出過多であるが、第２の部分が適正露出であることが分かる。第２の絞り設定により、第１の部分は適正露出であるが、第２の部分は露出不足である。解決策が望まれる。
【発明の概要】
【０００６】
１つの方法は、第１の絞り設定で撮影された第１のディジタル画像における不適正な露出の領域を、同じ領域の第２のディジタル画像を第２の絞り設定を用いて素早くかつ自動的に撮影することにより補正する。光学特性は第１のディジタル画像の各部分に対して決定される。例えば、光学特性はその部分の輝度であるかもしれない。光学特性が許容範囲にある場合（例えば、その部分の輝度が十分高い）、第１のディジタル画像のその部分に対する画像情報は第３の調整されたディジタル画像内で用いられる。他方、第１のディジタル画像の部分の光学特性が許容範囲の外にある場合（例えば、その部分の輝度が、低過ぎるか、または高過ぎる）、第１のディジタル画像におけるその部分に対する画像情報は第２の画像の対応する部分に対する画像情報と結合され、それによって、合成部分を生成する。合成部分は第３の調整されたディジタル画像で用いられる。
【０００７】
結合の仕方は第１の画像内の部分の輝度に基づくかもしれない。一例において、第１のディジタル画像における部分は第２のディジタル画像における対応する部分と混合され、第２のディジタル画像対第１のディジタル画像から得られる相対的な比率は光学特性の大きさに依存している。この割合を表す乗算係数が生成され、その乗算係数は結合操作で用いられる。第１のディジタル画像の部分を解析し、および第３の調整されたディジタル画像の対応する部分を生成するこの処理は、第１のディジタル画像の各部分に対して実行される。得られた第３のディジタル画像はファイル（例えば、ＪＰＥＧファイル）として格納される。ファイルのヘッダはファイルに含まれる画像情報に補正法が実行されたという表示を含む。
【０００８】
本方法は、第１のディジタル画像の第２の部分が解析される前に、第１のディジタル画像の一部分が解析され、第３のディジタル画像の合成部分が生成されるように実行されるかもしれない。代替的に、第１のステップにおいて第１のディジタル画像の部分のすべてが解析され、それによって乗算係数の２次元アレイを生成するかもしれない。このアレイは第１の画像の部分の対応する２次元アレイである。次に、乗算係数は第２のステップで用いられ、第１および第２のディジタル画像の対応する部分を結合し、第３のディジタル画像の合成部分の対応する二次元アレイを生成する。乗算係数の２次元アレイが生成される場合、乗算係数は隣接する部分間の乗算係数の遷移における急峻性を減少するように調整されるかもしれない。一列に配列された部分の乗算係数を考察する場合、この急峻性は乗算係数における鋭い不連続である。そのような急峻性を減少させることは、得られる第３のディジタル画像における明るい領域と暗い領域間の境界をより自然に見せることになる。そのような急峻性を減少させることは、望ましくない「ハロー」効果をほとんど目立たなくさせる。
【０００９】
別の方法に従うと、ディジタル画像における露出不足および／または露出過多を補正するために複数のディジタル画像を撮影する必要がない。第１のディジタル画像は、画像の一部分が露出過多または露出不足の場合にはたぶん露出不足にされるように比較的小さい開口を用いて撮影される。光学特性は部分に対して決定される。光学特性が第１の範囲にある場合、第１のディジタル画像の部分は第２の調整されたディジタル画像内に変更しない形で含まれる。しかし光学特性が第２の範囲にある場合、修正された部分を生成する第１のディジタル画像の部分について光学特性調整処理が実行される。修正された部分は第２の調整済みディジタル画像に含まれる。
【００１０】
一例において、光学特性は輝度であり、光学特性調整処理は逐次選別処理である。部分の輝度が十分高い場合、第１のディジタル画像の部分に関する画像情報は、第２の調整されたディジタル画像における対応する部分に対する画像情報として用いられる。他方、部分の輝度が低い場合、逐次選別処理はその部分の輝度を上げるように実行され、それにより、より高い輝度を有する修正部分を生成する。選別処理は構成している赤色、緑色、青色の相対的な割合を維持したまま、部分の輝度を上げる。修正された部分は第２の調整されたディジタル画像に含まれる。部分の輝度が予め定めたしきい値に達するまで、または選別処理が予め定めた最大回数実行され終わるまで、逐次選別処理が実行される。このように、第２の調整されたディジタル画像が生成され、第１のディジタル画像内の暗かった領域が、第２の調整されたディジタル画像内でより明るくなる。第２の調整されたディジタル画像はファイル（例えば、ＪＰＥＧファイル）として格納される。ファイルのヘッダはファイルに含まれる画像情報に補正法が実行されたという表示を含む。
【００１１】
新しい方法を実行する新しい電子回路も開示される。また、付加的実施例は以下の詳細な説明で説明される。
【好ましい実施形態の詳細な説明】
【００１２】
図１は、新しい一態様に従って一方法を実行するために利用可能な電子装置１の高位の簡略ブロックダイアグラムである。本例の電子装置１は携帯電話である。電子装置１はプロセッサ２、メモリー３、ディスプレイドライバ４、ディスプレイ５、および携帯電話無線エレクトロニクス６を含む。プロセッサ２はメモリー３に格納された命令３７を実行する。プロセッサ２は、バス７を介してディスプレイ５および無線エレクトロニクスと交信し、および制御する。バス７は並列バスとしてここで例示されるが、並列および直列双方の１つ以上のバスが採用されるかもしれない。スイッチの記号８はキーマトリクス上のキー、プッシュボタンのようなスイッチ、または電子装置がユーザ入力を受け取るスイッチを表す。ユーザは、例えばダイヤルする電話番号をキーマトリクス８上の種々のキーを用いて入力するかもしれない。プロセッサ２は、どのキーが押されたかを検出し、適切な情報をディスプレイ５上に表示されるようにし、電話の呼び出しに用いられる通信チャネルを確立するように携帯電話無線エレクトロニクス６を制御する。
【００１３】
上述では電子装置１は携帯電話の状況で説明されたが、電子装置１はディジタルカメラエレクトロニクスも含むかもしれない。ディジタルカメラエレクトロニクスはレンズまたはレンズアセンブリ９、可変絞り１０、機械的シャッター１１、画像センサ１２、並びにアナログ-ディジタル変換器およびセンサ制御回路１３を含む。画像センサ１２は、例えば、個別の画像センサの２次元アレイを含む電荷結合素子（ＣＣＤ）画像センサまたはＣＭＯＳ画像センサであるかもしれない。各個別のセンサは特定の色の光を検出する。通常、赤色センサ、緑色センサ、および青色センサがある。用語画素は、時には１個の赤色センサ、１個の緑色センサ、および１個の青色センサの一組を記述するために用いられる。Ａ／Ｄ変換器回路１３は、個々のセンサのアレイに、画像センサに適切な電子シャッター信号を駆動することによって画像を取り込ませるかもしれない。したがって、Ａ／Ｄ変換器回路１３は、線１４を介して画像センサ１２へ適切な読み取りパルスを駆動することによって画像センサ１２から個々のセンサの２次元アレイに取り込まれた画像情報を読み取るかもしれない。取り込まれた画像データはセンサ１２からＡ／Ｄ変換器回路１３へリード線３６を介してシリアルに送られる。絞りが所望の開口を有するように設定されるように、電気モータまたはアクチュエータ１５は、可変絞り１０を開けるまたは絞る動作が可能である。プロセッサ２は制御信号１６を介してモータまたはアクチュエータ１５を制御する。同様に、電気モータまたはアクチュエータ１７は、機械的シャッター１１の開閉動作が可能である。プロセッサ２は制御信号１８を介してモータまたはアクチュエータ１７を制御する。また、電子装置１は多量の不揮発性メモリー１９を含む。例えば、不揮発性メモリー１９は、フラッシュメモリまたはマイクロハードディスクドライブであるかもしれない。
【００１４】
ディジタル画像を取り込むために、プロセッサ２は制御信号１６を用いて可変絞り１０の開口の大きさを設定する。開口の大きさが設定されると、プロセッサ２は制御信号１８を用いて機械的シャッター１１を開ける。光はレンズ９と、可変絞り１０と、機械的シャッター１１とを通過し、画像センサ１２上へ達する。Ａ／Ｄ変換器および制御回路１３は電子シャッター信号を画像センサ１２に供給し、それにより、画像センサ１２中の個別センサに画像情報を取り込ませる。Ａ／Ｄ変換器および制御回路１３は次に、線１４を介して供給される読み出しパルスを用いてセンサ１２から画像情報を読み、その情報をディジタル化し、バス７を通じてメモリー３にディジタル画像情報を書き込む。プロセッサ２は、メモリー３からディジタル画像情報を検索し、情報に任意の所望の画像処理を実行し、次に得られた画像をファイル３８として不揮発性記憶装置１９に格納する。ディジタル画像は、例えばＪＰＥＧファイルとして格納されるかもしれない。プロセッサ２は、通常、画像をディスプレイ５上に表示させる。ユーザはカメラの機能および動作を、携帯電話の機能および動作と同様にスイッチ８を用いて制御することができる。
【００１５】
図２は図１の電子装置によって実行される方法の簡略フローチャートである。第１のステップ（ステップ１００）において、情景の第１のディジタル画像は、第１の絞り設定を用いて撮影される。プロセッサ２はそれに従って、可変絞り１０および機械的シャッター１１を制御する。
【００１６】
図３は可変絞り１０の略図である。
【００１７】
図４は得られた第１のディジタル画像２０の略図である。第１のディジタル画像２０は第１の部分２１および第２の部分２２を含む。本例の第１の部分２１は情景の前景にある木の画像である。第２の部分２２は情景の背景を構成する比較的明るい空の画像である。木は比較的明るい空に較べて比較的暗い対象物として見えている。第１の部分２１を取り込む画像センサ１２の個別のセンサは飽和していない。したがって、ディテールおよび陰影は第１の部分２１にある。図４の木の上の装飾ボール２３は第１の部分２１のそのようなディテールおよび陰影を代表している。
【００１８】
しかしながら、第２の部分２２を取り込んだ画像センサ１２の個別センサは、空の明るさにより実質的に飽和されている。それ故、第２の部分２２内で取り込まれるべき相対的色情報およびディテールは失われている。図４における背景の空のディテールおよび陰影がないことは、第２の部分２２の白一色の陰影で表わされている。第２の部分２２は「露出過多」と言われる。
【００１９】
第２のステップ（ステップ１０１）において、電子装置１は、第２の絞りの設定を用いて自動的に同じ情景の第２のディジタル画像を得る。第１のディジタル画像の後に自動的にかつできるだけ早く、第２のディジタル画像を撮影する。その結果第１および第２のディジタル画像において情景の種々の対象物の位置は同じまたは実質的に同じである。
【００２０】
図５は可変絞り１０の略図である。図５の可変絞り１０の開口２４は図３よりも小さい面積であることに注意のこと。
【００２１】
図６は、得られる第２のディジタル画像２５の略図である。第２のディジタル画像２５は第１の部分２６および第２の部分２７を含む。第１の部分２６は、図４の第１のディジタル画像において現れる同じ木の画像である。しかし、第２のディジタル画像における第１の部分２６は、黒または非常に暗い物体として現れる。図４における装飾ボール２３によって表されるディテールおよび陰影は、図６の第１の部分２６には存在しない。第１の部分２６は「露出不足」と言われる。
【００２２】
しかしながら、開口２４の縮小した面積により、比較的明るい背景の空を取り込む個別センサは適正露出となる。図４の第１のディジタル画像２０の第２の部分２２がディテールまたは陰影をほとんどまたは全く含まないのに対し、図６の第２のディジタル画像２５の第２の部分２７はディテールおよび微妙な陰影を示す。図６の空に例示した雲２８はそのようなディテールおよび陰影を代表する。開口２４の縮小した面積により、第２の部分２７が適正露出されたことになる。本方法では、この時点で、第１および第２双方のディジタル画像２０および２５は図１の電子装置１におけるメモリー３にある。
【００２３】
次のステップ（ステップ１０２）で、プロセッサ２は第１のディジタル画像の各部分Ａ１-Ａｎに対する乗算係数Ｆｍを決定する。第１のディジタル画像の画像情報は、部分Ａ１-Ａｎの２次元アレイを形成する部分において検討される。本例において、各部分は画素であり、また、画素の２次元アレイは第１のディジタル画像を形成する。各画素は以下の３つの個々の色の値によって表される。赤色値、緑色値、および青色値。各値は０と２５５の間の値である。値０は暗を表し、一方値２５５完全な明るさを示す。ステップ１０２において、ｍが１からｎの範囲にあるとして、部分Ａｍの各々が一度に１つ検討され、乗算計数Ｆｍが部分Ａｍに対して決定される。
【００２４】
乗算係数は多くの種々の適切な方法のいずれか１つで決定することができる。本例において、乗算係数Ｆｍは、画素の輝度Ｌを先ず決定することにより決定される。赤色値（Ｒ）、緑色値（Ｇ）、および青色値（Ｂ）から、画素の輝度値Ｌは以下の式（１）で与えられる。式（１）は特定の色の明るさを、他の色の明るさを制限しながら強める。その結果、得られる輝度値Ｌの大きさは、人間の目が感じるような合成画素の明るさに一致する。
【００２５】
（Ｒ＊０．３０）＋（Ｇ＊０．５９）＋（Ｂ＊０．１１）＝Ｌ      （１）
画素の輝度値Ｌが決定されると、乗算係数関数が、検討すべき画素に対する乗算係数Ｆを決定するために用いられる。図７は１つのそのような乗算係数関数のグラフである。グラフの横軸は画素輝度値Ｌである。画素輝度値Ｌは０（完全に暗い）から２５５（完全に明るい）までの範囲にある。グラフの縦軸は乗算係数Ｆｍである。乗算係数は０パーセントから１００パーセントの範囲にある。本例において、第３のディジタル画像の合成部分Ｃｍは、第１のディジタル画像のＡｍおよび第２のディジタル画像の対応する部分Ｂｍから形成されるだろう。第１のディジタル画像からの部分Ａｍの画像情報は乗算係数Ｆｍを乗算されるだろう。またこの積は（１−Ｆｍ）を乗算された第２のディジタル画像の部分Ｂｍからの画像情報の積を加算されるだろう。従って、第１のディジタル画像の部分Ａｍ（本例における部分Ａｍは画素である）に対する輝度値Ｌが暗すぎたり明るすぎたりしない（計算した画素の輝度が予め定めた３０から２２５の範囲にある）場合、第１のディジタル画像内の部分Ａｍに対する画像情報が用いられ（乗算係数１００％を掛けられる）、第２の画像内の対応する部分Ｂｍに対する画像情報は無視される（ゼロを掛けられる）。第１の予め定めた範囲は図７の参照番号２９で示される。
【００２６】
他方、第１のディジタル画像の部分Ａｍに対する輝度値Ｌが暗過ぎるか、また明るすぎる場合（画素の輝度Ｌが０から１５または２４０から２５５の第２の予め定めた範囲にある）場合、第１のディジタル画像の部分Ａｍに対する画像情報は無視され（乗算係数０％を掛けられる）、第２の画像の対応する部分Ｂｍに対する画像情報が用いられる（１００％を掛けられる）。第２の予め定めた範囲は図７の参照番号３０で示される。
【００２７】
第１のディジタル画像の部分Ａｍに対する輝度値Ｌを計算し、部分Ａｍに対する関連する乗算係数Ｆｍを決定する処理は、ｍ＝１からｎまで乗算係数Ｆ１-Ｆｎの１組が決定されるまで、ｎ回繰り返される。部分が画素である本例において、第１のディジタル画像の乗算係数Ｆ１-Ｆｎと画素Ａ１-Ａｎの間に一対一の対応がある。
【００２８】
次に（ステップ１０３）、乗算係数Ｆ１-Ｆｎは、隣接部分間の乗算係数における遷移の急峻性を減少するように調整される。この調整処理は図８の参照番号３１で特定される部分の集合区域に関連して説明される。
【００２９】
図９は集合区域３１内の種々の部分の輝度値Ｌを例示する拡大図である。図９の右下の、より暗い領域３２は第１のディジタル画像の第１の部分２１の暗い木の画像の一部を表す。図９の左上の、より明るい領域３３は第１のディジタル画像の第２の部分２２の明るい空の画像の一部を表す。明るい帯３４は、より暗い領域３２とより明るい領域３３の間に配置される。帯３４は急峻な明確に定義された端部として例示されているが、帯３４は実際には画像の空の部分および画像の木の部分に拡がる幾分曖昧な端部を有している。比較的明るい光の前に立つ暗い対象の画像が撮影される場合、目標物の背後から発する光は前景にあるより暗い目標物の周りで曲がったり反射したりするように見えるかもしれないこれは空中の光を反射する埃または湿気によるものかもしれず、これにより目標物の周りで反射され画像センサに達する。その結果は撮影された画像における望ましくない「ハロー」効果であり、明るくぼやけたハローが暗い目標物の輪郭を囲んでいるのが見られる。図９の明るい領域３４は木の輪郭を囲むそのようなハローの一部を表す。
【００３０】
図４および６の第１および第２のディジタル画像の例において、第１の部分（木）は図４の第１のディジタル画像において適正に露出されているのに対し、第２の部分（空）は図６の第２のディジタル画像において適正に露出されている。木に対応する第１のディジタル画像の部分が１００％の乗算係数に対応し、空に対応する第１のディジタル画像の部分が０％の乗算係数に対応している場合、図１０に例示されたような２次元の乗算係数アレイが得られるだろう。第１および第２のディジタル画像がこの２次元アレイの乗算係数を用いて第３のディジタル画像を形成するように結合される場合、アレイ内のゼロは図６の第２のディジタル画像の対応する部分を、最終の第３のディジタル画像内に、変更されずに現れるようにするだろう。しかし、「ハロー」が図６の第２のディジタル画像の第２の部分に現れることに注意のこと。従って、図１０の乗算係数のアレイが第１および第２のディジタル画像の結合に用いられる場合、ハローは得られる第３のディジタル画像に現れるだろう。これは望ましくない。
【００３１】
最終の第３のディジタル画像にハローが現れない場合でも、１つの部分から隣へ０％から１００％への乗算係数の遷移の鋭さは、第１のディジタル画像２０の第１の部分２１が第２のディジタル画像２５の第２の部分２７と接合する境界に不自然に見える境界を引き起こすかもしれない。
【００３２】
したがって、ステップ１０２で決定される乗算係数は乗算係数における急激な変遷を滑らかにまたはディザリングするために調整される（ステップ１０３）。図１１にそのような１つの調整の結果を例示する。図１１の例において、乗算係数は、隣接する２つの部分が１００％異なる乗算係数を有しないように調整される。１００％の乗算係数を有する部分が０％の乗算係数を有する別の部分に隣接している場合、隣接部分の乗算係数は０％から５０％に変更される。これは、領域２４のハロー領域における遷移を滑らかにすることになることに注意のこと。この調整処理は、第１のディジタル画像のすべての部分Ａ１-Ａｎに対する乗算係数Ｆ１-Ｆｎについて実行される。
【００３３】
次に（ステップ１０４）、第３のディジタル画像の各部分Ｃ１-Ｃｎに対して合成部分Ｃｍが、第１のディジタル画像の部分Ａｍと第２のディジタル画像の部分Ｂｍとを結合することにより生成される。ここで結合は対応する部分Ａｍの乗算係数Ｆｍに基づく。一例において、結合のステップは以下の式（２）、（３）、（４）に従って実行される。
【００３４】
ＲＣｍ＝（Ｆｍ＊ＲＡｍ）＋（（１−Ｆｍ）＊ＲＢｍ）    （２）
ＧＣｍ＝（Ｆｍ＊ＧＡｍ）＋（（１−Ｆｍ）＊ＧＢｍ）    （３）
ＢＣｍ＝（Ｆｍ＊ＢＡｍ）＋（（１−Ｆｍ）＊ＢＢｍ）    （４）
結果は、得られる第３のディジタル画像の部分Ｃｍに対する赤色値ＲＣｍ、緑色値ＧＣｍと、青色値ＢＣｍである。ＲＡｍは部分Ａｍに対する赤色値である。ＧＡｍは部分Ａｍに対する緑色値である。ＢＡｍは部分Ａｍに対する青色値である。パラメータｍは１からｎの範囲にあり、その結果１つの部分Ｃｍは第１のディジタル画像における各対応する部分Ａ１-Ａｎに対して生成される。
【００３５】
プロセッサ２（図１を参照のこと）はステップ１０４の結合を実行し、それによって部分Ｃ１-Ｃｎを含む第３のディジタル画像３５を生成する。次に、プロセッサ２は第３のディジタル画像３５をファイル３８の形式で不揮発性メモリー１９に書き込む。ファイル３８のヘッダ３９は、第３のディジタル画像が露出過多／露出不足補正法に従って処理されたという表示４０を含む。いくつかの実施例において、ユーザが元の画像にアクセスしたい場合には、元の第１のディジタル画像、および／または、第２の元のディジタル画像も不揮発性メモリー１９に格納される。表示のあるヘッダを含むディジタル画像のファイルは、画像ファイルを１つの民生用電子装置から別の民生用電子装置またはパーソナルコンピュータへ転送するために通常用いられるのと同じ手段を用いて電子装置から他の装置へ転送されるかもしれない。
【００３６】
図１２は第３のディジタル画像３５を表している。図４の第１のディジタル画像２０の第１の部分２１のディテールと陰影は、図６の第２のディジタル画像２５の第２の部分２７のディテールと陰影と同様に第３のディジタル画像３５内に存在する。画像情報からの第１のディジタル画像から第２のディジタル画像への画像情報の遷移の急峻性は減少し、ハロー効果は減少する。
【００３７】
上述の方法は複数のディジタル画像からの画像情報を用いて不適正露出を補正するが、複数のディジタル画像からの画像情報を用いることなく不適正露出による問題を改善することができる。
【００３８】
図１３は単一のディジタル画像からの情報が用いられる別の新しい態様に従う第２の方法のフローチャートである。
【００３９】
第１のステップ（２００）において、第１のディジタル画像は、画像の部分が露出過多または露出不足の場合、おそらく露出不足になるような比較的小さい開口を用いて撮影される。第１の画像は、ｍを１からｎとして、部分Ａｍの２次元アレイで構成される。
【００４０】
次に（ステップ２０１）、部分Ａｍの光学特性が決定される。一例において、光学特性は画素の輝度Ｌである。
【００４１】
部分Ａｍの光学特性が第１の範囲にある場合（ステップ２０２）、部分Ａｍの画像情報は第２のディジタル画像の部分Ｂｍとして第２のディジタル画像に含まれる。部分Ａｍは変更のない形で第２のディジタル画像に含まれる。
【００４２】
しかし、部分Ａｍの光学特性が第２の範囲にある場合（ステップ２０３）、修正された部分Ａｍ′を生成するために光学特性調整処理が部分Ａｍに実行される。修正された部分Ａｍ′は部分Ｂｍとして第２のディジタル画像に含まれている。
【００４３】
一例において、部分Ａｍは画素であり、光学特性調整処理が選別処理であり、第１の範囲は画素輝度の許容できる範囲であり、第２の範囲は許容できない暗い画素輝度の範囲である。注目する画素が第１の範囲の輝度を有する場合、画素は変更されない形で第２の画像に含まれる。注目する画素が第２の範囲の輝度を有する場合、画素Ａｍの画素情報は画素を明るくするために繰り返して選別処理を実行される。選別処理が実行されるたびに画素は明るくなる。この明るくする処理は画素輝度が予め定めた明るさのしきい値に達したか、または画素に対する選別処理が予め定めた回数実行されたかのいずれかの時に終了する。
【００４４】
以下の式（５）、（６）、および（７）により１つの選別処理を説明する。
【００４５】
（Ａ−（（Ａ−ＲＡｍ）＊（Ａ−ＲＡｍ）＞＞８）＝ＲＡｍ′    （５）
（Ａ−（（Ａ−ＧＡｍ）＊（Ａ−ＧＡｍ）＞＞８）＝ＧＡｍ′    （６）
（Ａ−（（Ａ−ＢＡｍ）＊（Ａ−ＢＡｍ）＞＞８）＝ＢＡｍ′    （７）
式（５）、（６）、および（７）において、Ａは選別される画素の色値の最大の明るさである。ＲＡｍは選別処理への入力である部分Ａｍの赤色値である。ＲＡｍ′は選別処理による赤色値の出力である。ＧＡｍは選別処理への入力である部分Ａｍの緑色値である。ＧＡｍ′は選別処理による緑色値の出力である。ＢＡｍは選別処理への入力である部分Ａｍの青色値である。ＢＡｍ′は選別処理による青色値の出力である。記号「＞＞」は８ビット右シフト操作を表す。上で記説明したように、選別処理は、画素輝度が予め定めた明るさのしきい値に達するか、または繰り返し回数が予め定めた回数に達するまで繰り返し実行される。選別処理は、画素の構成要素である赤、緑、青色の相対比率を保持したまま、画素の輝度を上げる。結果として得られる色値ＲＡｍ′、ＧＡｍ′およびＢＡｍ′は、第２のディジタル画像に部分Ｂｍとして含まれる修正された部分Ａｍ′の色値である。
【００４６】
光学特性調整処理は第１のディジタル画像のすべての部分Ａ１-Ａｎに対して繰り返され、その結果、部分Ｂ１-Ｂｎを含む第２のディジタル画像が生成される。これは図１３において判定ブロック２０４とインクレメントブロック２０５で表わされる。すべての部分Ａ１-Ａｎが処理されると、判定ブロック２０４におけるテストｍ＝ｎは真であり、方法は完了する。
【００４７】
ステップ２００において、第１のディジタル画像のいくつかの画素が不適正露出される場合、それらは露出過多よりむしろ露出不足が望ましい。画像センサの個々のセンサが飽和しており、それらが与えられた画素に対して最大の明るさの値（例えば赤色値に対して２５５、緑色値に対して２５５、青色値に対して２５５）を出力する場合、画素の位置における色の相対的大きさは決定できない。他方、画素が露出不足の場合、画素は第１のディジタル画像において望ましくなく暗く見えるかもしれないが、相対的色情報が個々の色センサによって出力された値の内に存在する可能性がある。赤、緑、および青色の相対的大きさは正しいかもしれない。絶対値が低過ぎるだけである。したがって、画素が選別処理を用いて明るくされる場合、第２のディジタル画像に含まれるそれによって得た画素は適正な色の比を有しているだろう。したがって、第１のディジタル画像を撮影するために比較的小さい絞り面積が好ましくは用いられ、その結果、飽和した画像センサを有する可能性は低くなる。
【００４８】
ある特定の実施例が説明の目的のために上で記述されたが、本発明はそれに限定されない。輝度以外の光学特性を解析し、ある部分において特定されて、補正されるかもしれない。一例においては、画素の赤、緑、青の成分色の値は単に加えられ、その合計が画素の光学特性である。部分は、１画素または画素のブロックであるかもしれない。新しい方法に従って解析される画像の部分は異なる大きさであるかもしれない。最初のディジタル画像は、ＲＧＢ色空間であるかもしれないし、または別の色空間であるかもしれない。最初の画像が１つの色空間のものであり、得られるディジタル画像が別の色空間のものであるかもしれない。可変絞りを利用する実施例が上で説明されたが、第１のディジタル画像および第２のディジタル画像を撮影するために開口の異なる２つの固定絞りが用いられるかもしれない。第１および第２のディジタル画像を得るために異なる絞り設定を用いるよりむしろ、第１のディジタル画像および第２のディジタル画像において画像センサに与えられる電子シャッター信号を用いて画像センサが露出される期間を変えられるかもしれない。異なる光学特性を有する第１および第２のディジタル画像を得る他の方法が用いられるかもしれない。一実施例において、フラッシュ照明なしで画像の１つが撮影され、フラッシュ照明で他の画像が撮影される。
【００４９】
上述の第１および第２のディジタル画像を用いる方法は、同じ情景の２つより多いディジタル画像の結合を含むように拡張されることができる。画像の不適正露出領域に対して補正するために異なる解像度のディジタル画像が結合されるかもしれない。画像の一部の光学特性を調整するために選別または別の光学特性調整処理が適用されるかもしれないが、画像の一部分と第２の画像の対応する部分とを結合することは、画像の異なる部分における露出の問題を補正するために適用されるかもしれない。光学特性調整処理は部分のある１つの色成分またはある複数の色成分のみに対して色値を変えるかもしれない。乗算係数調整処理は、２または３以上の部分にわたって乗算係数の急峻な変化を平滑化するように拡張されるかもしれない。隣接部分の色情報は、個々のカラーセンサが完全に飽和され合成色の相対的な大きさに関する情報が失われるような一定の状況のもとで、光学特性調整処理に影響するように用いられるかもしれない。
【００５０】
開示された方法は、プロセッサによって実行される必要はなく、むしろ専用ハードウェアとして実施されるかもしれない。開示された方法は、他の目的の民生用電子装置で提供されるプロセッサに、そのプロセッサが他の機能を実行していないときに、ソフトウェア内の本方法を実行させることにより、民生用電子装置（例えば、携帯電話、ディジタルカメラ、または携帯情報端末）に安価な方法で実施されるかもしれない。上述した補正法は、民生用電子装置のユーザが民生用電子装置上のスイッチ、ボタン、キーパッドまたは他のユーザ入力装置を用いて使用可能および／または使用禁止にすることができるような機能にすることができる。代替的に、本方法は、実行され、ユーザによって使用可能または使用禁止にできない。補正法は乗算係数平滑化処理のあるなしにかかわらず用いることができる。
【００５１】
補正法が実行されたことの表示は、民生用電子装置のディスプレイに表示するようにされたアイコンによって、民生用電子装置のユーザに表示されるかもしれない。民生用電子装置は、第１の画像の一部分を解析し、画像に露出の問題があることを決定し、急速かつ自動的に同じ情景の第２のディジタル画像を撮影し、次に、ユーザの知識なしに第１および第２のディジタル画像を結合するための補正法を適用するかもしれない。光学特性調整方法が民生用電子装置に関連して上で説明されたが、本方法または本方法の部分は他の形式の画像機器で実行されるかもしれない。上述した光学特性調整方法はパーソナルコンピュータのような汎用処理装置で実行されるかもしれない。補正法はＡｄｏｂｅ  Ｐｈｏｔｏｓｈｏｐのようなパーソナルコンピュータ上で一般的に用いられる画像処理用ソフトウェアパッケージに組み入れられるかもしれない。ただ１つの画像センサを用いずに、第１のディジタル画像を撮影するために第１の画像センサが用いられ、第２のディジタル画像を撮影するために第２の画像センサが用いられるかもしれない。上で説明された光学特性調整方法はビデオ情報の１つ以上のストリームの画像に適用されるかもしれない。従って、説明した特定の実施例の種々の特徴の種々の変形、適合、および組合せは請求範囲に記載される本発明の範囲から逸脱することなく実行されることができる。
【図面の簡単な説明】
【００５２】
【図１】第１の新しい態様に従う方法の実行に使用可能な電子装置の１つの形式の簡略化したダイアグラム。
【図２】図１の電子装置によって実行される方法の簡略化されたフローチャート。
【図３】図１の電子装置の可変絞りが第１の絞り設定にある可変絞りの略図。
【図４】図４第１の絞り設定を用いて撮影された第１のディジタル画像の略図。
【図５】図１の電子装置の可変絞りが第２の絞り設定にある可変絞りの略図。
【図６】第２の絞り設定を用いて撮影された第２のディジタル画像の略図。
【図７】第１のディジタル画像の部分および第２のディジタル画像の対応する部分を結合する方法の決定に使用可能な関数のグラフ。
【図８】第１のディジタル画像における部分の集合区域を特定する略図。
【図９】図８の部分の集合区域の拡大図。
【図１０】図９の部分の集合区域のための乗算係数の２次元アレイの図。
【図１１】図１０の乗算係数の２次元アレイの図。アレイのいくつかの乗算係数は隣接部分間の乗算係数における遷移の急峻性を抑圧するように調整済み。
【図１２】第１の新しい態様に従って生成された第３のディジタル画像の略図。
【図１３】第２の新しい態様に従う一方法のフローチャート。
【図１】
2009504037.tif 000003
【図２】
2009504037.tif 000004
【図３】
2009504037.tif 000005
【図４】
2009504037.tif 000006
【図５】
2009504037.tif 000007
【図６】
2009504037.tif 000008
【図７】
2009504037.tif 000009
【図８】
2009504037.tif 000010
【図９】
2009504037.tif 000011
【図１０】
2009504037.tif 000012
【図１１】
2009504037.tif 000013
【図１２】
2009504037.tif 000014
【図１３】
2009504037.tif 000015
【国際調査報告】
2009504037.tif 000016
2009504037.tif 000017
2009504037.tif 000018