(57)【要約】【課題】本原理の態様は、画像処理のための方法、装置、システム及びコンピュータ可読媒体を対象とする。【解決手段】画像処理は、標準ダイナミックレンジ（ＳＤＲ）画像を受け取ること、又は標準ダイナミックレンジ（ＳＤＲ）画像を受け取る受信器を含んでよい。それは、ＳＤＲ画像の露出過度領域を決定し、露出過度領域の少なくとも１つのピクセルについての補正された輝度値を決定すること、又はＳＤＲ画像の露出過度領域と、露出過度領域の少なくとも１つのピクセルについての補正された輝度値とを決定するよう構成されたプロセッサを更に含んでよい。補正された輝度値は、露出過度領域の形状、露出過度領域を囲むピクセルの輝度情報、及び露出過度領域を囲むピクセルのエッジ情報、のうちの少なくとも１つに基づき決定される。露出過度領域は不整形な領域であってよい。【選択図】図３
2017050864.tif 000002
【特許請求の範囲】
【請求項１】
標準ダイナミックレンジ（ＳＤＲ）画像から決定される露出過度領域の少なくとも１つのピクセルについての補正された輝度値を決定するステップを有し、
前記補正された輝度値は、前記露出過度領域の形状、及び前記露出過度領域を囲むピクセルのエッジ情報、のうちの少なくとも１つに基づき、決定される、
画像処理方法。
【請求項２】
標準ダイナミックレンジ（ＳＤＲ）画像から決定される露出過度領域の少なくとも１つのピクセルについての補正された輝度値を決定するよう構成されるプロセッサを有し、
前記補正された輝度値は、前記露出過度領域の形状、及び前記露出過度領域を囲むピクセルのエッジ情報、のうちの少なくとも１つに基づき、決定される、
画像処理装置。
【請求項３】
前記露出過度領域は、不整形な領域である、
請求項１に記載の画像処理方法又は請求項２に記載の画像処理装置。
【請求項４】
前記露出過度領域のタイプを決定し、該露出過度領域のタイプに基づき前記補正された輝度値を決定することを更に有する
請求項１に記載の画像処理方法又は請求項２に記載の画像処理装置。
【請求項５】
前記タイプは、鏡面ハイライト領域、散光、又は光源、のうちの１つである、
請求項４に記載の画像処理方法又は画像処理装置。
【請求項６】
前記輝度値は、前記露出過度領域のスケルトンに基づき補正される、
請求項１に記載の画像処理方法又は請求項２に記載の画像処理装置。
【請求項７】
前記輝度値は、前記スケルトン沿いのピクセルのピーク輝度に基づき補正される、
請求項１に記載の画像処理方法又は請求項２に記載の画像処理装置。
【請求項８】
前記輝度値は、前記露出過度領域を囲むピクセルの環に基づき補正される、
請求項１に記載の画像処理方法又は請求項２に記載の画像処理装置。
【請求項９】
前記輝度値は、前記ピクセルの環に基づき決定されるエッジに基づき補正される、
請求項８に記載の画像処理方法又は画像処理装置。
【請求項１０】
前記輝度値は、前記ピクセルの環に基づき決定される方向ベクトルに基づき補正される、
請求項８に記載の画像処理方法又は画像処理装置。
【請求項１１】
前記方向ベクトルは、前記ピクセルの環のアイソフォトベクトルに基づき決定される、
請求項１０に記載の画像処理方法又は画像処理装置。
【請求項１２】
前記方向ベクトルは、前記ピクセルの環の勾配に基づき決定される、
請求項１０に記載の画像処理方法又は画像処理装置。
【請求項１３】
前記輝度値は、エッジピクセルでの輝度Ｌ（ｐｊ）、前記エッジピクセルの勾配ｇｊ、前記エッジピクセルと内部ピクセルとの間の距離、及びユーザパラメータηに基づき、
【数２１】
2017050864.tif 000025
のように補正される、
請求項１に記載の画像処理方法又は請求項２に記載の画像処理装置。
【請求項１４】
前記輝度値は、前記露出過度領域のスケルトンでの輝度Ｌ（ｓｊ）、エッジピクセルでの輝度Ｌ（ｐｊ）、前記エッジピクセルと内部ピクセルとの間の距離、前記エッジピクセルとスケルトンピクセルとの間の距離、及びユーザパラメータηに基づき、
【数２２】
2017050864.tif 000026
のように補正される、
請求項１に記載の画像処理方法又は請求項２に記載の画像処理装置。
【請求項１５】
最適化された輝度値Ｌ′（ｏｉ）と、エッジピクセルの輝度Ｌ（ｐｊ）と、入力画像の輝度値Ｌｏｒｉｇ（ｏｉ）と、スケルトンピクセルの最適化された輝度値Ｌ′（ｓ（ｙ））と、方向ベクトルｄｊと、閾値Ｔ１、Ｔ２、Ｔ３と、スカラーｔ１及びｔ２との間の関係に基づく次の制約
【数２３】
2017050864.tif 000027
のうちの１つ以上に従う最適化
【数２４】
2017050864.tif 000028
に基づき、前記補正された輝度値を精緻化することさらに有する
請求項１に記載の画像処理方法又は請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理及び画像復元に関係がある。特に、本開示は、露出過度の又はクリッピングされた鏡面反射性の画像領域の補正に関係がある。
【背景技術】
【０００２】
カメラは、通常は、ダイナミックレンジが現実世界のシーンよりも小さい。カメラのダイナミックレンジを越える明るい画像部分は、露出過度の又はクリッピングされた領域として現れる。カメラは、色チャネルの最大可能値をそのような露出過度の又はクリッピングされた領域に割り当てる。しかし、この最大値を割り当てることは、そのような領域での色、テクスチャ、コントラスト及び輝度情報の喪失を生じさせる。
【０００３】
車両又は金属オブジェクトのような、鏡面反射性の又は光沢のあるオブジェクトは、カメラセンサにより撮像される場合に露出過度の又はクリッピングされた画像領域を生じさせる傾向がある鏡面を有する。鏡面はハイライトを有する傾向があり、これは、鏡面外観を伝えるよう正確に（又は少なくとももっともらしく）再現される必要がある。
【０００４】
インペインティング（inpainting）は、露出過度の又はクリッピングされた領域の情報のような、失われた画像情報の画像領域を再構成する処理である。インペインティングは、通常は、失われた情報領域を囲む情報を解析し、類似した周囲領域からその失われた情報領域に情報を反映又はコピーする。しかし、これは、再構成されるべき領域がその周囲と類似しない場合には成功しない。特に、これは、鏡面ハイライト領域については、そのような領域がそれらの周囲とは異なる特性を有するので、成功しない。
【０００５】
鏡面ハイライト領域は、隣接画像領域ではうまく表現されないピーク輝度分布を有する。更には、露出過度領域の輝度値は残りの画像の輝度値を上回るので、画像内の他の場所から情報を反映又はコピーすることは適切でない。
【０００６】
露出過度領域の存在は、従来型のディスプレイにおいて劣化した視覚外観をもたらす。しかし、この問題は、露出過度コンテンツを含むイメージが高ダイナミックレンジ（ＨＤＲ；high  dynamic  range）ディスプレイでの表示のために準備される場合に悪化する。標準ダイナミックレンジ（ＳＤＲ；standard  dynamic  range）コンテンツは、一般に、逆トーン再現演算子（逆トーンマッピング演算子又は略してｉＴＭＯとしても知られる。）の助けによりＨＤＲデバイスでの表示のために準備され得る。ｉＴＭＯは、ダイナミックレンジを非線形に拡張し、明るい画像領域は、特に、最大の拡張を受ける。結果として、特徴のない露出過度領域は、強調され、ますます視覚的に魅力的でなくなり得る。
【０００７】
Pouli  et  al.，Image  Statistics  in  Visual  Computing，A  K  Peters/CRC  Press，2013（非特許文献１）は、自然画像において見つけられる統計的な規則性の概要を与え、多くのＲＧＢ様の色空間が自然画像の色チャネル間で強い相関を示すことを報告している。この性質は、１つ又は２つのクリッピングされたチャネルを含む領域の再構成のために活用され得る。例えば、Abebe  et  al.，Color  Clipping  and  Over-exposure  Correction，Eurographics  Symposium  on  Rendering  (Experimental  Ideas  &  Implementations  track)，2015（非特許文献２）には、１つ又は２つのチャネルがクリッピングされる場合に領域を回復するようカラー画像のＲＧＢチャネル間の相関に依存する補正方法が記載されている。輝度再形成方法は、３つの全てのチャネルがクリッピングされる場合に使用される。Abebe  et  al.，Correction  of  Over-Exposure  using  Color  Channel  Corrections，IEEE  GlobalSIP，2014（非特許文献３）には、クリッピングされた領域を再構成するためにクロスチャネル相関を活用する更なる方法が記載されている。
【０００８】
Rempel  et  al.，Ldr2hdr:  on-the-fly  reverse  tone  mapping  of  legacy  video  and  photographs.  In  ACM  Transactions  on  Graphics  (TOG)，2007年8月，Vol.26，No.3，p.39（非特許文献４）には、露出過度領域を示すマスクにガウス畳み込み（Gaussian  convolution）を適用することによる露出過度領域の再構成を含む逆トーンマッピング技術が記載されている。畳み込まれたマスクは、同じ入力マスクに適用されるエッジ停止関数（edge-stopping  function）を乗じられ、結果として得られる分布は、逆トーンマッピングされた画像に加えられる。
【０００９】
情報が存在しない場合には、すなわち、露出過度領域においては、いくつかの技術は、それらの領域に形状を与えるよう単純なガウス輝度分布を重ねることを提案している。例えば、Wang  et  al.，High  dynamic  range  image  hallucination，In  Proceedings  of  the  18th  Eurographics  conference  on  Rendering  Techniques，2007年6月（pp.326-326）（非特許文献５）には、輝度の低周波表現を生成するようバイラテラルフィルタを用いて画像輝度を処理することが説明されている。高周波表現は、画像と低周波バージョンとの間の残余に基づき求められる。環状に対称なガウス分布が、夫々のクリッピングされた領域に対して新しい輝度分布を生成するために重ね合わされる。Wangは、１つ以上のストロークにより画像をマークすることによってテクスチャリファレンスを選択するようユーザに求める。テクスチャは、テクスチャ合成処理を介して、クリッピングされた領域内に広げられる。新しい輝度分布、テクスチャ及び原画像は、遷移を平滑化するようポアソン編集（Poisson  editing）を通じて融合される。
【００１０】
Guo  et  al.，Correcting  over-exposure  in  photographs，In  Computer  Vision  and  Pattern  Recognition  (CVPR)，2010  IEEE  Conference，2010年6月（pp.515-521）（非特許文献６）は、夫々のピクセルの露出過度の可能性を考慮に入れる最適化プロセスを通じて輝度分布を再現する。
【００１１】
Hou  et  al.，Recovering  Over-/Underexposed  Regions  in  Photographs，2013，SIAM  J.  Imaging  Sciences，6(4)，2213-2235（非特許文献７）には、ＣＩＥ  Ｌａｂ色空間において操作することによって画像を明度及びクロミナンス情報に分けることが説明されている。それらは、ウェーブレット係数を平滑化し減衰することによってインペインティング明度値を使用することを提案している。得られた明度分布は、トーンマッピングを通じて圧縮されてよい。色チャネルは、ウェーブレット係数が平滑化される同様のプロシージャを通じてインペインティングされる。追加の調整／正規化は、明度調整を考慮する。
【００１２】
Rouf  et  al.，Gradient  domain  color  restoration  of  clipped  highlights，2012年6月，In  Computer  Vision  and  Pattern  Recognition  Workshops  (CVPRW)，2012  IEEE  Computer  Society  Conference  on  （pp.7-14）.  IEEE（非特許文献８）は、クリッピングされた領域における色調回復に焦点を当てている。露出過度領域にういて、境界での勾配値は、強化アーチファクトを回避するよう且つガウス分布を再構成するよう平滑化される。
【００１３】
Elboher  et  al.，Recovering  color  and  details  of  clipped  image  regions，2012年6月，Proc.  CGVCVIP（非特許文献９）には、カラーライン、すなわち、ピクセル値の３Ｄプロットにおいて識別される線形構造に基づく、クリッピングされた画像領域のための色補正方法が説明されている。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】Pouli  et  al.，Image  Statistics  in  Visual  Computing，A  K  Peters/CRC  Press，2013
【非特許文献２】Abebe  et  al.，Color  Clipping  and  Over-expose  Correction，Eurographics  Symposium  on  Rendering  (Experimental  Ideas  &  Implementations  track)，2015
【非特許文献３】Abebe  et  al.，Correction  of  Over-Exposure  using  Color  Channel  Corrections，IEEE  GlobalSIP，2014
【非特許文献４】Rempel  et  al.，Ldr2hdr:  on-the-fly  reverse  tone  mapping  of  legacy  video  and  photographs.  In  ACM  Transactions  on  Graphics  (TOG)，2007年8月，Vol.26，No.3，p.39
【非特許文献５】Wang  et  al.，High  dynamic  range  image  hallucination，In  Proceedings  of  the  18th  Eurographics  conference  on  Rendering  Techniques，2007年6月（pp.326-326）
【非特許文献６】Guo  et  al.，Correcting  over-exposure  in  photographs，In  Computer  Vision  and  Pattern  Recognition  (CVPR)，2010  IEEE  Conference，2010年6月（pp.515-521）
【非特許文献７】Hou  et  al.，Recovering  Over-/Underexposed  Regions  in  Photographs，2013，SIAM  J.  Imaging  Sciences，6(4)，2213-2235Hou  et  al.，Recovering  Over-/Underexposed  Regions  in  Photographs，2013，SIAM  J.  Imaging  Sciences，6(4)，2213-2235
【非特許文献８】Rouf  et  al.，Gradient  domain  color  restoration  of  clipped  highlights，2012年6月，In  Computer  Vision  and  Pattern  Recognition  Workshops  (CVPRW)，2012  IEEE  Computer  Society  Conference  on  （pp.7-14）.  IEEE
【非特許文献９】Elboher  et  al.，Recovering  color  and  details  of  clipped  image  regions，2012年6月，Proc.  CGVCVIP
【発明の概要】
【００１５】
本原理の態様は、画像処理のための方法、装置、システム及びコンピュータ可読媒体を対象とする。画像処理は、標準ダイナミックレンジ（ＳＤＲ）画像を受け取ること、又は標準ダイナミックレンジ（ＳＤＲ）画像を受け取る受信器を含んでよい。それは、ＳＤＲ画像の露出過度領域を決定し、露出過度領域の少なくとも１つのピクセルについての補正された輝度値を決定すること、又はＳＤＲ画像の露出過度領域と、露出過度領域の少なくとも１つのピクセルについての補正された輝度値とを決定するよう構成されたプロセッサを更に含んでよい。補正された輝度値は、露出過度領域の形状、露出過度領域を囲むピクセルの輝度情報、及び露出過度領域を囲むピクセルのエッジ情報、のうちの少なくとも１つに基づき決定される。露出過度領域は不整形な領域であってよい。
【００１６】
露出過度領域のタイプを決定し、露出過度領域のタイプに基づき前記補正された輝度値を決定することが更に含まれてよい。タイプは、共鳴ハイライト領域、散光、又は光源のうちの１つであってよい。
【００１７】
輝度は、露出過度領域のスケルトンに基づき補正されてよい。輝度は、スケルトン沿いのピクセルのピーク輝度に基づき補正されてよい。輝度は、露出過度領域を囲むピクセルの環に基づき補正されてよい。
【００１８】
輝度は、ピクセルの環に基づき決定されるエッジに基づき補正されてよい。輝度は、ピクセルの環に基づき決定される方向ベクトルに基づき補正されてよい。方向ベクトルは、ピクセルの環のアイソフォト（isophote）ベクトルに基づき決定されてよい。方向ベクトルは、ピクセルの環の勾配に基づき決定されてよい。輝度は、エッジピクセルでの輝度Ｌ（ｐｊ）、エッジピクセルの勾配ｇｊ、エッジピクセルと内部ピクセルとの間の距離、及びユーザパラメータηに基づき、
【数１】
2017050864.tif 000003
のように補正されてよい。
【００１９】
輝度は、スケルトンでの輝度Ｌ（ｓｊ）、エッジピクセルでの輝度Ｌ（ｐｊ）、エッジピクセルと内部ピクセルとの間の距離、エッジピクセルとスケルトンピクセルとの間の距離、及びユーザパラメータηに基づき、
【数２】
2017050864.tif 000004
のように補正されてよい。次の制約
【数３】
2017050864.tif 000005
のうちの１つ以上に従う最適化
【数４】
2017050864.tif 000006
に基づき、前記補正された輝度値を精緻化することが更に含まれてよい。制約は、最適化された輝度値Ｌ′（ｏｉ）と、エッジピクセルの輝度Ｌ（ｐｊ）と、入力画像の輝度値Ｌｏｒｉｇ（ｏｉ）と、スケルトンピクセルの最適化された輝度値Ｌ′（ｓ（ｙ））と、方向ベクトルｄｊと、閾値Ｔ１、Ｔ２、Ｔ３と、スカラーｔ１及びｔ２との間の関係に基づいてよい。
【図面の簡単な説明】
【００２０】
本発明の特徴及び利点は、以下で説明される図とともに検討される場合に以下の詳細な説明から明らかである。
【００２１】
【図１】本原理に従う方法の例を表す図である。
【図２】本原理に従う方法の例を表す図である。
【図３】本原理に従う方法の例を表す図である。
【図４Ａ】本原理に従う方法の例を表す図である。
【図４Ｂ】本原理に従う方法の例を表す図である。
【図５Ａ】露出過度領域のスケルトンの例を表す。
【図５Ｂ】露出過度領域のスケルトンの例を表す。
【図５Ｃ】露出過度領域のスケルトンの例を表す。
【図６】露出過度領域の接線及び接線に対する直交ベクトルの例を表す。
【図７】露出過度領域の候補ピクセルの例を表す。
【図８】露出過度領域及びセクタの例を表す。
【図９】本原理に従う装置の例を表す図である。
【発明を実施するための形態】
【００２２】
本原理は、露出過度画像領域の補正及び／又は再構成のための方法、装置及びシステムを対象とする。一例において、露出過度領域は、露出過度領域を囲む露出良好ピクセルのアイソフォトラインを解析することによって再構成されてよい。
【００２３】
本願で使用されるように、「アイソフォトライン（isophote  lines）」は、領域の勾配に直交する方向を持った線として定義されてよい。本願で使用されるように、「露出良好（well-exposed）」ピクセルは、露出過度領域の部分でないピクセルとして定義されてよい。「領域（region）」は、グループ化されている複数のピクセルとして定義されてよい。ピクセルは、グループの各ピクセルがグループの少なくとも１つの他のピクセルへ接続されている場合にグループ化される。画像は、複数のそのような領域を有してよい。
【００２４】
クリッピングされた又は露出過度の画像領域は、通常は、１つ、２つ、又は３つの色チャネルが最大の表現可能なピクセル値に達している領域である。本原理の態様は、３つの全ての色チャネルが最大の表現可能なピクセル値に達している画像領域を再構成することを対象とする。なお、１つ又は２つのチャネルしか最大ピクセル値を有さない画像領域は、追加の予備処理ステップに基づいてよい。
【００２５】
本願で使用されるように、添え字ｉ及びｊは、交換可能であるように使用されてよい。なお、両方の添え字が同じ式において現れる場合には、それらは異なる組を示す。例えば、組Ｏ＝｛ｏｉ｝における露出過度領域の内部ピクセルは、エッジピクセルｐｉと区別するようｏｊとして式において現れてよい。他方で、異なる組のための添え字が同じである場合には、対応するピクセル情報が考えられる。例えば、一緒に使用されるｐｊ及びｄｊは、ピクセル位置及びその対応する方向を示す。
【００２６】
本原理の態様は、画像処理パイプラインにおいて露出過度領域を補正することを対象とする。一例において、本原理の態様は、デバイス（例えば、セットトップボックス、コンピュータ、タブレット、スマートフォン、ラップトップ、又は表示のために情報を提供することが可能な何らかの他のデバイス）において露出過度の又はクリッピングされた領域を再構成することを対象とする。一例において、ＳＤＲ画像コンテンツは、ＨＤＲディスプレイデバイスのためにＨＤＲに変換される。他の例では、画像の露出過度の又はクリッピングされた領域は、捕捉プロセスの間に再構成され得る。例えば、画像捕捉（例えば、カメラ、スマートフォンによる。）の間に、画像は、本原理に従って強化され得る。他の例では、本原理の態様は、ポストプロダクションの間に露出過度の又はクリッピングされた領域を再構成することを対象とする。本原理の態様は、露出過度領域のための低周波再構成アルゴリズムに関係がある。本原理の態様は、領域の形状に加えて、露出過度領域を直に囲むエリアから得られる情報を考慮に入れることによって、低周波輝度分布を露出過度領域にフィッティングすることに関係がある。
【００２７】
本原理の態様は、好ましくないビジュアルアテンション（visual  attention）を減らすための露出過度領域の輝度補正又は再構成を対象とする。本原理の態様は、露出過度領域のサイズ及び形状に加えて、露出過度領域を囲む露出良好コンテンツの輝度値、勾配値、アイソフォト方向及び／又は勾配方向のような画像情報に基づき、露出過度領域のもっともらしい再構成を改善することを対象とする。本原理の態様は、最適化プロセスに基づき、補正された輝度ピクセルを、補正されていないピクセルとシームレスに視覚的に融合することを対象とする。
【００２８】
図１、２及び３は、例となる輝度分布再構成方法を表す。図１は、輝度分布再構成のための方法１００を表す。方法１００は、領域特性化のブロック１０１を含んでよい。ブロック１０１は、入力画像について画像領域の形状を特性化してよい。ブロック１０１は制御をブロック１０２に渡してよい。ブロック１０２は領域補正を実行してよい。任意に、輝度分布再構成は、画像ダウンサンプリング（例えば、ブロック１０１の前）及びアップサンプリング（例えば、ブロック１０２の後）を含んでよい。そのようなサンプリングは、領域において高い空間周波数がないことの主たる原因となり得る。処理ボリュームは、より低いピクセル解像度を処理することによって低減されてよい。
【００２９】
図２は、輝度分布再構成を実施する方法２００を表す。方法２００は、入力画像をダウンサンプリングするブロック２０１を含んでよい。一例において、ブロック２０１は任意であってよい。ブロック２０２は領域特性化を実行してよい。ブロック２０３は、露出過度領域の夫々を分類することによって、領域分類を実行してよい。例えば、ブロック２０３は、露出過度領域が鏡面ハイライト、散光表面、又は光源であったかどうかを判定してよい。専用の再構成アルゴリズムは、ブロック２０３によって決定された表面タイプに基づき決定されてよい。例えば、散光領域について、ブロック２０４は、散光表面補正を実施してよい。鏡面ハイライト領域について、ブロック２０５は、鏡面ハイライト領域再構成を実施してよい。光源について、ブロック２０６は、光源補正を実施してよい。ブロック２０４、２０５及び２０６により得られる補正は、補正された画像を生成するようマージされてよい（図２のブロック２０７）。ブロック２０８は、補正された画像を入力画像の解像度へとアップサンプリングしてよい。一例において、ブロック２０８は任意であってよい。
【００３０】
本原理の態様は、領域特性化を対象とする。領域特性化は、図１のブロック１０１及び図２のブロック２０２によって実施されてよい。本原理の態様は、領域補正を対象とする。領域補正は、図１のブロック１０２並びに図２のブロック２０４、２０５及び２０６のうちの１つ以上によって実施されてよい。
【００３１】
図３は、本原理に従う領域補正のための例となる方法３００を表す。方法３００は、入力画像Ｉ３０１を受け取って開始してよい。一例において、露出過度領域の識別のような、画像に関する追加情報も供給されてよい。夫々の領域は、例えば、マスクＭによって識別されてよい。マスクは、入力画像と同じサイズを有してよく、どのピクセルが露出過度領域に属しているかを示すバイナリ値を有してよい。一例において、露出過度ピクセルは、閾値τに基づき決定されてよい。例えば、閾値以上の値を有するピクセルは、露出過度ピクセルとして識別されてよい。
【００３２】
ブロック３０２は、夫々の露出過度領域についてスケルトン（skeleton）を決定してよい。一例において、スケルトンは、図５Ａに示されるような任意に整形された露出過度領域５０１について決定されてよい。図５Ａは、露出過度領域５０１について決定された例となるスケルトン５０２を表す。
【００３３】
一例において、ブロック３０２は、中心軸アルゴリズム（medial  axis  algorithm）に基づきスケルトンを決定してよい。スケルトン上にある露出過度領域内のピクセルは、組Ｓ＝｛ｓｉ｝によって示されてよい。この組のピクセルＳは、スケルトンピクセルとも呼ばれてよい。
【００３４】
ブロック３０２によって決定されたスケルトンは、評価される露出過度領域の形状の中心を示してよい。スケルトン化は、露出過度領域を含む２次元の輝度分布を、領域のエッジの点とスケルトン上の点との間の１次元の輝度分布の１つ以上のフィッティングへとフィッティングすることを可能にする。
【００３５】
ブロック３０３は、ブロック３０２からのスケルトンに沿って輝度値を決定してよい。ブロック３０３は、スケルトンラインの部分である夫々のピクセルについて輝度値を決定してよい。同じ領域のスケルトンに加えて利用可能な露出過度領域の外形によれば、この領域に適用されるもっともらしい輝度分布は、通常は、領域の境界で最低輝度値を及びスケルトンのピクセル位置で最大輝度値を有することによって特徴付けられる。
【００３６】
一例において、ブロック３０３は、スケルトン上にあるピクセルについてピーク輝度値を決定してよい。スケルトン上にあるピクセルの組はＳ＝｛ｓｉ｝と示されてよい。一例において、組Ｓにおける各ピクセルは、同じ輝度値を割り当てられてよい。代替的に、組Ｓにおける各ピクセルに割り当てられる輝度値は異なってよい。
【００３７】
一例において、ブロック３０３は、以下で数式番号１、３、４、６、８、９、１０、１１、１２及び１４に関連して記載される原理に従って、夫々のピクセルｓｉについて輝度値を決定してよい。本願で使用されるように、Ｌ（ｓｉ）は、スケルトンに沿って位置しているピクセルｓｉの輝度値を示してよい。
【００３８】
一例において、ブロック３０３は、組Ｓの各ピクセルについてピーク輝度を決定してよい。ピーク輝度は、指定値に基づき決定されてよく、相対値又は絶対値のいずれか一方であってよい。  
数式番号１：  Ｌ（ｓｉ）＝ｋ
【００３９】
指定値ｋは、ユーザ、標準、送信システムのピーク輝度、又はディスプレイデバイスのピーク輝度によって指定されてよい。
【００４０】
他の例では、Ｓにおける各ピクセルについてのピーク輝度は、露出過度領域の外側のピクセルの輝度又は輝度勾配値に基づき決定されてよい。例えば、ピーク輝度は、露出過度領域の周りの露出良好環におけるピクセルの輝度値に基づき決定されてよい。露出良好環は、以下でブロック３０４に関連して記載される原理に従って決定されてよい。露出過度領域の周りの環を形成するピクセルの組は、Ｐ＝｛ｐｉ｝と示されてよい。一例において、組Ｐにおけるピクセルの最大輝度Ｌｐ，ｍａｘは、次のように決定される。  
数式番号２：  Ｌｐ，ｍａｘ＝ｍａｘｐｉ∈ＰＬ（ｐｉ）
【００４１】
Ｌｐ，ｍａｘの値は、単一画像内で符号化され得る最大値（例えば、８ビット入力画像について２５５、あるいは、画像がデクリッピングアルゴリズムを通されている場合には２５５より高くてよい。）に満たなくてよい。
【００４２】
Ｌｐ，ｍａｘに等しい輝度を有するピクセルの組Ｐの中の１つ以上のピクセルの位置は、ｐｍａｘとして識別されてよい。すなわち、Ｌ（ｐｍａｘ）＝Ｌｐ，ｍａｘ。組Ｐにおける複数のピクセルがＬｐ，ｍａｘの輝度値を有する場合には、それらのピクセルのうちの１つの位置が選択され（例えば、ランダムに）、このピクセル位置がｐｍａｘにより識別される。一例において、スケルトン沿いのピクセルのピーク輝度は、組Ｐにおけるピクセルの最大輝度（例えば、数式番号２からのＬｐ，ｍａｘ）に基づき決定されてよい。組Ｐは、以下でブロック３０４に関連して記載される原理に従って決定されてよい。
【００４３】
他の例では、スケルトン沿いのピクセルｓｉの輝度Ｌ（ｓｉ）は、スケルトンピクセルとピクセルｐｍａｘとの間の最小ユークリッド距離を乗じられたピーク輝度Ｌｐ，ｍａｘによって決定されてよい。輝度は、次のように決定されてよい。  
数式番号３：  Ｌ（ｓｉ）＝Ｌｐ，ｍａｘｍｉｎｓｋ∈Ｓ（||Ｐｍａｘ−ｓｋ||）
【００４４】
数式番号３において、||Ｐｍａｘ−ｓｋ||は、ピクセルｐｍａｘとｓｋとの間のユークリッド距離である。全てのピクセルｓｉは同じ輝度値を有してよい。
【００４５】
他の例では、スケルトンピクセルｓｉの輝度値は、所与のスケルトンピクセルとエッジピクセルとの間の最小距離に基づき決定されてよい。例えば、夫々のスケルトンピクセルｓｉについての輝度Ｌ（ｓｉ）は、スケルトンピクセルｓｉと組Ｐにおける境界ピクセルの位置との間の最小ユークリッド距離を乗じられたピーク境界輝度Ｌｐ，ｍａｘとして決定されてよい。スケルトン上のピクセルの輝度値Ｌ（ｓｉ）は、次のように決定されてよい。  
数式番号４：  Ｌ（ｓｉ）＝Ｌｐ，ｍａｘｍｉｎｐｋ∈Ｐ（||ｐｋ−ｓｉ||）
この式において、スケルトンピクセルｓｉは、異なる輝度値を受け入れてよい。
【００４６】
他の例において、任意に、スケルトンの輝度は、スケルトンの輝度を増大又は低減し得る追加の再形成（reshaping）に基づき決定されてよい。一例において、再形成は、露出過度領域の分類の間に決定される特徴に基づいてよい。例えば、露出過度領域は、光源、鏡面ハイライト、又は散光領域として端を発するものとして分類されてよい。これは、
数式番号５：  Ｃｒ＝｛光源｜鏡面｜散光｝
として記述されてよい。このとき、Ｃｒは、領域ｒについての分類である。他の分類が可能であってよい。数式番号６、８、９、１１、１２及び１４のうちの１つ以上において後に使用され得る夫々の分類とスケーリング係数αを関連付けることが可能である。そのような関連付けは、次のように達成されてよい。  
α１      Ｃｒ＝光源の場合
数式番号５ａ：  α＝｛α２      Ｃｒ＝鏡面の場合
α３      Ｃｒ＝散光の場合
【００４７】
一例において、スケルトンピクセルの輝度値は、露出過度領域の下にある期待されるシーンコンテンツの分類に基づき決定されてよい。一例において、スケルトンピクセルの輝度は、数式番号５ａにおいて表される領域分類に固有のスケーリング係数αを乗じられた数式番号３に基づき決定されてよい。  
数式番号６：  Ｌ（ｓｉ）＝αＬｐ，ｍａｘｍｉｎｓｋ∈Ｓ（||Ｐｍａｘ−ｓｋ||）
【００４８】
数式番号４の右側も、分類に固有のスケルトン輝度値を得るよう、数式番号５ａで決定されるスケーリング係数を乗じられてよい。
【００４９】
一例において、スケルトンピクセルのピーク輝度は、組Ｐにおけるピクセルの輝度値及び勾配値に基づき決定されてよい。
【００５０】
本願で使用されるように、ピクセルｐｉの勾配は∇ｐｉとして記述され得る。勾配は、ベクトル値であり、ｘ方向では水平勾配を及びｙ方向では垂直勾配を提供する。勾配は、水平勾配を計算するよう右隣のピクセル値と現在のピクセルのピクセル値との間の差に基づき決定されてよく、垂直勾配を計算するよう縦方向隣のピクセル値と現在のピクセルのピクセル値との間の差を考慮すべきである。これは、前進差分（forward  differencing）と呼ばれ、それは、次のように決定されてよい。  
数式番号７：  ∇ｐｉ＝（ｐｉ，ｘ＋１−ｐｉ，ｘ，ｐｉ，ｙ＋１−ｐｉ，ｙ）
【００５１】
代替的に、勾配は、後進差分又は中心差分法に基づき決定されてよい。
【００５２】
一例において、勾配情報を使用するスケルトン沿いのピクセルのピーク輝度は、露出過度領域を囲むピクセルに基づき決定されてよい。例えば、ピーク輝度は、
［外１］
2017050864.tif 000007
により表される、組Ｐにおけるピクセルの中から最大の勾配の大きさを見つけ、この勾配に組Ｐにおける最大輝度値、すなわち、スケルトンとｐｍａｘとの間の最小距離だけインクリメントされたＬｐ，ｍａｘを乗じることによって、決定されてよい。これは、αを乗じることによって数式番号５の領域分類に基づき調整され得る。  
数式番号８：
【数５】
2017050864.tif 000008
【００５３】
数式番号８は、組Ｐにおける全ピクセルの中の最大の勾配の大きさを使用する。代替の例は、次の数式番号９に基づき、Ｐにおける全ピクセルの中の最大輝度値、すなわち、Ｌｐ，ｍａｘを有するピクセルｐｍａｘの勾配の大きさ||∇ｐｍａｘ||を使用する。  
数式番号９：
【数６】
2017050864.tif 000009
【００５４】
数式番号１、３、４、６、８及び９におけるスケルトン輝度値決定は、組Ｓにおける全ピクセルｓｉについて同じである輝度値を夫々生じさせる。他の例では、組Ｓのスケルトンピクセルｓｉの輝度決定は、異なるスケルトンピクセルｓｉについて異なる輝度値Ｌ（ｓｉ）を生じさせる基準に基づいてよい。以下の数式番号１０、１１、１２及び１４において与えられる例は、異なるピクセルｓｉについて異なる輝度値を生じさせ得るスケルトン輝度決定の例を記載する。それらの式において、これは、添え字ｉが左手側及び右手側の両方で現れることに留意することによって理解され得る。
【００５５】
一例において、夫々のスケルトンピクセルは、スケルトンピクセルｓｉとピクセルｐｍａｘとの間のユークリッド距離で２番目の項を除することによって数式番号９を変更することに基づき、異なる輝度値を受け入れてよい。これは、ピクセルｐｍａｘにより近いスケルトンピクセルについてより大きいスケルトン輝度をもたらす。その上、ユーザパラメータβは、領域のサイズを考慮するために使用され得るよう導入されてよい。この決定は、次の数式番号１０のように行われてよい。  
数式番号１０：
【数７】
2017050864.tif 000010
【００５６】
露出過度領域の境界に近いスケルトンピクセルは、有利なことに、境界から更に離れているスケルトンピクセルよりも低い輝度を受け入れてよい。所与のスケルトンピクセルについて、露出過度領域の端までの最小距離は、ｍｉｎｐｋ∈Ｐ（||ｐｋ−ｓｉ||）であるとすることができる。数式番号８としてスケルトンにおける全ピクセルについて単一の距離測度、すなわち、ｍｉｎｓｋ∈Ｓ（||ｐｍａｘ−ｓｋ||）を決定することよりむしろ、以下は、夫々のスケルトンピクセルについて個々に境界までの距離を考慮に入れる。  
数式番号１１：
【数８】
2017050864.tif 000011
【００５７】
数式番号１１における残りの項は、数式番号８における項と同じである。同様に、数式番号９は、その領域の境界までの各スケルトンピクセルの距離を考慮に入れるよう変更されてよい。結果として得られる決定は、次の数式番号１２のように表されてよい。  
数式番号１２：
【数９】
2017050864.tif 000012
なお、残りの項は、数式番号９における項と等しい。
【００５８】
数式番号１１及び１２における例は、所与のスケルトンピクセルｓｉと組Ｐのエッジピクセルとの間の最小距離を考慮に入れる。次の数式番号１３のように、どのエッジピクセル位置がスケルトンピクセルｓｉに最も近いかを識別することが可能である。  
数式番号１３：  ｐｌ＝ａｒｇｍｉｎｐｋ∈Ｐ（||ｐｋ−ｓｉ||）
【００５９】
ｓｉに最も近いエッジピクセルでの勾配の大きさは、その場合に、||∇ｐｌ||を用いて決定されてよく、スケルトンピクセルｓｉと最も近いエッジピクセルｐｌとの間のユークリッド距離は、||ｐｌ−ｓｉ||によって与えられる。この勾配の大きさとこの距離との積は、次の数式番号１４に従って、ピクセルｓｉについての輝度値を導出するために使用されてよい。  
数式番号１４：  Ｌ（ｓｉ）＝α（Ｌｐ，ｍａｘ＋||ｐｌ−ｓｉ||||∇ｐｌ||）
【００６０】
スケルトンピクセルｓｉについての輝度値を決定した後、スケルトン上にない鏡面ハイライト領域内のピクセルが多数残っていることがある。それらのピクセルは、これまでのところ輝度値を受け入れていない。しかし、鏡面ハイライト領域における残りのピクセルの補正された輝度値は、スケルトンの輝度値Ｌ（ｓｉ）に基づき決定されてよい。
【００６１】
ブロック３０４は、夫々の露出過度領域についてエッジピクセルを決定してよい。一例において、ブロック３０４は、夫々の露出過度領域を囲むピクセルの環を決定してよい。この環におけるピクセルは、それらが輝度及び色の変化を含むので、エッジのような画像詳細を提供してよい。図５Ｂは、領域５０１、スケルトン５０２、及び領域５０１を囲むピクセルの環５０３を表す。ピクセルのこの環５０３の幅は、図５Ｂにおいて５０４によって特定されてよい。ピクセルの環の幅は、ｎ≧１として、ｎ個のピクセルであってよい。ｎの値は、実験的に決定されてよく、あるいは、ユーザによって指定されてよい。環５０３内に含まれるピクセルは、露出良好ピクセルであってよい。それらの環ピクセルは、領域輝度補正アルゴリズムに情報を与えるために使用され得る。この環内に含まれるピクセルは、組Ｐ＝｛ｐｉ｝によって識別されてよい。スケルトン上にない露出過度領域内のピクセルは、“内部ピクセル”として識別されてよい。図５Ｃに図示されるように、線は、エッジピクセル５０６とスケルトンピクセル５０７とを接続してよい。この線は、エッジピクセル５０６及びスケルトンピクセル５０７に基づき再構成される内部ピクセルのサブ組を表してよい。
【００６２】
ブロック３０４によって決定されたエッジピクセルについて、ブロック３０６は、勾配を決定してよく、ブロック３０５は、１つ以上の方向を決定してよい。一例において、ブロック３０５は、方向の組Ｄを決定してよい。一例において、ブロック３０５は、境界ピクセルの組Ｐにおける夫々のピクセルｐｉについて方向ベクトルを決定してよい。それらの方向は、内部ピクセルに寄与する組Ｐの中のピクセルを決定するために利用されてよい。方向の組は、Ｄ＝｛ｄｉ｝によって表されてよい。すなわち、組Ｐにおける各ピクセルに関連する１つの方向が存在する。
【００６３】
一例において、ブロック３０５は、露出過度領域の形状に基づき組Ｐにおけるピクセルについて方向ベクトルを決定してよい。ブロック３０５、夫々のエッジピクセルについての接線ベクトルに基づき方向ベクトルを決定してよい。図６は、露出過度領域６０３の境界と、エッジピクセルに接する接線６０１と、接線６０１に直交するベクトル６０２とを表す。一例において、夫々のエッジピクセルについて、ブロック３０５は、そのエッジピクセルに接するベクトル（例えば、６０１）に直交するベクトル（例えば、６０２）に基づき方向を決定してよい。そのような内側に向いたベクトル６０２は、ｔｉと表されてよい。一例において、適切な方向ベクトルは、ｄｉ＝ｔｉを設定することによって決定されてよい。
【００６４】
他の例では、ブロック３０５は、ｄｉ＝∇ｐｉを設定することによって、組Ｐにおけるピクセルｐｉの勾配ベクトル∇ｐｉに基づき、組Ｐにおける夫々のピクセルｐｉについての方向ベクトルｄｉを決定してよい。
【００６５】
更なる例では、ブロック３０５は、アイソフォト方向に基づき、組Ｐにおけるピクセルについて方向ベクトルｄｉを決定してよい。アイソフォト∇⊥ｐｉは、対応する勾配ベクトルに直交するベクトルとして定義される。  
数式番号１５：
【数１０】
2017050864.tif 000013
【００６６】
数式番号１５から得られるアイソフォトベクトル∇⊥ｐｉは、エッジのような画像特徴の接線として解釈されてよく、方向ベクトルの組を決定するために使用されてよい。すなわち、ｄｉ＝∇⊥ｐｉ。
【００６７】
更には、夫々のピクセルｐｉでの勾配∇ｐｉは、接線に直交するベクトルであるｔｉ上に投影されてよい。ｔｉ上への勾配ベクトルの投影ｔｉ，ｐは、
数式番号１６：  ｔｉ，ｐ＝（ｔｉ／｜ｔｉ｜２）（ｔｉ・∇ｐｉ）
に従って決定されてよい。
【００６８】
この例において、適切な方向ベクトルは、ｄｉ＝ｔｉ，ｐとして決定されてよい。同様に、アイソフォトベクトル∇⊥ｐｉは、ｔｉ上に投影されてよい。  
数式番号１７：  ｔｉ，ｐ＝（ｔｉ／｜ｔｉ｜２）（ｔｉ・∇⊥ｐｉ）
【００６９】
この例において、適切な方向ベクトルは、ｔｉ，ｐが数式番号１７の使用により決定されるとして、ｄｉ＝ｔｉ，ｐに従って設定されてよい。夫々のスケルトンピクセルｓｉの接線に直交するベクトルは、ｕｊとして定義される。ベクトルｕｊ及び−ｕｊは、位置ｐｎ及びｐｍにある露出過度領域のエッジと交差する。ピクセルｐｎ及びｐｍについて記録される方向ベクトルは、その場合に、ｄｎ＝−ｕｊ及びｄｍ＝ｕｊである。
【００７０】
一例において、ブロック３０６は、ブロック３０４によって決定されたエッジピクセルについて輝度勾配を決定してよい。一例において、勾配の組Ｇ＝｛ｇｉ｝は、組Ｐにおける夫々のピクセルについて決定される。一例において、この組の勾配は、次の数式番号１８のように、組Ｐにおけるピクセルｐｉの勾配∇ｐｉの大きさに基づき決定されてよい。  
数式番号１８：  ｇｉ＝||∇ｐｉ||
【００７１】
ブロック３０７は、露出過度領域における夫々のピクセルについて輝度値を決定してよい。ブロック３０７は、ブロック３０２、３０３、３０４、３０５及び／又は３０６によって決定された情報に基づき、露出過度領域のピクセルの輝度値を補正及び／又は再構成してよい。例えば、ブロック３０５の方向ベクトルは、露出過度領域の内部にあるピクセルの輝度値を合成するために使用されてよい。
【００７２】
一例において、ブロック３０７は、１つ以上のスケルトンピクセルｓｉに、及び領域の境界上に位置する１つ以上のピクセル（すなわち、組Ｐから選ばれた１つ以上のピクセル）に基づき、露出過度領域の内部にある（例えば、図５Ｃの５０９によって識別される領域内の）ピクセルについての輝度値を決定してよい。図５Ｃは、エッジピクセル５０６をスケルトンピクセル５０７と接続する線５０５を例示する。ピクセル５０６及び５０７の間の線５０５上のピクセル５０８は、エッジピクセル５０６及びスケルトンピクセル５０７から取り出された情報に基づきブロック３０７によって再構成されてよい。
【００７３】
補正された輝度値Ｌ（ｏｉ）をブロック３０７に従って決定するための例となるプロセスは、図４Ａ及び４Ｂにおいて説明される。
【００７４】
図４Ａは、輝度値を補正するための例となる方法１０００を表す。一例において、ブロック３０７は、方法１０００に従って、露出過度領域内のピクセルについての補正された輝度値を決定してよい。方法１０００は、方向ベクトルＤ（例えば、ブロック３０５によって決定される。）の１つ以上に沿って位置するピクセルについて輝度値を決定してよい。例えば、スケルトンピクセルｓｉとピクセルｐｉとの間に位置するピクセルの組は、方向ベクトルｄｉとともにエッジピクセルｐｉに基づき決定されてよい。それらのピクセルは、方法１０００に従って補正されるピクセルであってよい。図７は、方向ベクトルｄｉ７０１、スケルトンピクセルｓｉ７０２及びエッジピクセルｐｉ７０３について、そのような候補ピクセル７０４の例を表す。一例において、ブロック３０７は、露出過度領域の内部にあるピクセルの組についての補正された輝度値Ｌ（ｏｉ）を決定してよい。
【００７５】
図４Ａは、露出過度領域のピクセルについての補正された輝度値Ｌ（ｏｉ）を決定するための方法１０００を表す。方法１０００は、エッジピクセル１００１の組を受け取ることに基づき開始してよい。一例において、エッジピクセル１００１はブロック３０４から受け取られてよい。方法１０００は、組Ｐにおける全てのエッジピクセルｐｉ（すなわち、全てのピクセルｐ０，ｐ１，ｐ２，・・・及びそれらの対応する方向ｄ０，ｄ１，ｄ２，・・・）をレビューしてよい。一例において、ブロック１００２は、ｉ＝０からｉ＝エッジピクセルの総数−１までループしてよい。ｉの夫々の値について、ブロック１００２は、エッジピクセルｐｉ及び方向ｄｉを決定してよい。夫々のピクセルｐｉ及びその関連する（正規化された）方向ベクトルｄｉ（ｐｉ，ｄｉ１００３と表記される。）について、ブロック１００４は、エッジピクセルｐｉ、方向ベクトルｄｉ及びスケルトンピクセルｓｉによって定義される線セグメント上にある内部ピクセルｏｉのサブセットを決定するよう、ブレンゼンハム（Bresenham）のデジタル微分アナライザ（ＤＤＺ；Digital  Differential  Analyzer）アルゴリズムを適用してよい。
【００７６】
ブロック１００５は、エッジピクセル及び方向ベクトルｐｉ，ｄｉ１００３に基づきスケルトンピクセルを決定してよい。ブロック１００５は、スケルトンピクセルｓｉ１００７を出力してよい。ブロック１００８は、スケルトンピクセルｓｉ１００７が有効なピクセルであるかどうかを判定してよい。ブロック１００８は、線エッジピクセル及び方向ベクトルｐｉ，ｄｉ１００３に基づき、スケルトンピクセルｓｉ１００７が有効なピクセルであるかどうかを判定してよい。ブロック１００８は、この線がスケルトンピクセルｓｉ１００７と交差するかどうかを判定してよい。ブロック１００８による否定的な決定（‘いいえ’）があると、ブロック１００８は、更なる処理が必要とされるかどうかを判定するために制御をブロック１０１２へ渡してよい。代替的に、ブロック１００８が、スケルトンピクセルｓｉが有効であると肯定的に決定する場合には（‘はい’）、ブロック１００８は、スケルトンピクセルｓｉ１００７をブロック１０１０へ出力してよい。
【００７７】
ブロック１０１０は、内部ピクセル１００６のサブセットにおける夫々のピクセルについての補正された輝度値を決定してよい。ブロック１０１０は、スケルトンピクセルｓｉの輝度値、エッジピクセルｐｉの輝度、勾配の大きさｇｉ（例えば、数式番号１８に関連して記載された原理によって決定される。）、及び／又はエッジピクセルｐｉから導出された他の情報に基づき、輝度値を決定してよい。ブロック１０１０は、数式番号２０乃至２６に関連して記載される原理に従って、内部ピクセル１００６のサブセットについての補正された輝度値を決定してよい。ブロック１０１０は、補正された輝度値をブロック１０１２へ出力してよい。
【００７８】
ブロック１０１２は、ブロック１００２によって決定されたピクセルｐｉがピクセルの組Ｐにおける最後のピクセルであるかどうかを判定してよい（例えば、ｉ＜ｔｏｔａｌ＿ｅｄｇｅ＿ｐｉｘｅｌｓを試験することによる。）。ブロック１０１２が肯定的な判定（‘はい’）を決定する場合には、方法１０００は終了し、再構成された輝度値１０１１を出力する。ブロック１０１２が否定的な判定（‘いいえ’）を決定する場合には、それはｉを１だけインクリメントし、制御をブロック１００２に渡してよい。
【００７９】
図４Ｂは、露出過度領域のピクセルについての補正された輝度値Ｌ（ｏｉ）を決定するための方法１１００を表す。方法１１００は、１つ以上の内部ピクセル１１０１を受け取ることに基づき開始してよい。ピクセル１１０１は、マスクＭによって決定されてよい。一例において、ブロック１１０２は、ｉ＝０からｉ＝内部ピクセル数−１までループしてよい。ｉの夫々の値について、ブロック１１０２は、内部ピクセルｏｉ１１０３を決定してよい。ブロック１１０２は、制御をブロック１１０４及び１１０６に渡してよい。
【００８０】
ブロック１１０４は、内部ピクセルｏｉ１１０３について最良の候補エッジピクセルｐｊを決定してよい。ブロック１１０４は、ｐｊが内部ピクセルｏｉについての輝度値の決定に関与する適切なエッジピクセルであるかどうかを判定するよう、夫々のエッジピクセルｐｊを、対応する方向ベクトルｄｊとともにレビューしてよい。ブロック１１０４は、ｔ∈［−∞，∞］として、ピクセルｏｉ１１０３が線ｐｊ＋ｔｄｊに十分に近いかどうかを判定してよい。ブロック１１０４は、距離ｋをもたらすポイント・ツー・ライン（point-to-line）距離試験に基づき、ピクセルｏｉが十分に近いかどうかを判定してよい。
【００８１】
ブロック１１０４は、
数式番号１９：  ｋ＜γｔ
に基づき、この距離が十分に近い又は小さいかどうかを判定してよい。このとき、γは、ｐｊでその頂点を有するｄｊの周りのコーンを決定する、固定の又はユーザにより決定されたスカラーである。このコーンの幅が広ければ広いほど、ピクセル調整ステップ後に残される露出過度領域におけるギャップは小さくなる。ブロック１１０４は、全てのエッジピクセルｐｊについて数式番号１９を評価し、複数のエッジピクセルが内部ピクセルｏｉについての輝度値の決定に関与するのに適していると決定してよい。一例において、ブロック１１０４によって決定された全てのエッジピクセルｐｊ１１０５及び方向ベクトルｄｊ１１０５は、ブロック１１１０へ供給されてよい。代替の例では、最小距離ｋをもたらしたエッジピクセルは、対応する方向ベクトルｄｊを有する単一のエッジピクセルｐｊ１１０５として選択されてよい。
【００８２】
他の例では、ブロック１１０４は、夫々のエッジピクセルｐｊの周りのセクタに基づき、エッジピクセルｐｊが内部ピクセルｏｉについての輝度値の決定に関与するのに適しているかどうかを判定してよい。例えば、図８に図示されるように、セクタは、夫々のエッジピクセルｐｊの周りでラベルを付されてよい。ピクセルｐｊに割り当てられるラベルは、その場合に、方向ベクトルｄｊによって決定されてよい。線セグメントｏｉ−ｐｊの向きは、第２のラベルを生じさせる。２つのラベルの間に一致が見出される場合には、輝度値は、ピクセルｐｊに関連する情報を用いて内部位置ｏｊについて計算され得る。
【００８３】
ピクセルｐｊが適切であるとブロック１１０４が決定する場合に、ブロック１１０４は、エッジピクセルｐｊをブロック１１０６及び１１１０に供給してよい。
【００８４】
ブロック１１０６は、エッジピクセルｐｊ１１０５及び内部ピクセルｏｉ１１０３に基づきスケルトンピクセルｓｊ１１０７を決定してよい。ブロック１１０６は、スケルトンピクセルｓｊをエッジピクセルｐｊ１１０５と関連付けるよう、ポイント・ツー・ライン距離測度を実施してよい。ブロック１１０６は、スケルトンピクセルｓｊ１１０７をブロック１１０８に供給してよい。ブロック１１０８は、スケルトンピクセルｓｊ１１０７が有効であるかどうかを判定してよい。ブロック１１０８は、図７で図示されるように、全てのピクセルｐｊが関連するスケルトンピクセルを有するわけではないので、スケルトンピクセルｓｊ１１０７が有効であるかどうかを決定してよい。図７において、エッジピクセルｐｊ７０５は、方向ベクトルｄｊ７０６とともに、スケルトンと交差しない線を画定するが、代わりに、エッジピクセルｐｋ７０７にある露出過度領域の境界に達する。ブロック１１０８は、数式番号１９の使用により、いずれのスケルトンピクセルｓｊ１１０７が、エッジピクセルｐｊ１１０５及び方向ベクトルｄｊ１１０５によって画定される線の十分に近くに位置するかどうかを判定してよい。
【００８５】
代替の例では、ブロック１１０４は、夫々のピクセルｏｉについて、最も近いピクセルｓｊと、線ｓｊ＝ｔ（ｏｉ−ｓｊ）上に位置するエッジピクセルｐｊとを決定してよい。この例において、ブロック１１０６は、ｏｉに最も近いピクセルｓｊ１１０７を選択し、ブロック１１０８は、常に肯定的に判定する（‘はい’）。他の例では、ブロック１１０４は、夫々のピクセルｏｉについて、最も近いピクセルｐｊを決定してよく、ブロック１１０６は、ピクセルｏｉに最も近いピクセルｓｊを決定してよい。この例において、||ｐｊ−ｏｉ||≦||ｓｊ−ｏｉ||の場合には、ブロック１１０４は、エッジピクセルがピクセルｐｊであると決定してよい。そうでない場合には、ブロック１１０４は、エッジピクセルが、線ｓｊ＝ｔ（ｏｉ−ｓｊ）上にあるピクセルｐｊであると決定してよい。
【００８６】
スケルトンピクセルｓｊ１１０７が有効なピクセルでない（‘いいえ’）とブロック１１０８が決定する場合には、ブロック１１０８は制御をブロック１１１２へ渡してよい。そうではなく、スケルトンピクセルｓｊ１１０７が有効なピクセルである（‘はい’）とブロック１１０８が決定する場合には、ブロック１１０８は制御及びスケルトンピクセルｓｊ１１０７をブロック１１１０へ渡してよい。ピクセル、方向対ｐｊ，ｄｊ１１０５が複数のエッジピクセル及び方向を含む場合には、ブロック１１０６は、複数の対応するスケルトンピクセルｓｊ１１０７を決定してよく、ブロック１１０８は、それらのスケルトンピクセルのうちのどれが有効であるかを、数式番号１９を用いて決定し、制御及び有効なスケルトンピクセルの組をブロック１１１０へ渡してよい。
【００８７】
ブロック１１１０は、内部ピクセルｏｉ１１０３について、再構成又は補正された輝度値Ｌ（ｏｉ）１１１１を決定してよい。ブロック１１１０は、エッジピクセルｐｊのその輝度、勾配、又は他の導出された情報に基づき、ピクセルｏｉについての輝度値Ｌ（ｏｉ）を決定してよい。ブロック１１１０は、数式番号２０乃至２６に関連して記載される原理に従って、補正された輝度値を決定してよい。
【００８８】
ブロック１１１２は、ブロック１１０２によって決定されたｏｉが内部ピクセルの組における最後のピクセルであるかどうかを判定してよい（ｉ＜ｔｏｔａｌ＿ｐｉｘｅｌｓを試験することによる。）。ブロック１１１２が肯定的な判定（‘はい’）を決定する場合には、方法１１００は終了し、制御はブロック３０８へ渡される。ブロック３０８は、再構成された輝度値１１１１も受け取る。ブロック１１１２が否定的な判定（‘いいえ’）を決定する場合には、それはｉを１だけインクリメントし、制御をブロック１１０２へ返してよい。
【００８９】
一例において、ブロック１０１０、１１１０又は３０７は、エッジピクセルでの輝度Ｌ（ｐｊ）、エッジピクセルでの勾配ｇｊ、エッジピクセルと内部ピクセルとの間の距離、及びユーザパラメータηに基づき、内部ピクセル（ｏｉ）についての再構成された輝度値を決定してよい。  
数式番号２０：  Ｌ（ｏｉ）＝ηｇｊ||ｐｊ−ｏｉ||＋Ｌ（ｐｊ）
なお、ηは、ユーザパラメータである。
【００９０】
他の例では、ブロック１０１０、１１１０又は３０７は、スケルトンでの輝度Ｌ（ｓｊ）に基づき、露出過度領域の内部ピクセルｏｉについての輝度値を決定してよい。数式番号２０において見られるようにエッジピクセルｐｊでの勾配ｇｊを使用することに代えて、ｐｊとｓｊとの間の距離を考慮に入れながら、エッジでの輝度値Ｌ（ｐｊ）とスケルトン上の輝度値Ｌ（ｓｊ）との間を線形補間することが可能である。  
数式番号２１：
【数１１】
2017050864.tif 000014
【００９１】
他の例では、ブロック１０１０、１１１０又は３０７は、非線形補間に基づき露出過度領域の内部ピクセルｏｉについての輝度値を決定してよい。例えば、ブロック１０１０、１１１０又は３０７は、次の数式番号２２のように、輝度値を決定してよい。  
数式番号２２：
【数１２】
2017050864.tif 000015
なお、非線形関数ｆ（）の例は、べき関数、対数又は指数関数、シグモイド関数、及び三角関数であってよい。
【００９２】
他の例では、ブロック１０１０、１１１０又は３０７は、単一の内部ピクセルｏｉに収束するいくつかのベクトルｐｊ＋ｔｄｊに基づき輝度を決定してよい。この場合に、夫々の寄与の平均値は、次の数式番号２３のように、決定されてよい。  
数式番号２３：
【数１３】
2017050864.tif 000016
なお、ｎは、総和における要素の数である。
【００９３】
他の例では、ブロック１０１０、１１１０又は３０７は、露出過度領域の分類に基づき輝度値を決定してよい。例えば、露出過度領域が領域タイプ（例えば、鏡面ハイライト、散光表面、光源）に基づき分類される場合に、輝度は、然るべく選択される非線形スケーリング関数に基づき決定されてよい。一例において、ブロック１０１０、１１１０又は３０７は、鏡面領域のための非線形関数に基づき輝度を決定してよい。一例において、この関数は、スケルトンピクセルの近くで急勾配を有してよい。一例において、ブロック１０１０、１１１０又は３０７は、次の数式番号２４に基づき、鏡面ハイライト領域についての輝度を決定してよい。  
数式番号２４：
【数１４】
2017050864.tif 000017
【００９４】
一例において、ブロック１０１０、１１１０又は３０７は、次の数式番号２５に基づき、散光領域についての輝度を決定してよい。  
数式番号２５：
【数１５】
2017050864.tif 000018
【００９５】
一例において、ブロック１０１０、１１１０又は３０７は、次の数式番号２６に基づき、光源領域のための輝度を決定してよい。  
数式番号２６：
【数１６】
2017050864.tif 000019
【００９６】
ブロック３０８は、ピクセル補間を実施してよい。輝度補正又は再構成の後、露出過度領域におけるいくつかのピクセルは、未だ輝度値を受け入れていないことがあり、再構成された輝度分布にはギャップが残っている。ブロック３０８は、露出過度領域において残っているギャップを満たしてよい。ブロック３０８は、（双）一次補間を実施してよい。他の例では、ブロック３０８は、より高次の補間を実施してよい。
【００９７】
ブロック３０９は、ピクセル精緻化を実施してよい。ピクセル補間の後、露出過度領域におけるあらゆるピクセルは、輝度値Ｌ（ｏｉ）を受け入れている。しかし、露出過度領域における輝度値は、隣接する再構成された輝度値が一貫性を欠くほど大いに異なり得る場合に、依然として滑らかな分布を形成してないことがある。
【００９８】
ブロック３０９は、隣接する再構成されたピクセルの間の一貫性を改善するようピクセル精緻化を実施してよい。ブロック３０９は、２Ｄアレイ又はベクトルＬにまとめられたピクセル輝度値Ｌ（ｏｉ）に基づきピクセル精緻化を実施してよい。ブロック３０９は、次の目的関数（数式番号２７）に従って、領域（Ｌ′（ｏｉ）に対応する。）について新しいベクトル値Ｌ′を決定するよう最適化を実施してよい。  
数式番号２７：
【数１７】
2017050864.tif 000020
【００９９】
数式番号２７は、輝度分布の一貫性を改善する所望の効果を達成するよう、付加的な制約が課されることを必要とする。数式番号２８乃至３２は制約の組を記載する。それらの制約のうちの１つ以上は、数式番号２７の最適化に加えられてよい。例えば、ブロック３０９は、再構成された輝度値がエッジピクセルｐｉの最大輝度よりも大きいことを求める制約を含む最適化に基づき、ピクセル値を決定してよい。この制約は、次の数式番号２８のように公式化され得る。  
数式番号２８：  ｍｉｎ（Ｌ（ｏｉ））−ｍａｘ（Ｌ（ｐｊ））＞Ｔ１
なお、Ｔ１は閾値であり、０に設定されてよく、あるいは、代替的に、０よりも大きい値に設定されてよい。
【０１００】
最適化の間にブロック３０９によって考えられ得る他の制約は、出力値Ｌ′（ｏｉ）が入力画像の輝度値よりも低くないことを求めてよい。元の輝度値をＬｏｒｉｇ（ｏｉ）により表すと、この制約は、次の数式番号２９のように公式化されてよい：  
数式番号２９：  Ｌ′（ｏｉ）−Ｌｏｒｉｇ（ｏｉ）＞Ｔ２
なお、Ｔ２は閾値であり、０に設定されてよく、あるいは、代替的に、０よりも大きい値に設定されてよい。
【０１０１】
最適化の間にブロック３０９によって考えられ得る他の制約は、スケルトンピクセルが領域内の残りの内部ピクセルよりも高い輝度値を有することを求めてよい。ブロック３０９は、夫々のスキャンラインについて個々にこの制約を組み込んでよく、それにより、領域の夫々のスキャンラインについて、制約は、次の数式番号３０のように公式化されてよい。  
数式番号３０：  ||Ｌ′（ｏｉ（ｙ））||∞−Ｌ′（ｓ（ｙ））＜Ｔ３
なお、Ｔ３は、正の値を有する閾値である。スキャンラインが複数のスケルトンピクセルを含む場合には、最大値は、ブロック３０９によって、クリッピングされた領域の境界までのそれらの距離の降順においてスケルトンピクセルに割り当てられる。
【０１０２】
数式番号３０の制約は、スキャンライン（すなわち、ピクセル行）に関して公式化されている。ブロック３０９は、ピクセル列に作用するがその他の点では数式番号３０で示された制約と同じである更なる制約を組み込んでよい。  
数式番号３１：  ||Ｌ′（ｏｉ（ｘ））||∞−Ｌ′（ｓ（ｘ））＜Ｔ３
【０１０３】
最適化の間にブロック３０９によって考えられ得る他の制約は、露出過度領域の外にあるピクセルからスケルトンピクセルへの漸進的に単調増大する遷移を求めてよい。所与の方向ｐｊ＋ｔｄｊに沿った夫々のピクセルについて、ブロック３０９は、輝度値が減少しないはずであると決定してよい。よって、ｐｊから更に離れているピクセルの結果として現れる輝度値は、より高いはずであり、次の制約（数式番号３２）をもたらす。  
数式番号３２：  ｔ１＞ｔ２の場合に、
Ｌ′（ｐｊ＋ｔ１ｄｊ）≧Ｌ′（ｐｊ＋ｔ２ｄｊ）
【０１０４】
ブロック３０９は、画像における夫々の露出過度領域についての平滑化された輝度分布を出力してよい。そのような平滑化された輝度分布は、入力画像の残りの（露出良好）ピクセルとマージされるのに適している。
【０１０５】
一例において、ブロック２０７は、ブロック３０９によって出力された再構成された輝度値と入力画像の露出良好ピクセルとをマージすることを実施してよい。ブロック２０７は、露出過度輝度値を、再構成された輝度値により置き換えてよい。一例において、輝度値は、インペインティングアルゴリズムの出力とマージされ得る。一例において、輝度値をインペインティング出力とマージすることは、（ＲＩ（ｏｊ），ＧＩ（ｏｊ），ＢＩ（ｏｊ））により表されるインペインティングアルゴリズムのＲＧＢ色値出力に基づき、実施されてよい。インペインティングされたピクセルの輝度は、３つの色値の加重平均として決定されてよい。輝度値はＬＩ（ｏｊ）により表されてよい。インペインティングされた輝度値の算術平均（arithmetic  average）は、Ｌａｖと表される。ブロック３０９によって出力される輝度分布Ｌ（ｏｊ）は、次の数式番号３３のように、インペインティングされたピクセルの上に重ね合わされてよい。  
数式番号３３：
【数１８】
2017050864.tif 000021
【０１０６】
数式番号３３は、ブロック３０９によって出力される再構成された輝度分布及びインペインティング方法の出力が加法的である場合に、ブロック２０７によって実施されてよい。乗法アプローチが必要とされる場合において、露出過度領域における夫々のピクセルについての中間輝度値は、次の数式番号３４のように、ブロック２０７によって決定されてよい。  
数式番号３４：
【数１９】
2017050864.tif 000022
【０１０７】
出力されたＲＧＢ色値は、次いで、
数式番号３５：
【数２０】
2017050864.tif 000023
を用いて、ブロック２０７によって決定される。数式番号３３、３４及び３５に関連して記載された原理は、クロミナンスチャネルに影響を及ぼすことなしに、輝度チャネルについて、反対色空間（又は輝度をクロミナンスから分離する何らかの他の空間）において実施されてよい。
【０１０８】
図９は、図１、２及び３並びに数式番号１乃至３２に関して記載された方法を実施するよう構成され得る装置９００の例となるアーキテクチャを表す。
【０１０９】
装置９００は、データ及びアドレスバス９０１によって結合される次の要素を有する：
・例えば、ＤＳＰ（すなわち、Digital  Signal  Processor）であるマイクロプロセッサ９０２（又はＣＰＵ）；
・ＲＯＭ（すなわち、Read  Only  Memory）９０３；
・ＲＡＭ（すなわち、Random  Access  Memory）９０４；
・アプリケーションからの送信すべきデータの受信のためのＩ／Ｏインターフェイス９０５；及び
・バッテリ９０６（又は他の適切な電源）。
【０１１０】
変形例に従って、バッテリ９０６は装置の外部にある。上記のメモリの夫々において、本明細書において使用される語＜＜レジスタ（register）＞＞は、小容量のエリアに又は極めて広いエリア（例えば、プログラム全体又は受信若しくは複合されたデータの大部分）に対応することができる。ＲＯＭ９０３は、少なくともプログラム及びパラメータを有する。本発明に従う方法のアルゴリズムは、ＲＯＭ９０３において記憶されている。起動される場合に、ＣＰＵ９０２は、プログラムをＲＡＭにアップロードし、対応する命令を実行する。
【０１１１】
ＲＡＭ９０４は、レジスタにおいて、装置９００の起動後にアップロードされてＣＰＵ９０２によって実行されるプログラムを、レジスタにおいて、入力データを、レジスタにおいて、方法の異なる状態における中間データを、及びレジスタにおいて、方法の実行のために使用される他の変数を有する。
【０１１２】
本願で記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装されてよい。たとえ単一の形態の実施に関してしか論じられていない（例えば、方法又は装置としてしか論じられていない）としても、論じられている特徴の実施は、他の形態（例えば、プログラム）においても実装されてよい。装置は、例えば、プロセッシングデバイス全般を指すプロセッサのような、装置において実装されてよい。プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能ロジックデバイスを含む。プロセッサは、例えば、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（“ＰＤＡ”）、及びエンドユーザ間の情報の通信を助ける他のデバイスのような、通信デバイスを更に含む。
【０１１３】
画像処理の具体例に従って、画像又はピクチャＩはソースから取得される。例えば、ソースは：
・ローカルメモリ（９０３又は９０４）、例えば、ビデオメモリ又はＲＡＭ（すなわち、Random  Access  Memory）、フラッシュメモリ、ＲＯＭ（すなわち、Read  Only  Memory）、ハードディスク；
・ストレージインターフェイス（９０５）、例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気担体とのインターフェイス；
・通信インターフェイス（９０５）、例えば、有線インターフェイス（例えば、バスインターフェイス、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス）又は無線インターフェイス（例えば、ＩＥＥＥ８０２．１１ionターフェイス若しくはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェイス）；及び
・画像捕捉回路（例えば、ＣＣＤ（すなわち、Charge-Coupled  Device）又はＣＭＯＳ（すなわち、Complementary  Metal-Oxide-Semiconductor）のようなセンサ）
を有する組に属する。
【０１１４】
別の実施形態に従って、復号された画像
［外２］
2017050864.tif 000024
は、あて先へ送信される。具体的に、あて先は：
・ローカルメモリ（９０３又は９０４）、例えば、ビデオメモリ又はＲＡＭ、フラッシュメモリ、ハードディスク；
・ストレージインターフェイス（９０５）、例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気担体とのインターフェイス；
・通信インターフェイス（９０５）、例えば、有線インターフェイス（例えば、バスインターフェイス（例えば、ＵＳＢ（すなわち、Universal  Serial  Bus））、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス、ＨＤＭＩ（登録商標）（High  Definition  Multimedia  Interface）インターフェイス）又は無線インターフェイス（例えば、ＩＥＥＥ８０２．１１インターフェイス、Ｗｉ−Ｆｉ（登録商標）若しくはＢｌｕｅｔｏｏｔｈインターフェイス）；及び
・ディスプレイ
を有する組に属する。
【０１１５】
別の例に従って、ビットストリームＢＦ及び／又はＦはあて先へ送信される。一例として、ビットストリームＦ及びＢＦのうちの一方又は両方のビットストリームＦ及びＢＦは、ローカル又は遠隔のメモリ、例えば、ビデオメモリ（９０４）若しくはＲＡＭ（９０４）、ハードディスク（９０３）において記憶される。変形例において、一方又は両方のビットストリームは、ストレージインターフェイス（９０５）、例えば、大容量記憶装置、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気担体とのインターフェイスへ送信され、且つ／あるいは、通信インターフェイス（９０５）、例えば、ポイント・ツー・ポイントリンク、通信バス、ポイント・ツー・マルチポイントリンク又はブロードキャストネットワークへのインターフェイスを介して送信される。
【０１１６】
別の例に従って、ビットストリームＢＦ及び／又はＦは、ソースから取得される。例として、ビットストリームは、ローカルメモリ、例えば、ビデオメモリ（９０４）、ＲＡＭ（９０４）、ＲＯＭ（９０３）、フラッシュメモリ（９０３）、又はハードディスク（９０３）から読み出される。変形例において、ビットストリームは、ストレージインターフェイス（９０５）、例えば、大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク又は磁気担体とのインターフェイスから受信され、且つ／あるいは、通信インターフェイス（９０５）、例えば、ポイント・ツー・ポイントリンク、通信バス、ポイント・ツー・マルチポイントリンク又はブロードキャストネットワークへのインターフェイスから受信される。
【０１１７】
別の例に従って、本原理に従う方法を実装するよう構成される装置９００は：
・モバイル機器；
・通信デバイス；
・ゲーム機；
・タブレット（又はタブレットコンピュータ）；
・ラップトップ；
・静止画カメラ；
・ビデオカメラ；
・符号化チップ；
・静止画サーバ；及び
・ビデオサーバ（例えば、ブロードキャストサーバ、ビデオ・オン・デマンドサーバ、又はウェブサーバ）
を有する組に属する。
【０１１８】
別の例に従って、本原理に従う画像処理プロセスを実装するよう構成される装置９００は：
・モバイル機器；
・通信デバイス；
・ゲーム機；
・セットトップボックス・
・ＴＶセット；
・タブレット（又はタブレットコンピュータ）；
・ラップトップ；
・ディスプレイ；及び
・復号化チップ
を有する組に属する。
【０１１９】
本願で記載される様々なプロセス及び特徴の実施は、多種多様な設備又は用途において具現されてよい。そのような設備の例には、符号器、復号器、復号器からの出力を処理するポストプロセッサ、符号器へ入力を供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、ＰＤＡ、及び他の通信デバイスが含まれる。当然ながら、設備は、モバイルであって、移動車両に設置さえされてよい。
【０１２０】
加えて、方法は、プロセッサによって実行される命令によって実装されてよく、そのような命令（及び／又は実施によって生成されたデータ値）は、例えば、集積回路、ソフトウェアキャリア、又は他の記憶デバイス（例えば、ハードディスク、コンパクトディスケット（ＣＤ）、光ディスク（例えば、デジタルバーサタイルディスク又はデジタルビデオディスクとしばしば呼ばれるＤＶＤ）、ランダムアクセスメモリ（ＲＡＭ）、又はリードオンリーメモリ（ＲＯＭ））のようなプロセッサ可読媒体に記憶されてよい。命令は、プロセッサ可読媒体において実体的に具現されたアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせにあってよい。命令は、例えば、オペレーティングシステム、個別アプリケーション、又は両者の組み合わせにおいて見られてよい。プロセッサは、従って、例えば、プロセスを実施するよう構成されたデバイス、及びプロセスを実施するための命令を有するプロセッサ可読媒体（例えば、記憶デバイス）を含むデバイス、の両方として見なされてよい。更には、プロセッサ可読媒体は、命令に加えて、又はそれに代えて、実施によって生成されたデータ値を記憶してよい。
【０１２１】
当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を搬送するようフォーマットされた様々な信号を生成してよい。情報は、例えば、方法を実施する命令、又は記載された実施の１つによって生成されたデータを含んでよい。例えば、信号は、記載された例のシンタックスを書き込む又は読み出すための規則をデータとして搬送するよう、あるいは、記載された例によって書き込まれた実際のシンタックス値をデータとして搬送するよう、フォーマットされてよい。そのような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を使用する。）として、又はベースバンド信号として、フォーマットされてよい。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームによりキャリアを変調することを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタル情報であってよい。信号は、知られている多種多様な有線又は無線リンクを介して送信されてよい。信号は、プロセッサ可読媒体において記憶されてよい。
【０１２２】
多数の実施が記載されてきた。それでもなお、様々な変更が行われてよい点が理解される。例えば、異なる実施の要素は、他の実施をもたらすよう、結合、置換、変更、又は削除されてよい。その上、当業者であれば、他の構造又はプロセスは、開示されているものに代用されてよく、結果として現れる実施は、開示されている実施と少なくとも略同じ結果を達成するよう、少なくとも略同じ方法において、少なくとも略同じ機能を実施する点が理解される。
【０１２３】
多数の具体的な詳細は、本発明の完全な理解を提供するために本願で示されてきた。当業者には明らかなように、しかしながら、上記の例は、それらの具体的な詳細によらずとも実施されてよい。他の例では、よく知られている動作、コンポーネント及び回路は、本発明を不明りょうにしないように、詳細には記載されていない。本願で開示されている具体的な構造上及び機能上の詳細は代表であってよく、必ずしも本発明の適用範囲を制限しない点が理解され得る。
【０１２４】
本発明の様々な例は、ハードウェア要素、ソフトウェア要素、又は両者の組み合わせを用いて実装されてよい。いくつかの例は、例えば、マシンによって実行される場合に、マシンに、例に従う方法及び／又は動作を実施させ得る命令又は命令の組を記憶することができるコンピュータ可読媒体又はアーティクルを用いて、実装されてよい。そのようなマシンは、例えば、あらゆる適切なプロセッシングプラットフォーム、コンピューティングプラットフォーム、コンピューティングデバイス、プロセッシングデバイス、コンピューティングシステム、プロセッシングシステム、コンピュータ、プロセッサ、又は同様のものを含んでよく、ハードウェア及び／又はソフトウェアの如何なる適切な組み合わせによっても実装されてよい。コンピュータ可読媒体又はアーティクルは、例えば、あらゆる適切なタイプのメモリユニット、メモリデバイス、メモリアーティクル、メモリ媒体、記憶デバイス、記憶アーティクル、記憶媒体及び／又は記憶ユニットを含んでよい。命令は、如何なる適切なハイレベル、ローレベル、オブジェクト指向、ビジュアル、コンパイル済み及び／又は解釈済みプログラミング言語によっても実装されるあらゆる適切なタイプのコード、例えば、ソースコード、コンパイル済みコード、解釈済みコード、実行可能コード、スタティックコード、ダイナミックコード、暗号コード、及び同様のものを含んでよい。
【０１２５】
本願で記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装されてよい。たとえ単一の形態の実施に関してしか論じられていない（例えば、方法としてしか論じられていない）としても、論じられている特徴の実施は、他の形態（例えば、装置又はプログラム）においても実装されてよい。装置及びそれに含まれる構成要素、例えば、プロセッサ、符号器及び復号器は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装されてよい。方法は、例えば、プロセッシングデバイス全般を指すプロセッサのような、装置において実装されてよい。プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能ロジックデバイスを含む。プロセッサは、例えば、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（“ＰＤＡ”）、及びエンドユーザ間の情報の通信を助ける他のデバイスのような、通信デバイスを更に含む。
【０１２６】
加えて、本願又はその特許請求の範囲は、様々な情報片を“決定”することに言及してよい。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又はメモリから情報を取り出すこと、のうちの１つ以上を含んでよい。
【０１２７】
更に、本願又はその特許請求の範囲は、様々な情報片に“アクセス”することに言及してよい。情報にアクセスすることは、例えば、情報を受け取ること、情報を（例えば、メモリから）取り出すこと、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定すること、のうちの１つ以上を含んでよい。
【０１２８】
加えて、本願又はその特許請求の範囲は、様々な情報片を“受け取る”ことに言及してよい。受け取ることは、“アクセス”することと同様に、広義の語であるよう意図される。情報を受け取ることは、例えば、情報にアクセスすること、又は情報を（例えば、メモリから）取り出すこと、のうちの１つ以上を含んでよい。更に、“受け取る”ことは、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することのような動作の間に通常は何らかの方法で関連する。
【符号の説明】
【０１２９】
５０１                          露出過度領域
５０２                          スケルトン
５０３                          環
５０４                          環領域
５０６，７０３，７０５，７０７  エッジピクセル
５０７，７０２                  スケルトンピクセル
５０８，５０９                  内部ピクセル
７０１，７０６                  方向ベクトル
７０４                          候補ベクトル
９００                          装置
【図１】
2017050864.tif 000029
【図２】
2017050864.tif 000030
【図３】
2017050864.tif 000031
【図４Ａ】
2017050864.tif 000032
【図４Ｂ】
2017050864.tif 000033
【図５Ａ】
2017050864.tif 000034
【図５Ｂ】
2017050864.tif 000035
【図５Ｃ】
2017050864.tif 000036
【図６】
2017050864.tif 000037
【図７】
2017050864.tif 000038
【図８】
2017050864.tif 000039
【図９】
2017050864.tif 000040
【外国語明細書】
2017050864000001.pdf