(57)【要約】【課題】ピクチャーを処理する方法。【解決手段】ピクチャーを処理する方法が開示される。本発明の方法は：・前記ピクチャーを背景層および少なくとももう一つの層にセグメント分割する段階（１０）と；・前記背景層について色調和の背景テンプレートを選択する段階（１２）と；・前記背景層と前記少なくとももう一つの層との間の距離に依存して、色調和の前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、色調和の一つのテンプレートを決定する段階（１４）と；・セグメント分割された各層の色を、色調和の対応するテンプレートを使ってマッピングすることによって前記ピクチャーを処理する段階（１６）とを含む。【選択図】図３
2014230283.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャーを処理する方法であって：
・ピクチャーを背景層および少なくとももう一つの層にセグメント分割する段階と；
・前記背景層について色調和の背景テンプレートを選択する段階と；
・前記背景層と前記少なくとももう一つの層との間の距離に依存して、色調和の前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、色調和の一つのテンプレートを決定する段階と；
・セグメント分割された各層の色を、色調和の対応するテンプレートを使ってマッピングすることによって前記ピクチャーを処理する段階とを含む、
方法。
【請求項２】
色調和の各テンプレートは、色相環のまわりで、調和する諸色の少なくとも一つのセクターによって定義される、請求項１記載の方法。
【請求項３】
前記背景層と前記少なくとももう一つの層との間の距離dkに依存して、色調和の前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、一つのテンプレートを決定する段階は、前記距離に基づいて色調和の前記背景テンプレートの各セクターのサイズsizebを増大させることを含み、増大したサイズのセクターをもつ前記テンプレートが前記少なくとももう一つの層についての色調和の前記テンプレートである、請求項２記載の方法。
【請求項４】
前記距離dkに基づいて色調和の前記背景テンプレートの各セクターのサイズsizebを増大させることは、次の式：
【数１１】
2014230283.tif 000013
に従って色調和の前記背景テンプレートの各セクターについての増大したサイズを計算することを含み、
ここで、sizeexpは前記増大したサイズであり、nbsecは色調和の前記背景テンプレート中のセクターの数であり、dfは前記背景層と前景層との間の距離である、
請求項３記載の方法。
【請求項５】
前記背景層と前記少なくとももう一つの層との間の距離dkに依存して、色調和の前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、色調和の一つのテンプレートを決定する段階は、前記距離から計算されるサイズおよび角度をもつ単一のセクターを有する色調和の中間テンプレートを決定し、色調和の前記背景テンプレートと色調和の前記中間テンプレートの和集合として前記少なくとももう一つの層についての色調和の前記テンプレートを決定することを含む、請求項２記載の方法。
【請求項６】
色調和の前記中間テンプレートの前記単一のセクターのサイズsizeΨは
【数１２】
2014230283.tif 000014
のように計算され、
ここで、Sは前記背景層の諸セクターのサイズの和であり、dfは前記背景層と前景層との間の距離である、
請求項５記載の方法。
【請求項７】
前記ピクチャーを背景層および少なくとももう一つの層にセグメント分割する段階は、前記ピクチャー内の各ピクセルまたはピクセル群について奥行き値を決定し、該奥行き値に基づいて前記ピクチャーをセグメント分割することを含む、請求項１ないし６のうちいずれか一項記載の方法。
【請求項８】
前記ピクチャーはビデオに属し、前記ピクチャーを背景層および少なくとももう一つの層にセグメント分割する段階は、前記ピクチャー内の各ピクセルまたはピクセル群について動き値を決定し、該動き値に基づいて前記ピクチャーをセグメント分割することを含む、請求項１ないし６のうちいずれか一項記載の方法。
【請求項９】
前記背景層と前記少なくとももう一つの層との間の距離は、背景についての動き値または奥行き値の平均と、前記少なくとももう一つの層についての動き値または奥行き値の平均との間の差に等しい、請求項７または８記載の方法。
【請求項１０】
当該プログラムがコンピュータ上で実行されたときに請求項１ないし９のうちいずれか一項記載の処理方法の段階を実行するためのプログラム・コード命令を有するコンピュータ・プログラム・プロダクト。
【請求項１１】
プロセッサに少なくとも請求項１ないし９のうちいずれか一項記載の処理方法の段階を実行させるための命令が記憶されているプロセッサ可読媒体。
【請求項１２】
ピクチャーを処理する装置であって：
・前記ピクチャーを背景層および少なくとももう一つの層にセグメント分割する手段と；
・前記背景層について色調和の背景テンプレートを選択する手段と；
・前記背景層と前記少なくとももう一つの層との間の距離に依存して、色調和の前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、色調和の一つのテンプレートを決定する手段と；
・セグメント分割された各層の色を色調和の対応するテンプレートを使ってマッピングすることによって前記ピクチャーを処理する手段とを有する、
装置。
【請求項１３】
請求項１ないし９のうちいずれか一項記載の処理方法の段階を実行するよう構成されている、請求項１２記載の処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピクチャーを処理する方法および装置に関する。より詳細には、ピクチャー処理方法は、調和する色（harmonious  colors）のテンプレートを使ってピクチャーの色をマッピングすることを含む。
【背景技術】
【０００２】
ピクチャーまたは該ピクチャーのいくつかの部分における色を補正して知覚的な体験を改善することが知られている。一例として、飽和した色をもつピクチャーは、それらの飽和した色を除去し、よって知覚的な体験を改善するよう有利に処理される。
【０００３】
非特許文献１は、調和テンプレート（harmonious  template）Tm（m∈{i,I,L,T,V,X,Y,N}）に基づいてピクチャーを調和させる方法を教示している。色調和のこれらのテンプレートは図１に描かれている。この方法はいくつかの欠点がある。第一に、完全に自動的ではなく、「敏感な」領域（典型的には、もとの色を失うと不自然に見える肌または空）についての手動の注釈付けを必要とする。第二に、色マッピングは非常に初歩的であり、テンプレートにおいてガウシアン・フィルタ制約条件を適用することによってもとのピクチャーのカラー・パレットをマッピングする。第三に、ピクチャー全体またはこのピクチャーの選択された部分が同じ仕方で調和させられる。すなわち、同じテンプレートが使われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第2009/061305号、2009年5月14日公開
【非特許文献】
【０００５】
【非特許文献１】Cohen-Or、Color  Harmonization
【非特許文献２】Baveye  et  al.、"Image  and  Video  Saliency  Models  Improvement  by  Blur  Identification"、ICCVG2012、セクション2.2
【非特許文献３】M´emin  et  al.、"hierarchical  estimation  and  segmentation  of  dense  motion  fields"、International  Journal  of  computer  vision  in  2002
【非特許文献４】Sawhney  et  al.、"Compact  representations  of  videos  through  dominant  and  multiple  motion  estimation"、IEEE  Transactions  on  PAMI  vol.18,  no.8,  August  1996
【非特許文献５】Van  de  Weijer  et  al.、"learning  color  names  for  real  world  applications"、IEEE  Transactions  in  Image  processing、2009
【非特許文献６】Delon  et  al.、"A  nonparametric  approach  for  histogram  segmentation"、IEEE  Transactions  on  Image  Processing、16(1):253-261,2007
【非特許文献７】H.Tong,  M.Lietal.、"Blur  detection  for  digital  images  using  wavelet  transform"、IEEE  International  Conference  on  Multimedia  &  Expo,  IEEE  Press,  pp.17-210,2004
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、従来技術の欠点の少なくとも一つを克服することである。
【課題を解決するための手段】
【０００７】
よって、ピクチャーを処理する方法が開示される。本処理方法は：
・ピクチャーを背景層および少なくとももう一つの層にセグメント分割する段階と；
・前記背景層について色調和の背景テンプレートを選択する段階であって、テンプレートとは、たとえば、色相環のまわりで調和的な諸色の少なくとも一つのセクターによって定義される、段階と；
・前記背景層と前記少なくとももう一つの層との間の距離に依存して、色調和の前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、色調和の一つのテンプレートを決定する段階と；
・セグメント分割された各層の色を、色調和の対応するテンプレートを使ってマッピングすることによってピクチャーを処理する段階とを含む。
【０００８】
第一の実施形態によれば、前記背景層と前記少なくとももう一つの層との間の距離に依存して、色調和の前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、一つのテンプレートを決定する段階は、前記距離に基づいて前記背景テンプレートの各セクターのサイズを増大させることを含み、増大したサイズのセクターをもつ前記テンプレートが前記少なくとももう一つの層についての前記テンプレートである。
【０００９】
本発明のある個別的な特徴によれば、前記距離に基づいて前記背景テンプレートの各セクターのサイズを増大させることは：
・前記背景層と前記少なくとももう一つの層との間の距離を計算する段階と；
・次の式：
【数１】
2014230283.tif 000003
に従って前記背景テンプレートの各セクターについての増大したサイズを決定する段階とを含み、
ここで、sizeexpは増大したサイズであり、nbsecは前記背景テンプレート中のセクターの数であり、dfは前記背景層とある前景層との間の距離である。
【００１０】
ある変形実施形態によれば、前記背景層と前記少なくとももう一つの層との間の距離に依存して、前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、一つのテンプレートを決定する段階は、前記距離から計算されるサイズおよび角度をもつ単一のセクターを有する中間テンプレートを決定し、前記背景テンプレートと前記中間テンプレートの和集合として前記少なくとももう一つの層についての前記テンプレートを決定することを含む。
【００１１】
本発明のある個別的な特徴によれば、前記中間テンプレートの前記単一のセクターのサイズは次のように計算される。
【００１２】
【数２】
2014230283.tif 000004
ここで、dkは前記背景層と前記少なくとももう一つの層との間の距離であり、Sは前記背景層の諸セクターのサイズの和であり、dfは前記背景層とある前景層との間の距離である。
【００１３】
本発明のある側面によれば、ピクチャーを背景層および少なくとももう一つの層にセグメント分割する段階は、ピクチャー内の各ピクセルまたはピクセル群について奥行き値を決定し、該奥行き値に基づいてピクチャーをセグメント分割することを含む。
【００１４】
ある変形によれば、ピクチャーを背景層および少なくとももう一つの層にセグメント分割する段階は、ピクチャー内の各ピクセルまたはピクセル群について動き値を決定し、該動き値に基づいてピクチャーをセグメント分割することを含む。
【００１５】
本発明のある個別的な特徴によれば、前記背景層と前記少なくとももう一つの層との間の距離は、背景についての動き値または奥行き値の平均と、前記少なくとももう一つの層についての動き値または奥行き値の平均との間の差に等しい。
【００１６】
コンピュータ上で実行されたときに本発明に基づく処理方法の段階を実行するためのプログラム・コード命令を有するコンピュータ・プログラム・プロダクトがさらに開示される。
【００１７】
プロセッサに少なくとも本発明に基づく処理方法の段階を実行させるための命令が記憶されているプロセッサ可読媒体も開示される。
【００１８】
ピクチャーを処理する装置であって：
・ピクチャーを背景層および少なくとももう一つの層にセグメント分割する手段と；
・前記背景層について背景テンプレートを選択する手段であって、テンプレートは調和的な諸色値の少なくとも一つのセクターを定義する、手段と；
・前記背景層と前記少なくとももう一つの層との間の距離に依存して、前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、一つのテンプレートを決定する手段と；
・ピクチャーの諸色を対応するテンプレートを使ってマッピングすることによってピクチャーを処理する手段とを有する装置が開示される。
【００１９】
上記処理装置は、上記処理方法の段階を実行するよう構成される。
【図面の簡単な説明】
【００２０】
本発明の他の特徴および利点が実施形態のいくつかの以下の記述により明白となるであろう。該記述は図面との関連でなされる。
【図１】従来技術において定義される８つの調和色テンプレートを示す図である。
【図２】種々の角度をもつV型調和テンプレートを示す図である。
【図３】本発明に基づく処理方法のフローチャートである。
【図４】色相環および二つのピクセルAおよびBのマッピング方向を示す図である。
【図５】本発明に基づく処理装置を示す図である。
【発明を実施するための形態】
【００２１】
調和色テンプレート（harmonious  color  template）または色調和のテンプレート（template  of  color  harmony）はたとえば、同時に存在するときにグローバルな調和する効果を表現する／反映すると考えられるHSV値（色相、彩度および値）の組である。図１に描かれる10個の調和色テンプレートTm（m∈{i,I,L,T,V,X,Y,J,O,N}）は色調和のそのようなテンプレートの例である。テンプレートOは、弧長360°をもつ唯一の色範囲を有する。このテンプレートは、たとえば虹を含んでいる写真のように、すべての色相を等しく含むフレームを調和させないために使われる。各調和色テンプレートTmは異なる諸部分／セクターからなる。調和色は、同じセクター内にあれば近く、向かい合うセクターにあれば相補的である。テンプレートJおよびLは直交調和色相を扱う。各セクターは図２に描かれるように、角度αおよびサイズwによって定義される。調和色テンプレートは、色相環のまわりに回されてもよい。よって、調和色テンプレートTmはテンプレート型mおよび角度αmによって定義される。
【００２２】
図３は、本発明のある個別的な、限定しない実施形態に基づく処理方法のフローチャートを描いている。本方法の段階のいくつかは任意的である。以下の方法は、同じプロセスを相続くフレームに適用することによってビデオ源に拡張されることができることがわかるであろう。段階１０では、ピクチャーは背景層および少なくとももう一つの層に、たとえば背景層と前景層にセグメント分割される。より一般には、ピクチャーはN個の層Pkにセグメント分割される。ここで、k＝0ないしN−1である。背景はたとえばインデックスk＝0の層であり、前景層はインデックスk＝N−1の層である。
【００２３】
一例として、ピクチャー内の各ピクセルまたはピクセル群について奥行き値が計算される。こうして、N個の層にセグメント分割される奥行きマップが得られる。N＝2であれば、背景層および前景層が得られる。奥行きマップはたとえば(N−1)個の閾値Tr＝maxDepth−maxDepth*r/(N−1)を用いて閾値処理される。ここで、r＝0ないしN−2であり、maxDepthは奥行きマップにおける最大奥行き値である。奥行きマップは、奥行きセンサー（たとえばキネクト（登録商標）型の）を使って得ることができる。ある変形では、奥行きマップは特許文献１に開示される方法によって得ることができる。しかしながら、本発明が奥行きマップを得るためのこれらの個別的な方法に制約されないことは理解されるであろう。
【００２４】
ある変形では、奥行きマップはぼけ（blur）マップで置き換えることができる。例示的には、ぼけマップは非特許文献２に開示されるようにして決定できる。次いでぼけマップはN個の層にセグメント分割される。N＝2であれば、背景層および前景層が得られる（ぼけの観点からは、背景層は最もぼけている領域である）。ぼけマップはたとえば、(N−1)個の閾値Tr＝maxBlur−maxBlur*r/(N−1)を用いて閾値処理される。ここで、r＝0ないしN−2であり、maxBlurはぼけマップにおける最大ぼけ値である。しかしながら、本発明がぼけマップを得るためのこの個別的な方法に制約されないことは理解されるであろう。
【００２５】
ある変形によれば、ピクチャー内の各ピクセルまたはピクセル群について動き値が計算される。こうして、N個の層にセグメント分割される動きマップが得られる。N＝2であれば、背景層および前景層が得られる（動きの観点からの）。非特許文献３に開示される方法を使うことができる。ある変形は、支配的な動きを判別することを含む。非特許文献４はセクション２．２において、支配的な動きを判別する方法を開示している。背景は、支配的な動きを有するピクセルの集合から構成される。換言すれば、あるピクセルの動きが支配的な動きであれば、このピクセルは背景に属すると考えられる。N−1個の他の層は、K平均アルゴリズムを使って動きスピードによりセグメント分割される。背景の動きスピードから最も隔たった動きスピードをもつ層が前景であると考えられる。しかしながら、本発明が動きマップを得るためのこれらの個別的な方法に制約されないことは理解されるであろう。
【００２６】
段階１２では、背景テンプレートTbが背景層について選択される。より精密には、背景テンプレート型bおよび背景テンプレート角αbが決定される。図１に描かれ、非特許文献１において定義されるテンプレートTm（m∈{i,I,L,T,V,X,Y,J,O}）の一つがαmの回転のもとに選択される。したがって、テンプレート型が選択されるのみならず、テンプレート型が角度とともに選択される。型Oのテンプレートはこの選択の際には使われない。
【００２７】
一つのテンプレートを選ぶのを助けるために、もとのピクチャーの背景層の色ヒストグラムMが、下記に定義されるようにHSV空間において計算される。それは、彩度および値によって重み付けられた規格化された色相分布である：
【数３】
2014230283.tif 000005
jは必ずではないが通例、0から360まで変わる。
【００２８】
次いで、色相分布Mに最もよく当てはまる適切なテンプレート型bおよび関連する角αbが、各テンプレート型mおよび各角度αについて計算されるクルバック・ライブラー発散（Kullback-Leibler  divergence）を最小化することによって選ばれる：
【数４】
2014230283.tif 000006
ここで、P(m,α)は角度αについてのテンプレートmの分布である。Pj(m,α)は上記分布のビンjを表わす。ここで、P(m,α)は典型的には、Mの調和されたモデル、記述または近似を表わす。分布P(m,α)はHSV値の各セクター／部分において一様、他所ではヌルであることができ、あるいはバンプ関数（bump  function）であることができる。本発明は分布が定義される仕方によって限定されない。ある変形によれば、テンプレートTbおよび関連する角度αbは、それが色相分布Mにマッチするよう、すなわちクルバック・ライブラー発散
【数５】
2014230283.tif 000007
がある閾値未満になるよう、選択される。ここで、b∈{i,I,L,T,V,X,Y,J,O}である。この場合、テンプレートは必ずしも色相分布Mに最もよく当てはまるものではないが、色相分布Mに近い。
【００２９】
段階１４では、他の層Pkのそれぞれについてテンプレートが決定される。該テンプレートは、背景層と他の層Pkとの間で計算された距離dkに依存して背景テンプレートから決定される。テンプレートは、背景テンプレートのサイズを増すことによって、より精密には、テンプレートの各セクターのサイズsizebを増大させることによって、現在層Pkについて決定される。この場合、角度は不変なままである。各テンプレートの各セクターのサイズwmは、Cohen  et  al.からの論文において精密に定義されている。たとえば、型iのテンプレートのセクターのサイズは18°である。この膨張の発想は、現在層から背景までのある「距離」をもつ各セクターのこのサイズsizebに、背景から前景層へとサイズが漸進的に増大するよう重み付けするというものである。背景テンプレートにおけるすべてのセクターのサイズは次のように増大させられる。
【００３０】
【数６】
2014230283.tif 000008
ここで、sizeexpは増大させられたサイズであり、nbsecは背景テンプレート中のセクターの数であり、dfは前景層と背景層（すなわち、最も近い層、すなわちPN-1）との間の距離である。一例として、距離dkは、背景ピクセルの奥行き／スピード値の平均μbackと現在層ピクセルの奥行き／スピード値の平均μkとの間の差として定義され、dfは、背景ピクセルの奥行き／スピード値の平均μbackと前景層ピクセルの奥行き／スピード値の平均μfとの間の差として定義される。μback、μkおよびμfの値が正確でない場合、前景層が層PN-1である一方、背景がインデックスk＝0の層であれば、計算ノイズにそれほど敏感でない別の距離を使うことが可能である。この変形によれば、サイズは次のように計算される。
【００３１】
【数７】
2014230283.tif 000009
セクター膨張は、現在層における重要な数のピクセルの色相値が拡大されたテンプレートに含まれない場合には、それほど効率的ではない。実際、膨張の目標は、前景の諸層における色を保存することである。しかしながら、現在層における重要な数のピクセルの色相値が拡大されたテンプレートに含まれない場合には、それらはテンプレートにおいてシフトされる必要がある。結果として、対応する前景層は大幅に修正される。以下の変形はこの問題を解決する。
【００３２】
ある変形によれば、現在層Pkについてのテンプレートは、背景Tbのテンプレートと現在層について計算された型Ψおよび角度αfの中間テンプレートの和集合として決定される。この中間テンプレートΨは、一つのセクターのみから構成されるが、そのサイズsizeΨは先の変形と同様に現在層から背景までの「距離」に依存するほかTb中のセクター（単数または複数）のサイズにも依存する。ひとたびサイズが計算されたら、角度αfが：
【数８】
2014230283.tif 000010
のように現在層のピクセルに対するテンプレートΨについてのみ計算されるクルバック・ライブラー発散を最大化する角度として決定される。ある変形によれば、角度αfは、統一されたテンプレートが高々二つのセクターを有するよう制約される。したがって、統一されたテンプレートは図１に描かれる８つのもとのテンプレートに最も近い。背景に対して計算されたテンプレートが二つのセクターを有する場合、角度αfは、テンプレート(Ψ,αf)がTbのセクターの境界の一つの隣に位置されるよう、決定される。テンプレート(Ψ,αf)は次のように定義される：
【数９】
2014230283.tif 000011
ここで、size1はTbの第一のセクターのサイズであり、size2は第二のセクターのサイズである。
【００３３】
両方の変形は、もはや調和するテンプレートではない前記テンプレートを変形する。しかしながら、αbはこの段階の間、変更されない。これは、ピクセル・マッピング・プロセスにおけるより多くの柔軟性を提供する。一方、色相は背景についてと同じ中心付近に縮小される。これは色の統一性（unity）をもたらす。
【００３４】
他の層のテンプレートは、背景テンプレートから、この背景層へのそれらの層の相対距離に依存して決定されるので、オブジェクトは背景中によりよく統合される。さらに、それらの層は徐々に調和される。上記第二の変形においてはオブジェクトの重要な色が考慮に入れられる。背景テンプレートが、諸中間層におけるピクセル上で計算されたテンプレートΨとマージされるからである。
【００３５】
段階１６では、もとのピクチャーのピクセルが対応するテンプレート中にマッピングされる。すなわち、背景のピクセルは背景テンプレートを使ってマッピングされ、層Pkのピクセルは段階１４においてこの層Pkについて決定されたテンプレートを使ってマッピングされる。より精密には、突出値（outliers）（選択されたテンプレート外であるという意味での）は、色相マッピング関数を適用することによって、調和セクター（単数または複数）中にまたは近くにマッピングされる。
【００３６】
各ピクセルpの色相をマッピングするためにS字関数が使われる：
【数１０】
2014230283.tif 000012
ここで、C(p)は、pに関連付けられたセクターの中央色相、wはそのテンプレート・セクターの弧幅、‖  ‖は色相環上での弧長距離を指し、Sgnはマッピングの方向に関連付けられた符号である。ピクセルはたとえば、最も近いセクター辺上にマッピングされる。図４に描かれるように、ピクセルAはたとえばセクターの右の辺でマッピングされる。それが最も近い辺だからである。一方、ピクセルBはセクターの左の辺でマッピングされる。色相環は向き付けられているので、Sgnは、マッピングの方向および色相環の向きが逆方向であるとき正であり（ピクセルAの場合）、それ以外の場合にSgnは負である（ピクセルBの場合）。本発明によれば、所与のピクセルについてのマッピングの方向は必ずしも、そのピクセルがセクターの最も近い辺においてマッピングされるようには決定されない。このS字曲線は、ピクセル・マッピングのための良好な属性をもつ。テンプレート中の極限値自動クランプ・ピクセルおよびその中央セクション（通常の振る舞い）におけるその漸近線はほぼ線形であり、よってセクターの中央では、色相は変更されない。提案されるマッピング関数は、調和するセクターの中央におけるもとの色相値を保証し、テンプレート外の色相値はより強く圧縮する。調和色は保存され、非調和色相のみが修正される。
【００３７】
しかしながら、肌および空の領域は、上記に開示されるピクセル・マッピング段階１６において修正されると、自然ではなくなる。実際、同様の色をもつ隣り合う二つのピクセルが反対方向に、結果として同じセクターの反対側にまたは異なるセクターにマッピングされることがあるので、いくつかのアーチファクトがこの段階の間に生成されることがある。もう一つの実施形態によれば、これらのアーチファクトを除去するために、もとのピクチャーのセグメンテーション・マップが任意的な段階１５において決定され、段階１６の間に使用される。これは、セグメンテーション・マップの同じセグメント分割された領域中のすべてのピクセルが同じマッピング方向をもって、よって同じセクターにおいてマッピングされることを保証するためである。このマッピング方向はたとえば、所与のセグメント分割された領域におけるこれらのピクセルにほとんど割り当てられた方向である。このマッピング方向はたとえば、各ピクセルと、そのセグメント分割された領域のマッピング方向を関連付ける方向マッピング・マップにおいて格納される。セグメンテーション・マップは、もとの画像中で、近い色をもつ種々の領域を定義する。そのようなマップを提供する任意の方法を使用できる。そのようなアルゴリズムの一例は、非特許文献５の論文に開示されている。色調和のためには、色セグメンテーションの空間的側面は義務的ではない。したがって、ポピュラーなK平均方法のようなヒストグラム・セグメンテーション技法がここでは十分である。しかしながら、そのようなヒストグラム・セグメンテーションは以下の制約条件を尊重すべきである：
・教師なしであるべきである。これは、色クラスターの最終的な数がパラメータであるべきではないということを意味する。実のところ、色調和は、有意な色の数が正しくないことに非常に敏感である。
・ヒストグラム・セグメンテーション技法は、ヒストグラムの小さな諸モードをセグメント分割できるべきである。換言すれば、色突出値と見ることのできる小さな領域が別個のモードとして検出されるべきである。
【００３８】
これらの要求を満たすために、非特許文献６の論文に開示される、ACoPa（Automatic  Color  Palette［自動色パレット］）と称されるDelonらの仕事の上に構築される色セグメンテーション方法が開示される。この色セグメンテーション技法は、色ヒストグラム・モードの反対解析（a  contrario  analysis）に基づく。有意なヒストグラム・モードの統計的推定が実行される。H空間、次いでS空間、次いでV空間におけるモードの階層的な推定の代わりに、各成分のヒストグラム分解が独立に実行される。得られたモードは、得られたすべてのモードから組み合わされ、非常に限られたグループのピクセルをもつセグメントは破棄される。最後に、これらのヒストグラム・モードに基づいて、Lab色空間で表現された辞書を使って知覚的に同様であるモードをグループ化するためにK平均後処理が使用される。
【００３９】
このセグメンテーション技法は、もとのバージョンより約10倍速い。さらに、無色ピクセルをより効率的に扱う。非空間的アルゴリズムを使うことは、同じ色をもつすべてのピクセルを、それらの位置についての先験なしに扱うことを許容する。
【００４０】
セグメンテーションは完璧ではなく、各領域が、もともと色が近い一方、異なるマッピング方向をもつ場合、セグメント分割された領域の境界にいくつかのアーチファクトが現われることがある。これらのアーチファクトは、反対方向の色相マッピングを受けるセグメント分割された領域のフロンティアでのみ現われる。
【００４１】
もう一つの実施形態によれば、上記の問題を克服するために平均フィルタにより境界におけるピクセルをぼかす後処理段階がこのように適用される。関わるフロンティアは、ぼかすべきピクセルを同定するマスクを得るために方向マッピング・マップ上に適用される勾配フィルタにより検出される。該マスクは、段階１６において得られる修正された色相ピクチャーにおける対応するピクセルをぼかすために使われる。ぼかされるべきピクセルの数は、源ピクチャーにおけるこの位置でのぼけの量に依存する。実際、もともと鮮鋭な領域はぼかされる必要はない。そのようなぼかしは煩わしいことがありうる。ぼかしの量はたとえば、非特許文献７に開示される方法に基づいて計算される。
【００４２】
図５は、個別的な、限定しない実施形態に基づく、処理装置２の例示的な構成を表わしている。本処理装置はたとえばタブレット、PDAまたは携帯電話であることができる。処理装置２は、データおよびアドレス・バス２４によって一緒にリンクされる以下の要素を有する：
・マイクロプロセッサ２１（またはCPU）。これはたとえばDSP（デジタル信号プロセッサ）；
・一つまたはいくつかのメモリ２２、たとえばRAM（すなわちランダム・アクセス・メモリ）および／またはROM（すなわち読み出し専用メモリ）；
・一つまたはいくつかの入出力インターフェース２５、たとえばキーボード、マウス；
・バッテリー２６。
【００４３】
図３のこれらの要素のそれぞれは当業者にはよく知られており、これ以上の開示はしない。処理装置２は、処理されたピクチャーを表示するためのスクリーンのような表示手段を有していてもよい。上述したメモリのそれぞれにおいて、本明細書で使われる単語「レジスタ」は、小さな容量（数ビット）の領域に、あるいは非常に大きな領域（たとえばプログラム全体または大量の受信されたまたは復号されたデータ）に対応することができる。ある個別的な実施形態によれば、本発明に基づく処理方法のアルゴリズムはROM  ２２に記憶される。RAM  ２３は、レジスタ内に、CPU  ２１によって実行され、処理装置２のスイッチオン後にアップロードされるプログラムを有している。スイッチオンされるとき、CPU  ２１はRAM中のプログラムをアップロードし、対応する命令を実行する。処理されるべきピクチャーは入出力インターフェース２５の一つで受領される。入出力インターフェース２５の一つは、本発明に基づいて処理されたピクチャーを送信するよう適応されている。
【００４４】
諸変形によれば、本発明と互換な処理装置２は、純粋にハードウェアの実現に従って、たとえば専用コンポーネント（たとえばASIC（特定用途向け集積回路）またはFPGA（フィールド・プログラマブル・ゲート・アレイ）またはVLSI（超大規模集積））の形で、あるいはデバイス中に統合されたいくつかの電子コンポーネントの形で、またさらにはハードウェア要素およびソフトウェア要素の混合の形で実装される。
【図１】
2014230283.tif 000015
【図２】
2014230283.tif 000016
【図３】
2014230283.tif 000017
【図４】
2014230283.tif 000018
【図５】
2014230283.tif 000019
【外国語明細書】
2014230283000001.pdf