(57)【要約】本発明は、一般に、画像の知覚調和マップを作成する方法に関し、画像の多解像度分解を計算するステップ（１０）と、各解像度レベルで、各調和色彩テンプレート（Ｔm）に関して、解像度レベルで画像の各ピクセルに関連付けられた色相値に関して最適回転角（αm,l）および調和距離（ＨＤm,l（ｈ））を計算し（２０）、かつ調和距離（ＨＤm,l（ｈ））の和を重み付けすることにより調和距離マップ（ＨＤＭａｐl（ｘ，ｙ））を計算するステップと、コントラスト・マップ（ＣＭl,o（ｍ，ｎ））（３０）およびエントロピー・アクティビティ・マップ（ＳＭＬl）（４０）を計算するステップと、コントラスト・マップ（ＣＭl,o（ｍ，ｎ））、エントロピー・アクティビティ・マップ（ＳＭＬl（ｘ，ｙ））および調和距離マップ（ＨＤＭａｐl（ｘ，ｙ））を一体化することにより知覚調和マップ（ＰＨＤＭａｐl（ｘ，ｙ））を得るステップ（５０）と、知覚調和マップＰＨＤＭａｐl（ｍ，ｎ）を累算することにより知覚マップ（ＰＨＤＭａｐ（ｍ，ｎ））を得るステップ（６０）と、を有する。本発明は、画像の品質を評価する方法および装置にも関する。
2016519366.tif 000002
【特許請求の範囲】
【請求項１】
画像の知覚調和マップを作成する方法であって、
前記画像の多解像度分解を計算するステップ（１０）と、
各解像度レベルで、
各調和色彩テンプレート（Ｔm）に関して、前記解像度レベルで前記画像の各ピクセルに関連付けられた色相値に関して最適回転角（αm,l）および調和距離（ＨＤm,l（ｈ））を計算し（２０）、かつ前記調和距離（ＨＤm,l（ｈ））の和を重み付けすることにより調和距離マップ（ＨＤＭａｐl（ｘ，ｙ））を計算するステップと、
コントラスト・マップ（ＣＭl,o（ｍ，ｎ））（３０）およびエントロピー・アクティビティ・マップ（ＳＭＬl）（４０）を計算するステップと、
前記コントラスト・マップ（ＣＭl,o（ｍ，ｎ））、前記エントロピー・アクティビティ・マップ（ＳＭＬl（ｘ，ｙ））および前記調和距離マップ（ＨＤＭａｐl（ｘ，ｙ））を一体化することにより知覚調和マップ（ＰＨＤＭａｐl（ｘ，ｙ））を得るステップ（５０）と、
前記知覚調和マップＰＨＤＭａｐl（ｍ，ｎ）を累算することにより知覚マップ（ＰＨＤＭａｐ（ｍ，ｎ））を得るステップ（６０）と、
を有する、前記方法。
【請求項２】
画像の品質を評価する方法であって、前記画像の評価スコア（Ｒ）は、請求項１に記載の方法から作成された前記画像の知覚マップ（ＰＨＤＭａｐ（ｘ，ｙ））から得られる、前記方法。
【請求項３】
請求項１に記載の方法を実施する処理手段を備えた装置。
【請求項４】
請求項２に記載の方法を実施する処理装置を備えた装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、画像の調和マップを作成する方法および装置に関する。本発明は、画像の品質を評価する方法および装置にも関する。
【背景技術】
【０００２】
画像を操作する、編集する、改善するとき、特定の美的意図と同様に最高の品質は、一般に最終的なものである。それにもかかわらず、目的の品質評価に関する課題が低レベルアーティファクト（例えば、ぼけ、ブロックノイズ、ジッターなど）のコンテキストにおいて広く研究されているが、美的意図は、モデリング又は汎用化において高い難度をより巧妙に、かつ主観的にもたらす問題であるようである。
【０００３】
中間の指標のように、美と直感的に関連する特徴（彩度、線方向、形状など）およびルール（コンポジション、三分割法（rules-of-third）、スカイラインなど）に基づく美的な品質基準は、最近のコミュニティにおいて見られる。
【０００４】
アプリケーション・コンテキストに応じて、いくつかのアプローチは、絶対的品質測定を提供するとき、参照源を利用する、又は如何なる参照も無しに最善を尽くす。
【０００５】
発明により解決される課題は、画像の色彩調和を評価するための、および画像の品質が何であるかを評価するための方法を定義することである。
【発明の概要】
【０００６】
本発明は、画像の知覚調和マップを作成する方法を定義することによって、この問題を解決し、上記方法は、
上記画像の多解像度分解を計算するステップと、
各解像度レベルで、
各調和色彩テンプレートに関して、上記解像度レベルにおける上記画像の各ピクセルと関連付けられた色相値に関する最適回転角（optimal rotation angle）および調和距離を計算し、上記調和距離の和を重み付けすることにより調和距離マップを計算するステップと、
コントラスト・マップおよびエントロピー・アクティビティ・マップを計算するステップと、
上記コントラスト・マップ、上記エントロピー・アクティビティ・マップ、および調和距離マップを一体化することによって知覚調和マップを得るステップと、
上記知覚調和マップを累算することによって知覚マップを得るステップと、
を有する。
【０００７】
本発明は、画像の上記品質を評価する方法にも関するものであり、上記画像の評価スコアが上記前の方法から作成された上記画像の知覚マップから得られる。
【０００８】
コンテンツ・クリエータにとって興味深いツールとして、および芸術的効果を最大化することを目的として、上記提案する方法は、参照画像無しに、画像の不調和のスコアと同様に知覚調和誘導品質マップを提供する。
【０００９】
上記方法は、２つの別個の対象：新たなツールをどのような専門的レベルのコンテンツ・クリエータにも提供するために知覚品質基準および調和色相テンプレート、を繋ぐ。
【００１０】
上記画像の上記多解像度分解は、人間の視覚系に似せるために、上記画像の異なる解像度で知覚調和マップを計算するように処理される。
【００１１】
さらに、各知覚調和マップは、上記調和距離マップにマスキング機能を適用することによって、又は、言い換えると、上記コントラスト・マップ、上記エントロピー・アクティビティ・マップ、および上記調和距離マップを一体化することによって得られる。上記調和距離マップのそのようなマスキングは、ローカルおよびグローバルでの可視性に関する情報を提供する。
【００１２】
本発明の特定の特質も、本発明の他の対象、優位性、特徴、および使用と同様に、添付の図面と共に好ましい実施形態についての下記記載から明らかになるであろう。
【００１３】
実施形態を下記図面に関して説明する。
【図面の簡単な説明】
【００１４】
【図１】色彩テンプレートを示す図である。
【図２】画像の知覚調和マップを作成する処理方法のフローチャートである。
【図３】画像の知覚調和マップを作成する方法を実装する手段を備えた装置を示す図である。
【発明を実施するための形態】
【００１５】
調和は、その定義およびその測定が困難な、主観的な概念である。Fedorovskayaなど（E. Fedorovskaya, C. Neustaedter, and W. Hao. Image harmony for consumer images. In Image Processing, 2008. ICIP 2008. 15th IEEE International Conference on, pages121-124, Oct.）は、調和（不）快を伴ういくつかの画像の特徴の識別を一連の実験を通じて調査した。彼らは、エッジコントラスト、平均輝度、輝度の範囲．．．がグローバル調和評価に影響を及ぼすことを発見した。この以前の参考文献にも関わらず、画像処理分野における調和調査の大部分は、色の組み合わせおよびコンプリメンタリ（complementary）に関係する。調和したダブレットおよびトリプレットが定義されたIttenのコントラスト測定（J. Itten. The art of color: the subjective experience and objective rationale of color. Van Nostrand Reinhold, New York, 1973.）をはじめ、Matsuda（Y. Matsuda. Color design, Asakura Shoten, 1995）が、画像内の調和した色相のセットを予測するＨＳＶ（Hue, Saturation, Value）ベースのテンプレートを定義することによって、この研究を拡張した。
【００１６】
調和色彩テンプレートは、このように、同時に存在するとき、グローバルに調和した効果をレンダリング／反映するとみなされているＨＳＶ値（色相、彩度および明度）のセットである。高さ調和色彩テンプレートＴm（ｍ∈｛ｉ，Ｉ，Ｌ，Ｔ，Ｖ，Ｘ，Ｙ，Ｊ｝）は、図１に示すように使用される。調和色彩テンプレートＯおよびＮは使用されない。各調和色彩テンプレートＴmは、異なる部分／セクタでできており、色のコンプリメンタリと、色の直交性と、近い色相のセットとを扱う。各セクタは中央αmおよびサイズｗmを有する。調和色彩テンプレートは色相環を回動されることができる。このように、調和色彩テンプレートは、テンプレートタイプおよびセクタ角度αmによって定義される。
【００１７】
本発明の完全な実装を図２に示す。ある者は、下記方法が、連続するフレームに対して同じ処理を適用することによって映像源に拡張され得ることに気付くことができる。
【００１８】
ステップ１０で、画像の多解像度分解を計算する。
【００１９】
例えば、予測および計算性能の両方において効率が良いことが証明された離散ウェーブレット変換（ＤＷＴ）（A. Ninassi, O. Lemeur, P. Le Callet, and D. Baraba .On the performance of human visual system based image quality assessment metric using wavelet domain. Pages 680610-680610-12, 2008.）。ＣＤＦ  ９／７（Cohen-Daubechies-Feauveau）カーネルを使用することができる。
【００２０】
各分解レベルは、３方向サブバンド（水平、垂直、および斜めの周波数）を備える。分解レベルｌ∈［０；Ｌ−１］の空間周波数領域は、［２-(l+1)・ｆmax；２-1・ｆmax］であり、ここでｆmaxが入力画像Ｉｍの最大空間周波数である。
【００２１】
ステップ２０で、各解像度レベルｌにおいて、調和色彩テンプレートＴmごとに、最適回転角αm,lを計算し、調和距離ＨＤm,l（ｈ）を、画像Ｉｍの各ピクセル（ｘ，ｙ）に関連付けられた色相値ｈについて、解像度レベルｌで計算する。その後、調和距離マップＨＤＭａｐl（ｘ，ｙ）を、調和距離ＨＤm,l（ｈ）の和を重み付けすることにより、画像Ｉｍの各ピクセルについて解像度レベルｌで計算する。
【００２２】
一実施形態によると、調和色彩テンプレートＴmについて計算された最適回転角αm,lは、例えば、Baveyeなど(Y. Baveye, F. Urban, C. Chamaret, V. Demoulin, and P. Hellier. Saliecy-guided consistent color harmonization. In S. Tominaga, R. Shettini, and A. Trmeau, editors, Computational Color Imaging, volume 7786 of Lecture Notes in Computer Science, pages 105-118. Springer Berlin Heidelberg, 2013) によって説明されているような、解像度レベルｌでの画像Ｉｍの元の色相分布Ｍh,lと、角度αm,lについての調和色彩テンプレートＴmの分布Ｐh,l（ｍ，αm,l）との間のカルバック・ライブラー・ダイバージェンスによって定義されるエネルギーＥαm,lを最小化する。
【００２３】
分布Ｍh,l及びＰh,l（ｍ，ｌ，αm,l）を３６０個のビンを有するヒストグラムであると考えることができることに留意する。
【００２４】
分布Ｍh,l、すなわち色彩ヒストグラムＭh,lは、彩度Ｓ（ｘ，ｙ）および明度Ｖ（ｘ，ｙ）によって重み付けされた規格化色相分布としてＨＳＶ空間において計算される。
【００２５】
【数１】
2016519366.tif 000003
【００２６】
ここで（ｘ，ｙ）は、各解像度レベルｌでの画像Ｉｍに属するピクセルである。
【００２７】
数学的に表すと、エネルギーＥαm,lは、
【００２８】
【数２】
2016519366.tif 000004
【００２９】
により得られ、
【００３０】
【数３】
2016519366.tif 000005
【００３１】
により得られるｎセクタを有する調和色彩テンプレートＴmに関する分布Ｐh,l（ｍ，α）および
【００３２】
【数４】
2016519366.tif 000006
【００３３】
によってビン値ｉ毎に得られるセクタＳk（ｍ，αk）の分布を有する。
【００３４】
本発明は、分布が定義された手法によって限定されない。
【００３５】
一実施形態によると、調和距離ＨＤm,l（ｈ）は、（度数(degree)で測定される）色相環上のアーク長距離であり、
【００３６】
【数５】
2016519366.tif 000007
【００３７】
で得られる。
【００３８】
ここで、||.||はアーク長距離であり、αkは最も近接したセクタ中心であり、ｗkは度数でのサイズであり、ｈは解像度レベルｌでの画像Ｉｍのピクセルの色相値である。
【００３９】
一実施形態によると、調和距離マップＨＤＭａｐl（ｘ，ｙ）は、調和色彩テンプレートにわたって計算された相対的なエネルギーによって重み付けされた調和距離ＨＤm,l（ｈ）の和である。
【００４０】
数学的に表すと、調和距離マップＨＤＭａｐl（ｘ，ｙ）は下記によって得られる。
【００４１】
【数６】
2016519366.tif 000008
【００４２】
ステップ３０で、コントラスト・マップＣＭl,o（ｍ，ｎ）を解像度レベルｌごとに計算する。
【００４３】
コントラスト・マップは、コントラスト値による信号の視認性の変化をモデル化する。
【００４４】
一実施形態によると、ＤＷＴがステップ１０で使用されるとき、コントラスト・マスキングを、空間周波数および方向ｏに対する視覚感度における変化を解像度レベルｌで記述するＣＳＦ関数によって重み付けされた、サイト（ｍ，ｎ）でウェーブレット変換された値として定義する。
【００４５】
数学的に表すと、サブバンドＳl,oによってカバーされる空間周波数にわたるDaly（S. Daly. Digital images and human vision. Chapter The visible differences predictor: an algorithm for the assessment of mage）から２ＤのＣＳＦの平均値としてＣＳＦ値Ｎl,oが得られ、コントラスト・マスキング・マップは、下記により得られる。
【００４６】
【数７】
2016519366.tif 000009
【００４７】
ステップ４０で、エントロピー・アクティビティ・マップＳＭＬl（ｘ，ｙ）を解像度レベルｌごとに計算する。
【００４８】
エントロピー・アクティビティ・マップは、テクスチャ領域におけるような画像の不確実性を反映する。
【００４９】
一実施形態によると、エントロピー・アクティビティ・マップＳＭＬlは、ｎ×ｎ近傍(n-by-n neighborhood)におけるエントロピーの計算によって評価される。
【００５０】
好ましくは、エントロピー・アクティビティ・マップＳＭＬlは、画像Ｉｍの各ピクセル（ｘ，ｙ）方向の勾配（水平、垂直、斜め）の最小値として計算することによって評価される。そのようなセミローカルなアクティビティ・マップＳＭＬlは下記により得られる。
【００５１】
【数８】
2016519366.tif 000010
【００５２】
ここで、Ｉは入力画像である。
【００５３】
調和距離マップは、ＨＶＳモデルにマッチするように異なる解像度レベルで計算される。
【００５４】
ステップ５０で、解像度レベルｌ毎に、コントラスト・マップＣＭl,o（ｍ，ｎ）、エントロピー・アクティビティ・マップＳＭＬl（ｘ，ｙ）および調和距離マップＨＤＭａｐl（ｘ，ｙ）は一体化されて知覚調和距離マップＰＨＤＭａｐl（ｘ，ｙ）を得る。
【００５５】
一例によれば、知覚調和距離マップＰＨＤＭａｐl（ｘ，ｙ）は下記により得られる。
【００５６】
【数９】
2016519366.tif 000011
【００５７】
ここで、（ｍ，ｎ）は解像度レベルｌにおける画像Ｉｍのピクセル（ｘ，ｙ）に対応する座標である。
【００５８】
ステップ６０で、知覚調和距離マップＰＨＤＭａｐl（ｍ，ｎ）は、累算されて知覚マップＰＨＭａｐ（ｘ，ｙ）を構築する。
【００５９】
数学的に表すと、知覚マップＰＨＭａｐ（ｘ，ｙ）は下記によって得られる。
【００６０】
【数１０】
2016519366.tif 000012
【００６１】
知覚マップＰＨＭａｐ（ｘ，ｙ）は、調和距離マップＨＤＭａｐl（ｘ，ｙ）を累算することによって計算される調和距離マップに視覚的に近いが、少数のピクセルの影響を低減することでマスキング効果を統合することに留意する。
【００６２】
本発明の一態様によると、画像の品質を評価する方法は、知覚マップＰＨＭａｐ（ｘ，ｙ）からの画像のレーティング又は評価スコアＲを得ることによって定義される（図２のステップ７０）。
【００６３】
一実施形態によると、レーティングＲは、下記で与えられるMinkowskiの和の平均値によって計算される。
【００６４】
【数１１】
2016519366.tif 000013
【００６５】
ここで、ＷとＨはそれぞれ、画像Ｉｍの幅と高さであり、βは例えば２のパラメータセットである。
【００６６】
１つの解像度レベルでの画像の色情報は、最も低いサブバンドによって運ばれる。
【００６７】
その結果、別の方法によれば、コントラストおよびエントロピー・アクティビティ・マップは、所与の解像度レベルで、その解像度レベルの最も低いサブバンドに関してのみ、調和距離マップと統合される。
【００６８】
図３は、特定のかつ非限定的な実施形態の処理装置３００の例示的構成を示す。処理装置は、例えば、タブレット、ＰＤＡ又は携帯電話であり得る。処理装置３００は、データおよびアドレスバス３０によって相互接続された下記要素を備える。
−  マイクロ・プロセッサ３１（又はＣＰＵ）、例えば、ＤＳＰ（すなわち、デジタル・シグナル・プロセッサ）；
−  ＲＯＭ（すなわち、リード・オンリー・メモリ）３２；
−  ＲＡＭ（すなわち、ランダム・アクセス・メモリ）３３；
−  １つ又は複数の入力／出力インターフェース３５、例えば、キーボード、マウス；および
−  バッテリ３６。
【００６９】
図３のこれら要素の各々は、当業者によってよく知られているので、これ以上説明しない。処理装置３００は、処理した画像を表示するためのスクリーンなどの表示装置を備えることができる。本発明に従う処理方法のアルゴリズムはＲＯＭ３２に記憶される。ＲＡＭ３３は、レジスターに、処理装置３００のスイッチ・オン後にＣＰＵ３１によって実行され、アップロードされるプログラムを有する。スイッチ・オンしたとき、ＣＰＵ２１はプログラムをＲＡＭにアップロードし、対応する命令を実行する。処理される画像は、入力／出力インターフェース３５の１つで受信される。入力／出力インターフェース３５の１つは、本発明に従って処理された画像を送信するように適合される。
【００７０】
別の態様によれば、処理装置３００は、本発明が純粋なハードウェアの具現化によって、例えば、専用コンポーネント（例えば、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）、ＶＬＳＩ（Very Large Scale Integration）又は装置に統合された電子部品）の形で、又はハードウェア要素とソフトウェア要素との組み合わせの形で、実施されることもできる。
【００７１】
明確に記載していないが、本実施形態および他の態様を任意の組み合わせ又は部分的な組み合わせで使用するようことができる。
【図１】
2016519366.tif 000014
【図２】
2016519366.tif 000015
【図３】
2016519366.tif 000016
【国際調査報告】
2016519366.tif 000017
2016519366.tif 000018
2016519366.tif 000019
2016519366.tif 000020