(57)【要約】【課題】  １枚のデジタル画像から事前学習を行うことなく、質感の高い画像を再現できるようにする。【解決手段】  この発明に係る質感検出装置は、デジタル画像の画素を構成する少なくとも１つの色信号情報の強度が飽和した画素を含む飽和領域と飽和した画素を含まない非飽和領域とを検出する飽和領域検出部と、デジタル画像中の被写体を色信号情報に基づいて検出して被写体領域に分割し、飽和領域が対応する被写体領域を隣接する同一被写体の被写体領域に併合して修正する領域分割部と、修正した被写体領域中の飽和領域に対応する画素の飽和した色信号情報の強度を当該被写体領域中の非飽和領域に対応する画素の色信号情報の強度から被写体色を復元する被写体色推定部とを備えた。【選択図】          図１
2015115628.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像の画素を構成する少なくとも１つの色信号情報の強度が飽和した画素を含む飽和領域と飽和した画素を含まない非飽和領域とを検出する飽和領域検出部と、
前記デジタル画像中の被写体を色信号情報に基づいて検出して被写体領域に分割し、前記飽和領域が対応する前記被写体領域を隣接する同一被写体の前記被写体領域に併合して修正する領域分割部と、
修正した前記被写体領域中の前記飽和領域に対応する画素の飽和した色信号情報の強度を当該被写体領域中の前記非飽和領域に対応する画素の色信号情報の強度から被写体色を復元する被写体色推定部と
を備えた質感検出装置。
【請求項２】
前記飽和領域検出部は、
微小な飽和領域をノイズとして除去し、隣接する非飽和領域に併合して修正する
請求項１に記載の質感検出装置。
【請求項３】
前記領域分割部は、
前記飽和領域が接する前記非飽和領域との境界長に基づいて、当該飽和領域が本来属すべき前記非飽和領域を判定する
請求項１または請求項２に記載の質感検出装置。
【請求項４】
前記領域分割部は、
前記飽和領域が接する前記非飽和領域との境界の色信号情報の強度の勾配に基づいて、当該飽和領域が本来属すべき前記非飽和領域を判定する
請求項１または請求項２に記載の質感検出装置。
【請求項５】
前記領域分割部は、
前記飽和領域が接する前記非飽和領域との境界の色信号情報の強度の勾配の逆数の和に基づいて、当該飽和領域が本来属すべき前記非飽和領域を判定する
請求項１または請求項２に記載の質感検出装置。
【請求項６】
デジタル画像の画素を構成する少なくとも１つの色信号情報の強度が飽和した画素を含む飽和領域と飽和した画素を含まない非飽和領域とを検出する飽和領域検出部と、
前記デジタル画像中の被写体を色信号情報に基づいて検出して被写体領域に分割し、前記飽和領域が対応する前記被写体領域を隣接する同一被写体の前記被写体領域に併合して修正する領域分割部と、
修正した前記被写体領域中の前記飽和領域に対応する画素の飽和した色信号情報の強度を当該被写体領域中の前記非飽和領域に対応する画素の色信号情報の強度から被写体色を復元する被写体色推定部と
復元した前記被写体色から前記被写体の光沢度を推定する光沢度推定部と
を備えた質感復元装置。
【請求項７】
デジタル画像の画素を構成する少なくとも１つの色信号情報の強度が飽和した画素を含む飽和領域と飽和した画素を含まない非飽和領域とを検出する飽和領域検出ステップと、
前記デジタル画像中の被写体を色信号情報に基づいて検出して被写体領域に分割し、前記飽和領域が対応する前記被写体領域を隣接する同一被写体の前記被写体領域に併合して修正する領域分割ステップと、
修正した前記被写体領域中の前記飽和領域に対応する画素の飽和した色信号情報の強度を当該被写体領域中の前記非飽和領域に対応する画素の色信号情報の強度から被写体色を復元する被写体色推定ステップと
を有する質感検出方法。
【請求項８】
デジタル画像の画素を構成する少なくとも１つの色信号情報の強度が飽和した画素を含む飽和領域と飽和した画素を含まない非飽和領域とを検出する飽和領域検出ステップと、
前記デジタル画像中の被写体を検出して被写体領域に分割し、前記飽和領域が対応する前記被写体領域を隣接する同一被写体の前記被写体領域に併合して修正する領域分割ステップと、
修正した前記被写体領域中の前記飽和領域に対応する画素の飽和した色信号情報の強度を当該被写体領域中の前記非飽和領域に対応する画素の色信号情報の強度から被写体色を復元する被写体色推定ステップと
復元した前記被写体色から前記被写体の光沢度を推定する光沢度推定ステップと
を有する質感復元方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像の質感を再現する質感検出装置に関するものである。
【背景技術】
【０００２】
質感検出装置では、入力された画像に対し、画像内の被写体の質感を判別し、判別情報をもとに映像情報の質感を向上させている。例えば特許文献１には、単一色の物体に対して露出を変えて撮影した複数枚の画像から生成したダイナミックレンジの広い画像から輝度値の歪度を算出し、輝度値の歪度に基づいて光沢を評価する装置が開示されている。また、例えば特許文献２には、処理対象の画像データに光沢部分が有るか否かについて、光沢部分を予め学習しておくことにより、判定精度を向上させる装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＷＯ２０１１−０５８８２３公報
【特許文献２】特開２０１３−６５２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の質感検出装置では、光沢部分を評価するために、異なる露出の画像を複数枚撮影して生成したダイナミックレンジの広い画像を必要とするので、与えられた１枚の画像から真の被写体色および光沢度を算出するのが難しいという課題があった。
【０００５】
また、従来の質感検出装置では、光沢部分の有無の判定を事前学習することが必要となるので、事前学習する十分な時間がとれない複雑なシーンを撮影した画像において、真の被写体色および光沢度を算出するのが難しいという課題があった。
【０００６】
この発明は、このような課題を解決するためになされたものであり、複雑なシーンを撮影した画像であっても、１枚のデジタル画像から事前学習を行うことなく、真の被写体色および光沢度を算出し、質感の高い画像を再現する付加情報を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る質感検出装置は、デジタル画像の画素を構成する少なくとも１つの色信号情報の強度が飽和した画素を含む飽和領域と飽和した画素を含まない非飽和領域とを検出する飽和領域検出部と、デジタル画像中の被写体を色信号情報に基づいて検出して被写体領域に分割し、飽和領域が対応する被写体領域を隣接する同一被写体の被写体領域に併合して修正する領域分割部と、修正した被写体領域中の飽和領域に対応する画素の飽和した色信号情報の強度を当該被写体領域中の非飽和領域に対応する画素の色信号情報の強度から被写体色を復元する被写体色推定部とを備えた。
【０００８】
また、この発明に係る質感復元装置は、デジタル画像の画素を構成する少なくとも１つの色信号情報の強度が飽和した画素を含む飽和領域と飽和した画素を含まない非飽和領域とを検出する飽和領域検出部と、デジタル画像中の被写体を色信号情報に基づいて検出して被写体領域に分割し、飽和領域が対応する被写体領域を隣接する同一被写体の被写体領域に併合して修正する領域分割部と、修正した被写体領域中の飽和領域に対応する画素の飽和した色信号情報の強度を当該被写体領域中の非飽和領域に対応する画素の色信号情報の強度から被写体色を復元する被写体色推定部と復元した被写体色から被写体の光沢度を推定する光沢度推定部とを備えた。
【発明の効果】
【０００９】
この発明によれば、デジタル画像中の画素の色信号情報の強度が飽和した被写体領域を検出し、飽和領域を本来属するべき被写体領域に併合して、併合した被写体領域内の非飽和領域の画素情報を参照して飽和領域の真の被写体色を推定するようにしたので、複雑なシーンを撮影した画像であっても、１枚のデジタル画像から事前学習を行うことなく、質感の高い画像を再現する付加情報を提供することができる効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１に係る質感検出装置および質感復元装置の構成の一例を示すブロック図である。
【図２】この発明の実施の形態１に係る質感検出装置および質感復元装置の処理データの一例を示す説明図である。
【図３】この発明の実施の形態１に係る質感検出装置の飽和領域検出部の動作の一例を示すフローチャートである。
【図４】この発明の実施の形態１に係る質感検出装置の領域分割部の動作の一例を示すフローチャートである。
【図５】この発明の実施の形態１に係る質感検出装置の被写体色真値推定部の動作の一例を示すフローチャートである。
【図６】この発明の実施の形態１に係る質感検出装置の被写体色真値推定部の動作の変形例を示すフローチャートである。
【図７】この発明の実施の形態１に係る質感検出装置の光沢度算出部の動作の一例を示すフローチャートである。
【図８】この発明の実施の形態１に係る質感検出装置および質感復元装置の適用例を示す説明図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、この発明の実施の形態１に係る質感検出装置および質感復元装置の構成の一例を示すブロック図である。この発明の実施の形態１に係る質感検出装置１０は、飽和領域検出部１１と領域分割部１２と被写体色真値推定部１３とを備える。また、この発明の実施の形態１に係る質感復元装置１００は、この質感検出装置１０と光沢度算出部１４とを備える。
【００１２】
以下、この発明の実施の形態１に係る質感検出装置および質感復元装置には、１つまたは複数の色チャンネルで表現されるデジタル画像、例えばＲＧＢチャンネルで表現されるデジタル画像を入力し、このデジタル画像のＲＧＢチャンネルの画素を参照して画像内の物体の質感を検出する処理、また質感復元装置は質感検出装置の検出結果を使用してさらに光沢度を計算して画像内の物体の質感を復元する処理を行うものとして説明する。質感復元装置において、前段に当たる質感検出処理部分の動作は質感検出装置の処理動作と共通であるため、質感検出装置および質感復元装置を合わせて説明していく。よって、質感検出装置の処理動作の説明は、質感復元装置の処理動作の説明にも対応している。
【００１３】
まず、飽和領域検出部１１は、入力されるデジタル画像の色チャンネルの画素のうち、少なくとも１チャンネルの値が最大値をとるものを飽和画素として抽出し、飽和画素と非飽和画素がそれぞれまとまった領域である飽和領域と非飽和領域を検出するとともに、検出した各領域にラベル付けして分類する。
【００１４】
図２は、この発明の実施の形態１に係る質感検出装置および質感復元装置の処理データの一例を示す説明図である。質感検出装置および質感復元装置の処理過程で参照する各種データを（ａ）から（ｅ）に示すが、個々の図は各処理部の処理内容を説明する中で参照する。
【００１５】
図において、図２（ａ）は、この発明の実施の形態１に係る質感検出装置に入力されるデジタル画像の一例を示す画像である。ここで、画像はＲＧＢチャンネルで表され、各チャンネルの画素を構成する色信号情報の強度の最大値は、各チャンネルの表現ビット数に依存し、当該チャンネルがＮビット画像の場合、最大値は２Ｎ−１である。例えば、Ｒチャンネルの表現ビット数が８ビットであれば、最大値は２５５となる。この最大値以上をとる画素を飽和画素、最大値未満の画素を非飽和画素として判定する。なお、最大値の画素値をとるものだけを飽和画素と判定するだけでなく、例えば２５０を飽和閾値として設定し、この飽和閾値以上の画素を飽和画素、飽和閾値未満の画素を非飽和画素として判定するようにしてもよい。また、チャンネルごとに異なる飽和閾値を設定してもよく、最大値未満に設定した飽和閾値の画素を飽和画素または非飽和画素のいずれに含むものとして扱うかについては、事前に取り決めておけばよい。
【００１６】
図２（ｂ）は、この発明の実施の形態１に係る質感検出装置の飽和領域検出部が検出した飽和領域の一例を示す飽和領域マップである。ここで、飽和領域マップは、飽和領域検出部１１が例えば当該画素が飽和画素（例えば値１）か非飽和画素（例えば値０）かの区別を表現した２値マップとして生成したものである。なお、図２（ａ）の元のデジタル画像の被写体に対応して被写体の輪郭を破線で示しているが、実際には非飽和領域（値０）の画素である。
【００１７】
ここで、この飽和領域マップを２値画像とみなしてノイズの除去を行ってもよい。具体的なノイズ除去処理として、例えば膨張収縮処理を適用し、２値マップの画素について、画素自身が１または８近傍（または４近傍）画素のいずれかが１のとき、画素を１として外側に１画素分広げる膨張処理と、画素自身が０または８近傍（または４近傍）画素のいずれかが０のとき、画素を０として内側に１画素分縮める収縮処理を組み合わせて適用する。このように、ノイズを除去して２値マップを補正することによって、飽和していない通常画素が誤って飽和画素として扱われることを抑制することができる。なお、ノイズ除去処理は、膨張収縮処理に限定されず、他の方法でノイズ除去を行ってもよい。
【００１８】
以下では、飽和領域マップ上で隣接する同一値の画素のまとまりを領域とし、飽和画素のまとまりを飽和領域、非飽和画素のまとまりを非飽和領域と称する。
【００１９】
図２（ｃ）は、この発明の実施の形態１に係る質感検出装置の飽和領域検出部がラベル付けして分類した飽和領域の一例を示す領域ラベルマップである。ここで示した領域ラベルマップは、飽和領域検出部１１が非飽和領域も含めて各領域に領域ラベルを付与したマップとして生成したものである。この領域ラベルマップは、非飽和領域に領域ラベル１、飽和領域に領域ラベル２が付与された例である。この飽和領域マップは、２値マップにおいて隣接する飽和または非飽和を示す同一値の画素に対して同じ番号を割り振ることで得られる。同一値の領域であっても、異なる値をもつ領域に隔てられて接しない場合は、異なる領域と分類し、異なる領域ラベルが割り振られる。なお、図２（ａ）の元のデジタル画像の被写体に対応して被写体の輪郭を破線で示しているが、実際には非飽和領域（領域ラベル１）の画素である。
【００２０】
ここで、領域ラベルを付与した領域ラベルマップを参照し、例えば領域を構成する画素数が少ない微小領域を誤検出によるノイズとして除去して隣接する領域に組み入れる補正処理を行ってもよい。このような補正処理により飽和領域マップおよび領域ラベルマップが補正される。なお、この補正処理は、先に説明した飽和領域マップに対するノイズの除去の段階で、領域ラベルを付与する前に行っても構わない。これらの補正処理を一段階で行うか、二段階で行うかによらず、ノイズを除去して２値マップを補正することによって、通常画素が誤って飽和画素として扱われることを抑制する効果が期待できる。
【００２１】
次に、領域分割部１２は、入力されるデジタル画像に基づいて被写体の領域を抽出し、飽和領域検出部１１が検出した各飽和領域を当該飽和領域が含まれる被写体の領域に併合して領域を分割する。
【００２２】
図２（ｄ−１）は、この発明の実施の形態１に係る質感検出装置の領域分割部が分割した被写体領域の一例を示す領域併合前の領域分割マップである。ここで、領域分割マップは、領域分割部１２が例えばデジタル画像のＲＧＢチャンネルの色信号情報から変換した色相、彩度、輝度の信号情報により、画像を被写体ごとの領域に分割し、被写体領域にラベル付けしたマップとして生成したものである。例えば、図２（ｄ−１）において、図２（ａ）の元のデジタル画像を５つの被写体領域（領域ラベル１〜５）に分割している。なお、ＲＧＢチャンネルの色信号情報と色相、彩度、輝度の信号情報は、相互に変換が可能である。
【００２３】
図２（ｄ−２）は、この発明の実施の形態１に係る質感検出装置の領域分割部が分割した被写体領域の一例を示す領域併合後の領域分割マップである。ここで、先に説明した飽和領域検出部１１が検出する飽和領域は、本来の被写体領域とは一体に対応せず、独立した別の被写体領域として誤検出される傾向がある。よって、領域分割マップは、領域分割部１２が飽和領域検出部１１で検出された飽和領域ごとに、当該飽和領域がその周辺から本来属すべき被写体領域を判定し、その属すべき被写体領域に併合した被写体領域となるように誤検出を修正したマップとして更新したものである。例えば、図２（ｄ−２）において、図２（ｄ−１）の領域ラベル３の被写体領域が領域ラベル５の被写体領域に併合されている。
【００２４】
さらに、被写体色真値推定部１３は、入力されるデジタル画像と飽和領域検出部１１が生成した飽和画素の領域情報と領域分割部１２が生成した領域分割マップとに基づいて飽和画素の領域の被写体の色信号情報を真の被写体色に修正する。非飽和画素の領域の飽和していない被写体の色信号情報は、そのまま真の被写体色となる。
【００２５】
被写体色真値推定部１３における被写体色の真値推定の変形例としては、次のような方法もある。飽和領域の飽和画素の色相、彩度を同一被写体領域内の一定範囲内の非飽和領域の色相、彩度の平均値で補間する。次に、飽和領域の飽和画素の輝度をその飽和画素の非飽和チャンネルの値と、平均値で補間した飽和領域の飽和画素の色相、輝度とから輝度を推定する。
【００２６】
質感検出装置１０の後段の光沢度算出部１４は、質感復元装置１００のみに関わる構成である。光沢度算出部１４は、被写体色真値推定部１３が元のデジタル画像に対して修正した真の被写体色から光沢度を算出する。
【００２７】
図２（ｅ）は、この発明の実施の形態１に係る質感検出装置の光沢度算出部が算出した光沢度の一例を示す光沢度マップである。ここで、光沢度マップは、光沢度算出部１４が領域分割部１２の領域分割マップの領域に対応して光沢度をマップとして算出したものである。
【００２８】
次に、質感検出装置および質感復元装置の動作について説明する。
【００２９】
まず、図１において、飽和領域検出部１１は、入力された元のデジタル画像から飽和領域を検出して飽和領域マップを生成するとともに、領域にラベル付けして領域ラベルマップを生成する。このとき、生成した飽和領域マップには、ノイズ除去処理を適用してもよい。
【００３０】
領域分割部１２は、元のデジタル画像（図２（ａ））と飽和領域マップ（図２（ｂ））と領域ラベルマップ（図２（ｃ））から領域分割マップ（図２（ｄ））を生成する。このとき、まず元のデジタル画像（図２（ａ））から生成した被写体領域を示す領域分割マップを生成し、次に飽和領域マップに示される飽和領域に対応する被写体領域を本来属すべき被写体領域に併合して領域分割マップを修正する。
【００３１】
被写体色真値推定部１３は、元のデジタル画像（図２（ａ））と飽和領域マップ（図２（ｂ））と領域分割マップ（図２（ｄ））から飽和領域の被写体色を修正した真の被写体色マップを生成する。
【００３２】
光沢度算出部１４は、真の被写体色マップから光沢度マップ（図２（ｅ））を計算し、出力する。
【００３３】
次に、図３は、この発明の実施の形態１に係る質感検出装置の飽和領域検出部の動作の一例を示すフローチャートである。図３に示すフローチャートを参照しながら、飽和領域検出部１１の動作について説明する。
【００３４】
まず、ステップＳＴ１０１では、デジタル画像中の少なくとも１チャンネルが飽和閾値以上であるすべての飽和画素を検出し、飽和領域マップを生成する。
【００３５】
次に、ステップＳＴ１０２では、ノイズの除去を行う。ノイズにより誤って通常画素を飽和画素として検出しないようにするための処理であって、例えば膨張収縮処理を適用する。ノイズ除去に伴い、飽和領域マップを修正する。
【００３６】
最後に、ステップＳＴ１０３では、各飽和画素のまとまりに対し、ラベル付けを行い、領域ラベルマップを生成する。ラベル付けは、隣接する画素に対し同じ番号を振る処理である。ラベル付けにより、複数の飽和領域が識別される（図２（ｂ）の領域１、２）。
【００３７】
この後、例えば微小領域に関してはノイズとして除去する処理ステップを設けてもよい（図示せず）。ただし、ステップＳＴ１０２のノイズ除去処理と区別せず、この最初のノイズ除去の段階で同時に適用してもよい。微小な領域として、例えば領域を構成する画素数が所定数より少ない領域を検出し、ノイズとして除去すればよい。
【００３８】
図４は、この発明の実施の形態１に係る質感検出装置の領域分割部の動作の一例を示すフローチャートである。図４に示すフローチャートを参照しながら、領域分割部１２の動作について説明する。
【００３９】
まず、ステップＳＴ２０１では、デジタル画像の領域分割を行い、領域分割マップを生成する。例えば、平均値シフト法などの手法を用いればよい（図２（ｃ））。
【００４０】
ステップＳＴ２０２では、飽和領域検出部１１で検出された飽和領域の有無を判定する。検出された飽和領域がなければ、「Ｎｏ」の分岐方向に進み、処理を終了する。一方、検出された飽和領域があれば、「Ｙｅｓ」の分岐方向に進み、ステップＳＴ２０３以降に処理を進める。
【００４１】
ステップＳＴ２０３〜ステップＳＴ２０９では、ステップＳＴ２０１で分割した結果を示した領域分割マップの修正を行う。多くの場合、飽和領域の領域分割が適切になされないため、飽和領域を含む被写体領域ごとに分割結果の修正を伴う。
【００４２】
ステップＳＴ２０３では、飽和領域である被写体領域を参照する。
【００４３】
ステップＳＴ２０４では、飽和領域に接する非飽和領域の画素を検出する。例えば、飽和領域内の各画素に対し、その周囲８画素を参照し、周囲８画素にある非飽和画素をすべて検出する。画素周囲に検出された非飽和画素数が０でない画素は、領域の境界（輪郭）に位置する画素であり、非飽和領域に接している。
【００４４】
ステップＳＴ２０５では、ステップＳＴ２０４にて検出した非飽和画素の被写体領域番号を参照し、被写体番号ごとに画素数を計算する。図２（ｃ）の例では、飽和領域に隣接する画素数は、多い方から非飽和領域５、２、４の順になっている。この画素数は、接している領域間の境界長を示している。
【００４５】
ステップＳＴ２０６では、飽和画素領域と非飽和画素領域の境界部分の勾配を元のデジタル画像データから計算する。勾配は、例えばＳｏｂｅｌフィルタを適用し、階調差を算出すればよい。このとき、例えば領域の境界に基づく特定の方向（例えば、境界方向に直角な方向など）の勾配のみを判定に適用してもよい。また、例えば対象画素の８近傍（または４近傍）の各方向の勾配の最大値を判定に適用してもよい。図２（ａ）の例では、図２（ｃ）における領域５と領域３間の勾配の値は小さく、領域２と領域３間、領域４と領域３間の勾配は大きくなる。
【００４６】
ステップＳＴ２０７では、ステップＳＴ２０６にて計算した境界部の勾配に基づいて、飽和領域の本来属すべき被写体領域を判定する。例えば、隣接領域ごとに境界部の勾配の平均値を計算し、勾配平均値が最も小さい被写体領域に属すと判定する。図２（ｄ−１）の場合、領域５（非飽和領域）と領域３（飽和領域）間の勾配が最も小さいため、領域３が本来属すべき被写体領域は領域５と判定する。
【００４７】
ここで、被写体領域の判定方法の第１の変形例として、例えばステップＳＴ２０５で計算した領域ごとの飽和領域に接する画素数の大小だけに基づいて判定してもよい。図２（ｄ−１）の場合、領域５に最も多く接しているため、領域５に飽和領域である領域３が併合されるべきと判定する。このとき、ステップＳＴ２０６における勾配を計算する処理は省略してもよい。
【００４８】
また、第２の変形例として、例えば境界勾配の逆数を足し合わせて評価関数の最も大きい被写体領域に属すると判定してもよい。この場合、境界勾配が小さく、かつ接している画素数の多い被写体領域が選択されることになるため、接している面積・境界勾配の両方を考慮することができる。このとき、ステップＳＴ２０５における隣接領域別の画素数を計算する処理は省略してもよい。
【００４９】
ステップＳＴ２０８では、ステップＳＴ２０７にて判定した結果に基づいて、飽和領域の被写体領域を当該飽和領域の本来属すべきと判定した被写体領域に併合する。併合前の領域分割マップである図２（ｄ−１）が、ステップＳＴ２０７の判定結果に基づいて、併合後の領域分割マップである図２（ｄ−２）に示されるように領域が併合される。
【００５０】
ステップＳＴ２０９では、すべての飽和領域の処理を完了したか判定する。すべての飽和領域の処理を完了しておらず、未処理の飽和領域が残っていれば、「Ｎｏ」の分岐方向に進み、次の飽和領域に対してステップＳＴ２０３からこのステップＳＴ２０９までの処理を繰り返す。一方、すべての飽和領域の処理を完了していれば、「Ｙｅｓ」の分岐方向に進み、処理を終了する。
【００５１】
図５は、この発明の実施の形態１に係る質感検出装置の被写体色真値推定部の動作の一例を示すフローチャートである。次に図５に示すフローチャートを参照しながら被写体色真値推定部１３の動作について説明する。
【００５２】
まず、ステップＳＴ３０１では、飽和領域を併合した非飽和領域が混在する被写体領域ごとに、飽和領域の飽和画素の非飽和チャンネルの色信号情報とこの非飽和チャンネルに対応する非飽和領域のチャンネルの色情報信号に基づいて、飽和画素の飽和したチャンネルの色信号情報を推定する。例えば、飽和領域の画素でＲチャンネルの色信号情報が飽和している場合、飽和したＲチャンネル以外の非飽和のＧ、Ｂチャンネルの色信号情報が、非飽和領域内のＧ、Ｂチャンネルの色信号情報の２倍の値になっていた場合、飽和したＲチャンネルの色信号情報も非飽和領域内のＲチャンネルの色信号情報の２倍の値になっているとみなして、Ｒチャンネルの本来の色信号情報の強度として算出する。なお、飽和領域の画素で飽和しているのがＧチャンネルまたはＢチャンネルであるときも、その飽和チャンネル以外の非飽和チャンネルの色信号情報から飽和チャンネルの本来の色信号情報を同様に算出できることは言うまでもない。
【００５３】
この算出した値に基づいて、真の被写体色マップを生成する。真の被写体色マップは、元のデジタル画像の画素がとる０〜２５５の範囲に収まらないため、この元のデジタル画像より各画素の表現精度が高いデジタル画像、またはデータ配列として生成する。
【００５４】
また、図６は、この発明の実施の形態１に係る質感検出装置の被写体色真値推定部の動作の変形例を示すフローチャートである。次に図６に示すフローチャートを参照しながら被写体色真値推定部１３の動作について説明する。
【００５５】
まず、ステップＳＴ４０１では、飽和領域を併合した非飽和領域が混在する被写体領域について、飽和領域の色相を非飽和領域の隣接画素の色相に基づいて色相の推定値を算出する。これは、例えば隣接画素群の色相の平均値を飽和領域全体の色相としてもよいし、飽和領域内の画素ごとに隣接画素との距離を考慮して重みを付けて色相を計算してもよい。
【００５６】
次に、ステップＳＴ４０２では、飽和領域の彩度を非飽和領域の隣接画素の彩度に基づいて彩度の推定値を算出する。これは、例えば隣接画素群の彩度の平均値を飽和領域全体の彩度としてもよいし、飽和領域内の画素ごとに隣接画素との距離を考慮して重みを付けて彩度を計算してもよい。
【００５７】
ステップＳＴ４０３では、飽和領域の画素で飽和していない非飽和チャンネルの色信号情報とステップＳＴ４０１、ステップＳＴ４０２において計算した色相、彩度の各推定値とに基づいて、飽和領域の画素で飽和した飽和チャンネルの色信号情報に対応する輝度を推定する。推定して揃った色相、彩度、輝度の信号情報からＲＧＢチャンネルの色信号情報に逆変換して真の被写体色マップを生成する。
【００５８】
質感検出装置１０の被写体色真値推定部１３が実行する真の被写体色マップを生成する処理は、図５および図６のフローチャートで説明した処理のいずれによってもよい。また、他の処理を適用して真の被写体色を推定しても構わない。
【００５９】
この後、質感検出装置１０の後段に光沢度算出部１４を備える質感復元装置１００では、光沢度算出部１４が被写体の本来の光沢度を計算する。
【００６０】
図７は、この発明の実施の形態１に係る質感検出装置の光沢度算出部の動作の一例を示すフローチャートである。次に図７に示すフローチャートを参照しながら光沢度算出部１４の動作について説明する。
【００６１】
ステップＳＴ５０１では、真の被写体色マップと領域分割マップとから被写体の本来の光沢度を計算する。例えば、領域ごとに色信号情報のヒストグラムを算出し、その歪度を光沢度とする。
【００６２】
このように、この発明の実施の形態１の質感検出装置では、デジタル画像の画素を構成する少なくとも１つの色信号情報の強度が飽和した画素を含む飽和領域と飽和した画素を含まない非飽和領域とを検出する飽和領域検出部と、デジタル画像中の被写体を色信号情報に基づいて検出して被写体領域に分割し、飽和領域が対応する被写体領域を隣接する同一被写体の被写体領域に併合して修正する領域分割部と、修正した被写体領域中の飽和領域に対応する画素の飽和した色信号情報の強度を当該被写体領域中の非飽和領域に対応する画素の色信号情報の強度から被写体色を復元する被写体色推定部とを備えることで、複雑なシーンを撮影した１枚の画像からでも学習等の事前作業なしに真の被写体色を算出している。
【００６３】
また、この発明の実施の形態１の質感復元装置では、質感検出装置の構成に加え、復元した前記被写体色から前記被写体の光沢度を推定する光沢度推定部を備えることで、複雑なシーンを撮影した１枚の画像からでも学習等の事前作業なしに被写体の光沢度を算出している。
【００６４】
図８は、この発明の実施の形態１に係る質感検出装置および質感復元装置の適用例を示す説明図である。この発明の実施の形態１に係る質感検出装置および質感復元装置では、例えば図８（ａ）のように質感検出装置を汎用計算機または組み込み装置に適用して、被写体の真の被写体色と被写体領域を算出し、画像および真の被写体色マップと領域分割マップを画像の付加情報として外部機器であるディスプレイ（表示機器）またはプリンター（印刷機器）に送ることで、光沢度算出部相当の処理部を内蔵したその外部機器が真の被写体色マップを参照して画像を処理して算出した光沢度に応じた質感の高い画像が得られるシステムを構成できる。なお、画像は、質感検出装置を経由してディスプレイまたはプリンターに送る形態としてもよい。また、真の被写体色マップと領域分割マップを多重化して１本の信号線で送る形態としてもよく、または画像と少なくとも１つのマップを多重化する形態としても構わない。
【００６５】
また、同様に、例えば図８（ｂ）のように質感復元装置を汎用計算機または組み込み装置に適用して、被写体の光沢度を評価し、画像および光沢度マップを画像の付加情報として外部機器であるディスプレイ（表示機器）またはプリンター（印刷機器）に送ることで、その外部機器が光沢度マップを参照して画像を処理して光沢度に応じた質感の高い画像が得られるシステムを構成できる。なお、画像は、質感復元装置を経由してディスプレイまたはプリンターに送る形態としてもよい。また、光沢度マップと画像を多重化して１本の信号線で送る形態としてもよい。
【００６６】
なお、これら組み込み機器の形態では、外部機器であるディスプレイ（表示機器）またはプリンター（印刷機器）相当の機能部を内蔵した一体型の機器として実現してもよい。
【００６７】
また、この発明の実施の形態１に係る質感検出装置および質感復元装置は、これらの処理を行う専用のハードウェアチップで処理させてもよいし、また専用チップまたは汎用チップにプログラムで実行させてもよい。また、質感検出装置または質感復元装置と外部機器とを通信で結ぶオンラインの形態として図示しているが、画像を含めたこれらの交換情報を記録媒体に記録してオフラインで提供する形態を採っても構わない。
【００６８】
また、この発明の実施の形態１に係る質感検出装置および質感復元装置は、入力するデジタル画像をＲＧＢチャンネルの画像として説明したが、他の色空間のチャンネルにより表現された画像に対しても、飽和画素の飽和チャンネルの推定が同様に実行できることはいうまでもない。
【００６９】
この質感検出装置および質感復元装置のプリンター用途への応用では、例えば被写体領域ごとに算出した光沢度に応じて、印刷パターンを変更することによる質感強調処理を加えてもよい。また、同様にディスプレイ用途への応用でも、例えば被写体領域ごとに算出した光沢度に応じて、表示パターンを変更することによる質感強調処理を加えてもよい。
【００７０】
以上のように、この発明の質感検出装置によれば、デジタル画像中の画素の色信号情報の強度が飽和した被写体領域を検出し、飽和領域を本来属するべき被写体領域に併合して、併合した被写体領域内の非飽和領域の画素情報を参照して飽和領域の真の被写体色を推定するようにしたので、複雑なシーンを撮影した画像であっても、１枚のデジタル画像から事前学習を行うことなく、質感の高い画像を再現するために被写体領域および真の被写体色をデジタル画像に関する付加情報として提供することができる効果を奏する。
【００７１】
また、この発明の質感復元装置によれば、デジタル画像中の画素の色信号情報の強度が飽和した被写体領域を検出し、飽和領域を本来属するべき被写体領域に併合して、併合した被写体領域内の非飽和領域の画素情報を参照して飽和領域の真の被写体色を推定して光沢度を計算するようにしたので、複雑なシーンを撮影した画像であっても、１枚のデジタル画像から事前学習を行うことなく、質感の高い画像を再現するために光沢度をデジタル画像に関する付加情報として提供することができる効果を奏する。
【符号の説明】
【００７２】
１０  質感検出装置、１１  飽和領域検出部、１２  領域分割部、１３  被写体色真値推定部、１４  光沢度算出部、１００  質感復元装置。
【図１】
2015115628.tif 000003
【図２】
2015115628.tif 000004
【図３】
2015115628.tif 000005
【図４】
2015115628.tif 000006
【図５】
2015115628.tif 000007
【図６】
2015115628.tif 000008
【図７】
2015115628.tif 000009
【図８】
2015115628.tif 000010