(57)【要約】【課題】画像の色をより柔軟に編集することができる画像編集装置、画像編集方法及び画像編集プログラムを提供する。【解決手段】画像編集装置は、対象を撮影した画像を、対象の反射率を表す反射率画像と、対象の陰影を表す陰影画像とに分解する分解部と、反射率画像に含まれる複数の色の画素数又は前記複数の色の類似色の画素数に基づいて、複数の代表色を選択する選択部と、複数の代表色のいずれかを異なる色に変更したことに基づいて、反射率画像から、反射率画像に含まれる複数の色のいずれかを変更した第１変更画像を生成する第１生成部と、第１変更画像と、陰影画像とを合成して合成画像を生成する第２生成部と、を備える。【選択図】図１
2019208125.tif 000002
【特許請求の範囲】
【請求項１】
対象を撮影した画像を、前記対象の反射率を表す反射率画像と、前記対象の陰影を表す陰影画像とに分解する分解部と、
前記反射率画像に含まれる複数の色の画素数又は前記複数の色の類似色の画素数に基づいて、複数の代表色を選択する選択部と、
前記複数の代表色のいずれかを異なる色に変更したことに基づいて、前記反射率画像から、前記反射率画像に含まれる複数の色のいずれかを変更した第１変更画像を生成する第１生成部と、
前記第１変更画像と、前記陰影画像とを合成して合成画像を生成する第２生成部と、
を備える画像編集装置。
【請求項２】
前記複数の代表色の数の増加を抑制しつつ、前記複数の代表色によって前記反射率画像に含まれる前記複数の色が代表されるように、前記複数の代表色の数を決定する決定部をさらに備える、
請求項１に記載の画像編集装置。
【請求項３】
前記第１生成部は、前記複数の代表色を互いに独立に変更したことに基づいて、前記反射率画像から前記第１変更画像を生成する、
請求項１又は２に記載の画像編集装置。
【請求項４】
前記第１生成部は、前記陰影画像の色の変更に基づいて、前記陰影画像から、前記陰影画像の色を変更した第２変更画像を生成し、
前記第２生成部は、前記第１変更画像と、前記第２変更画像とを合成して、前記合成画像を生成する、
請求項１から３のいずれか一項に記載の画像編集装置。
【請求項５】
前記反射率画像、前記陰影画像及び前記画像と、前記第１変更画像、前記第２変更画像及び前記合成画像と、を比較可能に表示する表示部をさらに備える、
請求項４に記載の画像編集装置。
【請求項６】
前記表示部は、少なくとも前記第１生成部により前記第１変更画像の生成が行われた場合に、前記第１変更画像及び前記合成画像を更新して表示し、前記第２変更画像の生成が行われた場合に、前記第２変更画像及び前記合成画像を更新して表示する、
請求項５に記載の画像編集装置。
【請求項７】
対象を撮影した画像を、前記対象の反射率を表す反射率画像と、前記対象の陰影を表す陰影画像とに分解することと、
前記反射率画像に含まれる複数の色の画素数又は前記複数の色の類似色の画素数に基づいて、複数の代表色を選択することと、
前記複数の代表色のいずれかを異なる色に変更したことに基づいて、前記反射率画像から、前記反射率画像に含まれる複数の色のいずれかを変更した第１変更画像を生成することと、
前記第１変更画像と、前記陰影画像とを合成して合成画像を生成することと、
を含む画像編集方法。
【請求項８】
画像編集装置に備えられたコンピュータを、
対象を撮影した画像を、前記対象の反射率を表す反射率画像と、前記対象の陰影を表す陰影画像とに分解する分解部、
前記反射率画像に含まれる複数の色の画素数又は前記複数の色の類似色の画素数に基づいて、複数の代表色を選択する選択部、
前記複数の代表色のいずれかを異なる色に変更したことに基づいて、前記反射率画像から、前記反射率画像に含まれる複数の色のいずれかを変更した第１変更画像を生成する第１生成部、及び
前記第１変更画像と、前記陰影画像とを合成して、合成画像を生成する第２生成部、
として機能させる画像編集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像編集装置、画像編集方法及び画像編集プログラムに関する。
【背景技術】
【０００２】
従来、画像の領域の指定を受け付けて、指定された領域の色を変更することで画像を編集する画像編集装置が用いられている。領域の指定は自由に行うことができ、指定された領域の色の変更も自由に行うことができることがある。
【０００３】
下記非特許文献１には、ｋ−ｍｅａｎｓ法を応用して画像を代表する色である「パレットカラー」を抽出し、パレットカラーを変更することにより画像全体の色の編集を行う技術が開示されている。ここで、パレットカラーの変更は、パレットカラーの輝度の順序を変えないように行われる。これにより、たとえば影の部分の色を明るい色に変更した場合に、影の部分が周囲より明るくなって不自然な画像となることが防止される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Huiwen Chang, Ohad Fried, Yiming Liu, Stephen DiVerdi, and Adam Finkel-stein, "Palette-based Photo Recoloring," ACM Transactions on Graphics (Proc. SIGGRAPH) 34(4), July 2015.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１に記載の技術によって、画像の領域の指定が不要となり、画像を代表する色が抽出されることで、画像編集に不慣れな者であっても容易に画像の編集を行うことができるようになる。しかしながら、非特許文献１に記載の技術のように、パレットカラーの輝度の順序に制限が存在すると、影ではなく物体自体の暗い色を明るい色に変更した場合に、変更前から明るかった色がさらに明るくなることとなり、画像に白飛びが発生することがある。逆に物体自体が明るい色を暗い色に変更した場合に、変更前から暗かった色がさらに暗くなることとなり、画像に黒つぶれが発生することがある。そのため、非特許文献１に記載の技術では、画像の色の編集に対して実質的に制限があった。
【０００６】
そこで、本発明は、画像の色をより柔軟に編集することができる画像編集装置、画像編集方法及び画像編集プログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る画像編集装置は、対象を撮影した画像を、対象の反射率を表す反射率画像と、対象の陰影を表す陰影画像とに分解する分解部と、反射率画像に含まれる複数の色の画素数又は複数の色の類似色の画素数に基づいて、複数の代表色を選択する選択部と、複数の代表色のいずれかを異なる色に変更したことに基づいて、反射率画像から、反射率画像に含まれる複数の色のいずれかを変更した第１変更画像を生成する第１生成部と、第１変更画像と、陰影画像とを合成して合成画像を生成する第２生成部と、を備える。
【０００８】
この態様によれば、画像を反射率画像と陰影画像に分解し、反射率画像の代表色の変更に基づいて第１変更画像を生成し、第１変更画像と陰影画像を合成して合成画像を生成することで、陰影と独立して画像の色を編集することができ、画像の色をより柔軟に編集することができる。例えば、変更前から明るかった色をさらに明るく変更したとしても、画像に白飛びが発生することが防止される。また、変更前に明るかった色を暗く変更したとしても、画像に黒つぶれが発生することが防止される。
【０００９】
上記態様において、複数の代表色の数の増加を抑制しつつ、複数の代表色によって反射率画像に含まれる複数の色が代表されるように、複数の代表色の数を決定する決定部をさらに備えてもよい。
【００１０】
反射率画像の複数の代表色の数をより多くすると、複数の代表色によって反射率画像に含まれる複数の色をより良く代表することができるようになり、結果的に微妙な調整が可能となるが、画像の色のバランスをとることが難しくなり、編集時間を要するようになる。一方、反射率画像の複数の代表色の数をより少なくすると、画像の色の編集時間が短くなるが、複数の代表色によって反射率画像に含まれる複数の色をより良く代表することが難しくなる。この態様によれば、決定部により、複数の代表色の数が適切に決定され、不慣れな者であっても容易に画像の編集を行うことができるようになる。
【００１１】
上記態様において、第１生成部は、複数の代表色を互いに独立に変更したことに基づいて、反射率画像から第１変更画像を生成してもよい。
【００１２】
この態様によれば、反射率画像の複数の代表色を互いに独立に変更したことに基づいて第１変更画像を生成することで、例えば複数の代表色の輝度の順序を保つように代表色を変更する場合と比較して、画像の色をより柔軟に編集することができる。
【００１３】
上記態様において、第１生成部は、陰影画像の色の変更に基づいて、陰影画像から、陰影画像の色を変更した第２変更画像を生成し、第２生成部は、第１変更画像と、第２変更画像とを合成して、合成画像を生成してもよい。
【００１４】
この態様によれば、陰影画像の色の変更に基づいて第２変更画像を生成し、第１変更画像と第２変更画像を合成して合成画像を生成することで、画像の一部の色を変更するだけでなく、画像全体の明るさや色を変更して、照明の変更を再現することができる。
【００１５】
上記態様において、反射率画像、陰影画像及び画像と、第１変更画像、第２変更画像及び合成画像と、を比較可能に表示する表示部をさらに備えてもよい。
【００１６】
この態様によれば、色を変更する前後の画像を比較可能に表示することで、どのような変更を行ったかを一目で把握でき、画像の色の編集がより円滑となるように支援することができる。
【００１７】
上記態様において、表示部は、少なくとも第１生成部により第１変更画像の生成が行われた場合に、第１変更画像及び合成画像を更新して表示し、第２変更画像の生成が行われた場合に、前記第２変更画像及び前記合成画像を更新して表示してもよい。
【００１８】
この態様によれば、反射率画像の代表色が変更された場合に、その変更に連動するように第１変更画像及び合成画像が更新されて表示され、代表色の変更により画像がどのように変化するかを一目で把握できる。また、陰影画像の色が変更された場合に、その変更に連動するように第２変更画像及び合成画像が更新されて表示され、陰影画像の変更により画像がどのように変化するかを一目で把握できる。これにより、画像の色の編集がより円滑となるように支援することができる。
【００１９】
本発明の他の態様に係る画像編集方法は、対象を撮影した画像を、対象の反射率を表す反射率画像と、対象の陰影を表す陰影画像とに分解することと、反射率画像に含まれる複数の色の画素数又は複数の色の類似色の画素数に基づいて、複数の代表色を選択することと、複数の代表色のいずれかを異なる色に変更したことに基づいて、反射率画像から、反射率画像に含まれる複数の色のいずれかを変更した第１変更画像を生成することと、第１変更画像と、陰影画像とを合成して合成画像を生成することと、を含む。
【００２０】
この態様によれば、画像を反射率画像と陰影画像に分解し、反射率画像の代表色の変更に基づいて第１変更画像を生成し、第１変更画像と陰影画像を合成して合成画像を生成することで、陰影と独立して画像の色を編集することができ、画像の色をより柔軟に編集することができる。
【００２１】
本発明の他の態様に係る画像編集プログラムは、画像編集装置に備えられたコンピュータを、対象を撮影した画像を、対象の反射率を表す反射率画像と、対象の陰影を表す陰影画像とに分解する分解部、反射率画像に含まれる複数の色の画素数又は複数の色の類似色の画素数に基づいて、複数の代表色を選択する選択部、複数の代表色のいずれかを異なる色に変更したことに基づいて、反射率画像から、反射率画像に含まれる複数の色のいずれかを変更した第１変更画像を生成する第１生成部、及び第１変更画像と、陰影画像とを合成して、合成画像を生成する第２生成部、として機能させる。
【００２２】
この態様によれば、画像を反射率画像と陰影画像に分解し、反射率画像の代表色の変更に基づいて第１変更画像を生成し、第１変更画像と陰影画像を合成して合成画像を生成することで、陰影と独立して画像の色を編集することができ、画像の色をより柔軟に編集することができる。
【発明の効果】
【００２３】
本発明によれば、画像の色をより柔軟に編集することができる画像編集装置、画像編集方法及び画像編集プログラムが提供される。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る画像編集装置の機能ブロックを示す図である。
【図２】本実施形態に係る画像編集装置の物理的構成を示す図である。
【図３】本発明の実施形態に係る画像編集装置により編集される画像の一例である。
【図４】本発明の実施形態に係る画像編集装置により画像から分解された反射率画像の一例である。
【図５】本発明の実施形態に係る画像編集装置により画像から分解された陰影画像の一例である。
【図６】本発明の実施形態に係る画像編集装置により生成された第１変更画像の一例である。
【図７】本発明の実施形態に係る画像編集装置により生成された第２変更画像の一例である。
【図８】本発明の実施形態に係る画像編集装置により生成された合成画像の一例である。
【図９】本発明の実施形態に係る画像編集装置により実行される画像編集処理の第１例のフローチャートである。
【図１０】本発明の実施形態に係る画像編集装置により表示される画像編集画面の一例である。
【図１１】本発明の実施形態に係る画像編集装置により実行される画像編集処理の第２例のフローチャートである。
【図１２】従来例の画像編集装置により編集される画像の一例である。
【図１３】従来例の画像編集装置により編集された画像の一例である。
【発明を実施するための形態】
【００２５】
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【００２６】
はじめに、従来例の画像編集装置による画像の色の編集と、その課題について説明する。図１２は、従来例の画像編集装置により編集される画像ＩＭＧ１の一例である。画像ＩＭＧ１は、黄土色のベッド、ベッドに置かれた２つの茶色のクッション、灰色のカーペット及び朱色のソファといった対象が撮影された画像である。
【００２７】
従来例の画像編集装置は、画像ＩＭＧ１の画素の色を、その色が用いられている回数に応じて重み付けしてＬａｂ空間等の色空間にプロットし、プロットした分布を例えば１６×１６×１６に離散化する。そして、最も重みの大きい点を第１の代表色として選択する。その後、色空間において第１の代表色と距離が近い点について重みを減ずる処理を行った後、２番目に重みの大きい点を第２の代表色として選択する。従来例の画像編集装置では、そのようにして５つの代表色を選択している。
【００２８】
従来例の画像編集装置によって、画像ＩＭＧ１から抽出された代表色は、輝度が高い順に、黄土色Ｃ１、灰色Ｃ２、濃い灰色Ｃ３、朱色Ｃ４及び茶色Ｃ５である。ここで、黄土色Ｃ１は、ベッドの色であり、灰色Ｃ２はカーペットの色であり、朱色Ｃ４はソファの色であり、茶色Ｃ５はクッションの色である。
【００２９】
ここで、濃い灰色Ｃ３は、カーペットのうち影が重なった部分の色である。このように、従来例の画像編集装置では、同一の対象の明るい部分の色と暗い部分の色を、異なる代表色として選択する場合がある。したがって、濃い灰色Ｃ３を明るくする際には同時に灰色Ｃ２や黄土色Ｃ１も明るくする必要があり、逆に灰色Ｃ２を暗くする際には濃い灰色Ｃ３、朱色Ｃ４、茶色Ｃ５をそれ以上に暗くしないと不都合が生じる。
【００３０】
従来例の画像編集装置は、代表色である黄土色Ｃ１、灰色Ｃ２、濃い灰色Ｃ３、朱色Ｃ４及び茶色Ｃ５いずれかの変更を受け付けて、これらの色の輝度の順序を保つように、全ての代表色の変更を行う。ここでは、朱色Ｃ４を白色に変更する例について説明する。
【００３１】
図１３は、従来例の画像編集装置により編集された画像ＩＭＧ１１の一例である。従来例の画像編集装置は、朱色Ｃ４を白色Ｃ１４に変更する指示を受け付けると、朱色Ｃ４より輝度の高い色である黄土色Ｃ１、灰色Ｃ２及び濃い灰色Ｃ３について、白色Ｃ１４よりも輝度が高くなるように、黄土色Ｃ１を明るい黄色Ｃ１１に変更し、灰色Ｃ２を明るいクリーム色Ｃ１２に変更し、濃い灰色Ｃ３をクリーム色Ｃ１３に変更する。なお、茶色Ｃ５は、そのまま変更されない。
【００３２】
従来例の画像編集装置により編集された画像ＩＭＧ１１では、代表色として選択された黄土色Ｃ１、灰色Ｃ２及び濃い灰色Ｃ３が黄色Ｃ１１、明るいクリーム色Ｃ１２及びクリーム色Ｃ１３に変更されたことで、白飛びが発生している。また、朱色Ｃ４を白色Ｃ１４に変更したことで、ソファの一部の色は白色Ｃ１４に変更されているが、影の部分は茶色Ｃ５に近い暗い朱色のまま変更されていない。
【００３３】
このように、従来例の画像編集装置は、複数の代表色の輝度の順序を保つように代表色の変更を行うため、輝度の低い色を輝度の高い色に変更した場合に、変更前から輝度が高かった色がさらに明るくなることとなり、画像に白飛びが発生することがある。また、明るい色を暗い色に変更した場合に、変更前から暗かった色がさらに暗くなることとなり、画像に黒つぶれが発生することがある。そのため、従来例の画像編集装置では、画像の色の編集に対して実質的に制限があった。
【００３４】
図１は、本発明の実施形態に係る画像編集装置１０の機能ブロックを示す図である。画像編集装置１０は、分解部１１、選択部１２、第１生成部１３、第２生成部１４、決定部１５、記憶部１６、入力部１０ｅ及び表示部１０ｆを備える。
【００３５】
分解部１１は、対象を撮影した画像を、対象の反射率を表す反射率画像と、対象の陰影を表す陰影画像とに分解する。分解部１１は、既存のアルゴリズムに基づいて、画像を反射率画像と陰影画像とに分解してよい。分解部１１は、例えば、Ｓ．Ｂｅｌｌ、外２名、”Intrinsic Images in the Wild”、ACM Transactions on Graphics (SIGGRAPH 2014)に記載された技術を用いて、画像を反射率画像（reflectance image）と陰影画像（shading image）とに分解してよい。分解部１１による画像の分解は、ＲＧＢ値を有する画素毎に行われてよく、画像のＲＧＢ値Ｉi（ｉはＲ，Ｇ，Ｂのいずれかを表す）は、反射率画像のＲＧＢ値Ｒiと、陰影画像のＲＧＢ値Ｓiとの積Ｉi＝Ｒi×Ｓiに分解されてよい。ただし、陰影画像は、グレースケール画像であってよい。
【００３６】
選択部１２は、反射率画像に含まれる複数の色の画素数又は反射率画像に含まれる複数の色の類似色の画素数に基づいて、複数の代表色を選択する。選択部１２は、反射率画像の画素の色を、その色が用いられている画素数に応じて重み付けしてＬａｂ空間等の色空間にプロットし、プロットした分布を例えば１６×１６×１６に離散化して、最も重みの大きい点を第１の代表色として選択してよい。また、「類似色」は、色空間において反射率画像に含まれる複数の色の近傍にある色であってよく、選択部１２は、１６×１６×１６に離散化した分布を平均化して、平均化した後に最も重みの大きい「類似色」を、第１の代表色として選択してよい。また、色空間において第１の代表色と距離が近い点について重みを減ずる処理を行った後、２番目に重みの大きい点を第２の代表色として選択してよい。選択部１２により選択される複数の代表色の数は、決定部１５により決定されてよい。
【００３７】
第１生成部１３は、複数の代表色のいずれかを異なる色に変更したことに基づいて、反射率画像から、反射率画像に含まれる複数の色のいずれかを変更した第１変更画像を生成する。第１生成部１３は、例えば、複数の代表色のいずれかを異なる色に変更する指示を入力部１０ｅにより受け付けて、反射率画像に含まれる複数の色のうち指示された色が変更されるように、反射率画像から第１変更画像を生成してよい。
【００３８】
第２生成部１４は、第１変更画像と、陰影画像とを合成して合成画像を生成する。第２生成部１４は、第１変更画像のＲＧＢ値Ｒ１i（ｉはＲ，Ｇ，Ｂのいずれかを表す）と、陰影画像のＲＧＢ値Ｓiとの積によって、合成画像のＲＧＢ値Ｉ１i＝Ｒ１i×Ｓiを算出してよい。
【００３９】
このように、画像を反射率画像と陰影画像に分解し、反射率画像の代表色の変更に基づいて第１変更画像を生成し、第１変更画像と陰影画像を合成して合成画像を生成することで、陰影と独立して画像内の物体の色を編集することができ、画像の色をより柔軟に編集することができる。例えば、変更前から暗かった色をさらに明るく変更したとしても、画像に白飛びが発生することが防止される。また、変更前に明るかった色を暗く変更したとしても、画像に黒つぶれが発生することが防止される。
【００４０】
決定部１５は、複数の代表色の数の増加を抑制しつつ、複数の代表色によって反射率画像に含まれる複数の色が代表されるように、複数の代表色の数を決定する。決定部１５は、例えば、ＢＩＣ（Bayesian Information Criterion）が最小となるように、複数の代表色の数を決定してよい。すなわち、複数の代表色の数をｋと表し、反射率画像の画素数×３（ＲＧＢの３色）をｎと表し、複数の代表色によって反射率画像を表すモデルの尤度をＬと表すとき、決定部１５は、ＢＩＣ＝ｋ×ｌｎ（ｎ）−２×ｌｎ（Ｌ）が最小となるように複数の代表色の数を決定してよい。
【００４１】
反射率画像の複数の代表色の数をより多くすると、複数の代表色によって反射率画像に含まれる複数の色をより良く代表することができるようになり、結果的に微妙な調整が可能となるが、画像の色のバランスをとることが難しくなり、編集時間を要するようになる。一方、反射率画像の複数の代表色の数をより少なくすると、画像の色の編集時間が短くなるが、複数の代表色によって反射率画像に含まれる複数の色をより良く代表することが難しくなる。決定部１５により、複数の代表色の数が適切に決定され、不慣れな者であっても容易に画像の編集を行うことができるようになる。
【００４２】
なお、選択部１２及び決定部１５は、いわゆるｘ−ｍｅａｎｓ法を用いて、反射率画像に含まれる複数の色をクラスタリングして、ＢＩＣを用いてクラスタリング数を決定し、複数の代表色を選択してよい。
【００４３】
第１生成部１３は、複数の代表色を互いに独立に変更したことに基づいて、反射率画像から第１変更画像を生成してもよい。第１生成部１３は、例えば、複数の代表色のいずれかを異なる色に変更する指示を入力部１０ｅにより受け付けて、反射率画像に含まれる複数の色のうち変更に係る代表色に関連する色のみが変更されるように、反射率画像から第１変更画像を生成してよい。
【００４４】
反射率画像の複数の代表色を互いに独立に変更したことに基づいて第１変更画像を生成することで、例えば複数の代表色の輝度の順序を保つように代表色を変更する場合と比較して、画像の色をより柔軟に編集することができる。
【００４５】
第１生成部１３は、陰影画像の色の変更に基づいて、陰影画像から、陰影画像の色相、彩度及び明度のうち少なくともいずれかを変更した第２変更画像を生成してもよい。そして、第２生成部１４は、第１変更画像と、第２変更画像とを合成して、合成画像を生成してもよい。
【００４６】
陰影画像の色の変更に基づいて第２変更画像を生成し、第１変更画像と第２変更画像を合成して合成画像を生成することで、画像の一部の色を変更するだけでなく、画像全体の明るさや色を変更して、照明の変更を再現することができる。
【００４７】
図２は、本実施形態に係る画像編集装置１０の物理的構成を示す図である。画像編集装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、測定部１０ｇと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では画像編集装置１０が一台のコンピュータで構成される場合について説明するが、画像編集装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図２で示す構成は一例であり、画像編集装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
【００４８】
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、画像を反射率画像と陰影画像に分解して、反射率画像と陰影画像に関する色の編集に基づいて合成画像を生成するプログラム（画像編集プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。
【００４９】
ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行する画像編集プログラム、編集対象となる画像、生成された合成画像といったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
【００５０】
ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば画像編集プログラムや、書き換えが行われないデータを記憶してよい。
【００５１】
通信部１０ｄは、画像編集装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてもよい。
【００５２】
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。
【００５３】
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、編集対象となる画像と、画像から分解された反射率画像及び陰影画像と、生成された第１変更画像及び第２変更画像及び合成画像とを表示してよい。
【００５４】
画像編集プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。画像編集装置１０では、ＣＰＵ１０ａが画像編集プログラムを実行することにより、図１を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、画像編集装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。
【００５５】
図３は、本発明の実施形態に係る画像編集装置１０により編集される画像ＩＭＧ１の一例である。画像ＩＭＧ１は、黄土色のベッド、ベッドに置かれた２つの茶色のクッション、灰色のカーペット及び朱色のソファといった対象が撮影された画像である。なお、同図に示す画像は、図１２に示した従来例の画像編集装置により編集される画像ＩＭＧ１と同一である。画像編集装置１０の分解部１１は、画像ＩＭＧ１を、対象の反射率を表す反射率画像と、対象の陰影を表す陰影画像とに分解する。
【００５６】
図４は、本発明の実施形態に係る画像編集装置１０により画像ＩＭＧ１から分解された反射率画像ＩＭＧ２の一例である。反射率画像ＩＭＧ２は、黄土色のベッド、ベッドに置かれた２つの茶色のクッション、灰色のカーペット及び朱色のソファといった対象の反射率を表す画像であり、対象の陰影が表されていない点で画像ＩＭＧ１と異なる。
【００５７】
本例において、画像編集装置１０の選択部１２は、朱色Ｃ２１と、黄土色Ｃ２２と、灰色Ｃ２３と、を反射率画像の複数の代表色として選択する。反射率画像ＩＭＧ２中に、３つの代表色である朱色Ｃ２１、黄土色Ｃ２２及び灰色Ｃ２３が用いられている領域を示している。
【００５８】
また、本例において、決定部１５は、複数の代表色の数を３と決定する。決定部１５は、朱色Ｃ２１、黄土色Ｃ２２及び灰色Ｃ２３の他に、例えば茶色を４番目の代表色として加えた場合にＢＩＣが減少するか否かを試行して、ＢＩＣが減少する場合には代表色を追加し、ＢＩＣが増加する場合には代表色を３色としてよい。本例では、茶色を４番目の代表色として加えるとＢＩＣが増加するため、代表色は、朱色Ｃ２１、黄土色Ｃ２２及び灰色Ｃ２３の３色となっている。なお、反射率画像の編集において微妙な調整を必要とする場合には、ユーザの入力によって代表色を増やすことを許してもよい。
【００５９】
図５は、本発明の実施形態に係る画像編集装置１０により画像ＩＭＧ１から分解された陰影画像ＩＭＧ３の一例である。反射率画像ＩＭＧ２は、グレースケール画像であり、ベッド、ベッドに置かれた２つのクッション、カーペット及びソファといった対象の陰影を表す画像であり、対象の色彩が表されていない点で画像ＩＭＧ１と異なる。反射率画像ＩＭＧ２は、画素値をＨＳＶ色空間で表す場合、彩度を表す値が０であるような画像である。
【００６０】
図６は、本発明の実施形態に係る画像編集装置１０により生成された第１変更画像ＩＭＧ４の一例である。本例において、第１生成部１３は、複数の代表色である朱色Ｃ２１、黄土色Ｃ２２及び灰色Ｃ２３のうち朱色Ｃ２１を白色Ｃ４１に変更したことに基づいて、反射率画像ＩＭＧ２から、反射率画像ＩＭＧ２に含まれる朱色Ｃ２１に関連する色を変更した第１変更画像ＩＭＧ４を生成する。第１生成部１３は、複数の代表色を互いに独立に変更したことに基づいて、反射率画像ＩＭＧ２から第１変更画像ＩＭＧ４を生成しており、変更されていない黄土色Ｃ２２及び灰色Ｃ２３に関連する色は、反射率画像ＩＭＧ２と第１変更画像ＩＭＧ４とで共通している。
【００６１】
本例において、第１変更画像ＩＭＧ４中に、変更された代表色である白色Ｃ４１が用いられている領域と、変更されていない代表色である黄土色Ｃ２２及び灰色Ｃ２３が用いられている領域とを示している。第１変更画像ＩＭＧ４は、陰影に関する情報を含まない反射率画像ＩＭＧ２から生成されるため、ソファ全体の色が朱色Ｃ２１から白色Ｃ４１に変更されていることが読み取れる。
【００６２】
図７は、本発明の実施形態に係る画像編集装置１０により生成された第２変更画像ＩＭＧ５の一例である。第１生成部１３は、陰影画像ＩＭＧ３の色の変更に基づいて、陰影画像ＩＭＧ３から、陰影画像ＩＭＧ３の色を変更した第２変更画像ＩＭＧ５を生成する。本例において、第１生成部１３は、陰影画像ＩＭＧ３の色相、彩度及び明度のうち少なくともいずれかの変更に基づいて、陰影画像ＩＭＧ３から、陰影画像ＩＭＧ３の色相、彩度及び明度のうち少なくともいずれかを変更した第２変更画像ＩＭＧ５を生成する。より具体的には、第１生成部１３は、陰影画像ＩＭＧ３の色相及び彩度を、薄黄色を表す値とする変更に基づいて、陰影画像ＩＭＧ３から、陰影画像ＩＭＧ３全体を薄黄色に変更した第２変更画像ＩＭＧ５を生成する。
【００６３】
図８は、本発明の実施形態に係る画像編集装置１０により生成された合成画像ＩＭＧ６の一例である。本例において、第２生成部１４は、第１変更画像ＩＭＧ４と、第２変更画像ＩＭＧ５とを合成して、合成画像ＩＭＧ６を生成する。合成画像ＩＭＧ６は、黄土色のベッド、ベッドに置かれた２つの茶色のクッション、灰色のカーペット及び白色Ｃ４１のソファといった対象を含み、図３に示した画像ＩＭＧ１と比較して、照明の色が暖色であり、ソファの色が白色Ｃ４１である点で相違する。
【００６４】
合成画像ＩＭＧ６と、図１３に示した従来例の画像編集装置により編集された画像ＩＭＧ１１とを比較すると、白飛びの発生が無く、ソファの影の部分の色も白色Ｃ４１に変更されており、自然な画像となっている点で相違する。このように、本実施形態に係る画像編集装置１０によれば、変更前に暗かった色を明るくすることにより、それよりも明るかった色がさらに明るく変更されて、画像に白飛びが発生することが防止される。また、逆に変更前に明るかった色を暗くすることにより、画像に黒つぶれが発生することが防止される。さらに、画像の一部の色を変更するだけでなく、画像全体の明るさや色を変更して、照明の変更を再現することができる。
【００６５】
図９は、本発明の実施形態に係る画像編集装置１０により実行される画像編集処理の第１例のフローチャートである。はじめに、画像編集装置１０は、オリジナル画像を反射率画像と陰影画像に分解する（Ｓ１０）。そして、画像編集装置１０は、反射率画像に含まれる複数の色から、画素数が多いもの１つを代表色として選択する（Ｓ１１）。画像編集装置１０は、例えば、反射率画像に含まれる複数の色又は反射率画像に含まれる複数の色の類似色から、画素数が多いものを代表色として選択してよい。
【００６６】
画像編集装置１０は、代表色を１つ追加するとＢＩＣが増加するか否かを判定する（Ｓ１２）。ＢＩＣが増加しない場合（Ｓ１２：ＮＯ）、画像編集装置１０は、反射率画像に含まれる複数の色又は反射率画像に含まれる複数の色の類似色から、画素数が次に多い色を代表色として追加する（Ｓ１３）。一方、代表色を１つ追加するとＢＩＣが増加する場合（Ｓ１２：ＹＥＳ）、画像編集装置１０は、代表色を追加せず、代表色の数を決定し、１又は複数の代表色を決定する（Ｓ１４）。なお、反射率画像の編集において微妙な調整を必要とする場合には、ユーザの入力によって代表色を増やすことを許してもよい。
【００６７】
その後、画像編集装置１０は、入力部１０ｅによる入力に基づいて、複数の代表色を互いに独立に変更する（Ｓ１５）。そして、画像編集装置１０は、代表色の変更に基づいて、反射率画像から第１変更画像を生成する（Ｓ１６）。
【００６８】
また、画像編集装置１０は、入力部１０ｅによる入力に基づいて、陰影画像の色を変更する（Ｓ１７）。そして、画像編集装置１０は、色の変更に基づいて、陰影画像から第２変更画像を生成する（Ｓ１８）。なお、複数の代表色を変更する処理（Ｓ１５）及び第１変更画像を生成する処理（Ｓ１６）と、陰影画像の色を変更する処理（Ｓ１７）及び第２変更画像を生成する処理（Ｓ１８）とは、並列して実行されてよい。その後画像編集装置１０は、第１変更画像と第２変更画像を合成して合成画像を生成する（Ｓ１９）。画像編集を終了する場合（Ｓ２０：ＹＥＳ）、画像編集装置１０は、画像編集処理を終了する。一方、画像編集を継続する場合（Ｓ２０：ＮＯ）、符号Ｓ１５〜Ｓ１９の処理を再び実行する。
【００６９】
図１０は、本発明の実施形態に係る画像編集装置１０により表示される画像編集画面ＤＰの一例である。画像編集装置１０は、表示部１０ｆを備え、表示部１０ｆは、反射率画像ＩＭＧ２、陰影画像ＩＭＧ３及びオリジナルの画像ＩＭＧ１と、第１変更画像ＩＭＧ４、第２変更画像ＩＭＧ５及び合成画像ＩＭＧ６と、を比較可能に表示してよい。なお、反射率画像ＩＭＧ２及び陰影画像ＩＭＧ３のいずれかに変更が無い場合、表示部１０ｆは、第１変更画像ＩＭＧ４、陰影画像ＩＭＧ３及び合成画像ＩＭＧ６を表示してよいし、反射率画像ＩＭＧ２、第２変更画像ＩＭＧ５及び合成画像ＩＭＧ６を表示してもよい。
【００７０】
画像編集画面ＤＰは、上段に反射率画像ＩＭＧ２、陰影画像ＩＭＧ３及びオリジナルの画像ＩＭＧ１を含み、下段に第１変更画像ＩＭＧ４、第２変更画像ＩＭＧ５及び合成画像ＩＭＧ６を含む。オリジナルの画像ＩＭＧ１から反射率画像ＩＭＧ２及び陰影画像ＩＭＧ３を指す矢印が表示され、反射率画像ＩＭＧ２及び陰影画像ＩＭＧ３が画像ＩＭＧ１から分解されたものであることを示している。また、反射率画像ＩＭＧ２から第１変更画像ＩＭＧ４を指す矢印が表示され、第１変更画像ＩＭＧ４が反射率画像ＩＭＧ２から生成されたものであることを示している。同様に、陰影画像ＩＭＧ３から第２変更画像ＩＭＧ５を指す矢印が表示され、第２変更画像ＩＭＧ５が陰影画像ＩＭＧ３から生成されたものであることを示している。さらに、第１変更画像ＩＭＧ４及び第２変更画像ＩＭＧ５から合成画像ＩＭＧ６を指す矢印が表示され、合成画像ＩＭＧ６が第１変更画像ＩＭＧ４及び第２変更画像ＩＭＧ５からから合成されたものであることを示している。
【００７１】
画像編集装置１０によって、色を変更する前後の画像を比較可能に表示することで、どのような変更を行ったかを一目で把握でき、画像の色の編集がより円滑となるように支援することができる。例えば、本例の画像編集画面ＤＰのように、反射率画像ＩＭＧ２と第１変更画像ＩＭＧ４が上段と下段で対応するように表示され、陰影画像ＩＭＧ３と第２変更画像ＩＭＧ５が上段と下段で対応するように表示され、オリジナルの画像ＩＭＧ１と合成画像ＩＭＧ６が上段と下段で対応するように表示されることで、色を変更する前後の画像を容易に比較することができ、どのような変更を行ったかを一目で把握することができる。本例の場合、具体的には、反射率画像ＩＭＧ２と第１変更画像ＩＭＧ４とでソファの色が異なることを容易に確認することができる。また、陰影画像ＩＭＧ３と第２変更画像ＩＭＧ５とで画像全体の色及び明るさが異なることを容易に確認することができる。また、オリジナルの画像ＩＭＧ１と合成画像ＩＭＧ６とでソファの色、画像全体の色及び画像全体の明るさが異なることを容易に確認することができる。なお、本例に示した画像の配置は一例であり、変更前後の画像を左右に並べて表示したり、他の配置としたりすることもできる。
【００７２】
表示部１０ｆは、少なくとも第１生成部１３により第１変更画像ＩＭＧ４の生成が行われた場合に、第１変更画像ＩＭＧ４及び合成画像ＩＭＧ６を更新して表示してよい。画像編集画面ＤＰは、反射率画像ＩＭＧ２から選択された代表色のＨＳＶ値などを調整する第１インジケータＩ１と、陰影画像ＩＭＧ３のＨＳＶ値を調整する第２インジケータＩ２と、を含んでよく、それぞれ色相、彩度及び明度の変更を受け付けてよい。なお、第１インジケータＩ１は、反射率画像ＩＭＧ２の代表色を変更するインジケータの一例であり、調整される値はＨＳＶ値に限られず、任意の値であってよい。同様に、なお、第２インジケータＩ２は、陰影画像ＩＭＧ３の色を変更するインジケータの一例であり、調整される値はＨＳＶ値に限られず、任意の値であってよい。また、画像編集画面ＤＰは、反射率画像ＩＭＧ２から選択された複数の代表色のうち、変更する代表色を指定する選択窓Ｓを含んでよい。第１生成部１３は、特定の代表色が指定されて、第１インジケータＩ１が調整された場合に、その値に応じて指定された代表色を変更して第１変更画像ＩＭＧ４を更新する。また、第２生成部１４は、新たな第１変更画像ＩＭＧ４と第２変更画像ＩＭＧ５を合成して、合成画像ＩＭＧ６を更新する。同様に、第１生成部１３は、第２インジケータＩ２が調整された場合に、その値に応じて第２変更画像ＩＭＧ５を更新する。また、第２生成部１４は、第１変更画像ＩＭＧ４と新たな第２変更画像ＩＭＧ５を合成して、合成画像ＩＭＧ６を更新してよい。
【００７３】
本実施形態に掛かる画像編集装置１０によれば、反射率画像ＩＭＧ２の代表色が変更された場合に、その変更に連動するように第１変更画像ＩＭＧ４及び合成画像ＩＭＧ６が更新されて表示され、代表色の変更により画像がどのように変化するかを一目で把握できる。また、陰影画像ＩＭＧ３の色が変更された場合に、その変更に連動するように第２変更画像ＩＭＧ５及び合成画像ＩＭＧ６が更新されて表示され、陰影画像ＩＭＧ３の変更により画像がどのように変化するかを一目で把握できる。これにより、画像の色の編集がより円滑となるように支援することができる。また、陰影画像ＩＭＧ３の色が変更された場合に、その変更に連動するように第２変更画像ＩＭＧ５及び合成画像ＩＭＧ６が更新されて表示され、陰影画像ＩＭＧ３の変更により画像がどのように変化するかを一目で把握でき、画像の色の編集がより円滑となるように支援することができる。
【００７４】
図１１は、本発明の実施形態に係る画像編集装置１０により実行される画像編集処理の第２例のフローチャートである。はじめに、画像編集装置１０は、反射率画像、陰影画像及びオリジナル画像と、第１変更画像、第２変更画像及び合成画像と、を比較可能に表示する（Ｓ３０）。
【００７５】
そして、画像編集装置１０は、入力部１０ｅによる入力に基づいて、複数の代表色の色相、彩度及び明度を互いに独立に変更する（Ｓ３１）。画像編集装置１０は、その変更に基づいて、新たな第１変更画像を生成し、新たな第１変更画像と第２変更画像を合成して新たな合成画像を生成し（Ｓ３２）、新たな第１変更画像及び新たな合成画像を更新して表示する（Ｓ３３）。
【００７６】
また、画像編集装置１０は、入力部１０ｅによる入力に基づいて、陰影画像の色相、彩度及び明度を互いに独立に変更する（Ｓ３４）。画像編集装置１０は、その変更に基づいて、新たな第２変更画像を生成し、第１変更画像と新たな第２変更画像を合成して新たな合成画像を生成し（Ｓ３５）、新たな第２変更画像及び新たな合成画像を更新して表示する（Ｓ３６）。なお、複数の代表色を変更する処理（Ｓ３１）、第１変更画像を生成する処理（Ｓ３２）及び合成画像を生成する処理（Ｓ３３）と、陰影画像の色を変更する処理（Ｓ３４）、第２変更画像を生成する処理（Ｓ３５）及び合成画像を生成する処理（Ｓ３６）とは、並列して実行されてよい。画像編集を終了する場合（Ｓ３７：ＹＥＳ）、画像編集装置１０は、画像編集処理を終了する。一方、画像編集を継続する場合（Ｓ３７：ＮＯ）、符号Ｓ３１〜Ｓ３６の処理を再び実行する。
【００７７】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【符号の説明】
【００７８】
１０…画像編集装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…分解部、１２…選択部、１３…第１生成部、１４…第２生成部、１５…決定部、１６…記憶部
【図１】
2019208125.tif 000003
【図２】
2019208125.tif 000004
【図３】
2019208125.tif 000005
【図４】
2019208125.tif 000006
【図５】
2019208125.tif 000007
【図６】
2019208125.tif 000008
【図７】
2019208125.tif 000009
【図８】
2019208125.tif 000010
【図９】
2019208125.tif 000011
【図１０】
2019208125.tif 000012
【図１１】
2019208125.tif 000013
【図１２】
2019208125.tif 000014
【図１３】
2019208125.tif 000015