(57)【要約】【課題】前景と背景とを重ねたときの色を合わせながら、複製対象を再現する。【解決手段】領域分離部１０２は、複製対象の画像データを、第１の複製対象の領域から第２の複製対象の重畳領域を除いた領域の画像データと、第２の複製対象の領域の画像データとに分離する。背景推定部１０３は、重畳領域に該当する第１の複製対象の領域の色を推定する。前景色補正部１０４は、推定された重畳領域に該当する第１の複製対象の領域の色に基づいて、第２の複製対象の色を補正する。画像合成部１０５は、第１の複製対象の領域から第２の複製対象の重畳領域を除いた領域の画像データの色と、推定された重畳領域に該当する第１の複製対象の領域の色とに基づいて、第１の複製対象の画像データを生成する。前景色補正部１０４は、補正した第２の複製対象の色に基づいて、第２の複製対象の画像データを生成する。【選択図】図１
2012165270.tif 000002
【特許請求の範囲】
【請求項１】
第１の複製対象の領域に第２の複製対象の領域が重畳した複製対象を再現するための画像処理装置であって、
前記複製対象の画像データを入力する入力手段と、
前記入力手段により入力された前記複製対象の画像データを、前記第１の複製対象の領域から前記第２の複製対象の重畳領域を除いた領域の画像データと、前記第２の複製対象の領域の画像データとに分離する分離手段と、
前記重畳領域に該当する前記第１の複製対象の領域の色を推定する推定手段と、
前記推定手段により推定された前記重畳領域に該当する前記第１の複製対象の領域の色に基づいて、前記第２の複製対象の色を補正する補正手段と、
前記第１の複製対象の領域から前記第２の複製対象の重畳領域を除いた領域の画像データの色と、前記推定手段により推定された前記重畳領域に該当する前記第１の複製対象の領域の色とに基づいて、前記第１の複製対象の画像データを生成する第１の生成手段と、
前記補正手段により補正された前記第２の複製対象の色に基づいて、前記第２の複製対象の画像データを生成する第２の生成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記補正手段は、前記第２の複製対象の領域に対する明度の補正量を決定する明度補正量決定手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記明度補正量決定手段は、前記推定手段により推定された前記重畳領域に該当する前記第１の複製対象の領域の明度と、前記第２の複製対象の領域の明度とに基づいて、前記明度の補正量を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記第２の複製対象の領域に対する彩度の補正量を決定する彩度補正量決定手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記彩度補正量決定手段は、前記推定手段により推定された前記重畳領域に該当する前記第１の複製対象の領域の明度と、前記第２の複製対象の領域の彩度とに基づいて、前記彩度の補正量を決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記補正手段は、前記第２の複製対象の領域に対する色度の補正量を決定する色度補正量決定手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記色度補正量決定手段は、前記推定手段により推定された前記重畳領域に該当する前記第１の複製対象の領域の色度と、前記第２の複製対象の領域の色度とに基づいて、前記色度の補正量を決定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記推定手段は、前記第１の複製対象の領域から前記第２の複製対象の重畳領域を除いた領域の画像データに基づいて、前記重畳領域に該当する前記第１の複製対象の領域の色を推定することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
第１の複製対象の領域に第２の複製対象の領域が重畳した複製対象を再現するための画像処理装置によって実行される画像処理方法であって、
前記複製対象の画像データを入力する入力ステップと、
前記入力ステップにより入力された前記複製対象の画像データを、前記第１の複製対象の領域から前記第２の複製対象の重畳領域を除いた領域の画像データと、前記第２の複製対象の領域の画像データとに分離する分離ステップと、
前記重畳領域に該当する前記第１の複製対象の領域の色を推定する推定ステップと、
前記推定ステップにより推定された前記重畳領域に該当する前記第１の複製対象の領域の色に基づいて、前記第２の複製対象の色を補正する補正ステップと、
前記第１の複製対象の領域から前記第２の複製対象の重畳領域を除いた領域の画像データの色と、前記推定ステップにより推定された前記重畳領域に該当する前記第１の複製対象の領域の色とに基づいて、前記第１の複製対象の画像データを生成する第１の生成ステップと、
前記補正ステップにより補正された前記第２の複製対象の色に基づいて、前記第２の複製対象の画像データを生成する第２の生成ステップとを有することを特徴とする画像処理方法。
【請求項１０】
第１の複製対象の領域に第２の複製対象の領域が重畳した複製対象を再現するための画像処理装置によって実行される画像処理方法をコンピュータに実行させるためのプログラムであって、
前記複製対象の画像データを入力する入力ステップと、
前記入力ステップにより入力された前記複製対象の画像データを、前記第１の複製対象の領域から前記第２の複製対象の重畳領域を除いた領域の画像データと、前記第２の複製対象の領域の画像データとに分離する分離ステップと、
前記重畳領域に該当する前記第１の複製対象の領域の色を推定する推定ステップと、
前記推定ステップにより推定された前記重畳領域に該当する前記第１の複製対象の領域の色に基づいて、前記第２の複製対象の色を補正する補正ステップと、
前記第１の複製対象の領域から前記第２の複製対象の重畳領域を除いた領域の画像データの色と、前記推定ステップにより推定された前記重畳領域に該当する前記第１の複製対象の領域の色とに基づいて、前記第１の複製対象の画像データを生成する第１の生成ステップと、
前記補正ステップにより補正された前記第２の複製対象の色に基づいて、前記第２の複製対象の画像データを生成する第２の生成ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、背景色を有する複製対象の色を再現するための技術に関するものである。
【背景技術】
【０００２】
近年、文化財や芸術品等の情報をデジタル化して保存するデジタルアーカイブ技術の重要性が高まっている。デジタルアーカイブ技術は、被写体をデジタルカメラ等の画像入力機器で撮影して被写体を正確に取得し、保存するとともに、ディスプレイやプリンタ等の画像出力機器で忠実に再現することを目的としている。
【０００３】
屏風や掛け軸等を背景として和紙や布が立体的に貼り付けられた文化財の複製を作成する場合、デジタルカメラで撮影された画像データを基に一枚の画像として再現すると、貼り付けられている物体の立体感が失われる場合がある。そこで、デジタルカメラで撮影された画像データから背景となる屏風や掛け軸と前景となる和紙や布とを分離して個別に再現する必要がある。ところで、前景が薄手の場合、背景色が透けるため、デジタルカメラで撮影された画像データ上の前景は、背景色が透過した色で記録される。そのため、従来の再現方法では前景と背景とを分離して個別に再現することは難しい。従って、このような文化財の複製を作成するためには、前景の色を再現する際に背景色を考慮した画像処理技術が必須となる。
【０００４】
以下、図７を参照しながら具体的に説明する。図７（ａ）において、７０１は屏風や掛け軸等の背景である。７０２は貼り付けられた和紙や布等の前景である。７０３は複製対象を撮影するデジタルカメラである。ここで、デジタルカメラ１０３で撮影された画像データは、図７（ｂ）に示すように記録される。複製を作成するためには、図７（ｂ）に示す画像データから背景７０１と前景７０２とを個別に再現する必要がある。先ず、背景７０１の複製を作成するために前景７０２の背景色を推定する必要がある。次に、前景７０２の複製を作成するためには、前景７０２を透過する背景１０１の色成分を前景７０２から除去し、背景７０１と前景７０２とを重ね合わせたときに複製対象と見た目が一致するように色補正する必要がある。
【０００５】
ここで、背景色を考慮して色補正する技術として、異なる２つの背景色の条件下における測色データに基づいて補正係数を算出して背景色の違いによる誤差を小さくする技術が知られている（特許文献１参照）。また、用紙の分光反射率、分光透過率、及び、背景色の分光反射率から背景色を考慮した測色値を推定する技術が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２４９５６３号公報
【特許文献２】特開２００８−１５４１７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、文化財のデジタルアーカイブの場合、被写体に手を触れられなかったり、移動が困難であったりするため、背景の測定値を得られないことが多い。従って、特許文献１、２に開示される技術は、背景色の測色値に基づく処理であるため、適用することは難しいという課題がある。
【０００８】
そこで、本発明の目的は、前景と背景とを重ねたときの色を合わせながら、複製対象を再現することにある。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、第１の複製対象の領域に第２の複製対象の領域が重畳した複製対象を再現するための画像処理装置であって、前記複製対象の画像データを入力する入力手段と、前記入力手段により入力された前記複製対象の画像データを、前記第１の複製対象の領域から前記第２の複製対象の重畳領域を除いた領域の画像データと、前記第２の複製対象の領域の画像データとに分離する分離手段と、前記重畳領域に該当する前記第１の複製対象の領域の色を推定する推定手段と、前記推定手段により推定された前記重畳領域に該当する前記第１の複製対象の領域の色に基づいて、前記第２の複製対象の色を補正する補正手段と、前記第１の複製対象の領域から前記第２の複製対象の重畳領域を除いた領域の画像データの色と、前記推定手段により推定された前記重畳領域に該当する前記第１の複製対象の領域の色とに基づいて、前記第１の複製対象の画像データを生成する第１の生成手段と、前記補正手段により補正された前記第２の複製対象の色に基づいて、前記第２の複製対象の画像データを生成する第２の生成手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、前景と背景とを重ねたときの色を合わせながら、複製対象を再現することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】画像入力部で入力された画像データの或る断面における明度の変化を示す図である。
【図３】明度補正量及び彩度補正量を決定する方法を説明するための図である。
【図４】色度補正量を決定する方法について説明するための図である。
【図５】撮影により得られた複製対象の画像データから、第１の複製対象と第２の複製対象とを個別に再現する処理を示すフローチャートである。
【図６】テップＳ５０４における第２の複製対象の領域の色を補正する処理の詳細を示すフローチャートである。
【図７】従来技術を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１３】
図１は、実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態に係る画像処理装置は、第１の複製対象の領域（背景）に第２の複製対象の領域（前景）が重畳した複製対象を再現可能である。
【００１４】
図１において、１０１は、デジタルカメラ等で撮影された複製対象の画像データを入力する画像入力部である。なお、複製対象の画像データは、デジタルカメラによって撮影されたものに限られるものではなく、画像データが取得可能な装置であれば、スキャナ等の他の装置であっても構わない。１０２は、画像入力部１０１で入力された画像データから、背景である第１の複製対象の領域の画像データと前景である第２の複製対象の領域の画像データとを分離する領域分離部である。１０３は、第１の複製対象の領域における第２の複製対象の領域に該当する領域の色、即ち、第２の複製対象の領域の背景色を推定する背景色推定部である。１０４は、背景色推定部１０３で推定された背景色に基づいて、画像入力部１０１で入力された画像データにおける第２の複製対象の領域の色、即ち、前景の色を算出するために、背景色推定部１０３で推定された背景色の成分を前景の色から減算する色補正を行う前景色補正部である。
【００１５】
１０５は、画像入力部１０１で入力された画像データにおける第１の複製対象の領域の色と、背景色推定部１０３で推定された背景色とを合成することにより、第１の複製対象の画像データを生成する画像合成部である。１０６は、画像合成部１０５で生成された第１の複製対象の画像データと、前景色補正部１０４で補正された第２の複製対象の画像データとをプリンタ等で出力させる画像出力部である。なお、画像データの出力はプリンタに限られるものではなく、ディスプレイに表示したり、画像データファイルとして出力したりしてもよい。なお、背景色推定部１０３は、第１の生成手段の適用例となる構成である。また、前景色補正部１０４は、第２の生成手段の適用例となる構成である。
【００１６】
次に、背景色推定部２０３における、第２の複製対象の領域の背景色を推定する処理について、図２を参照しながら説明する。
【００１７】
図２は、画像入力部２０１で入力された画像データの或る断面２０１における明度の変化を示す図である。区間（ｘ0、ｘ1）及び区間（ｘ2、ｘ3）では画像データから背景色を取得することが可能であるが、区間（ｘ1、ｘ2）では背景が前景と重なっているため、周囲の画素から背景色を推定する必要がある。ここで、ｘにおける背景色の明度ｙは式１により与えられる。
【００１８】
【数１】
2012165270.tif 000003
【００１９】
なお、色度等の明度以外の色信号値に関しても同様に推定することが可能である。勿論、背景色の推定方法はこれに限定されるものではなく、例えば、推定に利用する画素範囲を拡大して距離に応じた重み付けを行ってもよいし、２次元的に周囲画素を参照して推定する等、所望の画素近傍のデータから色を算出する任意の手法を適用可能である。
【００２０】
次に、前景色補正部１０４における、色補正量を決定する処理について、図３及び図４を参照しながら説明する。なお、色補正は任意の色空間で実施して構わない。以下では、CIELAB色空間で実施する場合について説明する。
【００２１】
図３は、明度補正量及び彩度補正量を決定する方法を説明するための図である。図３（ａ）は、明度補正量を決定するためのグラフを示している。横軸は第２の複製対象の領域（前景）の最大明度を１として正規化した明度、縦軸は明度補正量を示しており、第２の複製対象の領域の明度及び推定された背景の明度によって明度補正量が異なることを示している。画像入力部１０１で入力された画像データに記録されている色は、背景色を透過した成分が加味されているため、背景が明るい程、本来の色より明るく記録される。従って、推定された背景の明度によって補正量が変化し、例えば背景の明度が８０の場合と４０の場合とを比較すると、背景の明度が８０の場合の方が明度補正量は大きくなる。即ち、背景の明度が高い程、補正量は大きくなる。また、背景色だけでなく、第２の複製対象の領域の色によっても補正量は変化する。第２の複製対象の領域の色が明るい程、背景色を多く透過するため、背景の影響を受けやすくなる。従って、背景の明度が８０の場合、第２の複製対象の色が低明度の色よりも高明度の方が補正量は大きくなる。即ち、第２の複製対象の領域の明度が高い程、明度補正量も大きくなり、背景明度をＬ、前景明度をｌ、補正係数αとすると、明度補正量ΔＬは式２により与えられる。
【００２２】
【数２】
2012165270.tif 000004
【００２３】
図３（ｂ）は、彩度補正量を決定するためのグラフを示している。横軸は第２の複製対象の領域（前景）の最大彩度を１として正規化した彩度、縦軸は彩度補正量を示しており、第２の複製対象の領域の彩度及び推定された背景の明度によって彩度補正量が異なることを示している。画像入力部１０１で入力された画像データに記録されている色は、背景色を透過した成分が加味されているため、背景が明るい程、本来の色より鮮やかに記録される。従って、推定された背景の明度によって補正量が変化し、例えば背景の明度が８０の場合と４０の場合を比較すると、背景の明度が８０の場合の方が彩度補正量は大きくなる。即ち、背景明度が高い程、補正量は大きくなる。また、背景色だけでなく、第２の複製対象の領域の色によっても補正量は変化する。第２の複製対象の領域の色が鮮やかである程、背景色の影響を受けやすくなる。従って、背景の明度が８０の場合、第２の複製対象の色が低彩度の色よりも高彩度の色の方が補正量は大きくなる。即ち、第２の複製対象の領域の彩度が高い程、彩度補正量も大きくなり、背景明度をＬ、前景彩度をＣ、補正係数βとすると、彩度補正量ΔＣは式３により与えられる。なお、図３（ａ）を用いて説明した処理は、明度補正量決定手段の処理例であり、図３（ｂ）を用いて説明した処理は、彩度補正量決定手段の処理例である。
【００２４】
【数３】
2012165270.tif 000005
【００２５】
図４は、色度補正量を決定する方法について説明するための図である。図４（ａ）は、背景色が赤の場合において色度補正量を決定するためのグラフを示し、図４（ｂ）は、背景色が黄色の場合において色度補正量を決定するためのグラフを示している。それぞれ横軸は第２の複製対象の領域（前景）の色度範囲で正規化した色度、縦軸は色度補正量を示しており、背景色によって色度補正量が異なることを示している。
【００２６】
ここで、画像入力部１０１で入力された画像データに記録されている色は、背景色を透過した成分が加味されているため、背景色の色度の影響を受けて記録される。従って、推定された背景の色度によって補正量が変化し、例えば、図４（ａ）に示すように、背景が赤である場合は、ａ*の補正量が大きくなり、ｂ*の補正量は小さくなる。一方、図４（ｂ）に示すように、背景が黄色の場合は、ａ*の補正量が小さくなり、ｂ*の補正量は大きくなる。
【００２７】
また、背景だけでなく第２の複製対象の色によっても補正量は変化し、第２の複製対象の色度が大きい程、背景色の影響を受けやすくなる。例えば、図４（ａ）に示すように、背景色が赤の場合は、第２の複製対象のａ*が大きい程、補正量が大きくなる。一方、図４（ｂ）に示すように、背景色が黄色の場合は、第２の複製対象のｂ*が大きい程、補正量が大きくなる。
【００２８】
以上から、前景色補正部２０４における色度補正量Δａ*及びΔｂ*は、背景色度をａ1、ｂ1、前景色度をａ2、ｂ2、補正係数ｐ1、ｐ2、ｑ1、ｑ2とすると、式４により与えられる。
【００２９】
【数４】
2012165270.tif 000006
【００３０】
なお、図４を用いて説明した処理は、色度補正量決定手段の処理例である。前景色補正部２０４における色補正量の決定方法はこれに限られるものではなく、より詳細な補正関数を用いてもよいし、色成分毎の色補正ＬＵＴを用意して画像データに適用しても構わない。
【００３１】
次に、図１に示した本実施形態に係る画像処理装置の構成において、撮影により得られた複製対象の画像データから、第１の複製対象と第２の複製対象とを個別に再現する処理について、図５のフローチャートを参照しながら説明する。
【００３２】
ステップＳ５０１において、画像入力部１０１は、デジタルカメラ等で撮影された複製対象の画像データを入力する。ステップＳ５０２において、領域分離部１０２は、ステップＳ５０１で入力された画像データを、第１の複製対象の領域の画像データと第２の複製対象の領域の画像データとに分離する。領域の分離方法としては、ディスプレイ等に表示される画像データに対してユーザが指定した領域を第２の複製対象の領域として分離すること等が挙げられる。勿論、領域の分離方法はこれに限定されるものではなく、例えば、第２の複製対象の領域を自動抽出するアルゴリズム等を用いて分離しても構わない。
【００３３】
ステップＳ５０３において、背景色推定部１０３は、ステップＳ５０２で取得された第２の複製対象の領域の背景色を推定する。ステップＳ５０４において、前景色補正部１０４は、ステップＳ５０３で推定された背景色に基づいて、第２の複製対象の領域、即ち前景の色を補正する。前景の色の補正方法の詳細については後述する。
【００３４】
ステップＳ５０５において、画像合成部１０５は、ステップＳ５０１で入力された画像データの第１の複製対象の領域と、ステップＳ５０３で推定された第２の複製対象の領域の背景色とを合成する。これにより、第１の複製対象の画像データ、即ち、背景の画像データが生成される。画像出力部１０６は、画像合成部１０５により生成された第１の複製対象の画像データを出力する。
【００３５】
ステップＳ５０６において、前景色補正部１０４は、ステップＳ５０４で補正された第２の複製対象の領域の色に基づいて、第２の複製対象の画像データ、即ち、前景の画像データを生成する。画像出力部１０６は、第２の複製対象の画像データを出力する。
【００３６】
次に、ステップＳ５０４における第２の複製対象の領域の色を補正する処理の詳細について、図６のフローチャートを参照しながら説明する。
【００３７】
ステップＳ６０１において、前景色補正部１０４は、第２の複製対象の領域から色補正する画素を決定する。ステップＳ６０２において、前景色補正部１０４は、ステップＳ６０１で決定した画素に対応する、ステップＳ５０３で推定された背景色を取得する。ステップＳ６０３において、前景色補正部２０４は、ステップＳ６０１で決定した画素の色と、ステップＳ６０２で取得した背景色とに基づいて、色補正量を決定する。
【００３８】
ステップＳ６０４において、前景色補正部２０４は、ステップＳ６０３で決定した色補正量に基づいて、色補正を実行する。即ち、前景色補正部１０４は、補正前の色Ｌ*0ａ*0ｂ*0から、ステップＳ６０３で決定した補正量ΔＬ、ΔＣ、Δａ、Δｂを減算することで、第２の複製対象の色を推定する。補正後の色Ｌ*1ａ*1ｂ*1は式５により与えられる。
【００３９】
【数５】
2012165270.tif 000007
【００４０】
ステップＳ６０５において、前景色補正部１０４は、補正対象領域の全画素の色補正が終了したか否かを判定する。全画素の色補正が終了した場合、処理を終了する。一方、全画素の色補正が終了していない場合、処理はステップＳ６０１に移行して、処理が継続される。
【００４１】
以上により、重畳領域のある複製対象の画像データから前景と背景とを分離し、前景から背景色成分を除去して、前景と背景とを個別に出力することで、前景と背景とを重ねたときの色を合わせながら複製対象を再現することが可能になる。
【００４２】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2012165270.tif 000008
【図２】
2012165270.tif 000009
【図３】
2012165270.tif 000010
【図４】
2012165270.tif 000011
【図５】
2012165270.tif 000012
【図６】
2012165270.tif 000013
【図７】
2012165270.tif 000014