(57)【要約】【課題】撮影光源下における被写体の撮影データに基づいて記録媒体上に作成された複製は、観察光源下では被写体と同じような見えが得られるとは限らなかった。【解決手段】被写体１を撮影光源２下でカメラ３で分割撮影し、合成した全体画像データについて、その画素分布に基づいて特徴色を決定し、該全体画像データから特徴色を含む分割領域を探索し、参照領域として設定する。そして、被写体１における参照領域部分を、撮影光源２下で撮影したデータと、観察光源４下で撮影したデータとに基づいて、光源変換パラメータを作成する。光源変換部１３では、この光源変換パラメータに基づき、全体画像データに対して撮影光源２から観察光源４への光源変換を施す。【選択図】  図１
2010213122.tif 000002
【特許請求の範囲】
【請求項１】
撮影光源下で撮像装置が被写体を分割撮影することによって得られた複数の分割画像データを合成して、該被写体を示す全体画像データを取得する画像合成手段と、
前記全体画像データにおける画素分布に基づいて特徴色を決定する特徴色の決定手段と、
前記全体画像データにおいて、前記特徴色を含む領域を探索し、該領域を参照領域として設定する参照領域設定手段と、
前記被写体における前記参照領域に対応する部分を、前記撮影光源下で前記撮像装置が撮影した撮影光源画像データを取得する撮影光源画像データの取得手段と、
前記被写体における前記参照領域に対応する部分を、該被写体の観察光源下で前記撮像装置が撮影した観察光源画像データを取得する観察光源画像データの取得手段と、
前記撮影光源画像データと前記観察光源画像データに基づいて、光源変換パラメータを作成するパラメータ作成手段と、
前記全体画像データに対し、前記光源変換パラメータに基づく変換を施す光源変換手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記撮影光源画像データの取得手段は、前記画像合成手段で合成された全体画像データから、前記参照領域に対応する分割画像データを取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記参照領域設定手段は、前記全体画像データにおいて、前記分割画像データを単位として前記参照領域を設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記参照領域設定手段は、前記全体画像データにおいて、前記分割画像データの１つを前記参照領域として設定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
さらに、前記参照領域を提示する提示手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記特徴色の決定手段は、色空間上における、前記全体画像データの主成分ベクトルに基づく領域の特徴点に基づいて、前記特徴色を決定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記参照領域設定手段は、前記特徴色を含む領域が探索されない場合には、前記全体画像データを前記参照領域として設定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
撮影光源下で撮像装置が被写体を分割撮影することによって得られた複数の分割画像データを合成して、該被写体を示す全体画像データを取得する画像合成ステップと、
前記全体画像データにおける画素分布に基づいて特徴色を決定する特徴色の決定ステップと、
前記全体画像データにおいて、前記特徴色を含む領域を探索し、該領域を参照領域として設定する参照領域設定ステップと、
前記被写体における前記参照領域に対応する部分を、前記撮影光源下で前記撮像装置が撮影した撮影光源画像データを取得する撮影光源画像データの取得ステップと、
前記被写体における前記参照領域に対応する部分を、該被写体の観察光源下で前記撮像装置が撮影した観察光源画像データを取得する観察光源画像データの取得ステップと、
前記撮影光源画像データと前記観察光源画像データに基づいて、光源変換パラメータを作成するパラメータ作成ステップと、
前記全体画像データに対し、前記光源変換パラメータに基づく変換を施す光源変換ステップと、を有することを特徴とする画像処理方法。
【請求項９】
コンピュータで実行されることにより、該コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分割撮影による複数の分割画像データを合成して、被写体の画像データを生成する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年のデジタルイメージング技術の発達により、文化財を最新のデジタル技術によって保存し、後世に継承することを目的とした、いわゆるデジタルアーカイブが行われている。デジタルアーカイブでは、デジタルカメラや大判プリンタを活用して、文化財をデジタルデータ化して保存したり、原寸大で印刷して複製を作成する。このようなデジタルデータや複製を活用して、例えばオリジナルに代えて複製を展示することで、オリジナルの文化財を保護環境下に置き、劣化を防ぎながら将来に亙って保存することができる。
【０００３】
一方、複製には、オリジナルの文化財が置かれていた光源下において、該オリジナル文化財と見えが等しくなるような色再現精度が要求される。例えば図１０に示すように、図画であるオリジナル文化財１００２が光源１００１の下にあった場合に、その複製プリント１００３についても、同じ光源１００１下においてオリジナル文化財１００２の見えと同じでならなければならない。複製に対してはさらに、オリジナル文化財が持っている細部の模様等、そのディテールまで完璧に再現することがもちろん求められる。
【０００４】
しかしながら文化財の大きさによっては、近年のデジタルカメラの撮影画素数ではそのディテールの忠実な再現には足りないため、全体をワンショットで撮影することはできない。そのため、多くの文化財では、複数ショットによる分割撮影後に合成を行って、オリジナル文化財のディテール再現を実現している。このような分割撮影を行う場合、オリジナル被写体に対する照明光源（観察光源）のみでは、ディテールを撮影するには光量が不足する。したがって、撮影時には強い光量を持つストロボを用いて撮影を行い、撮影後の画像データを観察光源用に補正する必要がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2007-159030号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
被写体そのものを異なる光源（撮影光源と観察光源）の下で撮影して光源変換プロファイルを作成することが考えられる。しかしながらこの場合、カメラのワンショットでは被写体の低解像度画像しか撮影できず、色情報が平均化されてしまう。したがって特にデジタルアーカイブ等においては、被写体の高解像画像を得るためにマルチショットによる撮影が必須であり、被写体そのものを撮影して光源変換プロファイルを作成するには非常に手間がかかってしまい、現実的ではない。
【０００７】
本発明は上述した問題を解決するためになされたものであり、撮影光源下における被写体の撮影データに基づいて、観察光源下における被写体を詳細に再現する画像データを得る画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【０００９】
すなわち、撮影光源下で撮像装置が被写体を分割撮影することによって得られた複数の分割画像データを合成して、該被写体を示す全体画像データを取得する画像合成手段と、前記全体画像データにおける画素分布に基づいて特徴色を決定する特徴色の決定手段と、前記全体画像データにおいて、前記特徴色を含む領域を探索し、該領域を参照領域として設定する参照領域設定手段と、前記被写体における前記参照領域に対応する部分を、前記撮影光源下で前記撮像装置が撮影した撮影光源画像データを取得する撮影光源画像データの取得手段と、前記被写体における前記参照領域に対応する部分を、該被写体の観察光源下で前記撮像装置が撮影した観察光源画像データを取得する観察光源画像データの取得手段と、前記撮影光源画像データと前記観察光源画像データに基づいて、光源変換パラメータを作成するパラメータ作成手段と、前記全体画像データに対し、前記光源変換パラメータに基づく変換を施す光源変換手段と、を有することを特徴とする。
【発明の効果】
【００１０】
上記構成からなる本発明によれば、撮影光源下における被写体の撮影データに基づいて、観察光源下における被写体を詳細に再現する画像データを得ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る一実施形態である画像処理システムの構成を示すブロック図、
【図２】本実施形態における画像処理全体を示すフローチャート、
【図３】本実施形態の光源変換に用いる参照領域設定処理を示すフローチャート、
【図４】本実施形態における画素分布の解析処理を説明する図、
【図５】本実施形態における特徴色の決定処理を説明する図、
【図６】本実施形態における特徴色を含む分割領域の判定方法を説明する図、
【図７】参照領域における特徴色を示す図、
【図８】光源変換パラメータを作成するための参照データ例を示す図、
【図９】本実施形態におけるデバイス変換処理の詳細を示すフローチャート、
【図１０】文化財の複製について、同じ光源下で見えが同じとなる例を示す図、である。
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１３】
＜第１実施形態＞
●システム構成
図１は、本発明に係る一実施形態である画像処理システムの構成を示すブロック図である。本実施形態の画像処理システムは、被写体１を撮影するＲＧＢカメラ等の撮像装置３と、該撮影データに対して光源変換を施す画像処理装置２０と、該変換後の撮影データに基づく可視象を記録媒体上に形成する画像形成装置６、からなる。なお、撮像装置３は例えばＲＧＢカメラであり、以下、単にカメラ３と称する。また、画像形成装置６は例えばレーザプリンタであり、以下、単にプリンタ６と称する。
【００１４】
図１において、１は文化財等の被写体であり、２は撮影時のみに使用するストロボ光等の撮影光源Ｂであり、４は被写体の展示照明等、被写体の観察光源Ａであり、５はプリンタ６によって被写体を忠実に複製した複製プリント物である。
【００１５】
画像処理装置２０内において、７は被写体１を分割して撮影した撮影データを合成して、被写体１の全体を示す全体画像データを得る画像合成部である。８は該全体画像データの画素分布を解析する画素分布解析部、９は該解析結果に基づいて画像内の参照領域を設定する参照領域設定部、である。そして１０は、参照領域設定部９で決定された参照領域を撮影光源Ｂ２下で撮影した撮影光源画像データを入力する撮影光源画像入力部であり、また１１は、該参照領域を観察光源Ａ４下で撮影した観察光源画像データを入力する観察光源画像入力部である。なお、本実施形態における撮影は、全てカメラ３により行われるものである。１２は、撮影光源画像入力部１０と観察光源画像入力部１１の両方から入力された画像データを用いて、光源変換パラメータを作成する光源変換パラメータ作成部である。１３は、画像合成部７で合成した全体画像データを、光源変換パラメータ作成部１２で作成した光源変換パラメータに基づいて変換する光源変換部である。１４は、光源変換部１３で変換後の画像データは被写体１をカメラ３で撮影した撮影画像データであるから、これをプリンタ６のデバイス値に変換するデバイス変換部である。
【００１６】
●全体処理
以下、オリジナル被写体の忠実な複製を行う本実施形態の画像処理方法について、詳細に説明する。
【００１７】
図２は、本実施形態における画像処理全体を示すフローチャートである。まずＳ２０１において、カメラ３で撮影光源Ｂ２を用いて、被写体１を分割撮影した画像データ、すなわち、複数の分割画像データを入力する。次にＳ２０２では、Ｓ２０１で取得した複数の分割画像データを合成して、全体画像データを作成する。ここで得られる全体画像データは、被写体１の全体をカメラ３のワンショットで撮影して得られる画像データよりも高解像度である。次にＳ２０３では、Ｓ２０２で作成した全体画像データから、光源変換に用いる画像領域としての参照領域を設定し、ユーザに提示する。この領域設定処理の詳細については後述する。次にＳ２０４では、Ｓ２０３で設定された参照領域を撮影光源Ｂ２下で撮影した撮影光源画像データと、同じく観察光源Ａ４下で撮影した観察光源画像データを用いて、光源変換パラメータを作成する。この光源変換パラメータ作成処理の詳細については後述する。そしてＳ２０５において、光源変換パラメータを用いて全体画像データを変換する。該変換処理によって、撮影光源Ｂ２下で撮影された被写体１の全体画像データが、観察光源Ａ４下で撮影されたと同等の全体画像データに変換される。次にＳ２０６では、Ｓ２０５で変換した全体画像データを、プリンタ６のデバイス形式に合わせて変換する。
【００１８】
以上のように、Ｓ２０６で形式変換された全体画像データをプリンタ６において記録媒体上に形成することによって、被写体の複製が作成される。
【００１９】
ここで図９に、Ｓ２０６におけるデバイス変換処理の詳細フローチャートを示し、説明する。まずＳ１１０１において、ＲＧＢ色信号が既知であるチャートをプリンタ６から出力する。該チャートのＲＧＢ色信号値は、例えば、色空間全体を網羅するようなＲＧＢ等間隔のスライスデータである。次にＳ１１０２において、プリンタ６から出力したチャートを、被写体観察照明（この場合、観察光源Ａ４）下でカメラ３により撮影する。そしてＳ１１０３において、チャートのＲＧＢ色信号とＳ１１０２で撮影した撮影画像データのＲＧＢ信号とに基づき、カメラ３とプリンタ６間におけるデバイスリンクプロファイルを作成する。
【００２０】
●参照領域設定処理
以下、上記Ｓ２０３における光源変換に用いる参照領域の設定処理について、図３のフローチャートを用いて詳細に説明する。まずＳ３０１において、入力した全体画像データの画素分布を解析する。画素分布は、例えば図４に示すように、画素値の色分布をＲＧＢの色空間上で主成分分析し、主成分ベクトルを算出することによって求める。次にステップＳ３０２において、Ｓ３０１での解析結果に基づいて特徴色を決定する。
【００２１】
ここで、Ｓ３０２における特徴色の決定方法について、図５（ａ）を用いて説明する。まず、Ｓ３０１で求めた主成分ベクトルを長軸とし、主成分ベクトルの法線ベクトルを短軸とした楕円球を定義する。この楕円球の中心点ｅは、画素値のうち、原点から主成分ベクトル方向に最大距離となる色（図中のＭａｘ）と、最小距離となる色（図中のＭｉｎ）とを用いて算出する。すなわち、ＭａｘとＭｉｎの距離を等分する点を、中心点ｅとする。そして、楕円球の中心点ｅとＭａｘとの距離を用いて、楕円球の長軸の長さを制御する。なお楕円球の短軸の長さは、長軸の長さを用いて制御する。本実施形態においては、中心点ｅとＭａｘとの距離の２倍を長軸とし、長軸の０．８倍を短軸とした。そして図５（ｂ）に示すように、短軸と楕円球の特徴点としての交点及び中心点（図中のａ，ｂ，ｃ，ｄ，ｅ）を、本実施形態における特徴色として採用する。なお、ここで示した特徴色の設定方法は一例に過ぎず、求める変換精度に応じて変更して良いことはいうまでもない。
【００２２】
次にＳ３０３において、入力した全体画像データから、Ｓ３０２で決定した特徴色を含む分割領域、すなわち、マルチショット撮影による全体画像データにおけるワンショット撮影分を探索する。なお、特徴色を探索する際の解像度は、ユーザの求める解像度に応じて決定すれば良い。そしてＳ３０４において、Ｓ３０３での探索の結果、特徴色を含む分割領域があったか否かを判定し、ある場合にはＳ３０５に進み、ない場合にはＳ３０６に進む。ここで特徴色を含む分割領域の判定方法としては、例えば図６に示すように、全ての特徴色ａ〜ｅについて、ＲＧＢ空間における距離が所定の閾値以内となる色ａ'〜ｅ'が存在する領域とする。この閾値は、求める精度に応じて決定すれば良い。そしてＳ３０５においては、Ｓ３０４での特徴色を含むと判定された分割領域を、光源変換用の参照領域として設定し、ユーザに提示する。一方Ｓ３０６では、分割領域ではなく、入力した全体画像データの全体を、光源変換用の参照領域として設定し、ユーザに提示する。
【００２３】
なお、本実施形態ではＳ３０２で決定する特徴色の色数を、ａ〜ｅの５色とした例を示したが、作成する光源変換パラメータの精度に応じて特徴色の色数を変更しても良い。
【００２４】
また、Ｓ３０３ではワンショット撮影分の分割領域を探索する例を示したが、参照領域の探索は分割画像単位に限らず、カメラ３のワンショットによる撮影が可能な領域であれば、必ずしもＳ２０１で取得した分割画像データに対応していなくても良い。例えば、Ｓ２０１で分割撮影された複数の分割画像データに跨った領域であっても、カメラ３によるワンショット撮影が可能であれば、本実施形態の参照領域として適用可能である。すなわち、参照領域に対応する観察光源画像データが、カメラ３のワンショットで撮影可能であれば良い。
【００２５】
また、参照領域の探索はワンショット撮影分に限らず、例えば２回の撮影分に相当する２個の分割領域等、入力した全体画像データの全体よりも小さな領域であれば、該探索された領域を参照領域として設定することが可能である。
【００２６】
●光源変換パラメータ作成
以下、上記Ｓ２０４における光源変換パラメータの作成処理について、図７および図８を用いて詳細に説明する。
【００２７】
まず、撮影光源画像入力部１０および観察光源画像入力部１１において、Ｓ２０３で設定された、被写体１における光源変換用の参照領域（分割領域または画像全体）に対応する部分を、それぞれ撮影光源Ｂ２下、観察光源Ａ４下において撮影する。これにより、Ｓ２０３で提示された参照領域について、撮影光源画像データと観察光源画像データが得られる。
【００２８】
なお、撮影光源画像入力部１０においては、光源変換用の参照領域に相当する画像データを新たに撮影することなく、既に撮影光源Ｂ下で撮影された全体画像データから、当該領域（分割領域または画像全体）の画像データを抽出するようにしても良い。しかしながら、観察光源画像入力部１１においては、参照領域を新たに撮影する必要がある。したがって、該参照領域としてワンショット対応の分割領域でなくマルチショットによる画像全体が設定された場合には、観察光源画像データを得るための撮影作業が、ワンショットの分割領域が設定された場合よりも煩雑となる。したがって本実施形態における光源変換用の参照領域としては、上記Ｓ３０５でワンショット対応の分割領域が設定されることが好ましい。しかしながら、参照領域がワンショット対応でなく２回以上の撮影に対応していた場合でも、参照領域として画像全体が設定された場合よりは処理負荷は軽減される。
【００２９】
以上のように被写体１における参照領域についての撮影光源画像データと観察光源画像データが得られると、光源変換パラメータ作成部１２はこれら両光源の画像データに基づいて、光源変換パラメータを作成する。まず、図７に示すように、撮影光源画像データと観察光源画像データから、各特徴色（ａ'〜ｅ'）の画素位置（（Ｘa'，Ｙa'）〜（Ｘe'，Ｙe'））およびそれぞれのＲＧＢ値を抽出する。これにより、図８に示すような参照データが得られる。すなわち、各特徴色について、撮影光源画像データから抽出された各特徴色のＲＧＢ値であるストロボ撮影ＲＧＢと、観察光源画像データから抽出された各特徴色のＲＧＢ値である観察光用ＲＧＢが得られる。この参照データにおけるストロボ撮影ＲＧＢと観察光用ＲＧＢの関係に基づき、撮影光源から観察光源への変換パラメータを作成する。
【００３０】
以上説明したように本実施形態によれば、まず、撮影光源下でのマルチショット撮影による全体画像データから、光源変換パラメータを効率良く作成するための参照領域を設定し、ユーザに提示する。そして、この参照領域に対する、観察光源下での例えばワンショット撮影によって、撮影光源と観察光源との変換パラメータを高精度に作成することができる。この変換パラメータを用いた光源変換を行うことによって、撮影光源下における被写体の撮影データを、観察光源下における撮影データに高精度に変換することができ、観察環境下における被写体をそのディテールまで忠実に再現することができる。
【００３１】
したがって、本実施形態をデジタルアーカイブに適用した場合、すなわち被写体が文化財であった場合に、その複製を当該オリジナルの文化財と同等の観察光源下におくことによって、該オリジナル文化財が高精度に再現される。
【００３２】
＜その他の実施形態＞
本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体(記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション、プリンタ等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００３３】
また、本発明は上記第１実施形態と同等の処理を、コンピュータプログラムでも実現できる。この場合、図１をはじめとする構成要素の各々は関数、もしくはＣＰＵが実行するサブルーチンで機能させれば良い。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それを、コンピュータが有する読み取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。
【図１】
2010213122.tif 000003
【図２】
2010213122.tif 000004
【図３】
2010213122.tif 000005
【図４】
2010213122.tif 000006
【図５】
2010213122.tif 000007
【図６】
2010213122.tif 000008
【図７】
2010213122.tif 000009
【図８】
2010213122.tif 000010
【図９】
2010213122.tif 000011
【図１０】
2010213122.tif 000012