(57)【要約】【課題】ユーザが指定チャートを有している必要が無く、撮像時の光源の環境光や撮像デバイスの特性に依存せずに、特別な計測器を有さずとも所定の光源の環境光下における実物の色の見えに近い画面表示を実現する画像補正システム及び画像補正方法を提供する。【解決手段】ユーザが一般的に所持し、色が参照可能な物体である色補正用物体の物体認識情報及び色情報の各々が記録された色補正用物体データベースと、少なくとも撮像対象物と前記色補正用物体とが同一画像として撮像された撮像画像の色補正を、色補正用物体データベースに記録された前記色補正用物体の色情報を用いて行う色補正部と、前記未登録物体が前記撮像画像に撮像されている場合、前記未登録物体の物体認識情報、及び前記色補正部により色補正された前記撮像画像の画像データを用いて取得された前記未登録物体の色情報を、前記色補正用物体データベースに記録する追加登録部とを備える。【選択図】図２
2019205142.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが一般的に所持し、色が参照可能な物体である色補正用物体の物体認識情報及び色情報の各々が記録された色補正用物体データベースと、
少なくとも撮像対象物と前記色補正用物体とが同一画像として撮像された撮像画像の色補正を、色補正用物体データベースに記録された前記色補正用物体の色情報を用いて行う色補正部と、
前記色補正用物体データベースに記録されていない未登録物体が、前記撮像画像に撮像されているか否かを判定する未登録物体認識部と、
前記未登録物体が前記撮像画像に撮像されている場合、前記未登録物体の物体認識情報、及び前記色補正部により色補正された前記撮像画像の画像データを用いて取得された前記未登録物体の色情報を、前記色補正用物体データベースに記録する追加登録部
を備えることを特徴とする画像補正システム。
【請求項２】
前記追加登録部は、前記撮像画像に撮像されている前記未登録物体の形状に基づいて、前記未登録物体を前記色補正用物体データベースに記録するか否かを判定する
ことを特徴とする請求項１に記載の画像補正システム。
【請求項３】
前記追加登録部は、前記撮像画像に撮像されている前記未登録物体と前記色補正用物体との相対的な位置関係に基づいて、前記未登録物体を前記色補正用物体データベースに記録するか否かを判定する
ことを特徴とする請求項１又は請求項２に記載の画像補正システム。
【請求項４】
前記追加登録部は、前記色補正用物体データベースに登録された前記未登録物体である追加登録物体について、前記追加登録物体における色情報の取得元を示す色情報取得元情報として、前記撮像画像の色補正に用いられた前記色補正用物体の識別情報を記録する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像補正システム。
【請求項５】
前記色補正部により行われる色補正に前記追加登録物体を利用するか否かを、前記追加登録物体の前記色情報取得元情報に基づいて判定する利用制限部
を更に備えることを特徴とする請求項４に記載の画像補正システム。
【請求項６】
前記追加登録物体の色情報を測定した測定値が取得された場合、前記色補正用物体データベースに記録された当該追加登録物体の色情報を前記測定値に基づいて更新するデータベース更新部
を更に備えることを特徴とする請求項４または請求項５に記載の画像補正システム。
【請求項７】
前記追加登録物体の製版情報が取得された場合、前記色補正用物体データベースに記録された当該追加登録物体の色情報を、前記製版情報を用いて推定される色情報に更新するデータベース更新部
を更に備えることを特徴とする請求項４から請求項６のいずれか一項に記載の画像補正システム。
【請求項８】
前記色補正用物体データベースに前記追加登録物体が複数登録されており、前記色補正用物体データベースに登録された第１追加登録物体の色情報が更新された場合、前記色補正用物体データベースに登録された前記追加登録物体のうち、前記第１追加登録物体の識別情報が前記色情報取得元情報として記録された第２追加登録物体について、前記第２追加登録物体の色情報を、前記第１追加登録物体において更新された色情報を用いて再度取得し直す色情報再取得部
を更に備えることを特徴とする請求項４から請求項７のいずれか一項に記載の画像補正システム。
【請求項９】
ユーザが一般的に所持し、色が参照可能な物体である色補正用物体の物体認識情報及び色情報の各々が記録された色補正用物体データベースを参照可能な画像補正システムの画像補正方法であって、
色補正部が、少なくとも撮像対象物と前記色補正用物体とが同一画像として撮像された撮像画像の色補正を、色補正用物体データベースに記録された前記色補正用物体の色情報を用いて行う色補正過程と、
未登録物体認識部が、前記色補正用物体データベースに記録されていない未登録物体が、前記撮像画像に存在するか否かを判定する未登録物体認識過程と、
追加登録部が、前記未登録物体が前記撮像画像に撮像されている場合、前記未登録物体の物体認識情報、及び前記色補正部により色補正された前記撮像画像の画像データを用いて取得された前記未登録物体の色情報を、前記色補正用物体データベースに記録する追加登録過程と
を含むことを特徴とする画像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像補正システム及び画像補正方法に関する。
【背景技術】
【０００２】
標準光源下ではなく任意の光源の環境光下で撮像した場合、撮像対象物を撮像した画像(以下、撮像画像という)において、撮像対象物の実物の色と、表示装置に表示させた撮像対象物の撮像画像の色の見えとが異なってしまう。このため、撮像対象物の実物の色と表示装置に表示される撮像画像の色の各々の見え（視認される色）を一致させる、撮像画像の色を補正するカラーマネジメントという手法が知られている。
例えば、特許文献１には、被写体（対象物）の撮像画像と、既知の三刺激値をもつ複数の色票からなる指定チャートの撮像画像とを取得することにより、被写体の撮像画像を撮像条件に合わせて補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１５２７６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１においては、被写体と指定チャートを一緒に撮像する場合には撮像時に指定チャートを所持していなければならず、ユーザとしては指定チャートの入手などの処理が必要となり手間がかかる。
また、任意の光源の環境光下で撮像した画像を、異なる光源の環境光下で観察した色の見えで表示する場合、撮像対象物を実物で観察する環境における光源の分光エネルギー分布が必要となるが、全てのユーザが光源の分光エネルギー分布を計測する計測器を有しているわけではない。
【０００５】
本発明は、このような状況に鑑みてなされたもので、ユーザが指定チャートを有している必要が無く、撮像時の光源の環境光や撮像デバイスの特性に依存せずに、特別な計測器を有さずとも所定の光源の環境光下における実物の色の見えに近い画面表示を実現する画像補正システム及び画像補正方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の画像補正システムは、ユーザが一般的に所持し、色が参照可能な物体である色補正用物体の物体認識情報及び色情報の各々が記録された色補正用物体データベースと、少なくとも撮像対象物と前記色補正用物体とが同一画像として撮像された撮像画像の色補正を、色補正用物体データベースに記録された前記色補正用物体の色情報を用いて行う色補正部と、前記色補正用物体データベースに記録されていない未登録物体が、前記撮像画像に撮像されているか否かを判定する未登録物体認識部と、前記未登録物体が前記撮像画像に撮像されている場合、前記未登録物体の物体認識情報、及び前記色補正部により色補正された前記撮像画像の画像データを用いて取得された前記未登録物体の色情報を、前記色補正用物体データベースに記録する追加登録部とを備えることを特徴とする。
【０００７】
本発明の画像補正システムでは、前記追加登録部は、前記撮像画像に撮像されている前記未登録物体の形状に基づいて、前記未登録物体を前記色補正用物体データベースに記録するか否かを判定することを特徴とする。
【０００８】
本発明の画像補正システムでは、前記追加登録部は、前記撮像画像に撮像されている前記未登録物体と前記色補正用物体との相対的な位置関係に基づいて、前記未登録物体を前記色補正用物体データベースに記録するか否かを判定することを特徴とする。
【０００９】
本発明の画像補正システムでは、前記色補正用物体データベースに登録された前記未登録物体である追加登録物体について、前記追加登録物体における色情報の取得元を示す色情報取得元情報として、前記撮像画像の色補正に用いられた前記色補正用物体の識別情報を記録することを特徴とする。
【００１０】
本発明の画像補正システムは、前記色補正部により行われる色補正に前記追加登録物体を利用するか否かを、前記追加登録物体の前記色情報取得元情報に基づいて判定する利用制限部を更に備えることを特徴とする。
【００１１】
本発明の画像補正システムは、前記追加登録物体の色情報を測定した測定値が取得された場合、前記色補正用物体データベースに記録された当該追加登録物体の色情報を前記測定値に基づいて更新するデータベース更新部を更に備えることを特徴とする。
【００１２】
本発明の画像補正システムは、前記追加登録物体の製版情報が取得された場合、前記色補正用物体データベースに記録された当該追加登録物体の色情報を、前記製版情報を用いて推定される色情報に更新するデータベース更新部を更に備えることを特徴とする。
【００１３】
本発明の画像補正システムは、前記色補正用物体データベースに前記追加登録物体が複数登録されており、前記色補正用物体データベースに登録された第１追加登録物体の色情報が更新された場合、前記色補正用物体データベースに登録された前記追加登録物体のうち、前記第１追加登録物体の識別情報が前記色情報取得元情報として記録された第２追加登録物体について、前記第２追加登録物体の色情報を、前記第１追加登録物体において更新された色情報を用いて再度取得し直す色情報再取得部を更に備えることを特徴とする。
【００１４】
本発明の画像補正方法は、ユーザが一般的に所持し、色が参照可能な物体である色補正用物体の物体認識情報及び色情報の各々が記録された色補正用物体データベースを参照可能な画像補正システムの画像補正方法であって、色補正部が、少なくとも撮像対象物と前記色補正用物体とが同一画像として撮像された撮像画像の色補正を、色補正用物体データベースに記録された前記色補正用物体の色情報を用いて行う色補正過程と、未登録物体認識部が、前記色補正用物体データベースに記録されていない未登録物体が、前記撮像画像に撮像されているか否かを判定する未登録物体認識過程と、追加登録部が、前記未登録物体が前記撮像画像に撮像されている場合、前記未登録物体の物体認識情報、及び前記色補正部により色補正された前記撮像画像の画像データを用いて取得された前記未登録物体の色情報を、前記色補正用物体データベースに記録する追加登録過程とを含むことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、ユーザが指定チャートを有している必要が無く、撮像時の光源の環境光や撮像デバイスの特性に依存せずに、特別な計測器を有さずとも所定の光源の環境光下における実物の色の見えに近い画面表示を実現することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態に係る画像補正システム１の構成例を示すブロック図である。
【図２】第１の実施形態に係る画像補正サーバ１１の構成例を示すブロック図である。
【図３】第１の実施形態に係る色補正用物体データベース１２に記録される色補正用物体テーブルの構成例を示す図である。
【図４】第１の実施形態に係る画像補正システム１による撮像画像から追加登録物体を登録する流れを説明する概念図である。
【図５】第１の実施形態に係る画像補正システム１による撮像画像から追加登録物体を登録する流れを説明するフローチャートである。
【図６】第１の実施形態の変形例に係る画像補正サーバ１１が行う処理を説明するための図である。
【図７】第１の実施形態の変形例に係る画像補正サーバ１１が行う処理を説明するための図である。
【図８】第２の実施形態に係る画像補正システム１Ａの構成例を示すブロック図である。
【図９】第２の実施形態に係るデータベース管理サーバ１３の構成例を示すブロック図である。
【図１０】第２の実施形態に係るデータベース管理サーバ１３が行う処理を説明するための図である。
【図１１】第２の実施形態に係るデータベース管理サーバ１３が行う処理を説明するための図である。
【発明を実施するための形態】
【００１７】
以下、実施形態の画像補正システムを、図面を参照しながら説明する。
【００１８】
＜第１の実施形態＞
まず、第１の実施形態について説明する。
図１は、第１の実施形態に係る画像補正システム１の構成例を示すブロック図である。画像補正システム１は、例えば、画像補正サーバ１１及び色補正用物体データベース１２を備える。また、画像補正システム１は、ネットワーク５を介して、ユーザ端末装置２−１及びユーザ端末装置２−２と通信可能に接続されている。ユーザ端末装置２−１及びユーザ端末装置２−２の一方は対象物（撮像対象物）を提示する提示側となり、他方は提示側により提示された対象物を表示する表示側となる。画像補正システム１は、提示側により任意の光源下で撮像された対象物の撮像画像が、基準光源の環境光下で撮像された画像に近づくように撮像画像の色を補正し、表示側に補正後の撮像画像を供給する。以下の説明においては、ユーザ端末装置２−１が提示側であり、ユーザ端末装置２−２が表示側であるものとして説明する。
ここで、ネットワーク５は、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、インターネット、プロバイダ装置、無線基地局、専用回線などのうちの一部または全部を含む。
【００１９】
ユーザ端末装置２−１及びユーザ端末装置２−２の各々は、ユーザが使用するネットワーク端末であり、例えばパーソナルコンピュータ、携帯電話、スマートフォン、タブレット端末などである。また、ユーザ端末装置２−１及びユーザ端末装置２−２には、画像共有アプリケーションがインストールされる。画像共有アプリケーションは、例えば、ユーザがスマートフォンのカメラを使って撮像した対象物Ｔの撮像画像を、他のユーザと共有することができるアプリケーションソフトウェアである。画像共有アプリケーションが動作するユーザ端末装置の間では、例えば、商品として出品された対象物Ｔの撮像画像をユーザ端末装置に表示させることで共有することができる。商品を出品したユーザは、その対象物Ｔの撮像画像を見て気に入った他のユーザに対して商品を販売することができる。
【００２０】
撮像装置３−１は、ユーザ端末装置２−１に接続された撮像機能を有する機器であり、例えばデジタルカメラ、ユーザ端末装置２−１が持つ撮像機能などである。同様に、撮像装置３−２は、ユーザ端末装置２−２に接続された撮像機能を有する機器であり、例えばデジタルカメラ、ユーザ端末装置２−２が持つ撮像機能などである。
表示装置４−１は、ユーザ端末装置２−１に接続された表示機能を有する機器であり、例えば液晶ディスプレイ、ユーザ端末装置２−１が持つ表示機能などである。同様に、表示装置４−２は、ユーザ端末装置２−２に接続された表示機能を有する機器であり、例えば液晶ディスプレイ、ユーザ端末装置２−２が持つ表示機能などである。
【００２１】
色補正用物体データベース１２には、本実施形態においてカラーチャートの代わりに使用する色補正用物体の色情報及び物体認識情報の各々が予め書き込まれて記憶されている。本実施形態において、色補正用物体は、一般に流通している商品の容器、パッケージ、外観、ラベル及びポスターを含む印刷物であり、カラーとしての色味を有している物体である。つまり、色補正用物体は、ユーザが一般的に所持し易い物体であって、色が参照可能な物体である。
【００２２】
図２は、第１の実施形態に係る画像補正サーバ１１の構成例を示すブロック図である。画像補正サーバ１１は、撮像画像取得部１１１、色補正用物体認識部１１２、色補正部１１３、未登録物体認識部１１４、追加登録部１１５及び記憶部１１６の各々を備える。
【００２３】
撮像画像取得部１１１は、撮像画像を外部装置から取得し、記憶部１１６に書き込んで記憶させる。例えば、撮像画像取得部１１１は、ユーザ端末装置２−１から撮像装置３−１で撮像された撮像画像を取得し、取得した撮像画像を記憶部１１６に書き込む。
【００２４】
色補正用物体認識部１１２は、撮像画像における色補正用物体の画像領域の認識処理を行い、撮像画像に含まれる色補正用物体の画像を抽出する。色補正用物体認識部１１２は、色補正用物体データベース１２における色補正用物体テーブルを参照し、物体認識情報を読み出して、この物体認識情報に対応する画像を撮像画像において抽出する。ここで、物体認識情報は、例えば、色補正用物体の画像（テンプレート画像）、又は色補正用物体の特徴情報（形状及び色などの特徴）である。
【００２５】
色補正用物体認識部１１２は、物体認識情報が色補正用物体の画像である場合、色補正用物体の認識率として、撮像画像における輪郭抽出した画像と、テンプレート画像との類似度を求める。一方、色補正用物体認識部１１２は、物体認識情報が色補正用物体の特徴情報（形状及び色などの特徴）である場合、撮像画像における輪郭抽出した画像から特徴情報を抽出し、色補正用物体テーブルにおける特徴情報と比較し、類似度の算出を行う。
【００２６】
また、色補正用物体認識部１１２は、表示装置４−１の表示画面に表示されている撮像画像において、輪郭抽出して色補正用物体と認識された画像の輪郭に色補正用物体であることを示すマーク（例えば、実線による輪郭線）を表示するようにしてもよい。
【００２７】
色補正部１１３は、撮像画像取得部１１１により取得された撮像画像から基準光源の環境光下で撮像された撮像画像を生成する。色補正部１１３は、色補正用物体データベース１２の色補正用物体テーブルを参照し、撮像画像における色補正用物体に対応する色情報を読み出す。ここで色情報は、例えば、標準光源の環境光下で撮像された色補正用物体のＲＧＢ画像（以下、基準ＲＧＢ画像という）の画像データ、或いは色補正用物体における位置（例えば、画素毎、画像における同一色の領域）毎の分光反射率及び／又は分光画像である。ここでの色補正用物体の分光反射率は、分光反射率を測定するための機材を用いて測定された測定値であってもよいし、色補正用物体の製版情報（製版データとベタ指定色の測色値）から推定される推定分光反射率であってもよい。
【００２８】
色補正部１１３は、色補正用物体データベース１２の色補正用物体テーブルを参照し、使用することとなった色補正用物体に対応する基準ＲＧＢ画像を読み出す。そして、色補正部１１３は、以下の（１）式を用いて、色補正用物体データベース１２から読み出した色補正用物体の基準ＲＧＢ画像の画素値が解となるように、撮像画像の画素値から、色補正マトリクスＭを重回帰分析などにより算出する。
（１）式において、Ｒ、Ｇ及びＢの各々は、色補正用物体データベース１２から読み出した色補正用物体の基準ＲＧＢ画像のＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの色成分毎の画素値である。また、Ｒ’、Ｇ’、Ｂ’の各々は、撮像画像から認識された補正物体のＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの色成分毎の画素値である。Ｍは、光源Ａの環境光下で撮像された撮像画像の画素値を、基準光源の環境光下で撮像された撮像画像の画素値に変換する３×３行列であり、（２）式のように表すことができる。色補正部１１３は、算出した色補正マトリクスＭを用いて撮像画像から基準ＲＧＢ画像を生成する。
【００２９】
【数１】
2019205142.tif 000003
【００３０】
【数２】
2019205142.tif 000004
【００３１】
或いは、色補正部１１３は、色補正用物体データベース１２の色補正用物体テーブルを参照し、使用することとなった色補正用物体に対応する分光反射率を読み出す。そして、色補正部１１３は、以下の（３）式を用いて、撮像画像の画素値が解となるように、撮像装置の分光感度特性、色補正用物体の分光反射率から、光源の分光エネルギー分布を重回帰分析などにより算出する。上記説明において、撮像装置の分光感度特性が既知であることを前提としているが、光源の分光エネルギー分布とともに、分光感度特性を重回帰分析により推定しても良い。また、光源の平均的な分光エネルギー分布を、重回帰分析における最適化計算の初期値として用いても良い。
（３）式において、Ｒ、Ｇ、Ｂの各々は、撮像画像から認識された色補正用物体の画素値である。また、Ｓｋ（λ）は、撮像した撮像装置の分光感度特性（ｒλ，ｇλ，ｂλ）である。Ｅ（λ）は、撮像した光源の分光エネルギー分布（推定値）である。Ｒ（λ）は、色補正用物体の分光反射率である。ｉは色の種類の数（色数）である。
【００３２】
【数３】
2019205142.tif 000005
【００３３】
色補正部１１３は、推定した光源の分光エネルギー分布と、撮像装置の分光感度特性を用いて、撮像画像における色補正用物体の画像における画素の画素値（ＲＧＢデータ）から、色補正用物体の各画素における分光反射率をメタマ推定法により推定する（長谷川 他、”メタマ推定に基づく、ＲＧＢ画像からの被写体測色値予測（第一報：理論）”、画像電子学会誌、ｖｏｌ．３８、ｐｐ．３６５−３７４、２００９を参照）。
【００３４】
色補正部１１３は、色補正用物体の各画素における分光反射率を推定することにより、撮像画像から所定のサンプリング数（所定の波長幅を有するチャンネル数）の分光画像（離散分光画像）を生成する（特開２００６−０６０７７６号公報を参照）。ここで、分光画像は、任意の光源の分光エネルギー分布により、この任意の光源の環境光下での色味を認識できるように、撮像画像の色再現を行うために用いられる。
【００３５】
色補正部１１３は、推定した任意の光源の分光エネルギー分布を用い、生成した分光画像から、撮像画像に対応した対象物Ｔが任意の光源の環境光下で視認される色味で観察される表示画像を生成する。
【００３６】
未登録物体認識部１１４は、撮像画像に色補正用物体データベース１２に記録されていない未登録物体が撮像されているか否かを判定し、撮像画像に未登録物体が撮像されている場合、撮像画像における未登録物体の画像領域の認識処理を行い、撮像画像に含まれる未登録物体の画像を抽出する。未登録物体認識部１１４は、色補正用物体データベース１２における色補正用物体テーブルを参照し、物体認識情報を読み出して、この物体認識情報の何れにも対応しない画像を未登録物体として抽出する。
【００３７】
未登録物体認識部１１４は、物体認識情報が色補正用物体の画像である場合、未登録物体の認識率として、撮像画像における輪郭抽出した画像と、色補正用物体テーブルにある色補正用物体の画像（テンプレート画像）との類似度を求め、何れのテンプレート画像とも所定閾値未満の類似度である画像を未登録画像とする。一方、未登録物体認識部１１４は、物体認識情報が色補正用物体の特徴情報（形状及び色などの特徴）である場合、撮像画像における輪郭抽出した画像から特徴情報を抽出し、色補正用物体テーブルにおける特徴情報と比較し、類似度の算出を行う。未登録物体認識部１１４は、何れの特徴情報とも所定閾値未満の類似度となる特徴情報を有する画像を未登録物体の画像とする。
【００３８】
また、未登録物体認識部１１４は、表示装置４−１の表示画面に表示されている撮像画像において、輪郭抽出して未登録物体と認識された画像の輪郭に未登録物体であることを示すマーク（例えば、点線による輪郭線）を表示するようにしてもよい。
【００３９】
追加登録部１１５は、撮像画像に未登録物体が撮像されている場合、未登録物体を色補正用物体データベース１２に記録することにより追加登録する。追加登録部１１５は、例えば、色補正部１１３から補正後の画像データを取得し、取得した画像データを用いて未登録物体のＲＧＢ画像を取得する。追加登録部１１５は、取得したＲＧＢ画像を未登録物体の色情報（基準ＲＧＢ画像）として未登録物体の画像情報、又は形状や色の特徴情報を認識情報として、色補正用物体データベース１２に記録する。
【００４０】
或いは、追加登録部１１５は、撮像画像に未登録物体が撮像されている場合、色補正部１１３から補正後の画像データを取得し、取得した画像データを用いて未登録物体の分光反射率を推定してもよいし、未登録物体４０の分光画像を生成するようにしてもよい。追加登録部１１５は、例えば、未登録物体４０の画像データ、及び（３）式を用いて色補正部１１３により推定された分光エネルギー分布から未登録物体の各画素における分光反射率を推定する。追加登録部１１５は、推定した分光反射率を用いて未登録物体４０の分光画像を生成する。また、追加登録部１１５は、推定された分光エネルギー分布、及び生成した分光画像から、未登録物体４０の基準ＲＧＢ画像を生成する。追加登録部１１５は、未登録物体４０の基準ＲＧＢ画像、分光反射率及び／又は分光画像を未登録物体の色情報とし、未登録物体の画像情報、又は形状や色の特徴情報などと共に色補正用物体データベース１２に記録する。
【００４１】
記憶部１１６は、画像補正サーバ１１において処理される撮像画像及び色補正マトリクスＭ、或いは分光画像などのデータを一時的に記憶する。
【００４２】
図３は、第１の実施形態に係る色補正用物体データベース１２に記録される色補正用物体テーブルの構成例を示す図である。色補正用物体テーブルは、レコード毎に、色補正用物体識別情報、色情報、物体認識情報及び色情報取得元情報の各々の項目が記載されている。
色補正用物体識別情報は、色補正用物体の各々を個別に識別するための識別情報である。
色情報は、基準ＲＧＢ画像と、分光反射率とこの分光反射率を示す色補正用物体における位置（例えば、画素毎、画像における同一色の領域毎）を示す位置情報、及び／又は分光画像から構成されている。基準ＲＧＢ画像は、例えば標準光源には標準光源Ｄ５０や標準光源Ｄ６５などの特定のひとつの環境光下で撮像された画像である。また、標準光源は、特定のひとつの光源に統一されているならば任意の光源を使用してもよい。分光反射率は、分光反射率を測定するための機材を用いて測定された測定値であってもよいし、製版情報（製版データとベタ指定色の測色値）から推定される推定分光反射率でも良い。
物体認識情報は、色補正用物体の画像情報、または形状及び色の特徴情報のいずれかである。
色情報取得元情報は、色補正用物体の各々における色情報を取得する元となった情報である。
例えば、色情報としての基準ＲＧＢ画像が、標準光源の環境光下で撮像された画像である場合、色情報取得元情報には色情報が正規の基準ＲＧＢ画像であることを示す「デフォルト」が記録される。或いは、標準光源を特定する標準光源Ｄ５０や標準光源Ｄ６５などを示す情報が記録されてもよい。
一方、色情報としての基準ＲＧＢ画像が、他の色補正用物体の色情報に基づいて補正された撮像画像から抽出されたＲＧＢ画像である場合、色情報取得元情報には色情報が推定された基準ＲＧＢ画像であることが記録され、例えば補正元となった色補正用物体の色補正用物体識別情報が記録される。
また、色情報としての分光反射率が、分光反射率を測定するための機材を用いて測定された測定値である場合、色情報取得元情報には、色情報が測定された分光反射率であることを示す「測定」が記録される。分光反射率が製版情報から推定された推定分光反射率である場合、色情報取得元情報には、色情報が製版情報から推定された分光反射率であることが記録され、例えば製版情報が記録される。分光反射率が他の色補正用物体の色情報に基づいて補正された撮像画像から取得された場合、色情報取得元情報には、色情報が補正した画像から推定された分光反射率であることが記録され、例えば補正元となった色補正用物体の色補正用物体識別情報が記録される。
【００４３】
図４は、第１の実施形態に係る画像補正システム１による撮像画像から追加登録物体を登録する流れを説明する概念図である。
図４（ａ）は、任意の光源の環境光下において、対象物Ｔとともに色補正用物体３０及び未登録物体４０の各々を、撮像装置３−１で撮像した撮像画像２０を示している。すなわち、撮像画像２０は、対象物Ｔの画像、色補正用物体３０及び未登録物体４０の各々が含まれた同一画像として撮像された撮像画像である。
【００４４】
図４（ｂ）は、色補正用物体データベース１２に記録された色補正用物体５１〜５５…を示している。
色補正用物体認識部１１２は、色補正用物体データベース１２を参照することにより、撮像画像２０に含まれる物体の中に、色補正用物体として登録された物体（例えば、色補正用物体３０）を認識する。この例では、色補正用物体データベース１２に登録された色補正用物体５３が撮像画像２０に撮像された色補正用物体３０に対応する。
未登録物体認識部１１４は、色補正用物体データベース１２を参照することにより、撮像画像２０に含まれる物体の中に未登録物体４０を認識し、未登録物体が撮像された撮像領域を特定する。
【００４５】
図４（ｃ）は、表示装置４−１の表示画面２１に、対象物Ｔの画像ＴＧと、色補正用物体３０及び未登録物体４０の各々の画像３１、４１が表示され例を示している。また、画像３１の輪郭線が実線で強調されたマークが示され、色補正用物体認識部１１２が画像３１を色補正用物体として認識していることが示されている。また、画像４１の輪郭線が点線で強調されたマークが示され、未登録物体認識部１１４が画像４１を未登録物体として認識していることが示されている。
【００４６】
図４（ｄ）は、色補正部１１３が撮像画像２０を色補正することにより、標準光源の環境光下のＲＧＢ画像を生成する処理を示している。
【００４７】
図４（ｅ）は、色補正部１１３が色補正を行うことにより、標準光源の環境光下での色の見えを再現した撮像画像２０に基づく表示画像を示している。
【００４８】
図４（ｆ）は、画像４１における色情報として取得された分光画像４１Ａと基準ＲＧＢ画像４１Ｂ、及び画像４１における物体認識情報として取得された特徴情報４１Ｃを示している。画像４１における色情報及び物体認識情報は、色補正部１１３により色補正が行われた後の撮像画像２０の画像データを用いて取得される。例えば、基準ＲＧＢ画像４１Ｂは、分光画像４１Ａを用いて推定された画像である。また、この例に示すように、特徴情報として、画像の輝度分布や、色のヒストグラム、エッジ情報などが用いられてもよい。
【００４９】
図４（ｇ）は、未登録物体４０の画像４１が、追加登録部１１５により、追加登録物体６１として登録される状態を示している。追加登録部１１５は、未登録物体４０の色情報（例えば、分光画像４１Ａを用いて推定された画像４１の基準ＲＧＢ画像４１Ｂ）を、未登録物体４０の色補正用物体識別情報、物体認識情報及び色情報取得元情報と共に色補正用物体データベース１２に記録することにより、未登録物体４０の画像４１を、追加登録物体６１として登録する。この場合、追加登録物体６１の色情報取得元情報には、撮像画像２０の色補正に用いられた色補正用物体３０（色補正用物体データベース１２に記録された色補正用物体５３）の色補正用物体識別情報が記録される。
【００５０】
図５は、第１の実施形態に係る画像補正システム１による撮像画像から追加登録物体を登録する流れを説明するフローチャートである。ここでは、画像補正システム１が色補正用物体の分光反射率を用いて色補正を行う場合を例示して説明する。
【００５１】
ステップＳ１０１：
ユーザが撮像装置３−１により、図４（ａ）に示すように、撮像画像２０を撮像し、ユーザ端末装置２−１により撮像画像２０を、画像補正サーバ１１に対して、ネットワーク５を介して送信する。
【００５２】
ステップＳ１０２：
画像補正サーバ１１は、撮像画像２０の色補正を行う。具体的に、撮像画像取得部１１１は、撮像画像２０を取得し、記憶部１１６に書き込んで記憶させる。色補正用物体認識部１１２は、撮像画像２０に含まれている物体の中から色補正用物体データベース１２の色補正用物体テーブルに登録されている色補正用物体を認識する。色補正部１１３は、撮像画像２０に含まれている色補正用物体の色情報に基づいて、（３）式を用いて撮像画像２０が撮像された光源の分光エネルギー分布を推定する。色補正部１１３は、推定した分光エネルギー分布から分光画像を生成し、分光エネルギー分布と生成した分光画像とを用いて撮像画像２０の色を補正した表示画像を生成する。色補正部１１３が生成する表示画像は、対象物Ｔが基準光源の環境光下で視認される色味で表示される画像である。
【００５３】
ステップＳ１０３：
画像補正サーバ１１の未登録物体認識部１１４は、撮像画像２０に含まれている物体の中に、色補正用物体データベース１２の色補正用物体テーブルに登録されていない未登録物体４０があるか否かを判定する。未登録物体認識部１１４は、撮像画像２０における各画像の輪郭抽出を行い、輪郭内における画像を抽出し、抽出した画像をテンプレート画像との比較、あるいは特徴量の各々との比較により、それぞれ類似度を算出する。未登録物体認識部１１４は、抽出した画像の各々なかに色補正用物体データベース１２に記憶されている何れのテンプレート画像とも類似度が予め設定されている類似度閾値未満である画像が存在する場合、撮像画像２０に未登録物体が含まれていると判定する。
画像補正サーバ１１は、撮像画像２０に含まれている物体の中に未登録物体４０がある場合、処理をステップＳ１０４へ進める。一方、画像補正サーバ１１は、撮像画像２０に含まれている物体の中に未登録物体４０がない場合、処理を終了させる。
【００５４】
ステップＳ１０４：
未登録物体認識部１１４は、撮像画像２０から未登録物体４０が撮像された領域を抽出する。この場合、未登録物体認識部１１４は、色補正部１１３により補正された後の撮像画像２０から未登録物体４０が撮像された領域を抽出する。
【００５５】
ステップＳ１０５：
追加登録部１１５は、未登録物体４０の画像データ、ステップＳ１０２において推定された分光エネルギー分布を用いて未登録物体の各画素における分光反射率を推定する。追加登録部１１５は、推定した分光反射率を用いて未登録物体４０の分光画像を生成する。
【００５６】
ステップＳ１０６：
追加登録部１１５は、分光エネルギー分布、及び生成した分光画像から、未登録物体４０の基準ＲＧＢ画像を生成する。
【００５７】
ステップＳ１０７：
追加登録部１１５は、未登録物体４０の画像４１から形状や色の特徴、輝度分布、色ヒストグラム、エッジ情報などの特徴情報を取得する。
【００５８】
ステップＳ１０８：
追加登録部１１５は、未登録物体４０の基準ＲＧＢ画像、分光反射率及び／又は分光画像を未登録物体の色情報とし、未登録物体の画像情報、又は特徴情報などと共に色補正用物体データベース１２に記録する。これにより、追加登録部１１５は、未登録物体４０を追加登録物体６１として色補正用物体テーブルに登録する。
【００５９】
以上説明したように、第１の実施形態の画像補正システム１は、カラーチャートに換え、一般的に流通している商品のパッケージや包装など、あらかじめ色補正用物体データベース１２に記憶されている色補正用物体の色情報（基準ＲＧＢ画像や分光反射率（推定分光反射率））を用いて、撮像画像２０の色を補正する際、撮像画像２０に色補正用物体データベース１２に記録されていない未登録物体が撮像されている場合には、未登録物体を色補正用物体の候補として色補正用物体データベース１２に登録することができる。
これにより、第１の実施形態の画像補正システム１は、色補正用物体データベース１２に登録済みの色補正用物体が販売中止等により市場に出回らなくなるなどして、入手できなかった場合でも、追加登録物体を対象物である被写体と共に撮像すれば、撮像画像の色を補正して実物の色の見えに近い、対象物の画像を画面に表示することができる。
【００６０】
また、第１の実施形態の画像補正システム１では、追加登録部１１５は、色補正用物体データベース１２に未登録物体を登録する際、未登録物体における色情報の取得元を示す色情報取得元情報として、撮像画像２０の色補正に用いられた色補正用物体の識別情報を記録する。これにより、第１の実施形態の画像補正システム１は、色補正用物体データベース１２に登録した追加登録物体の色情報が、何れの色補正用物体に基づいて取得されたかを判定することができる。
【００６１】
＜第１の実施形態の変形例＞
次に、第１の実施形態の変形例について説明する。本変形例では、追加登録部１１５が、未登録物体が所定の要件を満たす場合に、追加登録物体として色補正用物体データベース１２に登録する点において、上記第１の実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。
【００６２】
図６は、第１の実施形態の変形例に係る画像補正サーバ１１が行う処理を説明するための図である。
図６（ａ）は、撮像画像２０において未登録物体４０として認識された物体が動物である場合の例を示している。動物は、印刷物とは大きく異なり、形状や色味が見る方向によって毎回異なって見えるのが通常であるため、色補正用物体として用いることは適切ではない。
図６（ｂ）は、撮像画像２０において未登録物体４０として認識された物体が単純な方形（箱型）の形状である場合の例を示している。
【００６３】
追加登録部１１５は、未登録物体認識部１１４により認識された未登録物体４０を、例えば、未登録物体４０の輪郭の形状に基づいて、色補正用物体データベース１２に登録するか否か判定する。追加登録部１１５は、例えば、図６（ａ）のように未登録物体４０の輪郭の形状に曲線部が多く、商品パッケージなどに多くみられる単純な方形や略方形の形状でない場合、未登録物体４０を登録しない。一方、追加登録部１１５は、図６（ｂ）のように商品パッケージなどに多くみられる単純な方形や略方形の形状（箱型）である場合、未登録物体４０を色補正用物体データベース１２に登録する。
【００６４】
なお、追加登録部１１５は、未登録物体４０の形状が商品パッケージの形状であるか否かを、未登録物体４０の形状の特徴量を検出する検出部（不図示）により判定してもよい。検出部は、例えば、予め記憶した商品パッケージ（箱型やスタンディングパウチ型など）の形状と未登録物体４０の形状と比較し、類似度の算出を行う。或いは、検出部は、一般的な商品パッケージをあらゆる角度からみた形状を学習した学習済みモデルを用いて未登録物体４０の形状が商品パッケージの形状であるか否かを判定してもよい。
【００６５】
また、検出部は、未登録物体４０が商品パッケージの形状を有していると判定した場合、その未登録物体４０が一般的に流通しているものか否かを判定し、一般的に流通しているものである場合に、その未登録物体４０を色補正用物体データベース１２に登録するようにしてもよい。このとき、検出部は、例えば、未登録物体４０の形状や未登録物体４０の画像から読み取れるキーワードにてインターネット上の画像検索を行う。そして、検出部は、検索件数が所定の閾値以上であった場合、或いは未登録物体４０の画像や形状とほぼ一致する検索結果が多数得られた場合に、その未登録物体４０を色補正用物体データベース１２に登録する。
【００６６】
図７は、第１の実施形態の変形例に係る画像補正サーバ１１が行う処理を説明するための図である。
図７（ａ）は、撮像画像２０において色補正用物体３０から離れた位置に未登録物体４０として認識された物体が撮像されている場合の例を示している。このように色補正用物体３０と未登録物体４０とが離れている場合、色補正用物体３０と未登録物体４０とで、撮像画像２０が撮像された際の光源の分布状態（光源分布）が異なる場合があり得る。例えば、スポットライトのように指向性を有する光源下で撮像された場合、色補正用物体３０には真上から光が照射されているが、色補正用物体３０から離れている未登録物体４０にはほとんど光があてられていない状態で撮像される場合がある。このような場合、色補正用物体３０と未登録物体４０とで光源分布が異なる。このような撮像画像２０において、撮像画像の全体が、色補正用物体３０の光源分布と同様の光源分布であるとみなされて分光エネルギー分布が推定された場合には、色補正用物体３０の近くの領域については推定精度が高いが、色補正用物体３０から離れた未登録物体４０が撮像された領域においては推定精度が悪くなると考えられる。
【００６７】
図７（ｂ）は、撮像画像２０において色補正用物体３０に近い位置に未登録物体４０として認識された物体が撮像されている場合の例を示している。このように色補正用物体３０と未登録物体４０とが近い位置に撮像されている場合、色補正用物体３０と未登録物体４０とで、撮像画像２０が撮像された際の光源分布はほぼ同一とみなすことができる。この場合、色補正用物体３０を用いて推定した撮像画像２０の分光エネルギー分布について、未登録物体４０が撮像された領域においても推定精度が悪くなることはほぼない。
【００６８】
追加登録部１１５は、未登録物体認識部１１４により認識された未登録物体４０と色補正用物体３０との相対的な位置関係基づいて、未登録物体４０を色補正用物体データベース１２に登録するか否か判定する。
【００６９】
追加登録部１１５は、例えば、図７（ａ）のように色補正用物体３０の重心座標と未登録物体４０の重心座標との間の撮像画像２０の横幅方向（ｘ軸方向）の距離ｘ１が所定の閾値以上である場合、未登録物体４０を色補正用物体データベース１２に登録しない。また、追加登録部１１５は、色補正用物体３０の重心座標と未登録物体４０の重心座標との間の撮像画像２０の縦方向（ｙ軸方向）の距離ｙ１が所定の閾値以上である場合、未登録物体４０を色補正用物体データベース１２に登録しない。
【００７０】
一方、追加登録部１１５は、図７（ｂ）のように、色補正用物体３０の重心座標と未登録物体４０の重心座標との間のｘ軸方向の距離ｘ２が所定の閾値未満であり、尚且つ、ｙ軸方向の距離ｙ２が所定の閾値未満である場合、未登録物体４０を色補正用物体データベース１２に登録する。
【００７１】
以上説明したように、第１の実施形態の変形例の画像補正システム１では、撮像画像２０に撮像されている未登録物体４０の形状に基づいて、未登録物体４０を色補正用物体データベース１２に記録するか否かを判定する。これにより、第１の実施形態の変形例の画像補正システム１は、色補正用物体として扱い易い形状を有する未登録物体（例えば、商品パッケージ）を色補正用物体データベース１２に登録し、色補正用物体として扱い難い形状（例えば動物等）の未登録物体を色補正用物体データベース１２に登録しないことができる。
【００７２】
また、第１の実施形態の変形例の画像補正システム１では、撮像画像２０に撮像されている未登録物体４０と色補正用物体３０との相対的な位置関係に基づいて、未登録物体４０を色補正用物体データベース１２に記録するか否かを判定する。これにより、第１の実施形態の変形例の画像補正システム１は、色補正用物体として精度よく色情報が推定可能な未登録物体（例えば、色補正用物体３０の近くで撮像され、分光エネルギー分布が色補正用物体３０の分光エネルギー分布と同等とみなせる未登録物体４０）を色補正用物体データベース１２に登録し、色補正用物体として精度よく色情報が推定できないと考えられる未登録物体（例えば、色補正用物体３０から離れた位置で撮像され、分光エネルギー分布が色補正用物体３０の分光エネルギー分布と同等とみなすことができない未登録物体４０）を色補正用物体データベース１２に登録しないことができる。
【００７３】
＜第２の実施形態＞
次に、第２の実施形態について説明する。本実施形態では、画像補正システム１Ａが色補正用物体データベース１２を管理するデータベース管理サーバ１３を備える点において、他の実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。
【００７４】
図８は、第２の実施形態に係る画像補正システム１Ａの構成例を示すブロック図である。画像補正システム１Ａは、データベース管理サーバ１３を備える。
【００７５】
データベース管理サーバ１３は、色補正用物体データベース１２を管理する。具体的に、データベース管理サーバ１３は、色補正用物体データベース１２に登録された追加登録物体のうち、色補正用物体として用いてよい物体と、色補正用物体として用いない物体とに分けて管理する。つまり、データベース管理サーバ１３は、追加登録物体として登録された物体のうち、色情報の精度が悪い（色補正を行う場合に必要な精度に達していない）と判定するものを、色補正用物体として用いないように制限する。
【００７６】
また、データベース管理サーバ１３は、製版情報や分光反射率の測定値を取得し、取得した情報に応じて、色補正用物体データベース１２を更新する。具体的に、データベース管理サーバ１３は、取得した製版情報や分光反射率の測定値に基づいて基準ＲＧＢ画像を生成し、生成した基準ＲＧＢ画像に対応する色補正用物体を新たに登録する。この際、データベース管理サーバ１３は、新たに登録しようとした物体が、すでに追加登録物体として登録されていれば、当該追加登録物体の登録内容を更新する。
【００７７】
図９は、第２の実施形態に係るデータベース管理サーバ１３の構成例を示すブロック図である。データベース管理サーバ１３は、例えば、製版情報取得部１３１、測定情報取得部１３２、登録情報算出部１３３、色情報再取得部１３４、データベース更新部１３５、及び利用制限部１３６を備える。
【００７８】
製版情報取得部１３１は、製版情報を取得する。製版情報取得部１３１は、例えば、商品パッケージにインキの印刷を行う印刷所などから製版情報を取得する。
【００７９】
測定情報取得部１３２は、商品パッケージの分光反射率の測定値を取得する。商品パッケージの分光反射率の測定値は、例えば、色補正用物体データベース１２に登録された追加登録物体のうち、同一の商品パッケージが多数登録され、その追加登録物体の色情報の精度を向上させることで精度よく色補正を行うことができると判定された場合など、画像補正システム１Ａの管理者等が必要と判断した場合に取得される。
【００８０】
登録情報算出部１３３は、製版情報取得部１３１により取得された製版情報、及び測定情報取得部１３２により取得された分光反射率の測定値に基づいて、色補正用物体データベース１２に登録する情報を算出する。
登録情報算出部１３３は、製版情報と、印刷されるインキの濃度と、その順番とに対応して印刷色を予測する特色プロファイル及び基準プロファイルに基づき、製版データにより印刷される色を、ＲＧＢデータで示した基準ＲＧＢ画像を生成する。ここで、基準プロファイルは、ｓＲＧＢやＡｄｏｂｅＲＧＢなどの標準的なＲＧＢ座標系のＩＣＣ（ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｌｏｒ Ｃｏｎｓｏｒｔｉｕｍ）プロファイルである。
【００８１】
また、登録情報算出部１３３は、生成した基準ＲＧＢ画像を色補正用物体のテンプレート画像とし、基準ＲＧＢ画像から色補正用物体の画像の形状あるいは色などの特徴量の抽出することにより物体認識情報の生成処理を行う。
【００８２】
登録情報算出部１３３は、製版情報に対応して、インキを印刷する順番に印刷色の予測を行い、それぞれのインキの濃度階調に対応した分光反射率、及びそのインキを印刷する下地の層（印刷媒体あるいはインキの層）の分光反射率から、印刷結果である複数のインキの層からなる着色層における各部分の分光反射率を、推定分光反射率として算出する。
【００８３】
データベース更新部１３５は、登録情報算出部１３３により生成された基準ＲＧＢ画像に対応する色補正用物体を色補正用物体データベース１２に新たに登録することにより、データベースを更新する。データベース更新部１３５は、新たに登録しようとする色補正用物体が、追加登録物体として色補正用物体データベース１２にすでに登録されていた場合、当該追加登録物体の基準ＲＧＢ画像を更新する。この際、データベース更新部１３５は、当該追加登録物体の分光反射率や、特徴情報、及び色情報取得元情報などの登録内容も併せて更新する。
【００８４】
色情報再取得部１３４は、すでに登録されていた追加登録物体の登録内容が更新された場合、色補正用物体データベース１２に登録されている追加登録物体のうち、当該追加登録物体に紐づく追加登録物体について色情報を再度取得し直す。具体的に、色情報再取得部１３４は、色補正用物体データベース１２を参照し、更新された追加登録物体の識別番号が色情報取得元情報に記録されている追加登録物体を抽出する。色情報再取得部１３４により抽出された追加登録物体は、今回登録内容が更新された追加登録物体の色情報を用いて色補正を行った撮像画像２０から色情報が取得された物体である。
【００８５】
色情報再取得部１３４は、抽出した追加登録物体の色情報を、今回更新された追加登録物体を用いて取得し直す。これにより、今回更新されたより精度のよい登録内容を用いて、より精度よく色情報を取得することができる。
【００８６】
利用制限部１３６は、色補正用物体データベース１２に補正用候補物体として登録された物体のうち、色情報の精度が悪いと判定するものを、色補正用物体として用いないように利用を制限する。以下では、利用制限部１３６が利用を制限する方法について図１０を用いて説明する。
【００８７】
図１０は、第２の実施形態に係るデータベース管理サーバ１３が行う処理を説明するための図である。図１０では、色補正用物体データベース１２に登録された色補正用物体５１〜５３、及び追加登録物体６２、６３、７１、８１、８２、９１の各々が、世代ごとに管理されている様子を模式的に示している。ここでの世代とは、色情報取得元情報に基づく世代であり、色情報が何れの色補正用物体又は追加登録物体を用いて取得されたかに応じて分類される世代である。
【００８８】
この例では、「デフォルト」世代は、製版情報から推定された分光反射率や、測定された分光反射率を用いて色情報が取得された色補正用物体で構成される。この世代は、製版情報から直接推定されたり、測定されたりした分光反射率そのものが色情報として記録されているため、色情報を取得する過程で分光反射率の精度が悪くなることがない。
【００８９】
「第１世代」は、デフォルト世代に属する色補正用物体を用いて色情報が取得された色補正用物体で構成される。この世代は、色補正用物体を用いて分光反射率が取得されているため、製版情報から直接推定されたり、測定されたりした分光反射率、つまりデフォルト世代と比較すると、分光反射率の精度が悪いと考えられる。この例では、追加登録物体６２、６３が「第１世代」に該当する。また、追加登録物体６２、６３は、色補正用物体５３と紐づいて（矢印で接続されて）いる。これは、追加登録物体６２、６３が、ともに色補正用物体５３を用いて色情報が推定されていることを示している。
【００９０】
「第２世代」は、第１世代に属する追加登録物体を用いて色情報が取得された色補正用物体で構成される。この世代は、第１世代の追加登録物体を用いて分光反射率が取得されているため、第１世代と比較して、分光反射率の精度が悪くなると考えられる。この例では、追加登録物体７１が「第２世代」に該当する。追加登録物体７１は、追加登録物体６３と矢印で接続され、追加登録物体６３を用いて色情報が推定されていることを示している。
【００９１】
「第３世代」は、第２世代に属する追加登録物体を用いて色情報が取得された色補正用物体で構成される。この世代は、第２世代の追加登録物体を用いて分光反射率が取得されているため、第２世代と比較して、分光反射率の精度が悪くなると考えられる。この例では、追加登録物体８１、８２が「第３世代」に該当する。追加登録物体８１、８２は、共に追加登録物体７１と矢印で接続され、追加登録物体７１を用いて色情報が推定されていることを示している。
【００９２】
「第４世代」は、第３世代に属する追加登録物体を用いて色情報が取得された色補正用物体で構成される。この世代は、第３世代の追加登録物体を用いて分光反射率が取得されているため、第３世代と比較して、分光反射率の精度が悪くなると考えられる。この例では、追加登録物体９１が「第４世代」に該当する。追加登録物体９１は、追加登録物体８１と矢印で接続され、追加登録物体８１を用いて色情報が推定されていることを示している。
【００９３】
利用制限部１３６は、デフォルト世代から何れの世代までを色補正用物体として利用することができるようにし、その下の世代の利用を制限する。利用制限部１３６は、何れの世代までを利用可能とするかを、色補正用物体データベース１２に記録された追加登録物体の個数や、追加登録物体の色情報の精度に応じて任意に決定してよい。これにより、色情報の精度が悪くなると考えられる追加登録物体を用いて色補正が行われてしまうことを抑制できる。
【００９４】
図１１は、第２の実施形態に係るデータベース管理サーバ１３が行う処理を説明するための図である。図１１ではデータベース更新部１３５により色補正用物体データベース１２が更新される様子を模式的に示しており、図１０において、第２世代に属していた追加登録物体７１の製版情報が取得された場合を例示している。
この場合、製版情報取得部１３１により追加登録物体７１の製版情報が取得され、登録情報算出部１３３により取得された製版情報を用いて推定分光反射率が算出されたり、基準ＲＧＢ画像が生成されたりして、更新される追加登録物体７１の色情報が算出される。そして、データベース更新部１３５により、色補正用物体データベース１２における追加登録物体７１の登録内容が更新される。この例では、第２世代に属していた追加登録物体７１が、デフォルト世代に属する色補正用物体５６として更新された場合を示している。この場合、追加登録物体７１を用いて色情報が推定されていた追加登録物体８１、８２は第１世代に移動し、それぞれ追加登録物体６４、６５となる。また、追加登録物体８１を用いて色情報が推定されていた追加登録物体９１は第２世代に移動して追加登録物体７２となる。つまり、登録内容が更新された追加登録物体７１に紐づいていた追加登録物体は、更新に伴って世代が移動する。世代が移動する際には、追加登録物体７１に紐づいていた追加登録物体の色情報は、更新された追加登録物体７１（つまり、色補正用物体５６）を用いて再度取得される。
【００９５】
以上説明したように、第２の実施形態の画像補正システム１Ａは、色補正部１１３により行われる色補正に追加登録物体を利用するか否かを、追加登録物体の色情報取得元情報に基づいて判定する利用制限部１３６を更に備える。これにより、追加登録物体の色情報の精度が撮像画像２０の色補正を行うために必要な精度に達していないと考えられる場合に、その追加登録物体を色補正用物体として利用することを制限でき、撮像画像２０の色補正の精度が悪くなることを抑制できる。
【００９６】
また、第２の実施形態の画像補正システム１Ａでは、追加登録物体７１の色情報（例えば、分光反射率）を測定した測定値が取得された場合、色補正用物体データベース１２に記録された追加登録物体７１の色情報を測定値に基づいて更新するデータベース更新部１３５を更に備える。これにより、第２の実施形態の画像補正システム１Ａでは、追加登録物体７１について、色情報が測定された場合にはその測定された色情報に更新でき、登録済みの追加登録物体の色情報の精度を向上させていくことができる。
【００９７】
また、第２の実施形態の画像補正システム１Ａでは、追加登録物体７１の製版情報が取得された場合、色補正用物体データベース１２に記録された追加登録物体７１の色情報を、製版情報を用いて推定される色情報に更新するデータベース更新部１３５を更に備える。これにより、第２の実施形態の画像補正システム１Ａでは、追加登録物体７１について、製版情報が取得された場合には製版情報を用いて分光反射率を推定することにより色情報を更新でき、登録済みの追加登録物体の色情報の精度を向上させていくことができる。
【００９８】
また、第２の実施形態の画像補正システム１Ａでは、色補正用物体データベース１２に追加登録物体が複数登録されており、色補正用物体データベース１２に登録された追加登録物体７１（「第１追加登録物体」の一例）の色情報が更新された場合、色補正用物体データベース１２に登録された追加登録物体のうち、追加登録物体７１の識別情報が色情報取得元情報として記録された追加登録物体８１、８２（「第２追加登録物体」の一例）について、追加登録物体８１、８２の色情報を、追加登録物体７１において更新された色情報を用いて再度取得し直す色情報再取得部１３４を更に備える。これにより、第２の実施形態の画像補正システム１Ａでは、追加登録物体７１の色情報が変更された場合に、追加登録物体７１に紐づく追加登録物体８１、８２の色情報を更新でき、色情報が更新された追加登録物体のみならず、色情報が更新された追加登録物体に紐づく追加登録物体の色情報をより精度のよい色情報に更新させることができる。
【００９９】
上述した実施形態における画像補正システム１（１Ａ）の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【０１００】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１０１】
１…画像補正システム
２−１，２−２…ユーザ端末装置
３−１，３−２…撮像装置
４−１，４−２…表示装置
５…ネットワーク
１１…画像補正サーバ
１２…色補正用物体データベース
１３…データベース管理サーバ
１１１…撮像画像取得部
１１２…色補正用物体認識部
１１３…色補正部
１１４…未登録物体認識部
１１５…追加登録部
１３１…製版情報取得部
１３２…測定情報取得部
１３３…登録情報算出部
１３４…色情報再取得部
１３５…データベース更新部
１３６…利用制限部
【図１】
2019205142.tif 000006
【図２】
2019205142.tif 000007
【図３】
2019205142.tif 000008
【図４】
2019205142.tif 000009
【図５】
2019205142.tif 000010
【図６】
2019205142.tif 000011
【図７】
2019205142.tif 000012
【図８】
2019205142.tif 000013
【図９】
2019205142.tif 000014
【図１０】
2019205142.tif 000015
【図１１】
2019205142.tif 000016