(57)【要約】【課題】  任意の照明条件で撮像された被写体の画像を、予め定められた照明条件で撮像した画像に補正する画像処理装置の提供。【解決手段】  画像処理装置１００は、「理想照明条件」で基準ボールを撮像した「理想ボール画像」を取得する理想照明画像取得部１０４と、「実照明条件」で基準ボール及び被写体を撮像し、「実ボール画像」及び「被写実体画像」を取得する実照明画像取得部１０６と、基準ボール及び被写体の立体形状をそれぞれ取得する形状取得部１０２と、基準ボール及び被写体の立体形状に基づいて「理想ボール画像」、「実ボール画像」、及び「被写体実画像」の各部の法線方向を判断する法線方向判断部１０８と、「理想ボール画像」及び「実ボール画像」における各部の法線方向毎の色の差を「色の差分」として算出する差分算出部１１０と、「被写体実画像」の各部の色を法線方向毎に「色の差分」で補正する被写体画像補正部１１２とを備える。【選択図】図１
2005129017.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像した画像を補正する画像処理装置であって、
複数の法線方向を有する基準部材を、第１の照明条件で撮像した第１基準部材画像を取得する第１照明画像取得部と、
第２の照明条件で前記基準部材を撮像した第２基準部材画像と、前記第２の照明条件で任意の被写体を撮像した被写体画像とを取得する第２照明画像取得部と、
前記基準部材及び前記被写体の立体形状をそれぞれ取得する形状取得部と、
前記基準部材及び前記被写体の前記立体形状に基づいて、前記第１基準部材画像、前記第２基準部材画像、及び前記被写体画像の各部の法線方向を判断する法線方向判断部と、
前記第１基準部材画像及び前記第２基準部材画像における各部の前記法線方向毎の色の差分を算出する差分算出部と、
前記被写体画像の各部の色を前記法線方向毎に、前記色の差分で補正する被写体画像補正部と
を備える画像処理装置。
【請求項２】
前記基準部材の形状は球状である、請求項１に記載の画像処理装置。
【請求項３】
前記基準部材及び前記被写体の光学特性は実質的に同一である、請求項１に記載の画像処理装置。
【請求項４】
前記第１照明画像取得部は、前記第１の照明条件として、前記被写体を撮像する場合の理想的な照明条件で、前記第１基準部材画像を取得する、請求項１に記載の画像処理装置。
【請求項５】
被写体を撮像した画像を補正する画像処理装置であって、
複数の法線方向を有する基準部材の３次元画像である第１基準部材画像を、第１の材料色と第１の照明条件で生成する第１照明画像生成部と、
現実の任意の照明条件である第２の照明条件で、実在する任意の被写体を撮像した被写体画像と、前記第２の照明条件で、前記被写体と同一色の前記基準部材を撮像した第２基準部材画像とを取得する第２照明画像取得部と、
前記基準部材及び前記被写体の立体形状をそれぞれ取得する形状取得部と、
前記基準部材及び前記被写体の前記立体形状に基づいて、前記第１基準部材画像、前記第２基準部材画像、及び前記被写体画像の各部の法線方向を判断する法線方向判断部と、
前記第１基準部材画像及び前記第２基準部材画像における各部の前記法線方向毎の色の差分を算出する差分算出部と、
前記被写体画像の各部の色を前記法線方向毎に、前記色の差分で補正する被写体画像補正部と
を備える画像処理装置。
【請求項６】
被写体を撮像した画像を補正する画像処理方法であって、
複数の法線方向を有する基準部材を、第１の照明条件で撮像した第１基準部材画像を取得する第１照明画像取得ステップと、
第２の照明条件で前記基準部材を撮像した第２基準部材画像と、前記第２の照明条件で任意の被写体を撮像した被写体画像とを取得する第２照明画像取得ステップと、
前記基準部材及び前記被写体の立体形状をそれぞれ取得する形状取得ステップと、
前記基準部材及び前記被写体の前記立体形状に基づいて、前記第１基準部材画像、前記第２基準部材画像、及び前記被写体画像の各部の法線方向を判断する法線方向判断ステップと、
前記第１基準部材画像及び前記第２基準部材画像における各部の前記法線方向毎の色の差分を算出する差分算出ステップと、
前記被写体画像の各部の色を前記法線方向毎に、前記色の差分で補正する被写体画像補正ステップと
を備える画像処理方法。
【請求項７】
被写体を撮像した画像を補正する画像処理方法であって、
複数の法線方向を有する基準部材の３次元画像である第１基準部材画像を、第１の材料色と第１の照明条件で生成する第１照明画像生成ステップと、
現実の任意の照明条件である第２の照明条件で、実在する任意の被写体を撮像した被写体画像と、前記第２の照明条件で、前記被写体と同一色の前記基準部材を撮像した第２基準部材画像とを取得する第２照明画像取得ステップと、
前記基準部材及び前記被写体の立体形状をそれぞれ取得する形状取得ステップと、
前記基準部材及び前記被写体の前記立体形状に基づいて、前記第１基準部材画像、前記第２基準部材画像、及び前記被写体画像の各部の法線方向を判断する法線方向判断ステップと、
前記第１基準部材画像及び前記第２基準部材画像における各部の前記法線方向毎の色の差分を算出する差分算出ステップと、
前記被写体画像の各部の色を前記法線方向毎に、前記色の差分で補正する被写体画像補正ステップと
を備える画像処理方法。
【請求項８】
被写体を撮像した画像を補正するコンピュータ用のプログラムであって、
複数の法線方向を有する基準部材を、第１の照明条件で撮像した第１基準部材画像を取得する第１照明画像取得機能と、
第２の照明条件で前記基準部材を撮像した第２基準部材画像と、前記第２の照明条件で任意の被写体を撮像した被写体画像とを取得する第２照明画像取得機能と、
前記基準部材及び前記被写体の立体形状をそれぞれ取得する形状取得機能と、
前記基準部材及び前記被写体の前記立体形状に基づいて、前記第１基準部材画像、前記第２基準部材画像、及び前記被写体画像の各部の法線方向を判断する法線方向判断機能と、
前記第１基準部材画像及び前記第２基準部材画像における各部の前記法線方向毎の色の差分を算出する差分算出機能と、
前記被写体画像の各部の色を前記法線方向毎に、前記色の差分で補正する被写体画像補正機能と
を前記コンピュータに実現させるプログラム。
【請求項９】
被写体を撮像した画像を補正するコンピュータ用のプログラムであって、
複数の法線方向する基準部材の３次元画像である第１基準部材画像を、第１の材料色と第１の照明条件で生成する第１照明画像生成機能と、
現実の任意の照明条件である第２の照明条件で、実在する任意の被写体を撮像した被写体画像と、前記第２の照明条件で、前記被写体と同一色の前記基準部材を撮像した第２基準部材画像とを取得する第２照明画像取得機能と、
前記基準部材及び前記被写体の立体形状をそれぞれ取得する形状取得機能と、
前記基準部材及び前記被写体の前記立体形状に基づいて、前記第１基準部材画像、前記第２基準部材画像、及び前記被写体画像の各部の法線方向を判断する法線方向判断機能と、
前記第１基準部材画像及び前記第２基準部材画像における各部の前記法線方向毎の色の差分を算出する差分算出機能と、
前記被写体画像の各部の色を前記法線方向毎に、前記色の差分で補正する被写体画像補正機能と
を前記コンピュータに実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。特に本発明は、被写体を撮像した画像の明るさ及び色を補正する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、被写体撮影時の照明条件によって変化する画像の色バランスを補正する技術として、白色や黒色などの基準色部材を被写体と一緒に撮像し、基準色部材の色に基づいて、色バランスの補正を行う技術がある（例えば、特許文献１参照。）。
【特許文献１】特開２００１−３０９３９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、照明が被写体画像の色合いに影響を及ぼす度合いは、被写体の各部の法線方向に応じて異なる。従来の技術では、被写体の各部の法線方向に応じて適切に画像の色合いを補正することができないという課題があった。
【０００４】
また、照明条件が未知の場合、被写体の画像を、予め定められた照明条件で撮像した画像に補正することができないという課題があった。
【０００５】
そこで本発明は、上記の課題を解決することができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００６】
本発明の第１の形態によると、被写体を撮像した画像を補正する画像処理装置は、複数の法線方向を有する基準部材を、第１の照明条件で撮像した第１基準部材画像を取得する第１照明画像取得部と、第２の照明条件で基準部材を撮像した第２基準部材画像と、第２の照明条件で任意の被写体を撮像した被写体画像とを取得する第２照明画像取得部と、基準部材及び被写体の立体形状をそれぞれ取得する形状取得部と、基準部材及び被写体の立体形状に基づいて、第１基準部材画像、第２基準部材画像、及び被写体画像の各部の法線方向を判断する法線方向判断部と、第１基準部材画像及び第２基準部材画像における各部の法線方向毎の色の差分を算出する差分算出部と、被写体画像の各部の色を法線方向毎に、色の差分で補正する被写体画像補正部とを備える。
【０００７】
基準部材の形状は球状であることが望ましい。また、基準部材及び被写体の光学特性は実質的に同一であることが望ましい。
【０００８】
第１照明画像取得部は、第１の照明条件として、被写体を撮像する場合の理想的な照明条件で、第１基準部材画像を取得してもよい。
【０００９】
本発明の第２の形態によれば、被写体を撮像した画像を補正する画像処理装置は、複数の法線方向を有する基準部材の３次元画像である第１基準部材画像を、第１の材料色と第１の照明条件で生成する第１照明画像生成部と、現実の任意の照明条件である第２の照明条件で、実在する任意の被写体を撮像した被写体画像と、第２の照明条件で、被写体と同一色の基準部材を撮像した第２基準部材画像とを取得する第２照明画像取得部と、基準部材及び被写体の立体形状をそれぞれ取得する形状取得部と、基準部材及び被写体の立体形状に基づいて、第１基準部材画像、第２基準部材画像、及び被写体画像の各部の法線方向を判断する法線方向判断部と、第１基準部材画像及び第２基準部材画像における各部の法線方向毎の色の差分を算出する差分算出部と、被写体画像の各部の色を法線方向毎に、色の差分で補正する被写体画像補正部とを備える。
【００１０】
本発明の第３の形態によれば、被写体を撮像した画像を補正する画像処理方法は、複数の法線方向を有する基準部材を、第１の照明条件で撮像した第１基準部材画像を取得する第１照明画像取得ステップと、第２の照明条件で基準部材を撮像した第２基準部材画像と、第２の照明条件で任意の被写体を撮像した被写体画像とを取得する第２照明画像取得ステップと、基準部材及び被写体の立体形状をそれぞれ取得する形状取得ステップと、基準部材及び被写体の立体形状に基づいて、第１基準部材画像、第２基準部材画像、及び被写体画像の各部の法線方向を判断する法線方向判断ステップと、第１基準部材画像及び第２基準部材画像における各部の法線方向毎の色の差分を算出する差分算出ステップと、被写体画像の各部の色を法線方向毎に、色の差分で補正する被写体画像補正ステップとを備える。
【００１１】
本発明の第４の形態によれば、被写体を撮像した画像を補正する画像処理方法は、複数の法線方向を有する基準部材の３次元画像である第１基準部材画像を、第１の材料色と第１の照明条件で生成する第１照明画像生成ステップと、現実の任意の照明条件である第２の照明条件で、実在する任意の被写体を撮像した被写体画像と、第２の照明条件で、被写体と同一色の基準部材を撮像した第２基準部材画像とを取得する第２照明画像取得部と、基準部材及び被写体の立体形状をそれぞれ取得する形状取得ステップと、基準部材及び被写体の立体形状をそれぞれ取得する形状取得ステップと、基準部材及び被写体の立体形状に基づいて、第１基準部材画像、第２基準部材画像、及び被写体画像の各部の法線方向を判断する法線方向判断ステップと、第１基準部材画像及び第２基準部材画像における各部の法線方向毎の色の差分を算出する差分算出ステップと、被写体画像の各部の色を法線方向毎に、色の差分で補正する被写体画像補正ステップとを備える。
【００１２】
本発明の第５の形態によれば、被写体を撮像した画像を補正するコンピュータ用のプログラムは、複数の法線方向を有する基準部材を、第１の照明条件で撮像した第１基準部材画像を取得する第１照明画像取得機能と、第２の照明条件で基準部材を撮像した第２基準部材画像と、第２の照明条件で任意の被写体を撮像した被写体画像とを取得する第２照明画像取得機能と、基準部材及び被写体の立体形状をそれぞれ取得する形状取得機能と、基準部材及び被写体の立体形状に基づいて、第１基準部材画像、第２基準部材画像、及び被写体画像の各部の法線方向を判断する法線方向判断機能と、第１基準部材画像及び第２基準部材画像における各部の法線方向毎の色の差分を算出する差分算出機能と、被写体画像の各部の色を法線方向毎に、色の差分で補正する被写体画像補正機能とをコンピュータに実現させる。
【００１３】
本発明の第６の形態によれば、被写体を撮像した画像を補正するコンピュータ用のプログラムは、複数の法線方向する基準部材の３次元画像である第１基準部材画像を、第１の材料色と第１の照明条件で生成する第１照明画像生成機能と、現実の任意の照明条件である第２の照明条件で、実在する任意の被写体を撮像した被写体画像と、第２の照明条件で、被写体と同一色の基準部材を撮像した第２基準部材画像とを取得する第２照明画像取得機能と、基準部材及び被写体の立体形状をそれぞれ取得する形状取得部と、基準部材及び被写体の立体形状をそれぞれ取得する形状取得機能と、基準部材及び被写体の立体形状に基づいて、第１基準部材画像、第２基準部材画像、及び被写体画像の各部の法線方向を判断する法線方向判断機能と、第１基準部材画像及び第２基準部材画像における各部の法線方向毎の色の差分を算出する差分算出機能と、被写体画像の各部の色を法線方向毎に、色の差分で補正する被写体画像補正機能とをコンピュータに実現させる。
【００１４】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【発明の効果】
【００１５】
本発明によれば、任意の照明条件で撮像された被写体の画像を、予め定められた照明条件で撮像した画像に補正することができる。
【発明を実施するための最良の形態】
【００１６】
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１７】
図１は、本発明の一実施形態に係る画像処理装置１００の機能構成を示す。画像処理装置１００は、任意の照明条件で撮像された被写体の画像を、予め定められた照明条件で撮像した画像に補正することを目的とする。本実施形態の第１実施例では、照明条件を判断するために、複数の法線方向を有する基準部材を撮像する。基準部材は複数の法線方向を有するので、照明光に対して面の角度を複数方向に変えた画像を一度に撮影することができる。また、第２実施例では、基準部材の３次元画像を、仮想の材料色及び照明条件で生成する。以下、第１実施例を中心に説明し、第２実施例については第１実施例と異なる構成又は動作についてのみ説明する。第２実施例において第１実施例と同様の構成には同一の符号を付して説明を省略する。
【００１８】
基準部材の形状は、例えば球状であることが望ましい。本実施形態では、基準部材として球状の基準ボール１０を使用する。基準ボール１０は、球状なので、あらゆる法線方向の面を有している。従って、照明光に対して法線方向をあらゆる方向に変化させた画像を、効率よく撮像、又は生成できる。また、基準部材及び被写体の光学特性は実質的に同一であることが望ましい。これにより、照明条件が被写体に及ぼす光学的な影響を、基準部材を用いて等価的に判断することができる。
【００１９】
第１実施例において、画像処理装置１００は、被写体を撮像するための理想的な照明条件（以下、「理想照明条件」）で基準ボール１０を撮像した「理想ボール画像」を取得する理想照明画像取得部１０４と、現実の任意の照明条件（以下、実照明条件）で基準ボール１０を撮像した「実ボール画像」と「実照明条件」で被写体を撮像した「被写体実画像」とを取得する実照明画像取得部１０６と、基準ボール１０及び被写体の立体形状をそれぞれ取得する形状取得部１０２と、基準ボール１０及び被写体の立体形状に基づいて、「理想ボール画像」、「実ボール画像」、及び「被写体実画像」の各部の法線方向を判断する法線方向判断部１０８と、「理想ボール画像」及び「実ボール画像」における各部の法線方向毎の色の差分を算出する差分算出部１１０と、「被写体実画像」の各部の色を法線方向毎に色の差分で補正する被写体画像補正部１１２とを備える。
【００２０】
ここで、「理想照明条件」は、本発明の第１の照明条件の一例であり、「理想ボール画像」は、本発明の第１基準部材画像の一例である。また、「実照明条件」は、本発明の第２の照明条件の一例であり、「実ボール画像」は、本発明の第２基準部材画像の一例である。さらに、理想照明画像取得部１０４は、本発明の第１照明画像取得部の一例であり、実照明画像取得部１０６は、本発明の第２照明画像取得部の一例である。
【００２１】
第２実施例において、理想照明画像取得部１０４は、基準ボール１０の３次元画像を、「指定色」と「理想照明条件」で生成して「理想ボール画像」を生成する。すなわち、第２実施例の理想ボール画像は、画像処理装置１００が生成する基準ボール１０のコンピュータグラフィックス（ＣＧ）画像である。本実施例の理想照明画像取得部１０４は、本発明の第１照明画像生成部の一例である。理想照明条件は、照明の分光分布及び照明の位置など、理想ボール画像を生成するために必要な照明条件を含む。本実施例の実照明画像取得部１０６は、現実の任意の照明条件である実照明条件で、実在する任意の被写体を撮像して「被写体実画像」を取得する。実照明画像取得部１０６はさらに、被写体と同一色の基準ボール１０を上記実照明条件で撮像した「実ボール画像」を取得する。差分算出部１１０は、「理想ボール画像」及び「実ボール画像」における各部の法線方向毎の色の差分を算出する。被写体画像補正部１１２は、「被写体実画像」の各部の色を法線方向毎に、差分算出部１１０が算出した差分で補正する。
【００２２】
記録媒体６０は、形状取得部１０２、理想照明画像取得部１０４、実照明画像取得部１０６、法線方向判断部１０８、差分算出部１１０、及び被写体画像補正部１１２の機能を画像処理装置１００に実現させるプログラムを格納している。画像処理装置１００は、そのようなプログラムをネットワーク経由で取得して実行してもよい。
【００２３】
以上の構成により、第１実施例の画像処理装置１００は、「理想ボール画像」及び「実ボール画像」の法線方向毎の色の差を、「理想照明条件」及び「実照明条件」の違いに起因する「色の差分」として算出することができる。そして、「被写体実画像」を「色の差分」で補正することにより、被写体を「理想照明条件」で撮像した場合の画像を得ることができる。すなわち、画像処理装置１００は、任意の照明条件で撮像した被写体画像を、「理想照明条件」で撮像した画像に補正することができる。
【００２４】
また、第２実施例の画像処理装置１００は、「理想ボール画像」及び「実ボール画像」の法線方向毎の色の差を、「理想照明条件」及び「実照明条件」の違いと、「指定色」及び「実在の基準ボール１０の色」の違いとに起因する色の差分として算出する。そして、「被写体実画像」を上記色の差分で補正することにより、「指定色」からなる被写体を「理想照明条件」で撮像した場合の画像を取得することができる。すなわち、画像処理装置１００は、任意の照明条件で撮像した被写体画像から、「指定色」の被写体を「理想照明条件」で撮像した画像を生成することができる。
【００２５】
図２は、第１実施例の理想照明画像取得部１０４が、「理想ボール画像」を取得する様子を示す。「理想ボール画像」は、例えば自動車である被写体２０を撮像する場合に理想的な被写体理想画像２０ａが得られる「理想照明条件」と同一の条件で、基準ボール１０を撮像することによって得られる。「理想照明条件」は、例えば、撮影スタジオやショウルームに被写体２０を持ち込み、被写体２０の外観に最も適したように、照明のスペクトル成分、個数、角度、強度、及び距離等を調節することによって得られる。このとき、基準ボール１０及び被写体２０の各部の法線方向毎の照明条件は、同一である。
【００２６】
一方、第２実施例の理想照明画像取得部１０４は、被写体２０と基準ボール１０の３次元ＣＧ画像を同じ色と照明条件で生成し、モニタに表示する。ユーザは、モニタに表示される被写体２０の画像を確認しながら色及び照明条件を調節し、被写体２０が所望の外観になる状態で、色及び照明条件を決定する。理想照明画像取得部１０４は、このときの基準ボール１０の画像を「理想ボール画像」として取得する。
【００２７】
図３は、「実照明条件」で「被写体実画像」及び「実ボール画像」を取得する様子を示す。「実照明条件」は、たとえば、被写体２０の中古車ディーラーやオーナーが、被写体２０の画像を中古車情報のホームページに掲載する為に、屋内又は屋外で被写体２０を撮像する場合の撮像条件である。「実照明条件」は任意の照明条件であり、「理想照明条件」のように、照明のスペクトル成分、角度、強度などが被写体２０にとって理想的に調節されてはいない。例えば、本実施例に於ける「実照明条件」は、「理想照明条件」よりも照度が低く、照明の方向も偏っている。従って、「実照明条件」で撮像された「被写体実画像」は、「理想照明条件」で撮像される被写体の画像よりも、全体的に暗く、陰の範囲が広い。
【００２８】
このとき、基準ボール１０及び被写体２０の各部の法線方向毎の照明条件は、同一である。実照明画像取得部１０６は、この状態で被写体２０と一緒に基準ボール１０を撮像することによって、同一の「実照明条件」で撮像された「被写体実画像」及び「実ボール画像」を取得する。
【００２９】
なお、本実施例において、基準ボール１０は、被写体２０と一緒に撮像されているが、被写体２０と同一の照明条件で撮像される限りにおいて、被写体２０とは別に撮像されてもよい。例えば、被写体２０を撮像する直前又は直後に、被写体２０と同一の照明条件で別個に撮像されてもよい。
【００３０】
図４は、「理想ボール画像」及び「実ボール画像」の法線方向を判断する方法の一例を示す。法線方向判断部１０８は、基準ボール１０の形状データを形状取得部１０２から取得し、理想ボール画像１０ａ及び実ボール画像１０ｂのそれぞれと重ね合わせることにより、各部の法線方向を判断する。本実施形態の基準ボール１０は球状なので、画像データの形状が撮像の方向によらず一定である。従って、法線方向判断部１０８は、理想ボール画像１０ａ及び実ボール画像１０ｂのそれぞれに対して、形状データを容易に重ね合わせることができる。
【００３１】
立体形状を示す形状データは、例えばワイヤーフレームデータである。ワイヤーフレームデータは、オブジェクトの形状を微小平面の集合体として表現し、微小平面のそれぞれにおける法線方向を定義する。法線方向判断部１０８は、ワイヤーフレームデータにおける微小平面のそれぞれに定義された法線方向を、理想ボール画像１０ａ及び実ボール画像１０ｂの対応する各部における法線方向として判断する。なお、形状データの形式は、ワイヤーフレームに限られない。各部の法線方向を読み出すことのできるデータ形式であれば、ポリゴンデータ、サーフェスデータ、及びソリッドデータ等のいずれであってもよい。
【００３２】
次に、第１実施例の差分算出部１１０は、理想ボール画像１０ａ及び実ボール画像１０ｂにおいて法線方向が同じ部分同士の色を比較し、当該比較の結果得られる色の差分を法線方向毎に算出する。例えば、図４において、理想ボール画像１０ａに於ける法線１２ａと実ボール画像１０ｂに於ける法線１２ｂは法線方向が同一である。差分算出部１１０は、法線方向が同一である微小平面１４ａ及び微小平面１４ｂの色を比較し、両者の色の差分を法線１２の方向に対応付けて格納する。色の差分は、例えばＲＧＢ値の差分や倍率である。あるいはＬ＊ａ＊ｂ＊表色系やＬ＊Ｃ＊ｈ表色系における各パラメータの差分や倍率であってもよい。
【００３３】
図５は、「実照明条件」で撮像した被写体実画像を上記色の差分で補正する例を示す。図５（Ａ）は、「実照明条件」で撮像された被写体実画像２０ｂを示す。法線方向判断部１０８は、被写体２０の立体形状を示す形状データと被写体実画像２０ｂとを取得し、被写体実画像２０ｂの各部の法線方向を判断する。法線方向判断部１０８は、被写体の形状が球状でない場合、形状データの外形線が被写体実画像２０ｂに最も一致する向きで、両者を重ね合わせる。被写体実画像２０ｂと形状データを重ね合わせた後、各部の法線方向を判断する方法は、図４で説明した、基準ボール１０の法線方向を判断する方法と同様なので省略する。
【００３４】
被写体画像補正部１１２は、被写体実画像２０ｂの各部の法線方向毎に、差分算出部１１０が算出した「色の差分」を除去するように、被写体実画像２０ｂの色と明るさを補正する。例えば、法線１２ｃの方向は、図４における法線１２ａ及び１２ｂと同一の法線方向である。この場合、被写体画像補正部１１２は、法線１２ｃを有する微小平面１４ｃの色から、微小平面１４ａに対する微小平面１４ｂの色の差を差し引く。この結果、図５（Ｂ）に示す被写体補正画像２０ｃが得られる。
【００３５】
ここで、第１実施例において法線方向毎の「色の差分」は、「理想照明条件」及び「実照明条件」の違いに起因して生じる。従って、被写体実画像２０ｂから「色の差分」を除くことによって、「実照明条件」で撮像した被写体実画像を、「理想照明条件」で撮像した場合の被写体補正画像２０ｃに補正することができる。
【００３６】
また、第２実施例において、法線方向毎の「色の差分」は、「理想照明条件」及び「実照明条件」の違いと、「指定色」及び「実在の基準ボール１０の色」の違いとに起因して生じる。従って、被写体実画像２０ｂから「色の差分」を除くことによって、被写体実画像を、「指定色」及び「理想照明条件」で撮像した場合の被写体補正画像２０ｃに補正することができる。
【００３７】
図６は、任意の照明条件で撮像した「被写体実画像」を、理想照明条件で撮像した画像に補正する場合のフローチャートである。まず、理想照明画像取得部１０４は、当該被写体にとっての理想照明条件で基準ボールを撮像し、理想ボール画像を取得する（Ｓ１００）。次に、実照明画像取得部１０６は、任意の実照明条件で被写体及び基準ボールを一緒に撮像し、被写体実画像及び実ボール画像を取得する（Ｓ１０２）。
【００３８】
次に、形状取得部１０２は、基準ボールの立体形状を示す形状データを取得する（Ｓ１０４）。そして、法線方向判断部１０８は、理想ボール画像及び実ボール画像のそれぞれに形状データを重ね合わせ、対応する各部の法線方向を判断する（Ｓ１０６）。次に、差分算出部１１０は、基準ボールの法線方向毎の色を、理想ボール画像と実ボール画像とで比較し（Ｓ１０８）、法線方向毎に「色の差分」を算出する（Ｓ１１０）。
【００３９】
次に、法線方向判断部１０８は、被写体の立体形状を示す形状データを取得する（Ｓ１１２）。そして、形状データの向きを被写体実画像とそろえて重ね合わせることによって、被写体実画像の各部における法線方向を判断する（Ｓ１１４）。ここで、形状データの向きを被写体実画像とそろえるには、たとえば形状データの向きを徐々に変化させて、形状データの外形線が被写体実画像と最も一致する向きを探せばよい。
【００４０】
最後に、被写体画像補正部１１２は、被写体実画像の各部の法線方向毎に、差分算出部１１０が算出した「色の差分」を被写体実画像から除去する。これにより、「実照明条件」で撮像した被写体実画像から、「理想照明条件」で撮像した場合の被写体補正画像を得ることができる（Ｓ１１６）。以上で本フローは終了する。
【００４１】
図７は、任意の照明条件で撮像した「被写体実画像」の被写体を指定色に変更し、理想照明条件で撮像した画像を生成するフローチャートである。まず、理想照明画像取得部１０４は、基準ボール１０の３次元画像を、「指定色」と「理想照明条件」で生成して「理想ボール画像」を生成する。（Ｓ１００）。続くステップ２０２、２０４、及び２０６は、それぞれ前述のステップ１０２、１０４、及び１０６と同様なので説明を省略する。次に、差分算出部１１０は、基準ボールの法線方向毎の色を、３次元画像である理想ボール画像と実ボール画像とで比較し（Ｓ２０８）、法線方向毎に「色度」及び「彩度」の差分を算出する（Ｓ２１０）。続くステップ２１２及び２１４は、それぞれ前述のステップ１１２及び１１４と同様なので説明を省略する。
【００４２】
最後に、被写体画像補正部１１２は、被写体実画像の各部の法線方向毎に、差分算出部１１０が算出した「色の差分」を被写体実画像から除去する。この結果、任意の照明条件で撮像した「被写体実画像」の被写体を指定色に変更し、理想照明条件で撮像した場合の画像が生成される（Ｓ２１６）。以上で本フローは終了する。
【００４３】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００４４】
本実施形態によれば、任意の照明条件で撮像された被写体の画像を、予め定められた照明条件で撮像した画像に補正することができる。
【図面の簡単な説明】
【００４５】
【図１】画像処理装置１００の機能構成を示すブロック図である。
【図２】「理想ボール画像」を取得する様子を示す図である。
【図３】「実照明条件」で「被写体実画像」及び「実ボール画像」を取得する様子を示す図である。
【図４】「理想ボール画像」及び「実ボール画像」の法線方向を判断する方法の一例を示す図である。
【図５】「実照明条件」で撮像した被写体実画像を色の差分で補正する例を示す図である。
【図６】「被写体実画像」から被写体を理想照明条件で撮像した画像を生成するフローチャートである。
【図７】「被写体実画像」の被写体を指定色に変更し、理想照明条件で撮像した画像を生成するフローチャートである。
【符号の説明】
【００４６】
１０  基準ボール
２０  被写体
２０ａ  被写体理想画像
２０ｂ  被写体実画像
６０  記録媒体
１００  画像処理装置
１０２  形状取得部
１０４  理想照明画像取得部
１０６  実照明画像取得部
１０８  法線方向判断部
１１０  差分算出部
１１２  被写体画像補正部
【図１】
2005129017.tif 000003
【図２】
2005129017.tif 000004
【図６】
2005129017.tif 000005
【図７】
2005129017.tif 000006
【図３】
2005129017.tif 000007
【図４】
2005129017.tif 000008
【図５】
2005129017.tif 000009