(57)【特許請求の範囲】
【請求項１】
照明により静止被写体の鏡面反射状態が異なる静止被写体の複数の原画像から静止被写体のフレーム画像の画像信号を生成する画像処理方法であって、
前記複数の原画像の画像信号から静止被写体の光沢度を表す光沢信号を生成する光沢信号生成工程と、
前記光沢信号によって表される光沢画像の画素配列に基づいて選択された移動位置にウィンドウ関数を移動し、このウィンドウ関数内に位置する画素の前記光沢信号の信号値を取り出し、この信号値に対応する前記ウィンドウ関数の値を乗算するウィンドウ処理工程と、
このウィンドウ処理工程で得られた乗算結果を用いて所定の演算を行い、前記ウィンドウ関数の移動位置に対応したフレーム画像の画像信号を生成するフレーム画像信号生成工程とを有することを特徴とする画像処理方法。
【請求項２】
前記複数の原画像の画像信号は、平面状の基台に載置されて照明された静止被写体の反射光の反射方向が、この静止被写体の照明光の入射方向と前記基台の平面に対して略鏡面反射の関係にある反射光を読み取って得られた静止被写体の読取画像の第１の読取画像信号と、前記静止被写体の反射光の反射方向が、静止被写体の照明光の入射方向と、前記基台の平面に対して拡散反射の関係にある反射光を読み取って得られた静止被写体の読取画像の第２の読取画像信号であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第１および第２の読取画像信号は、光沢信号生成工程の前に予め明補正処理が施されることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記ウィンドウ処理工程における前記ウィンドウ関数の移動位置は、前記光沢画像およびこの光沢画像の外周領域上の一方向に一定の間隔離れた複数の位置であり、
前記ウィンドウ処理工程は、前記ウィンドウ関数を前記移動位置のうち隣り合う移動位置に順次移動させ、移動のたびに前記ウィンドウ関数の値を、このウィンドウ関数内に位置する対応する画素の前記光沢信号の信号値に乗算し、
前記フレーム画像信号生成工程は、前記ウィンドウ関数の移動位置に対応したフレーム画像を前記ウィンドウ関数の移動の順番に対応させて順番付けを行うことを特徴とする請求項２または３に記載の画像処理方法。
【請求項５】
前記ウィンドウ関数の隣り合う移動位置の間隔は、このウィンドウ関数の移動方向における前記光沢画像の画像幅に所定の幅の２倍の幅を加算し、この加算結果を前記フレーム画像の画像数で除算した幅に相当することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記ウィンドウ処理工程において、前記ウィンドウ関数は、前記光沢画像の一方の画像端から外側に前記所定の幅離れた位置を移動開始位置とし、前記光沢画像の他方の画像端から外側に前記所定の幅離れた位置を折り返し位置として移動し、さらに、この折り返し位置から移動開始位置まで前記移動位置に順次移動することを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記原画像は、静止被写体に対して読取位置を相対的に移動させながら、静止被写体全体を読み取った走査読取画像であることを特徴とする請求項２〜６のいずれかに記載の画像処理方法。
【請求項８】
前記第２の読取画像信号は、異なる２方向から静止被写体を同時に照明して得られた画像信号であることを特徴とする請求項２〜７のいずれかに記載の画像処理方法。
【請求項９】
前記異なる２方向から静止被写体を照明する照明光はともに、第１の読取画像信号を得る際に用いる照明光に比べて拡散光成分を多く含むことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記光沢信号生成工程は、前記第１の読取画像信号値を色変換した変換値から前記第２の読取画像信号値を色変換した変換値を差し引いて光沢信号を生成することを特徴とする請求項８または９に記載の画像処理方法。
【請求項１１】
前記フレーム画像信号生成工程における前記所定の演算は、前記ウィンドウ処理工程で得られた乗算結果に対し前記色変換の逆変換を行って逆変換値を求めた後、この逆変換値に前記第２の読取画像信号の信号値を加算することで前記フレーム画像の画像信号を生成することを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記第２の読取画像信号は、異なる２方向から静止被写体を別々に照明して得られた第３の読取画像信号と第４の読取画像信号からなることを特徴とする請求項２〜７のいずれかに記載の画像処理方法。
【請求項１３】
前記異なる２方向から静止被写体を照明する照明光はともに、第１の読取画像信号を得る際に用いる照明光に比べて拡散光成分を多く含むことを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
前記光沢信号は、第１、第２および第３の光沢信号を含み、
前記光沢信号生成工程は、前記第１、３および４の読取画像信号の信号値をそれぞれ色変換した第１、３および４の変換値を求め、
前記第１の変換値が、前記第２の変換値と前記第３の変換値の平均値以上である第１の条件を満たす場合、前記第１の変換値から前記平均値を差し引いた差分を第２の光沢信号の信号値とするほか、前記第１および第３の光沢信号の信号値を０とし、
前記第１の条件を満たさず、前記第３の変換値が前記第４の変換値以上である第２の条件を満たす場合、前記第３の変換値から前記第１の変換値を差し引いた差分を第３の光沢信号の信号値とするほか、前記第１および第２の光沢信号の信号値を０とし、
前記第１の条件および前記第２の条件のいずれも満たさない場合、前記第４の変換値から前記第１の読取画像信号の信号値を差し引いた差分を第１の光沢信号の信号値とするほか、前記第２および第３の光沢信号の信号値を０とすることを特徴とする請求項１２または１３に記載の画像処理方法。
【請求項１５】
前記ウィンドウ処理工程において、前記ウィンドウ関数は、前記第１、第２および第３の光沢信号のそれぞれに対応して用いられ、前記第１および第３の光沢信号に対応するウィンドウ関数が、前記第２の光沢信号に対応するウィンドウ関数を基準として移動方向前方および後方に所定の距離離れて配置され、前記第２の光沢信号に対応するウィンドウ関数とともに移動することを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
前記ウィンドウ処理工程は、前記第１、第２および第３の光沢信号に対応するウィンドウ関数の値を、このウィンドウ関数内に位置する対応する画素の前記第１、第２および第３の光沢信号の信号値にそれぞれ乗算し、
前記フレーム画像信号生成工程における前記所定の演算は、前記第１、第２および第３の光沢信号に対応して得られた乗算結果を加算し、この加算結果に対し前記色変換の逆変換を行って逆変換値を求めた後、この逆変換値に前記第３の読取画像信号の信号値と前記第４の読取画像信号の信号値の平均値を加算することで前記フレーム画像の画像信号を生成することを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
照明により静止被写体の鏡面反射状態が異なる静止被写体の複数の原画像から静止被写体のフレーム画像の画像信号を生成する画像処理装置であって、
前記原画像の画像信号から静止被写体の光沢度を表す光沢信号を生成する光沢信号生成部と、
前記光沢信号によって表される光沢画像の画素配列に基づいて選択された移動位置にウィンドウ関数を移動し、このウィンドウ関数内に位置する対応する画素の前記光沢信号の信号値を取り出し、この信号値に前記ウィンドウ関数の値を乗算するウィンドウ処理部と、
このウィンドウ処理部で得られた乗算結果を用いて所定の演算を行い、前記ウィンドウ関数の移動位置に対応したフレーム画像の画像信号を生成するフレーム画像信号生成部とを有することを特徴とする画像処理装置。
【請求項１８】
前記複数の原画像の画像信号は、平面状の基台に載置されて照明された静止被写体の反射光の反射方向が、静止被写体の照明光の入射方向と前記基台の平面に対して略鏡面反射の関係にある反射光を読み取って得られた静止被写体の読取画像の第１の読取画像信号と、この静止被写体の反射光の反射方向が、静止被写体の照明光の入射方向と、前記基台の平面に対して拡散反射の関係にある反射光を読み取って得られた静止被写体の読取画像の第２の読取画像信号であることを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記ウィンドウ処理部における前記ウィンドウ関数の移動位置は、前記光沢画像およびこの光沢画像の外周領域上の一方向に一定の間隔離れた複数の位置であり、
前記ウィンドウ処理部は、前記ウィンドウ関数を前記移動位置のうち隣り合う移動位置に順次移動させ、移動のたびに前記ウィンドウ関数の値を、このウィンドウ関数内に位置する対応する画素の前記光沢信号の信号値に乗算し、
前記フレーム画像信号生成部は、前記ウィンドウ関数の移動位置に対応したフレーム画像を、前記ウィンドウ関数の移動の順番に対応させて順番付けを行うことを特徴とする請求項１７または１８に記載の画像処理装置。
【請求項２０】
照明により静止被写体の鏡面反射状態が異なる静止被写体の複数の原画像に基づき静止被写体のフレーム画像の画像信号を生成するための画像信号を作成する方法であって、
前記原画像の画像信号から静止被写体の光沢度を表す光沢信号を生成する工程と、
前記フレーム画像中の静止被写体の光沢領域が選択された位置に移動するように前記光沢信号によって表される光沢画像の画素配列に基づいて移動して前記光沢信号の情報を取り出すウィンドウ関数のパラメータ情報を作成する工程と、
少なくとも前記光沢信号を信号情報に含ませ、前記ウィンドウ関数のパラメータ情報をヘッダ情報に含ませてフレーム画像の画像信号を作成する工程とを有することを特徴とする画像信号作成方法。
【請求項２１】
前記原画像の画像信号は、平面状の基台に載置されて照明された静止被写体の反射光の反射方向が、この静止被写体の照明光の入射方向と前記基台の平面に対して略鏡面反射の関係にある反射光を読み取って得られた静止被写体の読取画像の鏡面反射画像信号と、前記静止被写体の反射光の反射方向が、静止被写体の照明光の入射方向と、前記基台の平面に対して拡散反射の関係にある反射光を読み取って得られた静止被写体の読取画像の拡散反射画像信号であり、
前記信号情報に、前記光沢信号の他に、前記拡散反射画像信号を含ませることを特徴とする請求項２０に記載の画像信号作成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、静止被写体表面の光沢感や繊維織りの細かなテクスチャー等の被写体の質感を表示するための画像表示方法、この画像表示のための画像処理方法、この画像処理方法を実施する画像処理装置、および、上記被写体の質感を表示するための画像信号作成方法に関する。
【０００２】
【従来の技術】
今日、被写体をスキャナやカメラで読み取って高画質の画像を得ることはできるが、略平面状の被写体を撮影して得られる読取画像によって、被写体の光沢感や被写体表面の細かな凹凸等の質感を再現することは難しい。被写体の質感を表現する方法として、コンピュータグラフィック（ＣＧ）による処理が挙げられる。例えば、被写体を表すコンピュータ上の３次元データにおいて、質感を表す情報として鏡面反射率や拡散反射率等を定義し、レンダリング処理を行って２次元データを計算し、２次元画像として表示する。
【０００３】
一般に、被写体の光沢感等の人が感じる質感は、人が物を評価する際、物を手にとって揺らしながら評価するように、見る人の視点の変化により被写体の鏡面反射の状態が変化することによって得られる。
従って、上記ＣＧにおいても、被写体の照明方向を微妙に変化させて、鏡面反射光が動的に変化するように、繰り返しレンダリング処理を行う必要がある。このレンダリング処理は処理量が多いため、レンダリング処理にかかる時間は極めて長い。
今後コンピュータの処理速度が一層向上しても、リアル感のある被写体の形状データと質感の情報を上記ＣＧの手法を用いて迅速に作成することは、依然として困難である。
【０００４】
一方、コンピュータを用いて被写体の質感の情報を持った３次元データのモデリングを、被写体を撮影した画像を用いて行うことが提案されている。
特公平７−６６４３６号公報や特開２００１−１０８４２１号公報では、異なる視点から複数の画像を撮影し、３次元データを求る方法が提案されている。しかし、この方法は、鏡面反射光と拡散反射光を分離していないので、十分な被写体の質感の情報を得ることができない。
一方、被写体の３次元モデリングを行うために鏡面反射光と拡散反射光を分離する方法として、２色性反射モデルに基づく方法が提案されている（「多視点カラー画像と距離画像を用いたスペキュラ反射の分離」、大槻他、電子情報通信学会論文誌  D-II Vol.J-80-D-II No.6 pp.1352-1359  1997年 6月) 。
しかし、この方法では、色ベクトルを推定するための統計的な処理が必要であり、ある程度の大きさの同一の質感の被写体の面が必要とされる。このため、被写体に異なる材質や色が細かく組合わさっている場合、この被写体に対して上記方法を用いることは難しい。
【０００５】
【発明が解決しようとする課題】
一方、特開平８−３９８４１号公報には、照明方向の異なる被写体画像を撮像し、反射光が大きい状態の信号と小さい状態の信号とを得、この２つの信号から被写体の光沢を表す光沢信号を得、これを用いて画像形成手段によって光沢を施す方法が提案されている。しかし、この方法において用いられる画像形成手段は、被写体の画像に動的な変化を与えないため、光沢感を画像上で再現することはできない。また、反射光が大きい状態の信号から小さい状態の信号を減算して光沢信号を求めるので、被写体の微妙な凹凸によって光沢に方向性があるような繊維の織り等の質感を表すこともできない。
さらに、上記画像形成手段での光沢は熱転写による再加熱で行われるため、再加熱による熱の広がりにより、被写体の細かなテクスチャーの制御ができない。従って、繊維の織りやしぼの感じが十分に表現できないといった問題があった。
【０００６】
そこで、本発明は、上記問題点を解決するために、被写体表面の光沢感や繊維織りの細かなテクスチャー等の被写体の質感を十分に表示することのできる画像表示方法を実現する画像信号を生成する画像処理方法および画像処理装置、さらに、被写体の質感を表示するための画像信号作成方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明は、照明により静止被写体の鏡面反射状態が異なる静止被写体の複数の原画像から静止被写体のフレーム画像の画像信号を生成する画像処理方法であって、前記複数の原画像の画像信号から静止被写体の光沢度を表す光沢信号を生成する光沢信号生成工程と、前記光沢信号によって表される光沢画像の画素配列に基づいて選択された移動位置にウィンドウ関数を移動し、このウィンドウ関数内に位置する画素の前記光沢信号の信号値を取り出し、この信号値に対応する前記ウィンドウ関数の値を乗算するウィンドウ処理工程と、このウィンドウ処理工程で得られた乗算結果を用いて所定の演算を行い、前記ウィンドウ関数の移動位置に対応したフレーム画像の画像信号を生成するフレーム画像信号生成工程とを有することを特徴とする画像処理方法を提供する。
【００１０】
ここで、前記複数の原画像の画像信号は、平面状の基台に載置されて照明された静止被写体の反射光の反射方向が、この静止被写体の照明光の入射方向と前記基台の平面に対して略鏡面反射の関係にある反射光を読み取って得られた静止被写体の読取画像の第１の読取画像信号と、前記静止被写体の反射光の反射方向が、静止被写体の照明光の入射方向と、前記基台の平面に対して拡散反射の関係にある反射光を読み取って得られた静止被写体の読取画像の第２の読取画像信号であるのが好ましい。
その際、前記第１および第２の読取画像信号は、光沢信号生成工程の前に予め明補正処理が施されるのが好ましい。
【００１１】
また、前記ウィンドウ処理工程における前記ウィンドウ関数の移動位置は、前記光沢画像およびこの光沢画像の外周領域上の一方向に一定の間隔離れた複数の位置であり、
前記ウィンドウ処理工程は、前記ウィンドウ関数を前記移動位置のうち隣り合う移動位置に順次移動させ、移動のたびに前記ウィンドウ関数の値を、このウィンドウ関数内に位置する対応する画素の前記光沢信号の信号値に乗算し、
前記フレーム画像信号生成工程は、前記ウィンドウ関数の移動位置に対応したフレーム画像を前記ウィンドウ関数の移動の順番に対応させて順番付けを行うのが好ましい。
その際、前記ウィンドウ関数の隣り合う移動位置の間隔は、このウィンドウ関数の移動方向における前記光沢画像の画像幅に所定の幅の２倍の幅を加算し、この加算結果を前記フレーム画像の画像数で除算した幅に相当するのが好ましい。
その際、前記ウィンドウ処理工程において、前記ウィンドウ関数は、前記光沢画像の一方の画像端から外側に前記所定の幅離れた位置を移動開始位置とし、前記光沢画像の他方の画像端から外側に前記所定の幅離れた位置を折り返し位置として移動し、さらに、この折り返し位置から移動開始位置まで前記移動位置に順次移動するのが好ましい。
【００１２】
なお、前記原画像は、例えば、静止被写体に対して読取位置を相対的に移動させながら、静止被写体全体を読み取った走査読取画像である。
また、前記第２の読取画像信号は、異なる２方向から静止被写体を同時に照明して得られた画像信号であり、あるいは、前記第２の読取画像信号は、異なる２方向から静止被写体を別々に照明して得られた第３の読取画像信号と第４の読取画像信号からなるのが好ましい。
前記第２の読取画像信号が、異なる２方向から静止被写体を同時に照明して得られた画像信号である場合、前記異なる２方向から静止被写体を照明する照明光はともに、第１の読取画像信号を得る際に用いる照明光に比べて拡散光成分を多く含むのが好ましい。また、前記光沢信号生成工程は、前記第１の読取画像信号値を色変換した変換値から前記第２の読取画像信号値を色変換した変換値を差し引いて光沢信号を生成するのが好ましい。その際、前記フレーム画像信号生成工程における前記所定の演算は、前記ウィンドウ処理工程で得られた乗算結果に対し前記色変換の逆変換を行って逆変換値を求めた後、この逆変換値に前記第２の読取画像信号の信号値を加算することで前記フレーム画像の画像信号を生成するのが好ましい。
【００１３】
前記第２の読取画像信号が、異なる２方向から静止被写体を別々に照明して得られた第３の読取画像信号と第４の読取画像信号からなる場合、前記異なる２方向から静止被写体を照明する照明光はともに、第１の読取画像信号を得る際に用いる照明光に比べて拡散光成分を多く含むのが好ましく、
この場合、前記光沢信号は、第１、第２および第３の光沢信号を含み、
前記光沢信号生成工程は、前記第１、３および４の読取画像信号の信号値をそれぞれ色変換した第１、３および４の変換値を求め、
前記第１の変換値が、前記第２の変換値と前記第３の変換値の平均値以上である第１の条件を満たす場合、前記第１の変換値から前記平均値を差し引いた差分を第２の光沢信号の信号値とするほか、前記第１および第３の光沢信号の信号値を０とし、
前記第１の条件を満たさず、前記第３の変換値が前記第４の変換値以上である第２の条件を満たす場合、前記第３の変換値から前記第１の変換値を差し引いた差分を第３の光沢信号の信号値とするほか、前記第１および第２の光沢信号の信号値を０とし、
前記第１の条件および前記第２の条件のいずれも満たさない場合、前記第４の変換値から前記第１の読取画像信号の信号値を差し引いた差分を第１の光沢信号の信号値とするほか、前記第２および第３の光沢信号の信号値を０とするのが好ましい。
また、前記ウィンドウ処理工程において、前記ウィンドウ関数は、前記第１、第２および第３の光沢信号のそれぞれに対応して用いられ、前記第１および第３の光沢信号に対応するウィンドウ関数が、前記第２の光沢信号に対応するウィンドウ関数を基準として移動方向前方および後方に所定の距離離れて配置され、前記第２の光沢信号に対応するウィンドウ関数とともに移動するのが好ましい。その際、前記ウィンドウ処理工程は、前記第１、第２および第３の光沢信号に対応するウィンドウ関数の値を、このウィンドウ関数内に位置する対応する画素の前記第１、第２および第３の光沢信号の信号値にそれぞれ乗算し、
前記フレーム画像信号生成工程における前記所定の演算は、前記第１、第２および第３の光沢信号に対応して得られた乗算結果を加算し、この加算結果に対し前記色変換の逆変換を行って逆変換値を求めた後、この逆変換値に前記第３の読取画像信号の信号値と前記第４の読取画像信号の信号値の平均値を加算することで前記フレーム画像の画像信号を生成するのが好ましい。
【００１４】
また本発明は、照明により静止被写体の鏡面反射状態が異なる静止被写体の複数の原画像から静止被写体のフレーム画像の画像信号を生成する画像処理装置であって、
前記原画像の画像信号から静止被写体の光沢度を表す光沢信号を生成する光沢信号生成部と、
前記光沢信号によって表される光沢画像の画素配列に基づいて選択された移動位置にウィンドウ関数を移動し、このウィンドウ関数内に位置する対応する画素の前記光沢信号の信号値を取り出し、この信号値に前記ウィンドウ関数の値を乗算するウィンドウ処理部と、
このウィンドウ処理部で得られた乗算結果を用いて所定の演算を行い、前記ウィンドウ関数の移動位置に対応したフレーム画像の画像信号を生成するフレーム画像信号生成部とを有することを特徴とする画像処理装置を提供する。
【００１５】
ここで、前記複数の原画像の画像信号は、平面状の基台に載置されて照明された静止被写体の反射光の反射方向が、静止被写体の照明光の入射方向と前記基台の平面に対して略鏡面反射の関係にある反射光を読み取って得られた静止被写体の読取画像の第１の読取画像信号と、この静止被写体の反射光の反射方向が、静止被写体の照明光の入射方向と、前記基台の平面に対して拡散反射の関係にある反射光を読み取って得られた静止被写体の読取画像の第２の読取画像信号であるのが好ましい。
また、前記ウィンドウ処理部における前記ウィンドウ関数の移動位置は、前記光沢画像およびこの光沢画像の外周領域上の一方向に一定の間隔離れた複数の位置であり、
前記ウィンドウ処理部は、前記ウィンドウ関数を前記移動位置のうち隣り合う移動位置に順次移動させ、移動のたびに前記ウィンドウ関数の値を、このウィンドウ関数内に位置する対応する画素の前記光沢信号の信号値に乗算し、
前記フレーム画像信号生成部は、前記ウィンドウ関数の移動位置に対応したフレーム画像を、前記ウィンドウ関数の移動の順番に対応させて順番付けを行うのが好ましい。
【００１８】
さらに、本発明は、照明により静止被写体の鏡面反射状態が異なる静止被写体の複数の原画像に基づき静止被写体のフレーム画像の画像信号を生成するための画像信号を作成する方法であって、
前記原画像の画像信号から静止被写体の光沢度を表す光沢信号を生成する工程と、
前記フレーム画像中の静止被写体の光沢領域が選択された位置に移動するように前記光沢信号によって表される光沢画像の画素配列に基づいて移動して前記光沢信号の情報を取り出すウィンドウ関数のパラメータ情報を作成する工程と、
少なくとも前記光沢信号を信号情報に含ませ、前記ウィンドウ関数のパラメータ情報をヘッダ情報に含ませてフレーム画像の画像信号を作成する工程とを有することを特徴とする画像信号作成方法を提供する。
【００１９】
その際、前記原画像の画像信号は、平面状の基台に載置されて照明された静止被写体の反射光の反射方向が、この静止被写体の照明光の入射方向と前記基台の平面に対して略鏡面反射の関係にある反射光を読み取って得られた静止被写体の読取画像の鏡面反射画像信号と、前記静止被写体の反射光の反射方向が、静止被写体の照明光の入射方向と、前記基台の平面に対して拡散反射の関係にある反射光を読み取って得られた静止被写体の読取画像の拡散反射画像信号であり、
前記信号情報に、前記光沢信号の他に、前記拡散反射画像信号を含ませるのが好ましい。
【００２０】
【発明の実施の形態】
以下、本発明の画像処理方法、画像処理装置、および画像信号作成方法について、添付の図面に示される好適実施例を基に詳細に説明する。
【００２１】
図１は、本発明の画像表示方法を実施する一連の流れを表している。
まず、略平面状の物体や布地等の静止した被写体を基台に載置して、静止被写体への照明位置および照明方向の少なくとも一方を順次変えて光源から被写体を照明して被写体の読み取りを行い、複数の読取画像を得る（ステップ１００）。この後、画像処理を行い（ステップ１０２）、読取画像に基づいて複数のフレーム画像を作成し、この複数のフレーム画像から、選択されたフレーム画像に切り換えて画像表示する（ステップ１０４）。
また、以降で説明する例は、複数の読取画像を得ることによって、フレーム画像を生成するものであるが、本発明においては、読取画像の替わりに、照明により静止被写体の鏡面反射状態が異なる複数の原画像をＣＧを用いて作成して得てもよい。すなわち、本発明における静止被写体の複数の原画像とは、静止被写体を表す複数の原画像を意味し、ＣＧを用いて作成されるＣＧ画像をも含むものである。
【００２２】
ここで、被写体の読み取りは、カメラ撮影による読み取りと、スキャナを用いた読み取りを有する。
まず、カメラを用いた読み取りは、図２に示すように、静止した被写体１０を基台１２に置き、２つの異なる照明方向から方向を変えながらストロボ１４や１６を別々に発光させて、撮影カメラ１８で撮影するものである。あるいは、図３に示すように、基台１２に載置された被写体１０に対して光源１を光源移動レールに沿って矢印Ａのように移動しながら照明し、この移動中に一定の時間毎にカメラ１８で撮影する。その後、同様に、光源２を光源移動レールに沿って矢印Ｂのように移動しながら照明し、この移動中に一定の時間毎にカメラ１８で撮影し、複数の読み取り画像を得る。
【００２３】
また、光源を移動させる替わりに複数の光源▲１▼〜▲８▼を用意し、基台１２に載置した被写体１０の直上にカメラ１８を設置する。光源▲１▼→光源▲５▼→光源▲２▼→光源▲６▼→光源▲３▼→光源▲７▼→光源▲４▼→光源▲８▼の順に光源を順次発光させ、その都度カメラ１８で撮影して被写体１０を読み取る。
このような被写体１０の読み取りによって、被写体１０を照明する照明光の鏡面反射光が種々変化する読取画像が得られる。なお、図４に示す被写体の読み取りの場合、読取画像が少ないため、後述するように、表示された被写体の画像において被写体の光沢感等の質感が十分に再現されない場合がある。この場合、画像処理（ステップ１０２）において、例えば光源▲１▼と▲５▼間の読取画像を補間することによって画像を作成し画像数を増やすとよい。
【００２４】
一方、被写体の読み取りで得られる読取画像は、光源を移動しあるいは切り換えて照明方向や位置を変えるので、照明のたびに被写体上の照明光の強度分布が変わる。そこで、被写体１０の読み取りの前に、予め、図５に示すように、基台１２に拡散度の高い基準白色板（基準グレー板）２０を載置し、照明光の強度分布のデータをシェーディング補正データとして獲得して記憶しておく。その後、被写体１０を基台１２上に載置して撮影し、撮影して読み取られた読取画像を記憶したシェーディング補正データを用いてシェーディング補正（明度補正）を行う。このシェーディング補正は以下に示す画像処理として行う。なお、１００％の強度でシェーディング補正を行うと画像表示の際の画像の奥行き感が失われる場合があるため、補正の強度は適宜調整される。
【００２５】
このようなカメラによる被写体の読み取りは、光源を移動させあるいは切り換えることで被写体の鏡面反射光の発生する領域を変化さて読取画像を得るものであるが、被写体の鏡面反射光を読み取ると、コントラストの強い画像となり、暗部領域がつぶれたり、光量不足によりノイズ成分が目立つ。そのため、鏡面反射光を得るために照明する上記光源の他に、常時被写体を鏡面反射を起こさないようにして照明する拡散光を同時に用いてもよい。例えば、図４に示すような光源の切り替えの場合、鏡面反射光を得るための光源の他、別の光源も弱く発光させて拡散光として用いてもよい。
【００２６】
また、被写体の読み取りの際、鏡面反射光を用いて被写体を読み取る他、拡散光を用いて拡散反射画像として被写体を読み取るが、鏡面反射光を用いて読み取った読取画像の暗部領域のうち、画像信号値が対応する拡散反射画像の画像信号値に比べて小さい領域について、読取画像の信号値と拡散反射画像の信号値を合成して合成画像を作成する画像処理を行ってもよい。これによって、読取画像において暗部領域を拡散反射画像と同程度の明るさとすることができ、読取画像のコントラストが強くなる傾向を抑制することができる。この合成の比率は適宜調整される。
【００２７】
次に、カメラによって撮影された読取画像に基づいて、順番付けられたフレーム画像の作成を行う。例えば図３に示す光源の移動の場合、光源の移動の順番にフレーム画像の順番付けを行い、読取画像をフレーム画像とする。この順番付けられたフレーム画像を、所定の時間間隔で、フレーム画像の順番に連続的に切り替え、最後のフレーム画像に切り換えられた後、さらにこの順番と逆の順番にフレーム画像を連続的に切り換えることによって、順番付けられたフレーム画像を少なくとも１往復以上繰返して連続的にディスプレイに画像表示する。この一往復の時間は０．５〜１０秒の範囲とするのが好ましく、一往復の時間に対してフレーム画像の画像数が少ない場合、画像表示される被写体の質感が出にくい傾向にあることから、読取画像を補間してフレーム画像を作成してもよい。
【００２８】
上記例では、フレーム画像を順番に画像表示するが、本発明においては、選択されたフレーム画像に切り替えられながらディスプレイに画像表示されてもよい。例えば、選択されるフレーム画像は、ディスプレイを見るモニタ観察者の視点の動きに応じて変わり、モニタ観察者から見て、画像表示された被写体の反射領域が変動するように、ウィンドウ処理におけるウィンドウ関数の位置が選択される。この選択された位置においてウィンドウ処理の施されたフレーム画像が選択されてディスプレイ上で切り替わる。モニタ観察者のディスプレイ上の視点は、例えば、モニタ観察者をモニタリングするカメラをディスプレイに設け、絶えずモニタ観察者の顔部を撮影し、この撮影画像からモニタ観察者の目領域およびこの目領域の瞳の位置をパターンマッチング等の方法を用いて求めることによって求めてもよい。
カメラ撮影による被写体の読み取り、画像処理および画像表示は以上のように行われる。
【００２９】
次に、スキャナによる被写体の読み取りについて説明する。
図６は、本発明の走査読取装置の一例であるスキャナ３０の主要部の断面を示している。
スキャナ３０は、静止した被写体３２を載置する平面状のガラス基台３４と、被写体３２を矢印Ｃ方向にスキャンするように照明する照明ユニット３６と、照明ユニット３６で得られた被写体３２の反射光を読み取る読取ユニット３８と、照明ユニット３６から反射光を読取ユニット３８に導くミラー４０ａ，４０ｂからなるミラー群４２とを有する。被写体３２の読み取り面は、ガラス基台３４の面側に向けられる。
【００３０】
照明ユニット３６は、スキャナ３０の読取位置Ｌにおける被写体３２の照明光の入射方向が、この読取位置Ｌにおける読取方向と、ガラス基台３４の平面に対して略鏡面反射の関係になるように配置された、紙面垂直方向に延在した光源（第１の光源）４４と、スキャナ３０の読取位置Ｌにおける被写体３２の照明光の入射方向が、読取位置Ｌ’における読取方向と、ガラス基台３４の平面に対して拡散反射の関係になるように配置された、紙面垂直方向に延在した光源４６（第２の光源）と、被写体の反射光を位置規制するスリット４８，５０と、スリット４８，５０で位置規制された反射光をミラー４０ａに向けて導くミラー５２とを有する。ここで、略鏡面反射の関係とは、基台３４の平面に対する照明光の入射角度と、被写体上で反射したスキャナ読取位置における反射光の、基台３４の平面に対する反射角度（読取位置における読取方向の角度）が、略等しい関係をいう。拡散反射の関係とは、上記照明光の入射角度とスキャナ読取位置における被写体上で反射した反射光の、基台３４の平面に対する反射角度（読取位置における読取方向の角度）が、等しくない関係をいう。
【００３１】
光源４６は、図７に示すように、紙面垂直方向に延在した光源４６ａおよび紙面垂直方向に延在した光源４６ｂからなり、ガラス基台３４の平面の垂直方向に対して異なる方向に略同一の傾斜角度で傾斜した２方向から被写体３２を照明するように配される。また、光源４６ａ，４６ｂは、ともに照明光を拡散する拡散板４７を備え、光源４６ａ，４６ｂの照明光は拡散板４７を持たない光源４４の照明光に比べて拡散光成分を多く含む。
【００３２】
ミラー５２は、光源４６ａ，４６ｂから照明されて被写体３２で拡散反射した反射光が、ガラス基台３４の平面に対して垂直方向から読み取られようにミラーの位置およびミラー面の向きが配される。さらに、ミラー５２は、読取位置Ｌにおける被写体３２の反射光がミラー４０ａに向けて導かれるように、ミラー面の向きが自在に調整できるように構成される。
ミラー群４２は、照明ユニット３６からの反射光を読取ユニット３８へ導く部位であり、位置調整が可能なように矢印Ｃ方向に移動可能となっている。
【００３３】
一方、読取ユニット３８は、反射光の光量を絞るための絞り５４、色フィルタやＮＤフィルタから構成されるフィルタ群５６、結像レンズ５８およびラインＣＣＤセンサ６０を有する。
【００３４】
このような構成のスキャナ３０は、被写体３２と、スキャナ３０の読取位置Ｌ，Ｌ’とを相対的に移動させながら、照明された被写体３２の反射光を読取位置Ｌ，Ｌ’で読み取る装置である。スキャナ３０では、光源４４と光源４６が別々に用いられて被写体３２が読み取られ、光源４４を用いて照明した場合鏡面反射光による画像（以降、鏡面反射画像という）が、光源４６を用いて照明した場合拡散反射光による画像（以降、拡散反射画像という）が読み取られる。
なお、光源４４を用いて照明した時に読取ユニット３８で読み取る反射光の光路と光源４６を用いて照明した時に読取ユニット３８で読み取る反射光の光路とが略等しくなるように、照明ユニット３６に対するミラー群４２の位置が調整される。
【００３５】
また、光源４４を用いて被写体３２を読み取る読取位置Ｌと、光源４６を用いて被写体３２を読み取る読取位置Ｌ’は異なっているため、鏡面反射画像と拡散反射画像における被写体の位置合わせを行う必要がある。この位置合わせは、後述する画像処理によって行われる。例えば、予め読取位置Ｌと読取位置Ｌ’の移動方向における距離をミラー５２のミラー面の設定角度に基づいて求め、この距離に基づいて被写体３２の画像の画素位置補正を行う。あるいは、被写体３２の非注目領域にマークを付し、このマークを基準にして鏡面反射画像と拡散反射画像における被写体の画素位置補正を行ってもよい。
また、上述したカメラ撮影による読み取りの場合と同様に、ガラス基台３４に拡散度の高い基準白色板（基準グレー板）２０を載置し、反射光の強度分布のデータをシェーディング補正データとして獲得して記憶し、このシェーディング補正データを用いて、鏡面反射画像と拡散反射画像に画像処理としてシェーディング補正（明補正）を施す。基準白色板２０の読み取りの際、読取ユニット３８に入射する鏡面反射光の強度が強くラインＣＣＤセンサ６０の受光許容範囲を超える場合があるため、フィルタ群５６のＮＤフィルタを用いて反射光の強度調整を行って読み取り、後述する画像処理により補正を施してもよい。
【００３６】
上記スキャナ３０による読み取りは、被写体３２が略平面状で表面の凹凸が少ないものが好適に用いられるが、繊維織り等のように、表面に微小凹凸を有する被写体の場合、被写体表面の微妙な傾斜によって鏡面反射の発生する被写体上の領域も種々変わる。
そこで、以下に述べるように、被写体の微小凹凸を考慮して、光源４６ａ，４６ｂを被写体３２に対して別々に照明して、異なる読取画像を得る。
【００３７】
図８（ａ），（ｂ）は、被写体３３の微小凹凸の表面と反射光との関係を示している。（図８（ａ），（ｂ）の各々は、照明する一方の光源しか表示していない。）
被写体３３の表面に微小凹凸がなければ読取位置Ｌにおいて鏡面反射光がミラー５２で反射され、ミラー群４２を介して読取ユニット３８に至り読み取られるが、図８（ａ）に示すように、被写体３３が局部傾斜面（図中、右上がり傾斜）３３ａ，３３ｂを有する凹凸を持つ場合、読取位置Ｌにおける被写体の面は傾斜しているため、図８（ａ）に示す状態では、鏡面反射した反射光の大部分が、読取ユニット３８に到達しない。図８（ａ）に示すような局所傾斜面３３ａで鏡面反射した鏡面反射光が読取ユニット３８において強度の強い状態で読み取られるのは、図８（ａ）に示す状態から照明ユニット３６が矢印Ｃ方向にしばらく移動した後である。従って、図８（ａ）に示す状態では、読取ユニット３８で読み取られる局部傾斜面３３ａの反射光は強度が弱くなる。一方、被写体３３の表面に凹凸がなければ読取位置Ｌ’において光源４６ａの照明光の拡散反射光が読取ユニット３８で読み取られるが、読取位置Ｌ’における被写体の面が傾斜しているため、光源４６ａの照明光は、拡散板４７を備えて拡散光成分が多い照明光にもかかわらず、読取ユニット３８で読み取られる局部傾斜面３３ｂの反射光は、読取位置Ｌ’において強度が強くなる。
【００３８】
図８（ｂ）に示すように、傾斜方向が局部傾斜面３３ａ、３３ｂと異なる向きに持つ局部傾斜面（図中、左上がり傾斜）３３ｃ，３３ｄの場合、読取ユニット３８で読み取られる局部傾斜面３３ｃの反射光は、読取位置Ｌにおいて強度が弱くなる。この場合、図８（ｂ）に示す状態より以前の状態で、強度の強い鏡面反射光が読取ユニット３８で読み取られる。一方、読取ユニット３８で読み取られる局部傾斜面３３ｄの反射光は、読取位置Ｌ’において強度が強くなる。
【００３９】
このように、図８（ａ），（ｂ）からわかるように、読取位置で読み取られる鏡面反射光は被写体の傾斜に応じて鏡面反射光や拡散反射光の強度は変化する。このような変化に対応するために、後述する画像処理では、光源４６ａと光源４６ｂを別々に照明して得られた拡散反射画像と光源４４を用いて得られた鏡面反射画像とを用いて方向性のある光沢信号を作成し、この光沢信号と、一定距離離間した３つのウィンドウ関数とを用いて、反射光に方向性を持たせて被写体の光沢感を表すフレーム画像の作成を行う。なお、光沢信号とは、被写体の光沢度を表す信号である。
このような被写体の読み取りがスキャナ３０によって行われ、１つの鏡面反射画像と１つあるいは２つの拡散反射画像が得られ、図９に示す画像処理装置７０に送られる。
【００４０】
なお、スキャナ３０は、光源４４，４６は紙面垂直方向に延在した光源であるため、鏡面反射光の情報は、１方向（図６中の紙面左右方向）の情報しか得られない。従って、被写体の鏡面反射の情報を２次元で得る場合、ガラス基台３４に載置する被写体を９０度回転させて、上記方法で鏡面反射画像を読み取るとよい。
なお、２方向の鏡面反射画像を読み取った場合に行う処理も以降に述べる処理と同様の方法で行われるので、以降において、１方向の鏡面反射画像を読み取った場合について説明する。
【００４１】
図９に示す画像処理装置７０は、本発明にかかる画像処理装置の一例であり、スキャナ３０から供給された鏡面反射画像と拡散反射画像の読取画像信号を用いて、フレーム画像を作成する装置である。
図１０には、画像処理装置７０で実施する処理工程が示されている。処理工程では  信号変換処理（ステップ１５０）と、光沢信号の生成（ステップ１５２）と、ウィンドウ処理（ステップ１５４）と、信号逆変換処理（ステップ１５６）と、加算処理（ステップ１５８）とを有する。
【００４２】
画像処理装置７０は、前処理部７２と、信号変換処理部７４と、光沢信号生成部７６と、ウィンドウ処理部７８と、フレーム画像信号生成部８０とを有する装置である。画像処理装置７０は、各部位が回路によって構成された専用装置であってもよいし、ソフトウェアを起動させて各部位の機能を発揮させるコンピュータによって構成されてもよい。
【００４３】
前処理部７２は、読取画像信号に対して、上記被写体の画素位置補正やシェーディング補正や位置合わせの処理等の他、ラインＣＣＤセンサ６０に基づく欠陥補正や暗補正やγ補正等公知の処理を行う。
処理された読取画像信号は、信号変換処理部７４とフレーム画像信号生成部８０に送られる。
【００４４】
信号変換処理部７４は、読取画像信号がＲ信号、Ｇ信号、およびＢ信号からなる場合、このＲ信号の信号値Ｓr 、Ｇ信号の信号値Ｓg およびＢ信号の信号値Ｓb を、変換マトリクスＴによって、信号変換値Ｓ1 ，Ｓ2 ，Ｓ3 に変換し、例えばＹ成分、Ｉ成分およびＱ成分の色信号値に変換する。すなわち、図１０に示すステップ１５０の工程を行う。
【００４５】
ここで、読取画像信号は、鏡面反射画像信号の信号値Ｓr (1) ，Ｓg (1) ，Ｓb (1) と、２つの拡散反射画像信号の信号値Ｓr (2) ，Ｓg (2) ，Ｓb (2) （図８（ａ）に示す光源４６ａを用いて読み取られた拡散反射画像の画像信号）と拡散反射画像信号の信号値Ｓr (3) ，Ｓg (3) ，Ｓb (3) （図８（ｂ）に示す光源４６ｂを用いて読み取られた拡散反射画像の画像信号）が供給された場合、供給された画像信号それぞれについて変換を行う。
変換マトリクスＴは、後述する光沢信号をどの色信号成分で生成するかによって定まるマトリクスである。例えば、輝度成分（Ｙ成分）で光沢信号を生成する場合、変換マトリクスＴは、Ｙ、ＩおよびＱ成分とＲ、ＧおよびＢ信号の公知の変換マトリクスとなる。なお、光沢信号は、例えば、スキャナ３０における光源４４や光源４６の照明光の分光強度特性に応じて、また、被写体の色味に応じて、設定すべき色信号成分を定めるとよい。読取画像の各画素毎の信号変換値Ｓ1 ，Ｓ2 ，Ｓ3 は、光沢信号生成部７６に送られる。
【００４６】
光沢信号生成部７６は、例えばＹ，ＩおよびＱ成分であれば、Ｙ成分（輝度成分）のように、信号変換値Ｓ1 ，Ｓ2 ，Ｓ3 から注目する色信号成分の信号変換値を取り出して、以下の処理を行い、被写体の光沢度を表す光沢信号を生成する（図１０におけるステップ１５２）部位である。なお、注目する色信号成分の信号変換値を信号変換値Ｓ1 とする。
【００４７】
鏡面反射画像における注目する色信号成分の信号変換値をＳ1 (1) 、２つの拡散反射画像における注目する色信号成分の信号変換値をＳ1 (2) ，Ｓ1 (3) として、図１１に示す流れにそって処理される。
読取画像上の同一の画素位置毎に、信号変換値Ｓ1 (1) ，Ｓ1 (2) およびＳ1 (3) の値が比較され（ステップ２００）、信号変換値Ｓ1 (1) が信号変換値Ｓ1 (2) とＳ1 (3) との平均値以上である場合、第１光沢信号Ｒ1 および第３光沢信号Ｒ3 の信号値を０とし、第２光沢信号Ｒ2 の信号値を、信号変換値Ｓ1 (1) から信号変換値Ｓ1 (2) とＳ1 (3) との平均値を差し引いた差分とする（ステップ２０２）。
なお、強度の強い鏡面反射光を読み取って鏡面反射画像が得られ、強度の弱い拡散反射光を読み取って拡散反射画像が得られた場合、ステップ２００において、信号変換値Ｓ1 (1) が信号変換値Ｓ1 (2) とＳ1 (3) との平均値以上となる条件を満たす。
【００４８】
次に、ステップ２００で否定された場合、信号変換値Ｓ1 (2) とＳ1 (3) が比較される（ステップ２０４）。すなわち、信号変換値Ｓ1 (2) が信号変換値Ｓ1 (3) 以上である場合、第１光沢信号Ｒ1 および第２光沢信号Ｒ2 の信号値を０とし、第３光沢信号Ｒ3 の信号値を、信号変換値Ｓ1 (2) から信号変換値Ｓ1 (1) を差し引いた差分とする（ステップ２０６）。
なお、図８（ａ）に示すように光源４６ａを用いて照明した時に強い拡散反射光を読み取った場合、すなわち、被写体３３の局部傾斜面３３ｂを読み取った場合、ステップ２０４における、信号変換値Ｓ1 (2) が信号変換値Ｓ1 (3) 以上となる条件を満たす。
【００４９】
ステップ２０４で否定された場合、すなわち、信号変換値Ｓ1 (2) が信号変換値Ｓ1 (3) より小さい場合、第２光沢信号Ｒ2 および第３光沢信号Ｒ3 の信号値を０とし、第１光沢信号Ｒ1 の信号値を、信号変換値Ｓ1 (3) から信号変換値Ｓ1 (1) を差し引いた差分とする（ステップ２０８）。
なお、信号変換値Ｓ1 (2) が信号変換値Ｓ1 (3) より小さい状態は、図８（ｂ）に示すように光源４６ｂを用いて照明した時に強い拡散反射光を読み取った場合、すなわち、被写体３３の局部傾斜面３３ｄを読み取った場合に発生する。
こうして、注目する色信号成分について光沢信号（第１光沢信号Ｒ1 〜第３光沢信号Ｒ3 ）が生成される。
【００５０】
一方、図７に示すように、光源４６ａ，４６ｂを同時に照明して、１つの拡散反射画像を読み取った場合、信号変換処理部７４において、鏡面反射画像信号の信号値Ｓr (1) ，Ｓg (1) ，Ｓb (1) と、１つの拡散反射画像信号の信号値（この拡散反射画像信号をＳr (4) ，Ｓg (4) ，Ｓb (4) とする）を変換して、注目する色信号成分の信号変換値（この信号変換値をＳ1 (1) ，Ｓ1 (4) とする）を求め、光沢信号生成部７６において、注目する鏡面反射画像の信号変換値Ｓ1 (1から注目する拡散反射画像の信号変換値Ｓ1 (4) を差し引いた差分を求め、このの差分を光沢信号の信号値とする。
この場合、図７に示すように、略平面状の被写体３２であるので、信号変換値Ｓ1 (1) の方が信号変換値Ｓ1 (4) に比べて大きい。
生成された光沢信号はウィンドウ処理部７８に送られる。
【００５１】
ウィンドウ処理部７８は、図１２に示すウィンドウ関数Ｆの中心位置を選択された位置に移動させ、移動のたびにウィンドウ関数Ｆの値を、ウィンドウ関数Ｆ内に位置する画素の光沢信号の信号値に乗算する、すなわち、ウィンドウ処理を行う（図１０におけるステップ１５４）部位である。ウィンドウ関数Ｆは、スキャナ３０において鏡面反射の情報を得た方向、すなわち、走査読み取り方向をｘ方向とすると、このｘ方向に底辺の幅４ｗ、上辺の幅２ｗ、高さｈの台形形状の分布を持つ関数である。
【００５２】
このようなウィンドウ関数Ｆは、第１光沢信号Ｒ1 、第２光沢信号Ｒ2 および第３光沢信号Ｒ3 に対応してウィンドウ関数Ｆ1 ，Ｆ2 およびＦ3 を持ち、ウィンドウ関数Ｆ2 の中心位置は、図１３（ａ）に示すように拡散反射画像および鏡面反射画像等の読取画像の横幅（画像幅）の画素数をＷとした場合、図１３（ｂ）に示すように、一回の移動量を（Ｗ＋２・Ｘ0 ）／Ｎ（＝α）として−Ｘ0 〜Ｗ＋Ｘ0 の範囲を移動し、−Ｘ0 〜Ｗ＋Ｘ0 の範囲を往復する。すなわち、第１光沢信号Ｒ1 、第２光沢信号Ｒ2 および第３光沢信号Ｒ3 の光沢信号によって表される被写体の光沢画像の横幅（画像幅）の画素数は上記Ｗとなるので、ウィンドウ関数Ｆ2 の中心位置は、図１３（ｄ）に示すように、光沢画像の画素配列に基き、一回の移動量を（Ｗ＋２・Ｘ0 ）／Ｎ（＝α）として、−Ｘ0 〜Ｗ＋Ｘ0 の範囲を移動し往復する。ここで、Ｘ0 は、ウィンドウ関数Ｆ（ｘ）の移動開始位置と、折り返し位置を規定する所定の幅の画素数を表すパラメータである。すなわち、移動開始位置は、ウィンドウ関数Ｆ（ｘ）の移動方向における光沢画像の一方の画像端から外側にＸ0 離れた位置であり、折り返し位置は、ウィンドウ関数Ｆ（ｘ）の移動方向における光沢画像の他方の画像端から外側にＸ0 離れた位置である。このパラメータはオペレータにより設定され、あるいは予め設定されたものが用いられる。
また、Ｎは後述するディスプレイ上で被写体を表示する際のフレーム画像の画像数の半分の数である。このようにウィンドウ関数Ｆ2 は、上記αによって隣り合う間隔が定められた複数の移動位置に移動する。
【００５３】
ウィンドウ関数Ｆ1 ，Ｆ3 の中心位置は、図１３（ｃ）および（ｅ）に示すように、第２光沢信号Ｒ2 に対応するウィンドウ関数Ｆ2 を基準として、ウィンドウ関数Ｆ1 は移動方向前方に、ウィンドウ関数Ｆ3 は移動方向後方に、それぞれ所定距離に相当する画素数δ離れた状態で、ウィンドウ関数Ｆ2 とともに同時に移動する。ここで、画素数δは、オペレータにより設定され、あるいは予め設定されたパラメータである。この画素数δは、被写体の読み取りの際に説明したように、被写体表面の微小凹凸による傾斜に応じて、被写体の鏡面反射光の強度が変化することに対応して設けられたパラメータである。このパラメータは被写体表面の微小凹凸の情報を含んだ被写体の光沢感等の質感を再現するために用いられ、オペレータにより設定され、あるいは予め設定される。これによって、鏡面反射に方向性を持たせ、被写体の光沢に方向性を持たせることができる。
【００５４】
ウィンドウ処理は、具体的には、第２光沢信号Ｒ2 （ｘ）（ｘは、走査読み取り方向であるｘ方向の光沢画像の一方の端の位置をｘ＝０とする座標値である）にウィンドウ関数Ｆ2 ＝Ｆ（ｘ−ｎ・α＋Ｘ0 ）（−Ｘ0 〜Ｗ＋Ｘ0 の範囲の往路）を乗算し、第１光沢信号Ｒ1 （ｘ）にウィンドウ関数Ｆ2 よりも移動方向前方に位置するウィンドウ関数Ｆ1 ＝Ｆ（ｘ−ｎ・α＋Ｘ0 −δ）を乗算し、第３光沢信号Ｒ3 （ｘ）にウィンドウ関数Ｆ2 よりも移動方向後方に位置するウィンドウ関数Ｆ3 ＝Ｆ（ｘ−ｎ・α＋Ｘ0 ＋δ）を乗算する。
なお、ウィンドウ関数Ｆ1 ，Ｆ2 , Ｆ3 が光沢画像の画像領域から外れる場合、外れた領域における光沢信号を０として乗算を行う。すなわち、この場合、乗算結果は０となる。
【００５５】
なお、上記ウィンドウ関数Ｆ1 ＝Ｆ（ｘ−ｎ・α＋Ｘ0 ＋δ）、Ｆ2 ＝Ｆ（ｘ−ｎ・α＋Ｘ0 ）およびＦ3 ＝Ｆ（ｘ−ｎ・α＋Ｘ0 ＋δ）は、ｘ方向への往路の移動の場合の関数であり、復路の移動の場合は、ウィンドウ関数Ｆ1 はＦ（ｘ＋ｎ・α−（２・Ｗ＋３・Ｘ0 ）−δ）、ウィンドウ関数Ｆ2 はＦ（ｘ＋ｎ・α−（２・Ｗ＋３・Ｘ0 ）およびウィンドウ関数Ｆ3 はＦ（ｘ＋ｎ・α−（２・Ｗ＋３・Ｘ0 ）＋δ）とされる。ここで、ｎは移動開始位置からの順番で、後述するフレーム画像の順番を示し、０〜２・Ｎ−１の整数である。ｎ＝０〜Ｎの場合ウィンドウ関数の移動は往路に当たり、ｎ＝Ｎ＋１以降は復路に当たる。
こうして、ウィンドウ関数Ｆ1 ，Ｆ2 およびＦ3 の移動に伴う、すなわちｎによって変動する乗算結果が得られフレーム画像信号生成部８０に送られる。
【００５６】
フレーム画像信号生成部８０では、ウィンドウ処理部７８で演算された乗算結果が加算されて光沢変動成分ΔＳ1 が求められ、この光沢変動成分ΔＳ1 に対して上記変換マトリクスＴによる変換の逆変換が行われてＲ信号、Ｇ信号およびＢ信号に対応する逆変換値ΔＳr ，ΔＳg ，ΔＳb が求められ（図１０におけるステップ１５６）、その後、この逆変換値ΔＳr ，ΔＳg ，ΔＳb に、２つの拡散反射画像信号Ｓr (2) ，Ｓg (2) ，Ｓb (2) と拡散反射画像信号Ｓr (3) ，Ｓg (3) ，Ｓb (3) のＲ信号の平均値１／２・（Ｓr (2) ＋Ｓr (3) ）、Ｇ信号の平均値１／２・（Ｓg (2) ＋Ｓg (3) ）およびＢ信号の平均値１／２・（Ｓb (2) ＋Ｓb (3) ）がそれぞれ加算され（図１０におけるステップ１５８）、ｎによって順番付けられた、０〜２・Ｎ−１のフレーム画像信号が生成される。
【００５７】
得られたフレーム画像信号は、０〜２・Ｎ−１の被写体のフレーム画像として（ｎ＝１〜Ｎ−１のフレーム画像は、ウィンドウ関数の往路の際のフレーム画像となり、復路の際のフレーム画像となる）、フレーム画像の順番、すなわち、ｎの順番に一定時間間隔でディスプレイに順次供給され、ディスプレイ上で順番付けられたフレーム画像の切り換えが２・Ｎ−１回以上行われ、すなわち、ウィンドウ関数Ｆ1 ，Ｆ2 およびＦ3 の移動が少なくとも１往復以上行われ、画像中の被写体の反射領域が時間的に変動するようにディスプレイ上で表示される。
【００５８】
このように、図１１に示す方法で被写体の微小凹凸による傾斜面の向きに応じた第１光沢信号Ｒ1 〜第３光沢信号Ｒ3 を求め、この第１光沢信号Ｒ1 〜第３光沢信号Ｒ3 とウィンドウ関数を用いて、反射領域が時間的に変動するフレーム画像を作成し、このフレーム画像をディスプレイ上で連続的に切り換えて表示することることで、被写体表面に微小の凹凸があり傾斜する被写体の光沢感を方向性を持たせて表わすことができる。
【００５９】
上記例は、読取画像信号として、鏡面反射画像信号Ｓr (1) ，Ｓg (1) ，Ｓb (1) と、２つの拡散反射画像信号Ｓr (2) ，Ｓg (2) ，Ｓb (2) と拡散反射画像信号Ｓr (3) ，Ｓg (3) ，Ｓb (3) が供給された場合について説明したが、図７に示すようにスキャナ３０において、光源４６ａ，４６ｂを同時に被写体３２に照明して読み取った場合、すなわち、読取信号が、鏡面反射画像信号Ｓr (1) ，Ｓg (1) ，Ｓb (1) と、１つの拡散反射画像信号Ｓr (4) ，Ｓg (4) ，Ｓb (4) が画像処理装置７０に供給された場合について説明する。
【００６０】
この場合、図１０に示す処理と同様に、信号変換処理（ステップ１５０）と、光沢信号の生成（ステップ１５２）と、ウィンドウ処理（ステップ１５４）と、信号逆変換処理（ステップ１５６）と、加算処理（ステップ１５８）とが行われる。
【００６１】
信号変換処理では、上記変換マトリクスＴで、鏡面反射画像信号Ｓr (1) ，Ｓg (1) ，Ｓb (1) が色変換され、信号変換値の３成分の中から注目する色信号成分の信号変換値Ｓ1 (1) が取り出される。同様に、拡散反射画像信号Ｓr (4) ，Ｓg (4) ，Ｓb (4) についても同様の処理が施され、信号変換値Ｓ1 (4) が取り出される。
【００６２】
次に、光沢信号の生成が、下記式に従って光沢信号Ｒが求められる。
Ｒ  ＝  Ｓ1 (1) −  Ｓ1 (4) 
ウィンドウ処理では、ウィンドウ関数Ｆ4 ＝Ｆ（ｘ−ｎ・α＋Ｘ0 ）（往路）およびＦ（ｘ＋ｎ・α−（２・Ｗ＋３・Ｘ0 ））（復路）が用いられ、上記ウィンドウ関数Ｆ2 と同様に光沢信号によって表される被写体の光沢画像上を移動する。そして、ウィンドウ関数Ｆ4 の値がこのウィンドウ関数Ｆ4 内に位置する画素の光沢信号Ｒの値と乗算される。
【００６３】
信号逆変換処理では、上記乗算結果が光沢変動成分ΔＳ1 とされ、上記変換マトリクスＴによる変換の逆変換が行われてＲ信号、Ｇ信号およびＢ信号に対応する逆変換値ΔＳr ，ΔＳg ，ΔＳb が求められ、この逆変換値ΔＳr ，ΔＳg ，ΔＳb に、拡散反射画像信号Ｓr (4) ，Ｓg (4) ，Ｓb (4) が各成分それぞれ加算され（図１０におけるステップ１５８）、ｎによって順番付けられたフレーム画像信号値が生成される。生成されたフレーム画像信号は、ｎの順番により一定時間間隔でディスプレイに順次供給される。
【００６４】
このように、鏡面反射画像信号の信号変換値から拡散反射画像信号の変換値を差し引いて光沢信号を求め、この光沢信号とウィンドウ関数を用いて、反射領域が時間的に変動するフレーム画像を作成し、このフレーム画像をディスプレイ上で順番に連続的に切り換えて表示することることで、被写体表面に微小凹凸がなく滑らかな略平面状の被写体の光沢感を表すことができる。
【００６５】
上記例で用いたウィンドウ関数は、一方向に分布を持ちその方向に移動を行う関数であったが、ウィンドウ関数は、２次元的な分布を持ち、移動方向も画像上を自在に移動する関数であってもよい。
なお、上記例における、光沢信号は、色変換された色信号成分によって作成されるが、本発明はこれに限定されるわけでなく、Ｒ信号、Ｇ信号およびＢ信号における、拡散反射画像の画像信号値と鏡面反射画像の画像信号値との差分のうち最大の差分を光沢信号の信号値としてもよい。
【００６６】
上記例では、フレーム画像をウィンドウ関数の移動の順番にディスプレイ上に画像表示するが、本発明においては、ディスプレイを見るモニタ観察者の視点の動きに応じて、選択されたフレーム画像に切り替えられながらディスプレイに画像表示されてもよい。
【００６７】
このように被写体の光沢感等の質感を表すフレーム画像を生成するための光沢信号を拡散反射画像信号とともに、規格化された画像信号として１つにまとめて作成し、画像処理装置７０に記憶保持してもよいし、各種記録媒体に記録してもよい。
このような規格化された画像信号のデータ構成とその作成方法について説明する。
【００６８】
図１４には、規格化された画像信号フォーマットの一例が示されている。
画像信号は３２ビット信号である。３２ビット信号は、それぞれが８ビット信号のＲ信号、Ｇ信号およびＢ信号と、それぞれが２ビットの第１〜第４反射信号を有する。
【００６９】
ここで、拡散反射画像信号は、図７に示す光源４６ａ，４６ｂによって照明されて得られた拡散反射画像信号や、図１０に示すように２つの拡散反射画像信号が供給された場合、この２つの拡散反射画像信号の平均値で表された信号が対応する。
【００７０】
一方、第１〜第４反射信号は、上述したように、被写体の鏡面反射光による鏡面反射画像信号と被写体の拡散反射光による拡散反射画像信号とに基づいて生成される、被写体の光沢度を表す信号であり、下記に示すヘッダ情報によって、各信号の属性が定まっている。
第１〜第４反射信号は、例えば、図１４に示すように、上述したｘ方向の鏡面反射光による第１光沢信号Ｒ1 〜第３光沢信号Ｒ3 と、ｘ方向と異なる一方向、例えばｘ方向と直交するｙ方向や、ｘ方向から角度θ傾斜した方向等における光沢信号（第４光沢信号）が対応する。
第１〜第４反射信号を表す光沢信号は、鏡面反射画像信号と拡散反射画像信号とに基づいて、上述したように、例えば、図１０に示すステップ１５０〜１５２の方法で生成される。
【００７１】
ここで、第１〜４反射信号の属性に関する情報として、例えば鏡面反射移動方向、鏡面反射強度情報、鏡面反射サイズ、鏡面反射移動周期、鏡面反射位相および鏡面反射移動距離の情報が挙げられ、これらの情報はオペレータの指示に従って設定され、あるいは、予めデフォルト設定され、画像信号のヘッダ情報の一部として作成される。
【００７２】
鏡面反射移動方向の情報は、ｘ方向、ｙ方向、あるいは、ｘ方向から角度θ傾斜した方向等、上述したウィンドウ関数の移動方向の情報であり、鏡面反射強度の情報は、ウィンドウ関数の最大値の情報、例えば、図１２に示すウィンドウ関数Ｆの場合高さｈの情報であり、鏡面反射サイズの情報は、ウィンドウ関数の横幅を表す情報、例えば図１２に示すウィンドウ関数Ｆの場合幅ｗの情報であり、鏡面反射移動周期の情報は、画像表示するフレーム画像の画像数２・Ｎを、ディスプレイ上で行うフレーム画像切り替え周波数で除した周期を定める情報、すなわち、Ｎの情報であり、鏡面反射位相の情報は、図１３（ｃ）〜（ｅ）で示される画素数δの情報であり、鏡面反射移動距離の情報は、ウィンドウ関数の移動する範囲に関し、図１３（ｂ）に示すｘ方向の移動におけるＸ0 の値やｙ方向の移動におけるＹ0 の値や角度θ方向におけるＬ0 の値等の情報である。
【００７３】
このように、第１〜４反射信号の属性に関する情報は、フレーム画像中の被写体の光沢領域が所定の位置に移動するように光沢画像の画素配列内を移動して、第１〜４反射信号となる光沢信号の情報を取り出すウィンドウ関数のパラメータ情報である。このパラメータ情報をヘッダ情報の一部として含ませ、拡散反射画像信号と光沢信号である第１〜４反射信号を信号情報とし、フレーム画像の画像信号を作成する。
【００７４】
このフレーム画像の画像信号、すなわち、ヘッダ情報としてのウィンドウ関数のパラメータ情報と第１〜第４反射信号と、拡散反射画像信号とを用いて、図１０に示すステップ１５４〜１５８の処理を行うことによって、静止する被写体の光沢領域がフレーム画像の順番に従って移動するフレーム画像を作成し、このフレーム画像がディスプレイに表示される。そして、図１５に示すように、鏡面反射光による照明光の写り込みの帯８２が被写体上で時間的に図中の矢印方向に、あるいはこの反対方向に移動するように、ディスプレイ上で再現される。
あるいは、ディスプレイを見るモニタ観察者の視点の動きに応じてフレーム画像が作成されてディスプレイに表示される。
【００７５】
このような規格化されたフレーム画像を作成する画像信号は、上記スキャナ３０を用いて読み取る場合に好適に作成することができるが、光源を移動しあるいは切り換えて照明方向や位置を変えて被写体を読み取る上述のカメラ撮影の場合、以下に示す方法によって、作成される。
【００７６】
例えば、図１６（ａ），（ｂ）に示すように、被写体１０が基台１２に載置され、一方向に延在する線状の光源８４ａ〜８４ｆが配置され、光源８４ａ〜８４ｆを順番に切り換えて照明された被写体１０をカメラ１８で撮影する場合、被写体１０の領域を図１７に示すように、領域Ｒa 〜Ｒd 等のように多分割し、各領域における被写体表面の微小凹凸による傾斜面を右上がり傾斜、水平、左上がり傾斜に分け、光源８４ａ〜８４ｆと各領域との位置関係から、上述した第１光沢信号Ｒ1 に該当する第１反射信号（図１４参照）が得られるか、上述した第２光沢信号Ｒ2 に該当する第２反射信号（図１４参照）が得られるか、あるいは、上述した第３光沢信号Ｒ3 に該当する第３反射信号（図１４参照）が得られるか、予め光源と領域のすべての組み合わせについて調べる。そして、下記表１に示すような光源と領域の組み合わせと第１〜第３反射信号の対応関係を設定する。なお、光源８４ａ〜８４ｆの照明による読み取りの他に、拡散反射光成分が光源８４ａ〜８４ｆの照明光よりも多く含む照明光を用いて読み取られた被写体の拡散反射画像信号を得ておく。
【００７７】
【表１】
0003964646.tif 000002
【００７８】
表１では、例えば領域Ｒａにおいて、被写体表面が右上傾斜面である場合、光源８４ａによる鏡面反射光を読み取り、被写体表面が略水平面である場合、光源８４ｂによる鏡面反射光を読み取り、被写体表面が左上傾斜面である場合、光源８４ｃ〜８４ｆによる鏡面反射光を読み取ることを示している。このような光源８４ａ〜８４ｆと被写体の分割された領域Ｒａ〜Ｒｄの組み合わせによる分類分けによって、第１〜第３反射信号を得る場合が設定され、これに基づいて、下記方法によって、第１〜３反射信号が設定される。
【００７９】
例えば、領域Ｒｂにおいて、上記表１からわかるように、光源８４ａと８４ｂによる照明の場合に第１反射信号を得る。すなわち、光源８４ａ、８４ｂそれぞれを用いて照明した際の画像信号値を、図１０に示すステップ１５０と同様の変換マトリクスＴを用いて変換した信号変換値のうちの最大値が、拡散画像信号の変換マトリクスＴを用いて変換した信号変換値に比べて大きい場合、この最大値から、拡散画像信号の信号変換値を差し引いて求めた差分を第１反射信号の信号値とし、第２、３反射信号の信号値を０とする。
【００８０】
同様に、光源８４ｄ〜８４ｆによる照明の場合第３反射信号を得る。すなわち、光源８４ｄ〜８４ｆのそれぞれを用いて照明した際の画像信号値の信号変換値の内の最大値が、拡散画像信号の信号変換値に比べて大きい場合、この最大値から、拡散画像信号の信号変換値を差し引いて求めた差分を第３反射信号の信号値とし、第１、第２反射信号の信号値を０とする。
第２反射信号を得る場合も同様である。
上記例では、信号変換値が複数ある場合、複数の中から最大値を選びだし、この最大値を拡散画像信号の信号変換値と比較するが、この最大値の替わりに、複数の信号変換値の平均値を用いてもよい。
【００８１】
このように、基台１２上に載置された被写体１０をカメラ１８で撮影して読み取る場合においても、スキャナ３０を用いて被写体を読み取る場合と同様に、平面状の基台１２に載置されて照明された被写体１０の反射光の反射方向が、この被写体１０の照明光の入射方向と基台１２の平面に対して略鏡面反射の関係にある反射光を読み取って得られた被写体１０の読取画像の鏡面反射画像信号と、被写体１０の反射光の反射方向が、被写体１０の照明光の入射方向と、基台１２の平面に対して拡散反射の関係にある反射光を読み取って得られた被写体１０の読取画像の拡散反射画像信号とから、図１０に示すステップ１５０の信号変換処理を行った後、上記方法によって第１〜３光沢信号Ｒ1 〜Ｒ3 に対応する第１〜３反射信号、さらに第４反射信号を生成し、拡散反射画像信号とともに、規格化された画像信号の信号情報とされる。
さらに、被写体の画像中の光沢領域がフレーム画像の順番に従って移動するように、光沢信号の情報を拡散反射画像信号に載せるための、上記ウィンドウ関数のパラメータ情報が、規格化された画像信号のヘッダ情報の一部として作成される。これにより、ステップ１５４〜ステップ１５８と同様の方法で、順番付けられた複数のフレーム画像の画像信号を生成することができる。
【００８２】
あるいは、ディスプレイを見るモニタ観察者の視点の動きに応じて、画像表示された被写体の光沢領域が変わるように、モニタ観察者の視点の動きに応じて、ウィンドウ処理で演算された複数のフレーム画像からフレーム画像が選択されてディスプレイの表示画像が切り替わるものであってもよい。
また、上記実施例はいずれも、フレーム画像をスキャナやカメラによって撮影された読取画像から作成されるものであるが、上述したように、照明により鏡面反射状態が異なる画像をＣＧにより作成し、この画像をフレーム画像を作成するための原画像として用いてもよい。
【００８３】
以上、本発明の画像処理方法、画像処理装置、および画像信号作成方法について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００８４】
【発明の効果】
以上、詳細に説明したように、被写体をディスプレイに表示する際、鏡面反射光として反射する反射領域を画像上で時間的に変化させて、光源の写り込みの変化を再現するので、光沢感等の質感をディスプレイ上で再現することができる。さらに、被写体の微小凹凸による反射面に応じて反射光に方向性を持たせた画像信号を作成するので、ディスプレイでの表示の際にも、被写体上の反射領域の発生に、被写体の微小凹凸に応じた時間的変動を与え、より現実感のある質感を再現することができる。特に、立体物の質感の再現も可能となる。
【００８５】
また、本発明の画像信号作成方法では、ウィンドウ関数を規定するパラメータをヘッダ情報に含ませ、拡散反射画像信号の他に信号情報として各反射信号を含ませるので、鏡面反射による反射領域が時間的に変動するフレーム画像を作成する場合、従来の３次元ＣＧに比べてデータ量が少なくて済み、しかも、処理演算が容易に行うことができる。また、拡散反射画像信号や各反射信号が、画像信号として規格化されるので、規格化された画像信号を用いてネットワーク上の通信データとして有効に用いることができる。
【図面の簡単な説明】
【図１】  本発明の画像表示方法の一例の流れを示す図である。
【図２】  本発明の画像表示方法を実施するための、被写体の読み取りの一例を説明する図である。
【図３】  本発明の画像表示方法を実施するための、被写体の読み取りの他の例を説明する図である。
【図４】  本発明の画像表示方法を実施するための、被写体の読み取りの他の例を説明する図である。
【図５】  本発明の画像表示方法を実施するための、被写体の読み取りの際の補正を説明する図である。
【図６】  本発明の走査読取装置の一例であるスキャナの要部を説明する図である。
【図７】  図６に示すスキャナによって行われる被写体の読み取りの一例を説明する図である。
【図８】  （ａ），（ｂ）は、  図６に示すスキャナによって行われる被写体の読み取りの他の例を説明する図である。
【図９】  本発明の画像処理装置の一例の構成を示すブロック図である。
【図１０】  本発明の画像処理方法の一例の流れを示すフロ−チャートである。
【図１１】  図１０に示すフローの要部の流れを示すフロ−チャートである。
【図１２】  本発明の画像処理方法で用いられるウィンドウ関数を説明する図である。
【図１３】  （ａ）〜（ｅ）は、本発明の画像処理方法で用いられるウィンドウ関数の移動を説明する図である。
【図１４】  本発明の画像信号作成方法で作成される画像信号のデータ構成を説明する図である。
【図１５】  本発明の画像表示方法を説明する図である。
【図１６】  （ａ），（ｂ）は、本発明の画像信号作成方法を行うためになされる被写体の読み取りを説明する図である。
【図１７】  本発明の画像信号作成方法を行うためになされる被写体の読み取りを説明する図である。
【符号の説明】
１０，３２，３３  被写体
１２  基台
１４，１６  ストロボ
１８  カメラ
２０  基準白色板
３０  スキャナ
３４  ガラス基台
３６  照明ユニット
３８  読取ユニット
４０ａ，４０ｂ，５２  ミラー
４２  ミラー群
４４，４６，４６ａ，４６ｂ  光源
４８，５０  スリット
５４  絞り
５６  フィルター群
５８  結像レンズ
６０  ラインＣＣＤセンサ
７０  画像処理装置
７２  前処理部
７４  信号変換処理部
７６  光沢信号生成部
７８  ウィンドウ処理部
８０  フレーム画像信号生成部
８２  帯
１，２，８４ａ〜８４ｆ  光源
【図１】
0003964646.tif 000003
【図２】
0003964646.tif 000004
【図３】
0003964646.tif 000005
【図４】
0003964646.tif 000006
【図５】
0003964646.tif 000007
【図６】
0003964646.tif 000008
【図７】
0003964646.tif 000009
【図８】
0003964646.tif 000010
【図９】
0003964646.tif 000011
【図１０】
0003964646.tif 000012
【図１１】
0003964646.tif 000013
【図１２】
0003964646.tif 000014
【図１３】
0003964646.tif 000015
【図１４】
0003964646.tif 000016
【図１５】
0003964646.tif 000017
【図１６】
0003964646.tif 000018
【図１７】
0003964646.tif 000019