(57)【要約】【課題】被写体表面に小さな凹凸がある場合でも、その凹凸による画像歪みを補正し、より正確な変換画像を合成することができる画像合成装置を提供する。【解決手段】紙面０上に視点Ｆ２から格子状のスポット光を照射し、視点Ｆ１に設置された撮像部１０１により得られる画像Ｉ０を、スポット光が当たっている格子点を頂点とする三角形領域に分割する。さらに、視点Ｆ１から撮像したとき得られる変換画像Ｉ１上の三角形領域を、画像Ｉ０上の三角形領域に変換するアフィン変換式を求め、そのアフィン変換式を用いて、画像Ｉ０上の三角形領域内の画像を、画像Ｉ１上の三角形領域の画像に変換する。【選択図】  図２
2005011070.tif 000002
【特許請求の範囲】
【請求項１】
第１の視点から被写体を撮影して画像を取り込む撮像手段と、
第２の視点から前記被写体に格子状のスポット光を照射するスポット光照射手段と、
第３の視点から前記被写体を撮影したとき得られる変換画像上の、前記スポット光が照射されている格子点の座標を計算により求める座標算出手段と、
前記撮像手段により取り込まれた画像を、隣接する格子点を頂点とする三角形の領域に分割する分割手段と、
前記三角形の頂点の座標と、前記座標算出手段の計算により求められた格子点の座標から、前記三角形のアフィン変換式を求める変換式算出手段と、
前記撮像手段により取り込まれた画像における前記三角形領域の画像を、前記アフィン変換式を用いて、前記変換画像内の対応する三角形領域の画像に変換する画像変換手段とからなることを特徴とする画像合成装置。
【請求項２】
前記撮像手段は、赤外光による撮像と、可視光による撮像とを切り替えて行うことができ、前記スポット光照射手段は赤外光を照射することを特徴とする請求項１に記載の画像合成装置。
【請求項３】
第４の視点から被写体を、赤外線により撮影して画像を取り込む赤外線撮像手段をさらに備え、前記スポット光照射手段は赤外光を照射することを特徴とする請求項１に記載の画像合成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像入力装置により、被写体面を斜めから撮影して得られる画像を、被写体面を正面から撮影して得られる画像に変換する画像合成装置に関する。
【０００２】
【従来の技術】
被写体を斜め方向から撮影すると画像歪が生じるため、特許文献１や特許文献２には、被写体表面を平面と仮定してその画像歪みを補正する手法が示されている。
【０００３】
【特許文献１】
特開平５−１０１２２１号公報
【特許文献２】
特開平９−２８９６００号公報
【０００４】
【発明が解決しようとする課題】
しかし、被写体表面は、実際には完全な平面ではなく小さな凹凸を持つ曲面である場合がほとんどであるため、上記従来の手法では、この凹凸による画像歪みを補正することが出来なかった。その結果、補正後の画像の画質が悪いという課題があった。
【０００５】
本発明はこの点に着目してなされたものであり、被写体表面に小さな凹凸がある場合でも、その凹凸による画像歪みを補正し、より正確な変換画像を合成することができる画像合成装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、第１の視点から被写体を撮影して画像を取り込む撮像手段と、第２の視点から前記被写体に格子状のスポット光を照射するスポット光照射手段と、第３の視点から前記被写体を撮影したとき得られる変換画像上の、前記スポット光が照射されている格子点の座標を計算により求める座標算出手段と、前記撮像手段により取り込まれた画像を、隣接する格子点を頂点とする三角形の領域に分割する分割手段と、前記三角形の頂点の座標と、前記座標算出手段の計算により求められた頂点の座標から、前記三角形のアフィン変換式を求める変換式算出手段と、前記撮像手段により取り込まれた画像における前記三角形領域の画像を、前記アフィン変換式を用いて、前記変換画像内の対応する三角形領域の画像に変換する画像変換手段とからなることを特徴とする画像合成装置を提供する。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像合成装置において、前記撮像手段は、赤外光による撮像と、可視光による撮像とを切り替えて行うことができ、前記スポット光照射手段は赤外光を照射することを特徴とする。
【０００８】
請求項３に記載の発明は、請求項１に記載の画像合成装置において、第４の視点から被写体を、赤外線により撮影して画像を取り込む赤外線撮像手段をさらに備え、前記スポット光照射手段は赤外光を照射することを特徴とする。
【０００９】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
（第１の実施形態）
図１は本発明の第１の実施形態にかかる画像合成装置の構成を示す図である。この装置は、紙面０を斜め上方から撮影する撮像部（デジタルカメラ）１０１と、撮像部１０１に取り込まれる画像データの処理を行う画像処理部１０２と、紙面０にスポット光を格子状に照射するスポット光照射部１０３を備えている。画像処理部は１０２は、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、及びハードディスク装置を備えており、以下に説明する画像合成にかかる演算処理を実行する。
【００１０】
図２は、図１に示す画像合成装置の撮像面及び座標系を説明するための斜視図であり、図１と合わせて参照する。撮像部１０１は、視点Ｆ０を焦点とし、その光軸が図のＺ軸に一致するように設置されている。またスポット光照射部１０３は、視点Ｆ２の位置に、その光軸が図のＺ”軸に一致するように設置されている。
【００１１】
図１に示す画像合成装置は、視点Ｆ０を焦点とし光軸をＦ０Ｏとする撮像部１０１から紙面０を撮像して得られた画像Ｉ０から、視点Ｆ１を焦点とし光軸をＦ１Ｏ’とする仮想カメラから紙面０を撮像して得られる画像Ｉ１を合成する。画像Ｉ０は紙面０を撮像面０に視点Ｆ０を基準として透視変換して得られる画像である。同様に、画像Ｉ１は撮像面１に視点Ｆ１を基準として透視変換して得られる画像である。
【００１２】
スポット光照射部１０３は、視点Ｆ２から格子状のスポット光を紙面０に照射する。まず、画像Ｉ０上の格子点座標の検出方法について述べる。スポット光を点滅させて、スポット光の写っていないときの画像と写っているときの画像とを撮像して、２種類の画像の明るさ成分の差分を表す画像を求める。差分画像において輝度差分の絶対値が大きくなっているところがスポット光のあたっているところであるので、適当な閾値を設定して輝度差分の絶対値が、閾値以上の領域を「１」とし、閾値より小さい領域を「０」とする２値画像を求める。「１」となる領域の重心の座標を求めて、その値を格子点の座標とする。
【００１３】
スポット光は可視光、赤外光どちらでも用いることができる。赤外光を用いた場合は、画像Ｉ０を撮像する撮像部１０１は、スポット光の座標を求めるときは赤外線カメラとして働き、合成画像Ｉ１を求めるときは可視光カメラとして働く、赤外光／可視光切り替え可能のカメラを用いることが望ましい。
【００１４】
スポット光のあたる点のひとつをＰＯとする。格子点ＰＯが撮像面０及び撮像面１に射影される点を、それぞれｐ０及びｐ１とする。先ず、ｐ０の座標からｐ１の座標を求める方法について述べる。
【００１５】
視点Ｆ０，Ｆ１，及びＦ２を原点として３次元直交座標系ＸＹＺ，Ｘ’Ｙ’Ｚ’，及びＸ”Ｙ”Ｚ”をそれぞれ設定する。Ｚ，Ｚ’，及びＺ”軸は、光軸と一致するように設定する。また、画像Ｉ０及びＩ１に２次元直交座標系ｘｙ，及びｘ’ｙ’を設定する。ｘ，ｘ’軸はＸ，Ｘ’軸と、ｙ，ｙ’軸はＹ，Ｙ’軸と、それぞれ平行になるように設定する。ｐ０の座標を（ｘ，ｙ）（ｘｙ座標系）とし、スポット光の方向をベクトル（ｘ”，ｙ”，１）（Ｘ”Ｙ”Ｚ”座標系）とし、Ｐ０の座標を（Ｘ，Ｙ，Ｚ）（ＸＹＺ座標系）および（Ｘ”，Ｙ”，Ｚ”）（Ｘ”Ｙ”Ｚ”座標系）とする。まず、（Ｘ，Ｙ，Ｚ）を（ｘ，ｙ）と（ｘ”，ｙ”，１）から求める。（ｘ，ｙ）と（Ｘ，Ｙ，Ｚ）の関係は透視変換の関係から（１）式で表される。ｆ０は視点Ｆ０から撮像面０までの距離である。
【数１】
2005011070.tif 000003
【００１６】
また、（ｘ”，ｙ”，１）と（Ｘ”，Ｙ”，Ｚ”）の関係は（２）式で表される。
【数２】
2005011070.tif 000004
【００１７】
また、（Ｘ，Ｙ，Ｚ）と（Ｘ”，Ｙ”，Ｚ”）の関係は（３）式で表される。行列（ａｉｊ）はＸＹＺ座標系からＸ”Ｙ”Ｚ”座標系への変換行列である。
【数３】
2005011070.tif 000005
【００１８】
（２）及び（３）式より、Ｘ”，Ｙ”，Ｚ”を消去すると（４）式が得られる。ｃ００，ｃ０１，ｃ１０，及びｃ１１は、ａｉｊとｘ”，ｙ”で表される定数である。
【数４】
2005011070.tif 000006
【００１９】
（１）及び（４）式からＸ，Ｙ，Ｚは（５）式で表される。
【数５】
2005011070.tif 000007
【００２０】
次に、ｐ１の座標（ｘ’，ｙ’）（ｘ’ｙ’座標系）を求める。Ｐ０の座標（Ｘ’，Ｙ’，Ｚ’）（Ｘ’Ｙ’Ｚ’座標系）とする。（Ｘ，Ｙ，Ｚ）（Ｘ’，Ｙ’，Ｚ’）の関係は（６）式で表される。行列（ｄｉｊ）は、ＸＹＺ座標系をＸ’Ｙ’Ｚ’座標系に変換する変換行列である。
【数６】
2005011070.tif 000008
【００２１】
また、（ｘ’，ｙ’）と（Ｘ’，Ｙ’，Ｚ’）の関係は（７）式で表される。ｆ１は視点Ｆ１から撮像面１までの距離である。
【数７】
2005011070.tif 000009
【００２２】
（５）、（６）及び（７）式より、ｘ’，ｙ’を（８）式のように、ａｉｊ，ｄｉｊ（ｉ＝０，１，２，ｊ＝０，１，２，３）、ｆ０，ｆ１，ｘ，ｙ，ｘ”，ｙ”の関数で表すことができる。ここで、ｈ０及びｈ１は、関数を表す。
【数８】
2005011070.tif 000010
【００２３】
次に、画像のアフィン変換について、図３を参照して説明する。紙面０を撮像した画像Ｉ０上に写っているスポット光点ｐ０ｉｊの隣接する３点から構成される３角形領域に画像Ｉ０を分割する。ｐ０ｉｊの座標から、（８）式を用いて画像Ｉ１上の各スポット点ｐ１ｉｊの座標を求める。画像Ｉ１上の三角形ｐ１ｉｊｐ１ｉ（ｊ＋１）ｐ１（ｉ＋１）ｊから画像Ｉ０上の三角形ｐ０ｉｊｐ０ｉ（ｊ＋１）ｐ０（ｉ＋１）ｊへのアフィン変換式を求める。ｐ１ｉｊ、ｐ１ｉ（ｊ＋１）、及びｐ１（ｉ＋１）ｊの座標を（ｘ１ｉｊ，ｙ１ｉｊ）、（ｘ１ｉ（ｊ＋１），ｙ１ｉ（ｊ＋１））、及び（ｘ１（ｉ＋１）ｊ，ｙ１（ｉ＋１）ｊ）とし、ｐ０ｉｊ、ｐ０ｉ（ｊ＋１）、及びｐ０（ｉ＋１）ｊの座標を（ｘ０ｉｊ，ｙ０ｉｊ）、（ｘ０ｉ（ｊ＋１），ｙ０ｉ（ｊ＋１））、及び（ｘ０（ｉ＋１）ｊ，ｙ０（ｉ＋１）ｊ）とする。変換式は（９）式で表される。
【数９】
2005011070.tif 000011
【００２４】
次に、三角形ｐ１ｉｊｐ１ｉ（ｊ＋１）ｐ１（ｉ＋１）ｊ内の座標（ｘ１，ｙ１）の画素ｉ１の画素値ｒ１（ｘ１，ｙ１）、ｇ１（ｘ１，ｙ１）、及びｂ１（ｘ１，ｙ１）を求める。（９）式を用いて画素ｉ１に対応する三角形ｐ０ｉｊｐ０ｉ（ｊ＋１）ｐ０（ｉ＋１）ｊ内の画素ｉ０の座標（ｘ０，ｙ０）を求める（図４参照）。画素ｉ０（ｘ０，ｙ０）の画素値ｒ０（ｘ０，ｙ０）、ｇ０（ｘ０，ｙ０）、及びｂ０（ｘ０，ｙ０）とすると、画素値ｒ１（ｘ１，ｙ１）、ｇ１（ｘ１，ｙ１）、及びｂ１（ｘ１，ｙ１）は、ｒ０（ｘ０，ｙ０）、ｇ０（ｘ０，ｙ０）、及びｂ０（ｘ０，ｙ０）と等しい。ｘ０及びｙ０を、それぞれ整数部ｘｉ０及びｙｉ０と、小数部ｘｄ０及びｙｄ０に分けると、画素値ｒ１（ｘ１，ｙ１）、ｇ１（ｘ１，ｙ１）、及びｂ１（ｘ１，ｙ１）は、図４に示す近傍の４画素ｉ０（ｘｉ０、ｙｉ０）、ｉ０（ｘｉ０＋１、ｙｉ０）、ｉ０（ｘｉ０、ｙｉ０＋１）、ｉ０（ｘｉ０＋１、ｙｉ０＋１）の画素値
ｒ０（ｘｉ０，ｙｉ０）、ｇ０（ｘｉ０，ｙｉ０）、ｂ０（ｘｉ０，ｙｉ０）、
ｒ０（ｘｉ０＋１、ｙｉ０）、ｇ０（ｘｉ０＋１、ｙｉ０）、ｂ０（ｘｉ０＋１、ｙｉ０）、
ｒ０（ｘｉ０、ｙｉ０＋１）、ｇ０（ｘｉ０、ｙｉ０＋１）、ｂ０（ｘｉ０、ｙｉ０＋１）、
ｒ０（ｘｉ０＋１、ｙｉ０＋１）、ｇ０（ｘｉ０＋１、ｙｉ０＋１）、ｂ０（ｘｉ０＋１、ｙｉ０＋１）、
を用いて、（１０）式から求められる。
【数１０】
2005011070.tif 000012
【００２５】
図５は、上述した画像合成の手順を示すフローチャートである。ステップＳ１では、画像Ｉ０上の格子点座標（ｘ，ｙ）を求め、ステップＳ２では、ステップＳ１で求めた格子点座標から、画像Ｉ１上の格子点座標（ｘ’，ｙ’）を計算する。具体的には、（８）式が用いられる。
【００２６】
ステップＳ３では、画像Ｉ０を、隣接する格子点座標を頂点とする三角形の領域に分割し、ステップＳ４では、画像Ｉ１上の三角形領域を、画像Ｉ０上の三角形領域に変換するアフィン変換式（９）を計算する。そして、ステップＳ５で、ステップＳ４で求めたアフィン変換式（９）を用いて画像Ｉ１の三角形領域の画像を、画像Ｉ０の三角形領域の画像から合成する。具体的には、（９）式及び（１０）式が用いられる。
【００２７】
以上のように本実施形態では、紙面０上に格子状のスポット光を照射し、スポット光が照射されている格子点の、画像Ｉ０上の座標（ｘ，ｙ）及び画像Ｉ１上の座標（ｘ’，ｙ’）が求められる。そして、スポット光が当たっている格子点を頂点とする三角形領域に、画像Ｉ０及びＩ１が分割され、画像Ｉ１上の三角形領域を、画像Ｉ０上の三角形領域に変換するアフィン変換式が求められ、そのアフィン変換式を用いて、画像Ｉ０上の三角形領域内の画像が、画像Ｉ１上の三角形領域の画像に変換される。その結果、紙面０に小さな凹凸がある場合でも、その凹凸による画像歪みを補正し、より正確な変換画像を合成することができる。
【００２８】
（第２の実施形態）
図６は、本発明の第２の実施形態にかかる画像合成装置の構成を示す図である。また図７は、図６に対応する撮像面及び座標系を説明するための斜視図である。本実施形態では、赤外線により撮像する赤外線撮像部（赤外線カメラ）１０４が新たに設けられており、スポット光照射部１０３ａは、赤外線のスポット光を照射する。また撮像部１０１ａは、可視光により撮像するデジタルカメラである。
【００２９】
赤外線撮像部１０４は、図７に示す視点Ｆ３を焦点として、その光軸が、視点Ｆ３と紙面０上の点０’’’とを結ぶ直線と一致するように設置されている。赤外線撮像部１０４の撮像面を撮像面３とし、赤外線撮像部１０４から得られる画像をＩ３とし、格子点Ｐ０が撮像面３へ射影される点をｐ３（ｘ’’’，ｙ’’’）とする。視点Ｆ３を原点に３次元直交座標系Ｘ’’’Ｙ’’’Ｚ’’’を設定する。また、画像Ｉ３に２次元座標系ｘ’’’ｙ’’’を設定する。ｐ３の座標を（ｘ’’’，ｙ’’’）、Ｐ０の座標を（Ｘ’’’，Ｙ’’’，Ｚ’’’）（Ｘ’’’Ｙ’’’Ｚ’’’座標系）とする。
【００３０】
本実施形態では、まず、（ｘ’’’，ｙ’’’）と（ｘ”，ｙ”，１）から（Ｘ’’’，Ｙ’’’，Ｚ’’’）を求め、次に、（Ｘ’’’，Ｙ’’’，Ｚ’’’）から（Ｘ，Ｙ，Ｚ）と（Ｘ’，Ｙ’，Ｚ’）を求め、最後にｐ０（ｘ，ｙ）、ｐ２（ｘ’，ｙ’）を求める。視点Ｆ３と撮像面３との距離をｆ３とすると、（ｘ’’’，ｙ’’’）と（Ｘ’’’，Ｙ’’’，Ｚ’’’）の関係は（１１）式で表される。
【数１１】
2005011070.tif 000013
【００３１】
また、（Ｘ’’’，Ｙ’’’，Ｚ’’’）と（Ｘ”、Ｙ”、Ｚ”）の関係は（１２）式で表される。行列（ｇｉｊ）は、Ｘ’’’Ｙ’’’Ｚ’’’座標系からＸ”Ｙ”Ｚ”座標系の変換行列である。
【数１２】
2005011070.tif 000014
【００３２】
（２）、（１１）、及び（１２）式からＸ’’’，Ｙ’’’，Ｚ’’’を求める。Ｘ’’’，Ｙ’’’，Ｚ’’’は（１３）式のようにｇｉｊ（ｉ＝０，１，２，ｊ＝０，１，２，３）、ｘ’’’，ｙ’’’，ｘ”，ｙ”，ｆ３の関数となる。ここで、ｈ２〜ｈ４は、関数を表す。
【数１３】
2005011070.tif 000015
【００３３】
Ｘ’’’Ｙ’’’Ｚ’’’座標系からＸＹＺ座標系への変換行列を（ｋｉｊ（ｉ＝０，１，２，ｊ＝０，１，２，３））とし、Ｘ’’’Ｙ’’’Ｚ’’’座標系からＸ’Ｙ’Ｚ’座標系への変換行列を（ｌｉｊ（ｉ＝０，１，２，ｊ＝０，１，２，３）とすると、ｘ，ｙ，ｘ’，ｙ’は（１４）式で表される。ここで、ｈ５〜ｈ８は、関数を表す。
【数１４】
2005011070.tif 000016
【００３４】
以上により、画像Ｉ１上の格子点の座標（ｘ’，ｙ’）が求められる。以後の画像変換の処理は、上述した第１の実施形態と同一である。
【００３５】
【発明の効果】
以上詳述したように請求項１に記載の発明は、被写体表面に格子状のスポット光を照射し、撮像手段と異なる視点から被写体を撮影したとき得られる変換画像上の、前記スポット光が照射されている格子点の座標を求め、撮像手段により取り込まれた画像を、スポット光が当たっている格子点を頂点とする三角形領域に分割し、この三角形の頂点の座標と、前記変換画像上の格子点の座標から、前記三角形のアフィン変換式を求め、撮像手段により取り込まれた画像上の三角形領域の画像を、前記アフィン変換式を用いて、前記変換画像内の対応する三角形領域の画像に変換するようにしたので、被写体表面に小さな凹凸がある場合でも、その凹凸による画像歪みを補正し、より正確な変換画像を合成することができる。
【００３６】
請求項２または３に記載の発明によれば、赤外光のスポット光を照射しながら、可視光の画像の変換処理を行うことができるので、処理を高速化することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる画像合成装置の構成を示す図である。
【図２】図１の装置における撮像面及び座標系を説明するための斜視図である。
【図３】画像を三角形領域に分割する処理を説明するための図である。
【図４】画素に対応する画素値を算出する手法を説明するための図である。
【図５】画像合成処理の手順を示すフローチャートである。
【図６】本発明の第２の実施形態にかかる画像合成装置の構成を示す図である。
【図７】図６の装置における撮像面及び座標系を説明するための斜視図である。
【符号の説明】
１０１，１０１ａ  撮像部（撮像手段）
１０２  画像処理部（座標算出手段、分割手段、変換式算出手段、画像変換手段）
１０３，１０３ａ  スポット光照射部（スポット光照射手段）
１０４  赤外線撮像部（赤外光撮像手段）
【図１】
2005011070.tif 000017
【図２】
2005011070.tif 000018
【図３】
2005011070.tif 000019
【図４】
2005011070.tif 000020
【図５】
2005011070.tif 000021
【図６】
2005011070.tif 000022
【図７】
2005011070.tif 000023