(57)【要約】【課題】対象物の立体形状を、視覚的に強調することができる投影装置、及び投影方法を提供する。【解決手段】本発明の投影装置は、対象物に、対象物との距離を計測するためのパターン画像を投影する投影部と、投影されたパターン画像を撮影する撮影部と、撮影されたパターン画像のパターンの位置毎に距離を計測する計測部と、パターンの位置毎の距離を表す距離画像を生成する画像生成部とを備え、投影部は、更に、距離画像を対象物に投影する。【選択図】図１９
2014089151.tif 000002
【特許請求の範囲】
【請求項１】
対象物に、前記対象物との距離を計測するためのパターン画像を投影する投影部と、
投影された前記パターン画像を撮影する撮影部と、
撮影された前記パターン画像のパターンの位置毎に距離を計測する計測部と、
前記パターンの位置毎の距離を表す距離画像を生成する画像生成部と
を備え、
前記投影部は、更に、前記距離画像を前記対象物に投影する
投影装置。
【請求項２】
前記距離画像は、前記距離に応じた画素値を含み、前記距離を前記画素値のグラデーションにより表現した画像である
請求項１に記載の投影装置。
【請求項３】
前記距離画像は、前記距離が同じ画素を等高線により表現した画像である
請求項１に記載の投影装置。
【請求項４】
前記距離画像は、前記距離に応じた色彩により表現した画像である
請求項１に記載の投影装置。
【請求項５】
投影部が、対象物に、前記対象物との距離を計測するためのパターン画像を投影するステップと、
撮影部が、投影された前記パターン画像を撮影するステップと、
計測部が、撮影された前記パターン画像のパターンの位置毎に距離を計測するステップと、
画像生成部が、前記パターンの位置毎の距離を表す距離画像を生成するステップと、
投影部が、前記距離画像を前記対象物に投影するステップと
を含む投影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置、及び投影方法に関する。
【背景技術】
【０００２】
撮影された画像の画素の濃淡や色彩だけではなく、画素の距離（奥行き）情報を測定することができる距離画像センサが知られている。距離画像センサの奥行き情報の解像度は、縦横百数十ピクセル程度であるため、通常のカメラより空間解像度は低い。しかしながら、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の画面に、立体表現を含む２次元の距離画像を表示して、撮影された対象物の立体形状を確認することができるという利点がある。
【０００３】
距離画像センサの方式には、いくつかの方式があり、ステレオ方式、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）方式、及びレーザスキャン方式等が知られている。ステレオ方式は、ステレオカメラで撮影した２枚の画像を使用して、三角測量の原理により対象物との距離を求める。ＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式は、赤外線ＬＥＤを一瞬光らせて、それが対象物にあたって跳ね返ってくるまでの時間を、各ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）毎に測定することにより、対象物との距離を求める。レーザスキャン方式は、投影されたパターン画像を撮影し、撮影されたパターン画像の幾何学的な歪みを利用して対象物との距離を求める。
【０００４】
距離画像センサと投影装置を組み合わせた技術としては、特許文献１が知られている。特許文献１には、プロジェクタ、及びカメラを使用して、位相シフト法により得られた距離に基づいて、撮影画像の画素の位置と、投影画像の画素の位置との対応付けを行い、プロジェクタを照明として使用して、所定の投影領域だけに照明を当てる技術が開示されている。
【０００５】
上述のように、距離画像センサにより得られた距離画像により、対象物との距離を２次元の画像で把握することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の方法では、対象物の立体形状を適切に把握できない場合があった。例えば従来の方法では、目の前にある対象物の凸凹をリアルタイムに計測し、当該対象物の立体形状を、表示装置等の画面を介さずに、直接、視覚的に強調できなかった。
【０００７】
本発明は、上記に鑑みてなされたものであって、対象物の立体形状を、視覚的に強調することができる投影装置、及び投影方法を提供することを目的にする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明の投影装置は、対象物に、前記対象物との距離を計測するためのパターン画像を投影する投影部と、投影された前記パターン画像を撮影する撮影部と、撮影された前記パターン画像のパターンの位置毎に距離を計測する計測部と、前記パターンの位置毎の距離を表す距離画像を生成する画像生成部とを備え、前記投影部は、更に、前記距離画像を前記対象物に投影する。
【０００９】
また、本発明の投影方法は、投影部が、対象物に、前記対象物との距離を計測するためのパターン画像を投影するステップと、撮影部が、投影された前記パターン画像を撮影するステップと、計測部が、撮影された前記パターン画像のパターンの位置毎に距離を計測するステップと、画像生成部が、前記パターンの位置毎の距離を表す距離画像を生成するステップと、投影部が、前記距離画像を前記対象物に投影するステップとを含む。
【発明の効果】
【００１０】
本発明によれば、対象物の立体形状を、視覚的に強調することができる投影装置、及び投影方法を提供することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本実施の形態の投影装置の構成ブロックの一例を説明するための図である。
【図２】図２は、本実施の形態の投影装置が投影するパターン画像の一例を示す図である。
【図３】図３は、本実施の形態の投影装置がパターン画像を対象物に投影した場合の一例を示す図である。
【図４】図４は、本実施の形態の投影装置が距離画像を投影する方法を説明するためのフローチャートである。
【図５】図５は、本実施の形態の投影装置がパターンの位置毎の距離を計測する方法を説明するためのフローチャートである。
【図６】図６は、本実施の形態の投影装置により撮影されたパターン画像の一例を示す図である。
【図７】図７は、本実施の形態の投影装置が撮影されたパターン画像から、パターンを認識するために使用するマスクパターンの一例を説明するための図である。
【図８】図８は、本実施の形態の投影装置が各パターンの重心を算出する方法を説明するための図である。
【図９】図９は、本実施の形態の投影装置の第１カメラにより撮影されたパターン画像（右撮像面の画像）の一例を説明するための図である。
【図１０】図１０は、本実施の形態の投影装置の第２カメラにより撮影されたパターン画像（左撮像面の画像）の一例を説明するための図である。
【図１１】図１１は、本実施の形態の投影装置がパターンの位置毎の距離を計測する方法を説明するための図である。
【図１２】図１２は、本実施の形態の投影装置により算出されたパターンの位置毎の距離の一例を説明するための図である。
【図１３】図１３は、本実施の形態の投影装置により生成された距離画像をグラデーションにより表現した場合の一例を示す図である。
【図１４】図１４は、本実施の形態の投影装置により生成された距離画像をグラデーションにより表現した場合の一例を示す図である。
【図１５】図１５は、本実施の形態の投影装置により生成された距離画像を等高線により表現した場合の一例を示す図である。
【図１６】図１６は、本実施の形態の投影装置により生成された距離画像を等高線により表現した場合の一例を示す図である。
【図１７】図１７は、本実施の形態の投影装置により生成された距離画像を色彩により表現した場合の一例を示す図である。
【図１８】図１８は、本実施の形態の投影装置により生成された距離画像を色彩により表現した場合の一例を示す図である。
【図１９】図１９は、本実施の形態の投影装置が距離画像を対象物に投影した場合の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照して、投影装置、及び投影方法の実施の形態を詳細に説明する。
【００１３】
図１は、本実施の形態の投影装置１の構成ブロックの一例を説明するための図である。本実施の形態の投影装置１は、投影部１１、撮影部１２、計測部１３、及び画像生成部１４を備える。
【００１４】
投影部１１は、対象物に、当該対象物と撮影部１２との距離を計測するためのパターン画像を投影する。また、投影部１１は、パターンの位置毎の距離を表す距離画像を、対象物に投影する。距離画像の詳細については後述する。
【００１５】
図２は、本実施の形態の投影装置１が投影するパターン画像の一例を示す図である。図２の例では、１２×９個の円が、パターンとして使用されているパターン画像である。なお、パターンに使用される図形は、円に限られず、その他の図形であってもよい。また、パターンの個数、及びパターンの配列は、１２×９個に限られない。
【００１６】
図３は、本実施の形態の投影装置１がパターン画像を対象物に投影した場合の一例を示す図である。投影されたパターン画像は、撮影部１２により撮影される。撮影部１２は、第１カメラ２１、及び第２カメラ２２を備える。第１カメラ２１は、投影部１１により投影されたパターン画像を、右撮像面の画像として撮影する。第２カメラ２２は、投影部１１により投影されたパターン画像を、左撮像面の画像として撮影する。
【００１７】
計測部１３は、当該左撮像面の画像、及び当該右撮像面の画像を使用して、パターンの位置毎の距離を計測する。画像生成部１４は、当該パターンの位置毎に算出した距離に応じて、距離画像を生成する。
【００１８】
以下、本実施の形態の投影装置１が、対象物に距離画像を投影する方法について説明する。図４は、本実施の形態の投影装置１が距離画像を投影する方法を説明するためのフローチャートである。
【００１９】
投影部１１は、対象物にパターン画像を投影する（ステップＳ１）。撮影部１２は、ステップＳ１で投影されたパターン画像を撮影する（ステップＳ２）。具体的には、撮影部１２は、第１カメラ２１により、右撮像面の画像を取得する。撮影部１２は、第２カメラ２２により、左撮像面の画像を取得する。計測部１３は、当該左撮像面の画像、及び当該右撮像面の画像を使用して、パターンの位置毎の距離を計測する（ステップＳ３）。
【００２０】
ここで、計測部１３による当該距離の計測方法について詳細に説明する。図５は、本実施の形態の投影装置１がパターンの位置毎の距離を計測する方法を説明するためのフローチャートである。
【００２１】
計測部１３は、撮影部１２により撮影されたパターン画像から、パターンを検出する（ステップＳ１１）。図６は、本実施の形態の投影装置１により撮影されたパターン画像の一例を示す図である。図６の例では、撮影されたパターン画像（モノクロ２５６階調とする）が、２値化されている。
【００２２】
また、図６では、６個のパターン（パターン３１〜３６）が画像内に含まれている。計測部１３は、当該画像内から各パターンを検出する。具体的には、計測部１３は、当該画像に所定のマスクパターンをあてること（パターンマッチング）により、パターンを検出する。
【００２３】
図７は、本実施の形態の投影装置１が撮影されたパターン画像から、パターンを認識するために使用するマスクパターンの一例を説明するための図である。マスクパターンには、０である領域、１である領域、並びに０又は１のどちらでもよい領域が含まれる。これにより、計測部１３は、周囲が白画素に囲まれた所定の大きさ以上の黒画素の塊を検出する。
【００２４】
計測部１３は、左撮像面の画像、及び当該右撮像面の画像に含まれている全てのパターンを、上述のマスクパターンにより検出する。
【００２５】
図５に戻り、計測部１３は、各パターンの重心を算出する（ステップＳ１２）。図８は、本実施の形態の投影装置１が各パターンの重心を算出する方法を説明するための図である。図８の例は、図６に含まれるパターン３１の重心を算出する場合の例である。図８の例では、座標軸の原点が、画像内の最も左上の画素の中心になるように、座標軸がとられている。
【００２６】
計測部１３は、パターン３１を形成する黒画素の座標の平均値を、パターン３１の重心の座標として算出する。図８の例では、黒画素の数は、２３個である。また、黒画素の座標（Ｘ，Ｙ）は、（３，１），（４，１），（２，２），（３，２），（４，２），（５，２），（１，３），（２，３），（３，３），（４，３），（５，３），（６，３），（２，４），（３，４），（４，４），（５，４），（６，４），（３，５），（４，５），（５，５），（６，５），（４，６），（５，６）である。
【００２７】
したがって、パターン３１の重心Ｇの座標は、（３＋４＋２＋３＋４＋５＋１＋２＋３＋４＋５＋６＋２＋３＋４＋５＋６＋３＋４＋５＋６＋４＋５）／２３，（１＋２＋３＋４＋５＋６＋１＋２＋３＋４＋５＋６＋２＋３＋４＋５＋２＋３＋４＋５＋３＋４＋３）／２３）＝（８９／２３，８０／２３）＝（３．８７，３．４８）である。
【００２８】
計測部１３は、左撮像面の画像、及び当該右撮像面の画像に含まれている全てのパターンの重心の座標を、上述の方法により算出する。
【００２９】
図５に戻り、計測部１３は、第１カメラ２１により撮影されたパターン画像（右撮像面の画像）のパターンと、第２カメラ２２により撮影されたパターン画像（左撮像面の画像）のパターンの対応付けを行う（ステップＳ１３）。
【００３０】
図９は、本実施の形態の投影装置１の第１カメラ２１により撮影されたパターン画像（右撮像面の画像）の一例を説明するための図である。図１０は、本実施の形態の投影装置１の第２カメラ２２により撮影されたパターン画像（左撮像面の画像）の一例を説明するための図である。
【００３１】
計測部１３は、図９のパターン３１と図１０のパターン４１を対応付ける。また、計測部１３は、図９のパターン３２と図１０のパターン４２を対応付ける。また、計測部１３は、図９のパターン３３と図１０のパターン４３を対応付ける。また、計測部１３は、図９のパターン３４と図１０のパターン４４を対応付ける。また、計測部１３は、図９のパターン３５と図１０のパターン４５を対応付ける。また、計測部１３は、図９のパターン３６と図１０のパターン４６を対応付ける。
【００３２】
図９、及び図１０の例では、各パターンの重心の座標は、左撮像面の画像で算出した場合と、右撮像面の画像で算出した場合とで比較すると、Ｘ軸方向（水平方向）に１．０画素のずれが生じる。
【００３３】
図５に戻り、計測部１３は、左撮像面の画像と右撮像面の画像との視差ｄ（μｍ）を、パターンの位置毎に計測する（ステップＳ１４）。計測部１３は、基線長Ｂ（ｍｍ）、焦点距離ｆ（ｍｍ）、及び視差ｄ（μｍ）により、パターンの位置毎の距離を計測する（ステップＳ１５）。
【００３４】
ここで、ステップＳ１４、及びステップＳ１５の計測方法について説明する。図１１は、本実施の形態の投影装置１がパターンの位置毎の距離を計測する方法を説明するための図である。
【００３５】
点Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）は、投影装置１の対象物の任意の点である。投影点ｍｌ（ｘｌ，ｙｌ）は、点Ｐに対応する左撮像面の画像上の点である。投影点ｍｒ（ｘｒ，ｙｒ）は、点Ｐに対応する右撮像面の画像上の点である。
【００３６】
計測部１３は、各パターンの視差ｄを、視差ｄ（μｍ）＝ｘｌ−ｘｒ＝セルサイズｃ（μｍ）×（（左撮像面の画像上のパターンの重心のＸ座標）−（右撮像面の画像上のパターンの重心のＸ座標））により計測する。ここで、セルサイズは、撮像素子上の１画素の大きさである。
【００３７】
図９、及び図１０の例では、（（左撮像面の画像上のパターンの重心のＸ座標）−（右撮像面の画像上のパターンの重心のＸ座標））＝１．０である。
【００３８】
計測部１３は、パターンの距離（奥行き）Ｚ（ｍ）を、距離Ｚ（ｍ）＝（（基線長Ｂ）×（焦点距離ｆ））／（視差ｄ）により計測する。
【００３９】
なお、点Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）は、投影点ｍｌ（ｘｌ，ｙｌ）、投影点ｍｒ（ｘｒ，ｙｒ）、基線長Ｂ、及び焦点距離ｆを使用して、次のように表現できる。Ｘｐは、Ｘｐ＝（Ｚｐ／（焦点距離ｆ））×ｘｒである。Ｙｐは、Ｙｐ＝（Ｚｐ／（焦点距離ｆ））×ｙｒである。Ｚｐは、Ｚｐ＝（（基線長Ｂ）×（焦点距離ｆ））／（ｘｌ−ｘｒ）である。
【００４０】
計測部１３は、画像内の全てのパターンについて、上述の距離Ｚを計測する。図１２は、本実施の形態の投影装置１により算出されたパターンの位置毎の距離の一例を説明するための図である。図１２の例では、投影部１１が投影したパターン画像内のパターンの配列、及び数に応じた単位で距離が算出されている。すなわち、図１２の例では、図２のパターン画像のパターン（１２×９個のパターン）の単位で、距離が算出されている。図１２に示されている距離の値は、値が小さい程、撮影部１２からの距離が近いことを表す。すなわち、小さい値が算出された画素の位置は、凸状に出っ張った対象物の部分に対応する。
【００４１】
図４に戻り、画像生成部１４は、計測部１３により計測された各パターンの距離に応じて、距離を表す距離画像を生成する（ステップＳ４）。当該距離画像は、グラデーション、等高線、及び色彩等により表現される。これにより、当該距離画像を、視覚的に理解し易いようにする。
【００４２】
図１３は、本実施の形態の投影装置１により生成された距離画像をグラデーションにより表現した場合の一例を示す図である。図１３の距離画像は、計測部１３により計測された１２×９個の距離を、１ブロックに１５×１５画素を使用して、単純に、１８０×１３５画素の画像に拡大したものである。また、図１３の距離画像は、距離（奥行き）の小さい方を黒とし、距離（奥行き）の大きい方を白として画素値を定め、２５６階調グラデーション画像として表現している。
【００４３】
図１４は、本実施の形態の投影装置１により生成された距離画像をグラデーションにより表現した場合の一例を示す図である。図１４の距離画像は、図１３の距離画像に比べて、立体表現が滑らかになっている。これは、画像生成部１４が、画像を線形補間法により拡大したためである。
【００４４】
図１５は、本実施の形態の投影装置１により生成された距離画像を等高線により表現した場合の一例を示す図である。図１５の距離画像は、計測部１３により計測された１２×９個の距離を、１ブロックに１５×１５画素を使用して、単純に、１８０×１３５画素の画像に拡大したものである。
【００４５】
図１６は、本実施の形態の投影装置１により生成された距離画像を等高線により表現した場合の一例を示す図である。図１６の距離画像は、図１５の距離画像に比べて、立体表現が滑らかになっている。これは、画像生成部１４が、画像を線形補間法により拡大したためである。また、図１６の距離画像では、画像生成部１４が、線形補間法による拡大後、等高線の表現を８階調化している。
【００４６】
図１７は、本実施の形態の投影装置１により生成された距離画像を色彩により表現した場合の一例を示す図である。図１７の距離画像は、計測部１３により計測された１２×９個の距離を、１ブロックに１５×１５画素を使用して、単純に、１８０×１３５画素の画像に拡大したものである。また、図１７の距離画像の色彩による表現の例は、距離（奥行き）の小さい方を赤として表現し、距離（奥行き）の大きい方を青として表現する等である。
【００４７】
図１８は、本実施の形態の投影装置１により生成された距離画像を色彩により表現した場合の一例を示す図である。図１８の距離画像は、図１７の距離画像に比べて、立体表現が滑らかになっている。これは、画像生成部１４が、画像を線形補間法により拡大したためである。また、図１８の距離画像では、画像生成部１４が、線形補間法による拡大後、画像表現を８階調化して色彩により違いを表現している。
【００４８】
なお、上述の説明では、簡単のため、撮影部１２（距離センサ）の空間解像度を１２×９画素としている。また、投影部１１（プロジェクタ）の投影画像の空間解像度を、その縦横１５倍の１８０×１３５画素としている。したがって、距離測定の基準となるパターンは、投影されるパターン画像（１８０×１３５画素）中で、１５画素ピッチの等間隔で１２×９個の格子状に並ぶ。しかしながら、撮影部１２の空間解像度は、１２×９画素に限られず、任意の空間解像度でよい。同様に、投影部１１の空間解像度は、１８０×１３５画素に限られず、任意の空間解像度でよい。
【００４９】
図４に戻り、投影部１１は、ステップＳ４で生成された距離画像を、投影装置１の対象物に投影する（ステップＳ５）。図１９は、本実施の形態の投影装置１が距離画像を対象物に投影した場合の一例を示す図である。図１９の例は、投影装置１の対象物に、色彩の違いによる立体情報を含む距離画像が投影されている場合の例である。
【００５０】
以上のように、本実施の形態の投影装置１によれば、投影装置１の対象物に距離画像を投影することにより、当該対象物の立体形状を、視覚的に強調することができる。
【産業上の利用可能性】
【００５１】
本発明にかかる投影装置、及び投影方法は、対象物の滑らかさ等の立体形状をチェックするような場合に有用である。例えば、工業製品等を製造する工場等において、作業員が、当該工業製品の立体形状を、リアルタイムに視覚的に確認する場合等に有用である。
【符号の説明】
【００５２】
１    投影装置
１１  投影部
１２  撮影部
１３  計測部
１４  画像生成部
２１  第１カメラ
２２  第２カメラ
３１〜３６  パターン
４１〜４６  パターン
【先行技術文献】
【特許文献】
【００５３】
【特許文献１】特開２０１０−２７１５８０号公報
【図１】
2014089151.tif 000003
【図２】
2014089151.tif 000004
【図３】
2014089151.tif 000005
【図４】
2014089151.tif 000006
【図５】
2014089151.tif 000007
【図６】
2014089151.tif 000008
【図７】
2014089151.tif 000009
【図８】
2014089151.tif 000010
【図９】
2014089151.tif 000011
【図１０】
2014089151.tif 000012
【図１１】
2014089151.tif 000013
【図１２】
2014089151.tif 000014
【図１５】
2014089151.tif 000015
【図１６】
2014089151.tif 000016
【図１７】
2014089151.tif 000017
【図１８】
2014089151.tif 000018
【図１９】
2014089151.tif 000019
【図１３】
2014089151.tif 000020
【図１４】
2014089151.tif 000021