(57)【要約】【課題】本発明は、画像変換方法及び装置に関し、撮像された画像を、撮像角度に拘わらず撮像された画像中の位置座標を正確に検出可能な画像に変換可能とすることを目的とする。【解決手段】コンピュータにより画像変換処理を行う画像変換方法において、基準面に対して光軸が任意の角度傾いたカメラにより撮像した撮像画像を、基準面に対して光軸が垂直な状態のカメラにより撮像した撮像画像と実質的に等価な画像に変換するように構成する。【選択図】図１１
2011135584.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータにより画像変換処理を行う画像変換方法であって、
基準面に対して光軸が任意の角度傾いた撮像手段により撮像した撮像画像を、該基準面に対して光軸が垂直な状態の撮像手段により撮像した撮像画像と実質的に等価な画像に変換する座標変換ステップと、
変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入ステップとを含むことを特徴とする、画像変換方法。
【請求項２】
基準面に対して光軸が任意の角度傾いた撮像手段により撮像した撮像画像を、該基準面に対して光軸が垂直な状態の撮像手段により撮像した撮像画像と実質的に等価な画像に変換する座標変換手段と、
変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入手段とを備えたことを特徴とする、画像変換装置。
【請求項３】
スクリーンに対して光軸が任意の角度傾いた画像投影手段により投影する画像を、該スクリーンに対して光軸が垂直な状態の画像投影手段により投影した投影画像と実質的に等価な画像に変換する座標変換手段と、
変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入手段とを備えたことを特徴とする、画像投影装置。
【請求項４】
コンピュータにより画像変換処理を行う画像変換方法であって、
ディスプレイに対して垂直な位置から傾いた位置で該ディスプレイ上に表示される画像を見る場合に、
該ディスプレイ上に表示する画像に、該傾いた位置の該ディスプレイに対する角度に応じた画像変換処理を施すステップを含むことを特徴とする、画像変換方法。
【請求項５】
コンピュータにより画像変換処理を行う画像変換方法であって、
スクリーンに対して垂直な位置から傾いた第１の位置で、該スクリーンに対して垂直な位置から傾いた第２の位置の画像投影装置から該スクリーンに投影された画像を見る場合に、
該スクリーンに投影される画像に、該第１の位置の該ディスプレイに対する角度と、該第２の位置の該ディスプレイに対する角度に応じた画像変換処理を施すステップを含むことを特徴とする、画像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像変換方法及び装置、画像認識装置、ロボット制御装置並びに画像投影装置に係り、特に撮像装置により撮像された画像情報を変換して位置座標を求める画像変換方法及び装置、この画像変換方法により求めた位置座標に基づいて画像を認識する画像認識装置、この画像認識装置を用いるロボット制御装置並びにこの画像変換方法を用いる画像投影装置に関する。
【背景技術】
【０００２】
ロボットを用いて部品や装置等を組み立てる場合には、ロボットのアームやハンド等の各部の動きを正確に制御する必要がある。例えば基板に部品を実装する場合、ロボットのハンドの基板に対する位置は、ハンドに設けられたカメラで撮像された画像に基づいて検出することができる。しかし、ハンドの動きが複雑になると、カメラは基板面に対して常に垂直な方向で画像を撮像することができない。ハンドは、例えば基板の外側から基板面に対して斜めの方向から基板面上に移動されることもある。このような場合、基板面に対して斜めの方向から撮像された画像に基づいて、画像中の各種形状や、基板面上のハンドの位置を正確に検出することは難しい。これは、カメラの光軸と基板面とがなす角度が常に一定ではないからである。
【０００３】
基板面上に目印を付けておき、撮像された画像中の目印を基準として利用することで、画像中の各種形状の検出精度や、ハンドの位置検出精度をある程度は向上することができる。しかし、画像中の各種形状の検出精度や、ハンドの位置検出精度を向上するためには、目印の数を多くする必要があるが、基板上に実装される部品の数や大きさによっては、設けられる目印の数が限られてしまうと共に、実装される部品により目印が見えなくなってしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像された画像中の各種形状の検出精度が低いと、撮像された画像を用いた画像認識の精度が低下してしまう。又、撮像された画像中の各種形状の検出精度やハンドの位置検出精度が低いと、基板上に実装される部品の実装位置精度が低下してしまうと共に、ハンドを移動中に基板や基板上の部品等にハンドが衝突してしまうこともある。このため、撮像された画像中の各種形状の検出精度及びハンドの位置検出精度の向上、即ち、撮像された画像中の位置座標を正確に検出することが望まれている。
【０００５】
他方、プロジェクタ等の画像投影装置では、画像をスクリーン等に投影するが、画像投影装置の光軸がスクリーンに対して垂直になるように画像投影装置を設置することは難しく、スペース的な制約のため不可能である場合もある。画像投影装置の光軸がスクリーンに対して斜めであると、スクリーンに投影される画像は、本来は長方形であるものであれば、台形に歪んでしまう。このようにスクリーン上の画像が歪んでしまうと、画質が低下してしまい、画像も見にくくなってしまう。
【０００６】
従来、スクリーン上の画像の上下方向の歪みを、所謂台形補正により長方形の画像に補正する方式が提案されている。又、スクリーン上の画像の左右方向の歪みを、所謂台形補正により長方形の画像に補正する方式が提案されている。後者の方式は、例えばソニー社製のサイドショット・プロジェクタＶＰＬ−ＨＳ１（商品名「シネザ」）にて採用されている。
【０００７】
しかし、従来の台形補正を用いる方式は、画像投影装置の光軸がスクリーンに対して上下方向及び左右方向の両方に任意の角度だけ傾いている場合、即ち、任意の投影角度の場合には対応できないため、スクリーン上の画質の向上には限界があった。
【０００８】
本発明は、上記の問題を解決し得る新規、且つ、有用な画像変換方法及び装置、画像認識装置、ロボット制御装置並びに画像投影装置を提供することを概括的目的とする。
【課題を解決するための手段】
【０００９】
本発明のより具体的な第１の目的は、撮像された画像を、撮像角度に拘わらず撮像された画像中の位置座標を正確に検出可能な画像に変換可能な画像変換方法及び装置、この画像変換方法により求めた位置座標に基づいて画像を認識する画像認識装置、及びこの画像認識装置を用いるロボット制御装置を提供することにある。
【００１０】
本発明のより具体的な第２の目的は、投影角度や見る角度に拘わらず投影画像中又はディスプレイの表示画像中の歪みの発生を防止可能な画像投影装置を提供することにある。
【００１１】
本発明の他の目的は、コンピュータにより画像変換処理を行う画像変換方法であって、基準面に対して光軸が任意の角度傾いた撮像手段により撮像した撮像画像を、該基準面に対して光軸が垂直な状態の撮像手段により撮像した撮像画像と実質的に等価な画像に変換する座標変換ステップと、変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入ステップとを含むことを特徴とする画像変換方法を提供することにある。本発明によれば、上記第１の目的を達成することができる。
【００１２】
前記座標変換ステップは、該撮像手段の光軸の該基準面に対して垂直な軸に対する傾き角度をα、該光軸を該基準面に投影した場合の直線が、該基準面の基準軸（ｘ軸）となす角度をβ、該撮像画像上での該撮像手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該撮像画像上の座標を（Ｘ，Ｙ）、該基準面上の座標を（ｘ，ｙ）とすると、
次式を用いて−β回転処理を行い、座標（ｘ，ｙ）を座標（ｘ’，ｙ’）に回転するステップと、
【００１３】
【数１】
2011135584.tif 000003
次式を用いて傾きの変換処理を行い、座標（Ｘ’，Ｙ’）に変換するステップと、
【００１４】
【数２】
2011135584.tif 000004
次式を用いてγ回転処理を行い、座標（Ｘ，Ｙ）に回転するステップとを含み、
【００１５】
【数３】
2011135584.tif 000005
前記各式を順次計算することで、変換後の画像の座標（ｘ，ｙ）の、変換前の対応する座標（Ｘ，Ｙ）を求めるようにしても良い。
【００１６】
更に、前記座標変換ステップは、前記基準面上の隣り合う画素の距離をｄｐ、前記撮像画像上の画素の座標を（Ｉ’，Ｊ’）とし、変換後の座標を（ｉ，ｊ）とし、夫々の画像の中心を（Ｉ０，Ｊ０），（ｉ０，ｊ０）とすると、
次式を用いて−β回転処理を行い、座標（ｘ，ｙ）を座標（ｘ’，ｙ’）に回転するステップと、
【００１７】
【数４】
2011135584.tif 000006
次式を用いて傾きの変換処理を行い、座標（Ｘ’，Ｙ’）に変換するステップと、
【００１８】
【数５】
2011135584.tif 000007
次式を用いてγ回転処理を行い、座標（Ｘ，Ｙ）に回転するステップと、
【００１９】
【数６】
2011135584.tif 000008
次式を用いて逆変換処理を行い、座標（Ｉ’，Ｊ’）に逆変換するステップとを含み、
【００２０】
【数７】
2011135584.tif 000009
前記各式を順次計算することで、変換後の画像の座標（ｉ，ｊ）の、変換前の対応する座標（Ｉ’，Ｊ’）を求めるようにしても良い。
【００２１】
前記輝度値代入ステップは、座標（Ｉ’，Ｊ’）の近傍にある４つの実在する画素の座標を（Ｉ，Ｊ），（Ｉ＋１，Ｊ），（Ｉ，Ｊ＋１），（Ｉ＋１，Ｊ＋１）とすると、[  ]はガウス記号を示すものとするとＩ，Ｊを次式
【００２２】
【数８】
2011135584.tif 000010
で求め、
元画像の輝度値をＰ（Ｉ，Ｊ）、変換後の輝度値をｐ（ｉ，ｊ）とすると、近傍の４画素の画素値の重み付け平均を、次式
ｐ（ｉ，ｊ）＝（１＋Ｊ−Ｊ’）｛（１＋Ｉ−Ｉ’）Ｐ（Ｉ，Ｊ）＋（Ｉ’−Ｉ）Ｐ（Ｉ＋１，Ｊ）｝＋（Ｊ’−Ｊ）｛（１＋Ｉ−Ｉ’）Ｐ（Ｉ，Ｊ＋１）＋（Ｉ’−Ｉ）Ｐ（Ｉ＋１，Ｊ＋１）｝                                     
で求めるようにしても良い。
【００２３】
本発明の更に他の目的は、基準面に対して光軸が任意の角度傾いた撮像手段により撮像した撮像画像を、該基準面に対して光軸が垂直な状態の撮像手段により撮像した撮像画像と実質的に等価な画像に変換する座標変換手段と、変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入手段とを備えたことを特徴とする画像変換装置を提供することにある。本発明によれば、上記第１の目的を達成することができる。
【００２４】
前記座標変換手段は、該撮像手段の光軸の該基準面に対して垂直な軸に対する傾き角度をα、該光軸を該基準面に投影した場合の直線が、該基準面の基準軸（ｘ軸）となす角度をβ、該撮像画像上での該撮像手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該撮像画像上の座標を（Ｘ，Ｙ）、該基準面上の座標を（ｘ，ｙ）とすると、
次式を用いて−β回転処理を行い、座標（ｘ，ｙ）を座標（ｘ’，ｙ’）に回転する手段と、
【００２５】
【数９】
2011135584.tif 000011
次式を用いて傾きの変換処理を行い、座標（Ｘ’，Ｙ’）に変換する手段と、
【００２６】
【数１０】
2011135584.tif 000012
次式を用いてγ回転処理を行い、座標（Ｘ，Ｙ）に回転する手段とを含み、
【００２７】
【数１１】
2011135584.tif 000013
前記各式を順次計算することで、変換後の画像の座標（ｘ，ｙ）の、変換前の対応する座標（Ｘ，Ｙ）を求める構成であっても良い。
【００２８】
更に、前記座標変換手段は、前記基準面上の隣り合う画素の距離をｄｐ、前記撮像画像上の画素の座標を（Ｉ’，Ｊ’）とし、変換後の座標を（ｉ，ｊ）とし、夫々の画像の中心を（Ｉ０，Ｊ０），（ｉ０，ｊ０）とすると、
次式を用いて−β回転処理を行い、座標（ｘ，ｙ）を座標（ｘ’，ｙ’）に回転する手段と、
【００２９】
【数１２】
2011135584.tif 000014
次式を用いて傾きの変換処理を行い、座標（Ｘ’，Ｙ’）に変換する手段と、
【００３０】
【数１３】
2011135584.tif 000015
次式を用いてγ回転処理を行い、座標（Ｘ，Ｙ）に回転する手段と、
【００３１】
【数１４】
2011135584.tif 000016
次式を用いて逆変換処理を行い、座標（Ｉ’，Ｊ’）に逆変換する手段とを含み、
【００３２】
【数１５】
2011135584.tif 000017
前記各式を順次計算することで、変換後の画像の座標（ｉ，ｊ）の、変換前の対応する座標（Ｉ’，Ｊ’）を求める構成であっても良い。
【００３３】
前記輝度値代入手段は、座標（Ｉ’，Ｊ’）の近傍にある４つの実在する画素の座標を（Ｉ，Ｊ），（Ｉ＋１，Ｊ），（Ｉ，Ｊ＋１），（Ｉ＋１，Ｊ＋１）とすると、[  ]はガウス記号を示すものとするとＩ，Ｊを次式
【００３４】
【数１６】
2011135584.tif 000018
で求め、
元画像の輝度値をＰ（Ｉ，Ｊ）、変換後の輝度値をｐ（ｉ，ｊ）とすると、近傍の４画素の画素値の重み付け平均を、次式
ｐ（ｉ，ｊ）＝（１＋Ｊ−Ｊ’）｛（１＋Ｉ−Ｉ’）Ｐ（Ｉ，Ｊ）＋（Ｉ’−Ｉ）Ｐ（Ｉ＋１，Ｊ）｝＋（Ｊ’−Ｊ）｛（１＋Ｉ−Ｉ’）Ｐ（Ｉ，Ｊ＋１）＋（Ｉ’−Ｉ）Ｐ（Ｉ＋１，Ｊ＋１）｝                     
で求める構成であっても良い。
【００３５】
本発明の他の目的は、上記いずれか記載の画像変換装置から出力される変換後の画像に基づいて画像認識処理を行う画像認識手段を備えたことを特徴とする画像認識装置を提供することにある。本発明によれば、上記第１の目的を達成することができる。
【００３６】
本発明の他の目的は、上記画像認識装置から出力される画像認識結果に基づいてロボットの動作を制御する制御手段を備えたことを特徴とするロボット制御装置を提供することにある。本発明によれば、上記第１の目的を達成することができる。
【００３７】
本発明の他の目的は、スクリーンに対して光軸が任意の角度傾いた画像投影手段により投影する画像を、該スクリーンに対して光軸が垂直な状態の画像投影手段により投影した投影画像と実質的に等価な画像に変換する座標変換手段と、変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入手段とを備えたことを特徴とする画像投影装置を提供することにある。本発明によれば、上記第２の目的を達成することができる。
【００３８】
前記座標変換手段は、該撮像手段の光軸の該スクリーンに対して垂直な軸に対する傾き角度をα、該光軸を該スクリーンに投影した場合の直線が、該スクリーンの基準軸（ｘ軸）となす角度をβ、該投影画像上での該撮像手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該投影画像上の座標を（Ｘ，Ｙ）、該スクリーン上の座標を（ｘ，ｙ）とすると、
次式を用いて−γ回転処理を行い、座標（Ｘ’，Ｙ’）を求める手段と、
【００３９】
【数１７】
2011135584.tif 000019
次式を用いて傾きの変換処理を行い、座標（ｘ’，ｙ’）に変換する手段と、
【００４０】
【数１８】
2011135584.tif 000020
次式を用いてβ回転処理を行い、座標（ｘ，ｙ）に回転する手段とを含み、
【００４１】
【数１９】
2011135584.tif 000021
前記各式を順次計算することで、変換後の画像の座標（Ｘ，Ｙ）の、変換前の対応する座標（ｘ，ｙ）を求める構成であっても良い。
【００４２】
更に、前記座標変換手段は、前記スクリーン上の隣り合う画素の距離をｄｐ、前記投影画像上の画素の座標を（Ｉ’，Ｊ’）とし、変換後の座標を（ｉ，ｊ）とし、夫々の画像の中心を（Ｉ０，Ｊ０），（ｉ０，ｊ０）とすると、
次式を用いて−γ回転処理を行い、座標（Ｘ，Ｙ）を座標（Ｘ’，Ｙ’）に回転する手段と、
【００４３】
【数２０】
2011135584.tif 000022
次式を用いて傾きの変換処理を行い、座標（ｘ’，ｙ’）に変換する手段と、
【００４４】
【数２１】
2011135584.tif 000023
次式を用いてβ回転処理を行い、座標（ｘ，ｙ）に回転する手段と、
【００４５】
【数２２】
2011135584.tif 000024
次式を用いて逆変換処理を行い、座標（ｉ’，ｊ’）に逆変換する手段とを含み、
【００４６】
【数２３】
2011135584.tif 000025
前記各式を順次計算することで、変換後の画像の座標（ｉ，ｊ）の、変換前の対応する座標（ｉ’，ｊ’）を求める構成であっても良い。
【００４７】
前記輝度値代入手段は、座標（ｉ’，ｊ’）の近傍にある４つの実在する画素の座標を（ｉ，ｊ），（ｉ＋１，ｊ），（ｉ，ｊ＋１），（ｉ＋１，ｊ＋１）とすると、[  ]はガウス記号を示すものとするとｉ，ｊを次式
【００４８】
【数２４】
2011135584.tif 000026
で求め、
元画像の輝度値をＰ（ｉ，ｊ）、変換後の輝度値をｐ（Ｉ，Ｊ）とすると、近傍の４画素の画素値の重み付け平均を、次式
ｐ（Ｉ，Ｊ）＝（１＋ｊ−ｊ’）｛（１＋ｉ−ｉ’）Ｐ（ｉ，ｊ）＋（ｉ’−ｉ）Ｐ（ｉ＋１，ｊ）｝＋（ｊ’−ｊ）｛（１＋ｉ−ｉ’）Ｐ（ｉ，ｊ＋１）＋（ｉ’−ｉ）Ｐ（ｉ＋１，ｊ＋１）｝                                     
で求める構成であっても良い。
【００４９】
本発明の他の目的は、コンピュータにより画像変換処理を行う画像変換方法であって、ディスプレイに対して垂直な位置から傾いた位置で該ディスプレイ上に表示される画像を見る場合に、該ディスプレイ上に表示する画像に、該傾いた位置の該ディスプレイに対する角度に応じた画像変換処理を施すステップを含むことを特徴とする画像変換方法を提供することにある。本発明によれば、上記第２の目的を達成することができる。
【００５０】
本発明の他の目的は、コンピュータにより画像変換処理を行う画像変換方法であって、スクリーンに対して垂直な位置から傾いた第１の位置で、該スクリーンに対して垂直な位置から傾いた第２の位置の画像投影装置から該スクリーンに投影された画像を見る場合に、該スクリーンに投影される画像に、該第１の位置の該ディスプレイに対する角度と、該第２の位置の該ディスプレイに対する角度に応じた画像変換処理を施すステップを含むことを特徴とする画像変換方法を提供することにある。本発明によれば、上記第２の目的を達成することができる。
【００５１】
本発明の更に他の目的及び特長は、以下図面と共に述べる説明より明らかとなろう。
【発明の効果】
【００５２】
本発明によれば、撮像された画像を、撮像角度に拘わらず撮像された画像中の位置座標を正確に検出可能な画像に変換可能な画像変換方法及び装置、この画像変換方法により求めた位置座標に基づいて画像を認識する画像認識装置、及びこの画像認識装置を用いるロボット制御装置を実現できる。
【００５３】
本発明によれば、投影角度や見る角度に拘わらず投影画像中又はディスプレイの表示画像中の歪みの発生を防止可能な画像投影装置を実現できる。
【図面の簡単な説明】
【００５４】
【図１】本発明になるロボット制御装置の一実施例を示すブロック図である。
【図２】ロボットの要部を示す図である。
【図３】初期状態におけるカメラと基準面との関係を示す図である。
【図４】カメラを基準面のｘ軸の正方向に傾けた状態を示す図である。
【図５】基準面上の点のｘ方向の移動を説明する図である。
【図６】基準面上の点のｙ方向の移動を説明する図である。
【図７】カメラの基準面に対する傾き方向を説明する図である。
【図８】カメラの撮像画像上での傾き方向を説明する図である。
【図９】撮像画像の座標を説明する図である。
【図１０】座標（Ｉ’，Ｊ’）の近傍にある４つの実在する画素の座標を示す図である。
【図１１】画像変換部の動作を説明するフローチャートである。
【図１２】輝度値代入処理を説明するフローチャートである。
【図１３】ハンドを傾ける場合を説明する図である。
【図１４】複数のハンドを傾ける場合を説明する図である。
【図１５】画像変換処理を説明する図である。
【図１６】画像投影装置によりスクリーンに投影された画像の歪みを説明する図である。
【図１７】画像投影装置に適用可能な逆の画像変換処理を説明する図である。
【図１８】画像投影装置がスクリーンの右側に傾いている場合を説明する図である。
【図１９】画像投影装置がスクリーンの上側に傾いている場合を説明する図である。
【図２０】画像投影装置の一実施例の構成を示すブロック図である。
【図２１】スクリーンに投影される画像を説明する図である。
【図２２】３個のモータによりハンドがアームに対して駆動される場合を示す図である。
【図２３】ベクトルの関係を説明する図である。
【図２４】画像投影装置がスクリーンに対して上向きに角度θｘ傾いており、且つ、右向きに角度θｙ傾いている場合を説明する図である。
【図２５】図２４の場合の各角度の関係を説明する図である。
【図２６】画像投影装置、スクリーン及び人間の目の位置の関係を説明する図である。
【発明を実施するための形態】
【００５５】
以下、本発明になる画像変換方法及び装置、画像認識装置、ロボット制御装置並びに画像投影装置の各実施例を、図面と共に説明する。
【実施例】
【００５６】
図１は、本発明になるロボット制御装置の一実施例を示すブロック図である。ロボット制御装置の本実施例は、本発明になる画像変換方法の一実施例、本発明になる画像変換装置の一実施例、及び本発明になる画像認識装置の一実施例を採用する。
【００５７】
図１に示すロボット制御装置は、制御部１、画像変換部２、画像認識部３及び計測器４からなる。カメラ１３及びモータ群２０は、図２と共に後述するロボットに設けられている。制御部１は、ＣＰＵ等のプロセッサと、プロセッサが実行するコンピュータプログラムや演算の中間結果等の各種データを格納するメモリとからなる、周知のハードウェア構成を有する。メモリは、制御部１に外付けされていても良く、ディスク装置等の記憶装置やＲＡＭ等の半導体記憶装置等で構成可能である。制御部１は、ロボット制御装置全体の動作を制御する。後述するように、画像変換部２は、カメラ１３により撮像された画像を、画像中の位置座標を正確に検出可能な画像に変換する。画像認識部３は、画像変換部２により変換された画像に基づいて、撮像された画像の認識を行う。画像認識部３自体は周知の構成及びアルゴリズムを用いるもので良いが、画像変換部２により変換された画像に基づいて画像認識を行うところに特徴がある。計測器４は、ロボットにより検出される電流や電圧等の計測を行う。制御部１は、計測器４により計測された電流や電圧等に基づいて、図２に示す対象物３２に対する各種試験を行う。制御部１は、カメラ１３からの入力に対する画像変換部２及び画像認識部３の出力に基づいて、モータ群２０を構成する各モータを制御して、図２に示すステージ３１上の対象物３２に対するロボットの各部の動きを制御する。
【００５８】
画像変換部２は、画像変換方法の本実施例を採用する、画像変換装置の本実施例を構成する。又、画像認識部３は、画像変換部２と共に、画像認識装置の本実施例を構成する。
【００５９】
図２は、ロボットの要部を示す図である。ロボットは、アーム１１、ハンド１２、カメラ１３、ピン１４、及びモータ２１，２２，２３からなる。アーム１１は、任意の方向に移動可能な周知の構成を有する。モータ２１，２２，２３は、モータ群２０を構成しており、アーム１１に対してハンド１２を任意の方向に移動可能である。モータ２１はハンド１２を角度θ１の範囲で駆動し、モータ２２はハンド１２を角度θ２の範囲で駆動し、モータ２３はハンド１２を角度θ３の範囲で駆動する。カメラ１３は、ハンド１２の位置を検出するために、ハンド１２側から見た画像を撮像して制御部１へ送る。カメラ１３の種類は特に限定されず、ＣＣＤカメラ等を用いても良い。ピン１４は、ステージ３１上に載置された回路基板等の対象物３２上の電極と接触して、対象物３２に電流や電圧を印加したり、印加した電流や電圧により発生する電流や電圧を検出する。
【００６０】
尚、本実施例では、説明の便宜上、ロボットが対象物３２の試験を行う場合を示すが、ロボットの用途は特に限定されるものではなく、ハンド１２にピン１４の代わりにクランプ等を設けて部品を対象物３２上に取り付けたりすることもできる。要は、ロボットが、カメラ１３等の撮像手段を備え、撮像手段により撮像された画像に基づいて制御される構成であれば良い。
【００６１】
次に、画像変換部２の画像変換処理について説明する。
【００６２】
先ず、カメラ１３を、ステージ３１の上面等の対象となる平面（以下、基準面ＲＰと言う）の原点から、基準面ＲＰに垂直な方向に距離ｌだけ離れており、基準面ＲＰの垂線に平行な位置にある状態を考える。又、カメラ１３が撮像する撮像画像上のｘ軸と、基準面ＲＰ上のｘ軸とが一致するように、カメラ１３を基準面ＲＰと平行に回転して位置を調整してから位置を固定する。図３は、この初期状態におけるカメラ１３と基準面ＲＰとの関係を示す図である。
【００６３】
図４は、図３に示す初期状態から、カメラ１３を基準面ＲＰのｘ軸の正方向に角度（傾き角度）αだけ傾けた状態を示す図である。この場合に、基準平面ＲＰ上の任意の点（ｘ，ｙ）が撮像画像上でどのように移動するかを考える。カメラ１３を基準面ＲＰに対して傾けることと、基準面ＲＰをカメラ１３に対して逆方向へ傾けることとは等価であるため、説明の便宜上、以下では基準面ＲＰをカメラ１３に対して傾けた場合について説明する。
【００６４】
図５は、基準面ＲＰ上の点のｘ方向の移動を説明する図である。基準面ＲＰ上の点ｘは、基準面ＲＰが角度αだけ傾けられることにより、撮像画像上では、あたかも傾けられる前の元の位置にある基準面ＲＰの点Ｘに移動したかのように見える。従って、図５においてカメラ１３と点Ｘとを結ぶ仮想線と、ｚ軸とのなす角度θは、次の２つの式を満足する。
ｔａｎθ＝Ｘ／ｌ
ｔａｎθ＝ｘｃｏｓα／（ｌ−ｘｓｉｎα）
これらの式からＸとｘとの関係を求めると、次式（１）が得られる。
Ｘ＝（ｌｘｃｏｓα）／（ｌ−ｘｓｉｎα）   
式（１）
上記式（１）に対して以下に示す如き変換を行うと、逆変換式（２）が得られる。
Ｘ（ｌ−ｘｓｉｎα）＝ｌｘｃｏｓα
ｘ（ｌｃｏｓα＋Ｘｓｉｎα）＝Ｘｌ
ｘ＝Ｘｌ／（ｌｃｏｓα＋Ｘｓｉｎα）                       
式（２）
図６は、基準面ＲＰ上の点のｙ方向の移動を説明する図である。基準面ＲＰ上の点ｙは、基準面ＲＰが角度αだけ傾けられることにより、撮像画像上では、あたかも傾けられる前の元の位置にある基準面ＲＰの点Ｙに移動したかのように見える。従って、図６においてカメラ１３と点Ｙとを結ぶ仮想線と、ｚ軸とのなす角度（傾き方向）βは、次の２つの式を満足する。
ｔａｎβ＝Ｙ／ｌ
ｔａｎβ＝ｙ／（ｌ−ｘｓｉｎα）
これらの式からＹとｙとの関係を求めると、次式（３）が得られる。
Ｙ＝ｌｙ／（ｌ−ｘｓｉｎα）                               
式（３）
上記式（３）に対して以下に示す如き変換を行い、上記逆変換式（２）を代入すると、逆変換式（４）が得られる。
ｌｙ＝Ｙ（ｌ−ｘｓｉｎα）
ｌｙ＝Ｙ｛ｌ−（Ｘｌｓｉｎα）／（ｌｃｏｓα＋Ｘｓｉｎα）｝
ｙ＝Ｙ｛ｌｃｏｓα／（ｌｃｏｓα＋Ｘｓｉｎα）｝    
式（４）
上記式（１），（２）は次式（５）に、上記式（３），（４）は次式（６）の如き式にまとめることができる。
【００６５】
【数２５】
2011135584.tif 000027
上記変換式（５），（６）は、カメラ１３の傾き方向と、基準面ＲＰのｘ軸と撮像画像上のｘ軸とが一致している場合を想定しているため、これらが一致していない場合の一般解に変換式（５）又は（６）を変換する。ここで、カメラ１３の傾き方向を、基準面ＲＰに対しては図７に示すようにβ、撮像画像上では図８に示すようにγとする。
【００６６】
撮像画像上の座標（Ｘ，Ｙ）を、基準面ＲＰ上の座標（ｘ，ｙ）に変換式（６）を用いて変換するためには、カメラ１３の傾きの方向が０度（即ち、Ｘ軸の正の方向）でなければならないので、次式（７）に示すように、（Ｘ，Ｙ）に対して−γの回転処理を行う。
【００６７】
【数２６】
2011135584.tif 000028
上記（Ｘ’，Ｙ’）空間では、カメラ１３がＸ’軸の正方向に傾いているとみなせるので、変換式（６）の適用が可能である。従って、傾きの変換は、次式（８）のように行える。
【００６８】
【数２７】
2011135584.tif 000029
ここで、上記式（８）の左辺の（ｘ’，ｙ’）空間は、本来の（ｘ，ｙ）空間ではなく、角度βだけ回転した座標系である。座標系を本来の（ｘ，ｙ）座標系に戻すためには、次式（９）で示すように、座標系の−β回転処理、即ち、座標の＋β回転処理が必要となる。
【００６９】
【数２８】
2011135584.tif 000030
従って、上記式（７）〜式（９）を順次適用することで、（Ｘ，Ｙ）座標系を（ｘ，ｙ）座標系に変換することができる。
【００７０】
ところで、上記の説明では、撮像画像上の座標を連続な値とみなし、且つ、基準面ＲＰとの縮尺が１：１であると仮定している。しかし、扱う撮像画像がデジタル画像データで表される場合、撮像画像は画素（ピクセル）のかたまりで表現され、画像データは画素データにより構成される。
【００７１】
例えば、１つの撮像画像が６４０×４８０画素の２次元配列で表され、隣り合う画素に対応する実際の基準面ＲＰ上の距離がｄｐで表されるものとする。この場合、図９に示すように撮像画像の座標を（Ｉ，Ｊ）とすると、ｊが通常のＹ軸と向きが逆に定義されていることと、撮像画像の中心が（３１９．５，２３９．５）であることを考慮すると、点（Ｘ，Ｙ）に対応する画素座標（Ｉ，Ｊ）は次式（１０）で表される。
【００７２】
【数２９】
2011135584.tif 000031
同様にして、点（ｘ，ｙ）に対応する画素座標（ｉ’，ｊ’）は、次式（１１）で表される。ただし、ｉ’，ｊ’は、整数とは限らない実数である。
【００７３】
【数３０】
2011135584.tif 000032
従って、上記式（１０）→式（７）→式（８）→式（９）→式（１１）の逆変換を順次行うことで、座標系（Ｉ，Ｊ）を座標系（ｉ’，ｊ’）に変換することができる。このような変換の結果を、元の画像と同じ画素が格子状の画像にするためには、ｉ，ｊを整数として点（ｉ，ｊ）の近傍にある点（ｉ’，ｊ’）の画素値、即ち、点（Ｉ，Ｊ）の画素値を採用すれば良い。画素が格子状の画像の精度を向上させるに、近傍にある複数の点の画素値の重み付け平均を求めることが考えられるが、そのような計算を行うことは困難である。
【００７４】
そこで、上記の変換とは逆の変換、即ち、（ｉ，ｊ）座標系から（Ｉ’，Ｊ’）座標系への変換を行い、点（Ｉ’，Ｊ’）近傍の４点の重み付け平均を点（ｉ，ｊ）の画素値とすることで、画素が格子状の画像の精度を向上させることができる。この場合、式（１１）は、整数ｉ，ｊで表すことになるので、点（ｘ，ｙ）に対応する画素座標（ｉ，ｊ）は、次式（１１Ａ）で表される。
【００７５】
【数３１】
2011135584.tif 000033
上記式（１１Ａ），式（９）の逆変換から、−β回転は次式（１２）で表される。
【００７６】
【数３２】
2011135584.tif 000034
上記式（８）の逆変換は、式（５）を使って次式（１３）のようになり、傾きの変換を行うことができる。
【００７７】
【数３３】
2011135584.tif 000035
上記式（７）の逆変換から、γ回転は次式（１４）で表される。
【００７８】
【数３４】
2011135584.tif 000036
又、上記式（１０）の逆変換は、次式（１５）で求められる。
【００７９】
【数３５】
2011135584.tif 000037
式（１２）〜式（１５）を順次計算することで、変換後の画像の座標（ｉ，ｊ）の、変換前の対応する座標（Ｉ’，Ｊ’）を求めることができる。ここで、Ｉ’，Ｊ’は実数である。この座標（Ｉ’，Ｊ’）の近傍にある４つの実在する画素の座標を図１０に示すように、（Ｉ，Ｊ），（Ｉ＋１，Ｊ），（Ｉ，Ｊ＋１），（Ｉ＋１，Ｊ＋１）とすると、Ｉ，Ｊは次式（１６）で求めることができる。式（１６）中、[  ]はガウス記号を示す。
【００８０】
【数３６】
2011135584.tif 000038
この場合、元画像の画素値（輝度値）をＰ（Ｉ，Ｊ）、変換後の画素値（輝度値）をｐ（ｉ，ｊ）とすると、近傍の４画素の画素値の重み付け平均は、次式（１７）で表すことができる。
ｐ（ｉ，ｊ）＝（１＋Ｊ−Ｊ’）｛（１＋Ｉ−Ｉ’）Ｐ（Ｉ，Ｊ）＋（Ｉ’−Ｉ）Ｐ（Ｉ＋１，Ｊ）｝＋（Ｊ’−Ｊ）｛（１＋Ｉ−Ｉ’）Ｐ（Ｉ，Ｊ＋１）＋（Ｉ’−Ｉ）Ｐ（Ｉ＋１，Ｊ＋１）｝                                     
式（１７）
式（１２）〜式（１５）は一般解であるが、カメラ１３の傾き方向が０度（又は１８０度）の場合や、９０度（又は２７０度）の場合には、式を簡略化することができる。カメラ１３の傾き方向が０度（又は１８０度）の場合には、β＝０なので、式（１２）の代わりに次式（１２Ａ）を使用することができる。又、基準面ＲＰに対して光軸が垂直なカメラ１３を単純に＋ｘ方向又は−ｘ方向に傾けた場合に、カメラ１３の光軸回りの回転がなければ、γ＝０となり、式（１４）は簡略化できる。
【００８１】
【数３７】
2011135584.tif 000039
又、カメラ１３の傾き方向が９０度（又は２７０度）の場合には、式（１３）のｘ，ｙを入れ替えることで、０度（又は１８０度）と同様に扱え、式を簡略化できる。具体的には、式（１２）の代わりに上記式（１２Ａ）を使用し、式（１３）の代わりに次式（１３Ａ）を使用することができる。又、上記と同様に、更に単純なケースγ＝０では、式（１４）を簡略化することができる。
【００８２】
【数３８】
2011135584.tif 000040
図１１は、画像変換部２の動作を説明するフローチャートである。同図に示す処理は、画像変換部２を構成するプロセッサ等からなる専用のハードウェアで実行しても、制御部１を構成するプロセッサにより画像変換部２の機能を実現するソフトウェアで実行しても良い。
【００８３】
図１１において、ステップＳ１は、カメラ１３により撮像された画像の画像データを取り込み、例えば制御部１内のメモリに一時的に格納する。ステップＳ２は、上記パラメータα，β，γ，ｌを取得する。パラメータ（角度）α，β，γは、後述する方法で求めることができる。又、カメラ１３の光軸がステージ３１等の基準面ＲＰに対して垂直となる基準位置に対する基準距離ｌｒｅｆを予め設定しておけば、この基準距離ｌｒｅｆからの移動量に基づいてパラメータ（距離）ｌを求めることができる。ステップＳ３は、ｉ及びｊを夫々ｉ＝０，ｊ＝０に初期設定する。
【００８４】
ステップＳ４〜Ｓ６は、点（ｉ，ｊ）から点（Ｉ’，Ｊ’）への座標変換処理を行う。具体的には、ステップＳ４は、上記式（１２）を用いて−β回転処理を行い、ステップＳ５は、上記式（１３）を用いて傾きの変換処理を行い、ステップＳ６は、上記式（１４）を用いてγ回転処理を行う。
【００８５】
ステップＳ７は、輝度値代入処理を行う。図１２は、ステップＳ７の輝度値代入処理を説明するフローチャートである。図１１に示すステップＳ４〜Ｓ６による座標変換処理の結果が（Ｉ’，Ｊ’）であるものとすると、図１２に示すステップＳ７１は、０≦Ｉ’＜６３９であるか否かを判定する。ステップＳ７１の判定結果がＹＥＳであると、ステップＳ７２は、０≦Ｊ’＜４３９であるか否かを判定する。ステップＳ７１又はステップＳ７２の判定結果がＮＯであると、ステップＳ７３は、Ｐ（ｉ，ｊ）をＰ（ｉ，ｊ）＝０に設定し、処理は図１１に示すステップＳ８へ進む。他方、ステップＳ７２の判定結果がＹＥＳであると、ステップＳ７４は、上記式（１６）及び式（１７）の計算を行い、処理はステップＳ８へ進む。
【００８６】
図１１の説明に戻ると、ステップＳ８は、ｉをｉ＝ｉ＋１にインクリメントし、ステップＳ９は、ｉ＝６４０であるか否かを判定する。ステップＳ９の判定結果がＮＯであると、処理はステップＳ４へ戻る。他方、ステップＳ９の判定結果がＹＥＳであると、ステップＳ１０は、ｉをｉ＝０に設定する。ステップＳ１１は、ｊをｊ＝ｊ＋１にインクリメントし、ステップＳ１２は、ｊ＝４８０であるか否かを判定する。ステップＳ１２の判定結果がＮＯであると、処理はステップＳ４へ戻る。ステップＳ１２の判定結果がＹＥＳであると、ステップＳ１３は、変換画像の画像データ、即ち、変換画像データを出力し、処理は終了する。変換画像データは、例えば制御部１内のメモリに格納されて、画像認識部３による画像認識に使用される。
【００８７】
上記の如く、画像認識部３自体は周知の構成及びアルゴリズムを用いるもので良いが、画像変換部２により変換された変換画像データに基づいて画像認識を行うところに特徴がある。変換画像データに基づいて、例えばパターンマッチングやテンプレートマッチングを画像認識部３において行うことで、対象物３２に対するハンド１２、即ち、本実施例ではピン１４の位置を、正確に求めることができる。従って、図１３に簡略化して示すように、ハンド１２が対象物３２上の障害物３２Ａに衝突しないように、ハンド１２を傾けて先端を対象物３２の例えば電極上に移動することも可能となる。又、図１４に簡略化して示すように、ハンド１２が複数ある場合に、ハンド１２を傾けてハンド１２同士の干渉を避けることも可能となる。
【００８８】
ところで、上記の如き画像変換処理では、カメラ１３が基準面ＲＰに対して傾いた状態で撮像された画像を、あたかも基準面ＲＰに対して垂直な位置から撮像したと仮定した場合の変換画像に変換している。従って、元の平面上の形状が図１５（ａ）に示すように長方形である場合、カメラ１３で撮像された画像中の形状は図１５（ｂ）に示すように台形となるが、画像変換処理後の画像中の形状は図１５（ｃ）に示すように長方形になり、正確な画像認識処理が可能となる。
【００８９】
従って、上記画像変換処理とは逆の画像変換処理を行うことで、本発明をプロジェクタ等の画像投影装置にも適用することができる。例えば、画像投影装置が、その光軸がスクリーンに対して垂直となる位置に設置されていないと、本来スクリーン上に投影されるべき図１６（ａ）に示す長方形の画像が、図１６（ｂ）に示すような台形の画像となってしまう。図１６（ｂ）に示す台形の画像では、歪みが発生しており、画質の低下が著しいため非常に見にくい。そこで、上記の画像変換処理とは逆の画像変換処理を行うことで、元の画像が図１７（ａ）に示すように長方形である場合、図１５（ｂ）に示すように台形の画像に変換してスクリーンに投影することにより、スクリーン上に投影される画像は図１７（ｃ）に示すように長方形になり、歪みのない高画質の画像をスクリーン上に投影することが可能となる。
【００９０】
逆の画像変換処理を、以下に説明する。逆の画像変換処理の場合、上記式（７）〜式（９）の代わりに、次式（１８）を用いて−β回転処理を行い、次式（１９）を用いて傾きの変換（逆変換）処理を行い、次式（２０）を用いてγ回転処理を行う。尚、画像投影装置は、スクリーン（基準面ＲＰ）に垂直な方向に距離ｌだけ離れている状態から傾いているものとする。
【００９１】
【数３９】
2011135584.tif 000041
このような逆の画像変換を行う場合にも、扱う画像がデジタル画像データで表される場合、画像は画素（ピクセル）のかたまりで表現され、画像データは画素データにより構成される。従って、上記画像変換処理の場合と同様に逆向きの計算を行い、元の画像の対応する画素の近傍の４画素の画素値の重み付け平均を求めれば良い。
【００９２】
例えば、次式（２１）を用いて−γ回転処理を行い、次式（２２）を用いて傾きの変換処理を行い、次式（２３）を用いてβ回転処理を行い、次式（２４）を用いて画素（ピクセル）座標への変換処理を行い、次式（２５）を用いて整数化処理を行い、次式（２６）を用いて画素値設定処理を行うことができる。
【００９３】
【数４０】
2011135584.tif 000042
上記式（２１）〜式（２６）を順次計算することで、６４０×４８０画素で構成される画像に対する逆の画像変換処理を行うことができる。
【００９４】
画像投影装置の場合、画像投影装置の光軸がスクリーンに対してスクリーンの上下方向又は左右方向の一方にのみ傾いているのであれば、計算を簡略化することができる。
【００９５】
例えば、図１８に示すように、画像投影装置３１がスクリーン３２の右側に角度αだけ傾いている場合には、上記式（２１）〜式（２６）においてβ＝γ＝０とすることができるので、式（２１）〜式（２４）の代わりに、次式（２１Ａ），（２２），（２４Ａ）を計算すれば良いことになる。尚、画像投影装置３１がスクリーン３２の左側に角度αだけ傾いている場合には、αの値を負に設定することで、次式（２１Ａ），（２２Ａ），（２４Ａ）を計算すれば良いことになる。尚、式（２２Ａ）は式（２２）と同じである。
【００９６】
【数４１】
2011135584.tif 000043
例えば、図１９に示すように、画像投影装置３１がスクリーン３２の上側に角度αだけ傾いている場合には、上記式（２１）〜式（２６）においてβとγの変換を省略するために、傾きの変換処理に用いる式のｘとｙを入れ替える必要がある。つまり、式（２１）〜式（２４）の代わりに、次式（２１Ｂ），（２２Ｂ），（２４Ｂ）を計算すれば良いことになる。尚、画像投影装置３１がスクリーン３２の下側に角度αだけ傾いている場合には、αの値を負に設定することで、次式（２１Ｂ），（２２Ｂ），（２４Ｂ）を計算すれば良いことになる。尚、式（２４Ｂ）は式（２４Ａ）と同じである。
【００９７】
【数４２】
2011135584.tif 000044
図２０は、本発明になる画像投影装置の一実施例の構成を示すブロック図である。同図中、画像投影装置３１は、画像変換部３１１、画像生成部３１２及び画像投影部３１３からなる。画像変換部３１１には、テレビジョンチューナから出力された画像データ、カメラ等の撮像手段から出力された画像データ、再生装置により記録媒体から再生された画像データ、画像読み取り装置により読み取られた画像の画像データ等が入力される。画像変換部３１１は、入力画像データに対して、上記の如く、パラメータα，β，γに基づいて図１に示す画像変換部２とは逆の画像変換処理を行う。画像生成部３１２は、画像変換部３１１から出力される変換画像データに基づいて画像を生成する。画像投影部３１３は、画像生成部３１２から出力される画像をスクリーン３２に投影する光学系を含む。画像生成部３１２及び画像投影部３１３には、夫々周知の構成の画像生成部及び画像投影部を使用し得る。
【００９８】
図１に示す画像変換部２で行う画像変換処理及び図２０に示す画像変換部３１１で行う逆の画像変換処理では、変換前と変換後の画像の画素数が同じである場合、変換後の画像では、変換前の画像の周辺部の一部が画像領域からはみ出してしまうことがある。画像変換部２において画像変換処理を行った画像に基づいて画像認識処理を行う場合には、画像の周辺部に認識対象物がなければ特に問題は生じない。他方、画像変換部３１１において画像変換処理を行った画像をスクリーンに投影する場合には、投影画像が例えば任意単位で３×４又は９×１６といった本来の長方形にならないので、投影画像が多少見にくくなる。
【００９９】
図２１は、画像投影装置３１がスクリーン３２の右側から変換後の画像を投影する場合に、スクリーン３２に投影される画像を説明する図である。図２１（ａ）は、元の画像を示し、図２１（ｂ）は、画像変換処理を行わない場合にスクリーン３２に投影される画像を示す。図２１（ｃ）は、変換後の画像を示し、画像領域からはみ出した元の画像の周辺部分が破線で示されている。このような変換後の画像をスクリーン３２に投影すると、図２１（ｄ）に示すような画像が投影され、破線で示すように、元の画像の周辺部分が投影されない。β，γが任意の角度では、更に回転が加わり、投影されない部分はより複雑である。
【０１００】
このような場合には、以下のいずれかの方法により、変換後の画像を見やすくすることができる。第１の方法では、変換前の画像の画素数より、変換後の画像の画素数を大きく設定する。例えば、変換前の画像の画素数が６４０×４８０であると、変換後の画像の画素数を１０２４×１０２４に設定する。第２の方法では、変換前の画像を一旦縮小し、周辺部分に余白を設けた状態で画像変換処理を行う。これにより、変換後の画像領域からはみ出した周辺部分は余白のみとなり、元の画像の情報は全て変換後の画像に含まれる。
【０１０１】
次に、上記パラメータ（角度）α，β，γの求め方について説明する。カメラ１３の傾き角度α、カメラ１３の傾き方向β及び撮像画像上のカメラ１３の傾き方向γが求まっていることが、上記画像変換処理を行うための前提条件である。画像投影装置３１の場合は、パラメータ（角度）α，β，γに対する要求精度が比較的緩いので、目測でこれらのパラメータα，β，γを決定することもできる。又、通常は、画像投影装置３１を光軸を中心として回転させて設置することはしないので、γ≒βと仮定することができる。従って、目測又は分度器を使用する等してパラメータα，βを決定すれば良い。尚、厳密に言うと、γとβは等しくないが、略等しいとし近似しても画像投影装置３１における画像変換処理であれば、特に大きな問題は生じない。
【０１０２】
他方、変換後の画像を画像認識処理に用いて、例えば目標物の位置を正確に検出する場合等には、僅かな画像の歪みが位置検出精度に大きく影響してしまう。従って、このような場合には、パラメータα，β，γを正確な値に設定することが要求される。そこで、パラメータα，β，γを正確な値に設定するための、パラメータα，β，γの求め方について、以下に説明する。
【０１０３】
図２２は、図２に示すロボットの場合のように、３個のモータ２１〜２３によりハンド１２（図示せず）がアーム１１に対して駆動される場合を示す図である。図２２中、図２と同一部分には同一符号を付し、その説明は省略する。
【０１０４】
図２２において、カメラ１３の基準位置では角度θ１はｘ軸と平行であり、角度θ２はｙ軸と平行であり、角度θ３はｚ軸と平行である。ここで、角度θ３が基準面ＲＰに対して垂直な位置をホームポジションとする。このホームポジションにおけるカメラ１３の傾き単位ベクトルをＣ＊で表すと、簡単な場合を想定すると、カメラ１３の光軸も基準面ＲＰに対して垂直であるため、次式の関係が成立する。
【０１０５】
【数４３】
2011135584.tif 000045
上記単位ベクトルＣ＊として、任意の向きを許すためにＣ＊を次式（２７）で表す。カメラ１３で撮像された撮像画像上のｙ軸の正方向の単位ベクトルＣ⊥＊は次式（２８）で表す。ここで、単位ベクトルＣ＊とＣ⊥＊は、直交するベクトルである。
【０１０６】
【数４４】
2011135584.tif 000046
単位ベクトルＣ＊，Ｃ⊥＊の向きは、角度θ１，θ２，θ３の値、即ち、モータ２１，２２，２３の回転によって変わる。そこで、新しいベクトルＣ’＊，Ｃ⊥’＊を次式（２９）のように定義すると共に、３×３の行列Ａを次式（３０）のように定義すると、次式（３１）及び（３２）が求まる。
【０１０７】
【数４５】
2011135584.tif 000047
図２３は、ベクトルの関係を説明する図である。同図からもわかるように、角度α，βは、次式（３３）から求めることができる。
α＝ｔａｎ−１｛（ａｓ２＋ｂｓ２）１／２／ｃｓ｝
β＝ｔａｎ−１（ｂｓ／ａｓ）                                式（３３）
角度γについては、以下のように求められる。先ず、傾き方向のベクトル（ｃｏｓβ，ｓｉｎβ，０）と直交し、且つ、ｘｙ平面に平行なベクトルｅ＊＝（−ｓｉｎβ，ｃｏｓβ，０）を考える。このベクトルｅ＊は、ベクトルＣ’＊とも直交するベクトルである。又、ベクトル（ｃｏｓβ，ｓｉｎβ，０）の向きをｘ軸の正方向とみなすと、ベクトルｅ＊の向きはｙ軸の正方向となる。
【０１０８】
上記の如く、ベクトルＣ⊥＊の向きは、カメラ１３のｙ軸の正方向と定義されているので、カメラ１３をその光軸の回りを回転させてベクトルＣ⊥’＊がベクトルｅ＊と一致するようにすれば、撮像画像上のｘ軸の正方向は、ベクトルＣ’＊が傾いている方向と一致する。これは、ベクトルＣ’＊とベクトルｅ＊の成す角度がγであることを示し、次式が成立する。
（Ｃ⊥’＊×ｅ＊）・Ｃ’＊＝（ｓｉｎγ・Ｃ’＊）・Ｃ’＊＝ｓｉｎγ
上記式の左辺は、次のように書き換えられるので、ｓｉｎγは次式（３４）により求めることができる。
左辺＝（−ｃ⊥ｓｃｏｓβｅｘ＊−ｃ⊥ｓｓｉｎβｅｙ＊−（ａ⊥ｓｃｏｓβ＋
ｂ⊥ｓｓｉｎβ）ｅｚ＊）・（ａｓｅｘ＊＋ｂｓｅｙ＊＋ｃｓｅｚ＊）
＝−ａｓｃｓｃｏｓβ−ｂｓｃ⊥ｓｓｉｎβ＋ｃｓ（ａ⊥ｓｃｏｓβ＋
ｂ⊥ｓｓｉｎβ）
ｓｉｎγ＝−ａｓｃ⊥ｓｃｏｓβ−ｂｓｃ⊥ｓｓｉｎβ＋ｃｓ（ａ⊥ｓｃｏｓβ＋
ｂ⊥ｓｓｉｎβ）                                        
式（３４）
画像投影装置３１の場合も同じ計算方法で角度α，β，γを求めることができる。しかし、より簡単な方法で上記角度α，β，γを求めることもできる。以下に、このより簡単な方法を説明する。図２４は、画像投影装置３１がスクリーン３２に対して上向きに角度θｘ傾いており、且つ、右向きに角度θｙ傾いている場合を説明する図である。図２４（ａ）は、画像投影装置３１がスクリーン３２に対して上向きに角度θｘ傾いている状態を示し、図２４（ｂ）は、画像投影装置３１がスクリーン３２に対して右向きに角度θｙ傾いている状態を示す。
【０１０９】
図２５は、図２４の場合の各角度の関係を説明する図である。図２５からもわかるように、角度α，βは、次式（３５）から求めることができる。
ｔａｎβ＝−ｓｉｎθｘ／（ｃｏｓθｘ・ｓｉｎθｙ）
ｃｏｓα＝ｃｏｓθｘ・ｃｏｓθｙ                   
式（３５）
角度γについては、γ＝βを近似解とすることができる。しかも、実際に投影されたスクリーン３２上の投影画像が水平となるように画像投影装置３１の位置をマニュアルで調整することで、角度γの誤差が補正されるので、γ＝βとみなすことにより発生する誤差は、実用上は問題とならないからである。
【０１１０】
本発明者が、角度γが角度βでどの程度正確に近似できるかを上記式（３４）を用いて調べたところ、θ１，θ２又はθｘ，θｙが±２０度程度の範囲内であでば、近似した角度γの誤差は数度以内に収まることが確認できた。
【０１１１】
ところで、スクリーン上又はディスプレイ上の画像を見る人が、スクリーン又はディスプレイに対して斜めの方向から見る場合がある。このような場合、スクリーン上又はディスプレイ上の画像に歪みが発生していなくても、人間の目の網膜には斜めの方向から見ることによって歪んだ画像が結像する。画像の歪みが比較的小さい場合には、人間の脳の働きで、小さな歪みは認識することなく、例えば小さな歪みを有する円形は円形として、小さな歪みを有する正方形は正方形として認識することができる。
【０１１２】
しかし、スクリーン又はディスプレイを見る角度が大きくなると、歪みも大きくなり、人間の脳の働きをもってしても、歪みを無視できなくなり、人間の目にも歪みがはっきり見えてしまう。例えば、アスペクト比が４：３のテレビジョンディスプレイ上の画像と、アスペクト比が１６：９のテレビジョンディスプレイ上の画像とを比べると、アスペクト比が１６：９のテレビジョンディスプレイ上の画像は明らかに横方向に約３３％伸びた画像となり、縦横比が元々はっきりしない自然の風景等の画像の場合は違和感がないことが多いが、それ以外の画像の場合には違和感があることが多い。例えば立っている人は太って見えてしまい、顔も丸く見えてしまう。従って、スクリーン又はディスプレイに対して斜めの方向から見る場合にも、画像の歪みを認識されないようにすることが望ましい。
【０１１３】
そこで、歪みのない画像を表示しているスクリーン又はディスプレイに対して斜めの方向から見る場合の画像の補正と、画像投影装置がスクリーンに対して斜め方向から画像を投影して、且つ、スクリーンに対して斜めの方向から見る場合の画像の補正、即ち、画像変換処理について、以下に説明する。
【０１１４】
先ず、ディスプレイに対して斜めの方向から見る場合について説明する。ディスプレイに表示される画像には歪みが発生していないものとする。これは、画像投影装置の光軸がスクリーンに対して垂直な位置から画像を投影し、投影画像には歪みが発生していない場合に対応する。尚、ディスプレイは、例えば周知のテレビジョンディスプレイであり、その詳細な説明は省略する。
【０１１５】
上記カメラ１３と基準面ＲＰとの関係と同様な関係が、見る人間とディスプレイとの間に成立しているものとし、上記パラメータα，β，γ，ｌの代わりに、対応するパラメータα’，β’，γ’，ｌ’を用いるものとする。つまり、見る人間の目の網膜に結像した画像を、カメラ１３で撮像した画像とみなすことができる。この場合、上記式（５）及び（６）においてαをα’に置き換え、ｌをｌ’に置き換えることで、次式（５Ａ）及び（６Ａ）が成立する。尚、（Ｘ０，Ｙ０）は、元の画像の座標を示し、（ｘ，ｙ）は変換後の座標を示す。
【０１１６】
【数４６】
2011135584.tif 000048
又、上記式（７）〜（９）についても、αをα’に、βをβ’に、ｌをｌ’に置き換えることで、次式（７Ａ）〜（９Ａ）が成立する。
【０１１７】
【数４７】
2011135584.tif 000049
尚、ディスプレイに対して斜めの方向が、ディスプレイの上下方向に限定される場合や、左右方向に限定される場合には、上記の如く式（１２Ａ），（１３），（１４），（１５）を用いる計算や、式（１２Ａ），（１３Ａ），（１４），（１５）を用いる計算を行うことで、計算処理を簡略化できることは、言うまでもない。
【０１１８】
次に、スクリーン３２に対して斜めの方向から見る場合について説明する。画像投影装置３１の光軸がスクリーン３２に対して垂直な位置から画像を投影し、投影画像には歪みが発生していない場合の画像変換処理は、上記の如くディスプレイに対して斜めの方向から見る場合の画像変換処理と同じで良い。他方、画像投影装置３１もスクリーン３２に対して傾いている場合には、以下の如き画像変換処理行う。
【０１１９】
以下の説明では、画像投影装置３１とスクリーン３２との関係が上記パラメータα，β，γ，ｌで表され、スクリーン３２を見る人間の目の位置とスクリーン３２との関系が上記パラメータα’，β’，γ’，ｌ’で表されるものとする。図２６は、この場合の画像投影装置３１、スクリーン３２及び人間の目３９の位置の関係を説明する図である。
【０１２０】
図２６において、目視で画像部分があたかも位置Ｘ０にあるかのように見せるためには、画像部分をスクリーン３２上の位置ｘに表示する必要がある。画像部分をスクリーン３２上の位置ｘに投影するためには、画像投影装置３１は位置Ｘに向かって画像部分を投影する必要がある。同様に、目視で画像部分があたかも位置Ｙ０にあるかのように見せるためには、画像部分をスクリーン３２上の位置ｙに表示する必要がある。画像部分をスクリーン３２上の位置ｙに投影するためには、画像投影装置３１は位置Ｙに向かって画像部分を投影する必要がある。従って、次のような変換を行えば良い。
【０１２１】
【数４８】
2011135584.tif 000050
即ち、上記式（７Ａ）〜（９Ａ）に続いて上記式（１８）〜（２０）の計算を行えば良い。ただし、式（９Ａ）と式（１８）の計算はまとめて行えるので、結果的には、式（７Ａ）、式（８Ａ）、次式（９Ｂ）、次式（１９Ａ）及び式（２０）を計算すれば良いことになる。
【０１２２】
【数４９】
2011135584.tif 000051
尚、
【０１２３】
【数５０】
2011135584.tif 000052
の場合には、投射角と入射角が略同じなので、変換は次のようになる。
【０１２４】
【数５１】
2011135584.tif 000053
実際に上記式（７Ａ）、式（８Ａ）、次式（９Ｂ）、次式（１９Ａ）及び式（２０）を
【０１２５】
【数５２】
2011135584.tif 000054
の条件のもとで計算すると、
【０１２６】
【数５３】
2011135584.tif 000055
であることが確認できる。
【０１２７】
上記の如き、ディスプレイ又はスクリーンを斜め方向から見る場合に画像変換を行う場合にも、扱う画像がデジタル画像データで表される場合、画像は画素（ピクセル）のかたまりで表現され、画像データは画素データにより構成される。従って、上記画像変換処理の場合と同様に逆向きの計算を行い、元の画像の対応する画素の近傍の４画素の画素値の重み付け平均を求めれば良い。
【０１２８】
尚、画像変換処理で用いる式では、明るさの変化への対応は考慮していない。しかし、画像投影装置から遠くなるスクリーン部分に表示される画像部分の輝度値を増加させたり、スクリーンに対して入射角の垂線からの傾きが大きい程輝度値を増加させたりすることで、画質を向上することができる。
【０１２９】
尚、本発明は、以下に付記する発明をも包含するものである。
（付記１）
コンピュータにより画像変換処理を行う画像変換方法であって、
基準面に対して撮像手段又は対象物が任意の角度回転し、更に光軸が任意の角度傾いた撮像手段により撮像した撮像画像を、該基準面に対して光軸が垂直な状態の撮像手段により撮像した撮像画像と実質的に等価な画像に変換する座標変換ステップと、
変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入ステップとを含むことを特徴とする、画像変換方法。
（付記２）
前記座標変換ステップは、
該撮像手段の光軸の該基準面に対して垂直な軸に対する傾き角度をα、該光軸を該基準面に投影した場合の直線が、該基準面の基準軸（ｘ軸）となす角度をβ、該撮像画像上での該撮像手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該撮像画像上の座標を（Ｘ，Ｙ）、該基準面上の座標を（ｘ，ｙ）とすると、
α、β、γを用いて一意的に、変換後の画像の座標（ｘ，ｙ）の、変換前の対応する座標（Ｘ，Ｙ）を求めることを特徴とする、付記１記載の画像変換方法。
（付記３）
基準面に対して撮像手段又は対象物が任意の角度回転し、更に光軸が任意の角度傾いた撮像手段により撮像した撮像画像を、該基準面に対して光軸が垂直な状態の撮像手段により撮像した撮像画像と実質的に等価な画像に変換する座標変換手段と、
変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入手段とを備えたことを特徴とする、画像変換装置。
（付記４）
前記座標変換手段は、
該撮像手段の光軸の該基準面に対して垂直な軸に対する傾き角度をα、該光軸を該基準面に投影した場合の直線が、該基準面の基準軸（ｘ軸）となす角度をβ、該撮像画像上での該撮像手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該撮像画像上の座標を（Ｘ，Ｙ）、該基準面上の座標を（ｘ，ｙ）とすると、
α、β、γを用いて一意的に、変換後の画像の座標（ｘ，ｙ）の、変換前の対応する座標（Ｘ，Ｙ）を求めることを特徴とする、付記２記載の画像変換装置。
（付記５）
付記３又は４記載の画像変換装置から出力される変換後の画像に基づいて画像認識処理を行う画像認識手段を備えたことを特徴とする、画像認識装置。
（付記６）
付記５記載の画像認識装置から出力される画像認識結果に基づいてロボットの動作を制御する制御手段を備えたことを特徴とする、ロボット制御装置。
（付記７）
スクリーンに対して画像投影手段又は対象物が任意の角度回転し、更に光軸が任意の角度傾いた画像投影手段により投影する画像を、該スクリーンに対して光軸が垂直な状態の画像投影手段により投影した投影画像と実質的に等価な画像に変換する座標変換手段と、
変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入手段とを備えたことを特徴とする、画像投影装置。
（付記８）
前記座標変換手段は、
該画像投影手段の光軸の該スクリーンに対して垂直な軸に対する傾き角度をα、該光軸を該スクリーンに投影した場合の直線が、該スクリーンの基準軸（ｘ軸）となす角度をβ、該投影画像上での該画像投影手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該撮像画像上の座標を（Ｘ，Ｙ）、該スクリーン上の座標を（ｘ，ｙ）とすると、
α、β、γを用いて一意的に、変換後の画像の座標（ｘ，ｙ）の、変換前の対応する座標（Ｘ，Ｙ）を求めることを特徴とする、付記７記載の画像投影装置。
【０１３０】
本発明は、上記実施例に限定されるものではなく、本発明の範囲内で種々の改良及び変更が可能であることは、言うまでもない。
【図１】
2011135584.tif 000056
【図２】
2011135584.tif 000057
【図３】
2011135584.tif 000058
【図４】
2011135584.tif 000059
【図５】
2011135584.tif 000060
【図６】
2011135584.tif 000061
【図７】
2011135584.tif 000062
【図８】
2011135584.tif 000063
【図９】
2011135584.tif 000064
【図１０】
2011135584.tif 000065
【図１１】
2011135584.tif 000066
【図１２】
2011135584.tif 000067
【図１３】
2011135584.tif 000068
【図１４】
2011135584.tif 000069
【図１５】
2011135584.tif 000070
【図１６】
2011135584.tif 000071
【図１７】
2011135584.tif 000072
【図１８】
2011135584.tif 000073
【図１９】
2011135584.tif 000074
【図２０】
2011135584.tif 000075
【図２１】
2011135584.tif 000076
【図２２】
2011135584.tif 000077
【図２３】
2011135584.tif 000078
【図２４】
2011135584.tif 000079
【図２５】
2011135584.tif 000080
【図２６】
2011135584.tif 000081
【手続補正書】
【提出日】平成23年1月12日(2011.1.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
スクリーンに対して光軸が任意の角度傾いた画像投影手段により投影する画像を、該スクリーンに対して光軸が垂直な状態の画像投影手段により投影した投影画像と実質的に等価な画像に変換する座標変換手段と、
変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入手段とを備え、
前記座標変換手段は、
該撮像手段と該スクリーンとの間の該スクリーンに対して垂直な方向上の距離をｌ、該撮像手段の光軸の該スクリーンに対して垂直な軸に対する傾き角度をα、該光軸を該スクリーンに投影した場合の直線が、該スクリーンの基準軸（ｘ軸）となす角度をβ、該投影画像上での該撮像手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該投影画像上の座標を（Ｘ，Ｙ）、該スクリーン上の座標を（ｘ，ｙ）とすると、
次式を用いて−γ回転処理を行い、座標（Ｘ’，Ｙ’）を求める手段と、
【数５４】
2011135584.tif 000082
次式を用いて傾きの変換処理を行い、座標（ｘ’，ｙ’）に変換する手段と、
【数５５】
2011135584.tif 000083
次式を用いてβ回転処理を行い、座標（ｘ，ｙ）に回転する手段とを含み、
【数５６】
2011135584.tif 000084
前記各式を順次計算することで、変換後の画像の座標（Ｘ，Ｙ）の、変換前の対応する座標（ｘ，ｙ）を求め、
前記画像投影手段の光軸が前記スクリーンに対して前記スクリーンの右又は左方向にのみ傾いている場合はβ＝γ＝０として前記−γ回転処理で用いる式を簡略化すると共に、前記画像投影手段の光軸が前記スクリーンに対して前記スクリーンの上又は下方向にのみ傾いている場合はβとγの変換を省略するために前記傾きの変換処理に用いる式のｘとｙを入れ替えることを特徴とする、画像投影装置。
【請求項２】
前記座標変換手段は、
前記スクリーン上の隣り合う画素の距離をｄｐ、前記投影画像上の画素の座標を（Ｉ’，Ｊ’）とし、変換後の座標を（ｉ，ｊ）とし、夫々の画像の中心を（Ｉ０，Ｊ０），（ｉ０，ｊ０）とすると、
次式を用いて−γ回転処理を行い、座標（Ｘ，Ｙ）を座標（Ｘ’，Ｙ’）に回転する手段と、
【数５７】
2011135584.tif 000085
次式を用いて傾きの変換処理を行い、座標（ｘ’，ｙ’）に変換する手段と、
【数５８】
2011135584.tif 000086
次式を用いてβ回転処理を行い、座標（ｘ，ｙ）に回転する手段と、
【数５９】
2011135584.tif 000087
次式を用いて逆変換処理を行い、座標（ｉ’，ｊ’）に逆変換する手段とを含み、
【数６０】
2011135584.tif 000088
前記各式を順次計算することで、変換後の画像の座標（ｉ，ｊ）の、変換前の対応する座標（ｉ’，ｊ’）を求めることを特徴とする、請求項１記載の画像投影装置。
【請求項３】
前記輝度値代入手段は、座標（ｉ’，ｊ’）の近傍にある４つの実在する画素の座標を（ｉ，ｊ），（ｉ＋１，ｊ），（ｉ，ｊ＋１），（ｉ＋１，ｊ＋１）とすると、[  ]はガウス記号を示すものとするとｉ，ｊを次式
【数６１】
2011135584.tif 000089
で求め、
元画像の輝度値をＰ（ｉ，ｊ）、変換後の輝度値をｐ（Ｉ，Ｊ）とすると、近傍の４画素の画素値の重み付け平均を、次式
【数６２】
2011135584.tif 000090
で求めることを特徴とする、請求項２記載の画像投影装置。
【請求項４】
前記画像投影手段の光軸が前記スクリーンに対して前記スクリーンの右又は左方向にのみ傾いている場合は前記−γ回転処理で用いる式、前記傾きの変換処理に用いる式、前記逆変換処理に用いる式を以下のように簡略化すると共に、前記光軸が前記スクリーンの右方向にのみ傾いている場合はαの値を正、左方向にのみ傾いている場合はαの値を負に設定し、
【数６３】
2011135584.tif 000091
前記画像投影手段の光軸が前記スクリーンに対して前記スクリーンの上又は下方向にのみ傾いている場合は前記−γ回転処理で用いる式、前記傾きの変換処理に用いる式、前記逆変換処理に用いる式を以下のように簡略化すると共に、前記光軸が前記スクリーンの上方向にのみ傾いている場合はαの値を正、下方向にのみ傾いている場合はαの値を負に設定する
【数６４】
2011135584.tif 000092
ことを特徴とする、請求項２又は３記載の画像投影装置。
【請求項５】
スクリーンに対して光軸が任意の角度傾いた画像投影手段により投影する画像を、該スクリーンに対して光軸が垂直な状態の画像投影手段により投影した投影画像と実質的に等価な画像に変換する座標変換ステップと、
変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入ステップと
をコンピュータに実行させ、
前記座標変換ステップは、
該撮像手段と該スクリーンとの間の該スクリーンに対して垂直な方向上の距離をｌ、該撮像手段の光軸の該スクリーンに対して垂直な軸に対する傾き角度をα、該光軸を該スクリーンに投影した場合の直線が、該スクリーンの基準軸（ｘ軸）となす角度をβ、該投影画像上での該撮像手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該投影画像上の座標を（Ｘ，Ｙ）、該スクリーン上の座標を（ｘ，ｙ）とすると、
次式を用いて−γ回転処理を行い、座標（Ｘ’，Ｙ’）を求めるステップと、
【数６５】
2011135584.tif 000093
次式を用いて傾きの変換処理を行い、座標（ｘ’，ｙ’）に変換するステップと、
【数６６】
2011135584.tif 000094
次式を用いてβ回転処理を行い、座標（ｘ，ｙ）に回転するステップとを含み、
【数６７】
2011135584.tif 000095
前記各式を順次計算することで、変換後の画像の座標（Ｘ，Ｙ）の、変換前の対応する座標（ｘ，ｙ）を求め、
前記画像投影手段の光軸が前記スクリーンに対して前記スクリーンの右又は左方向にのみ傾いている場合はβ＝γ＝０として前記−γ回転処理で用いる式を簡略化すると共に、前記画像投影手段の光軸が前記スクリーンに対して前記スクリーンの上又は下方向にのみ傾いている場合はβとγの変換を省略するために前記傾きの変換処理に用いる式のｘとｙを入れ替えることを特徴とする、画像投影方法。
【請求項６】
前記座標変換ステップは、
前記スクリーン上の隣り合う画素の距離をｄｐ、前記投影画像上の画素の座標を（Ｉ’，Ｊ’）とし、変換後の座標を（ｉ，ｊ）とし、夫々の画像の中心を（Ｉ０，Ｊ０），（ｉ０，ｊ０）とすると、
次式を用いて−γ回転処理を行い、座標（Ｘ，Ｙ）を座標（Ｘ’，Ｙ’）に回転するステップと、
【数６８】
2011135584.tif 000096
次式を用いて傾きの変換処理を行い、座標（ｘ’，ｙ’）に変換するステップと、
【数６９】
2011135584.tif 000097
次式を用いてβ回転処理を行い、座標（ｘ，ｙ）に回転するステップと、
【数７０】
2011135584.tif 000098
次式を用いて逆変換処理を行い、座標（ｉ’，ｊ’）に逆変換するステップとを含み、
【数７１】
2011135584.tif 000099
前記各式を順次計算することで、変換後の画像の座標（ｉ，ｊ）の、変換前の対応する座標（ｉ’，ｊ’）を求めることを特徴とする、請求項５記載の画像投影方法。
【請求項７】
前記輝度値代入ステップは、座標（ｉ’，ｊ’）の近傍にある４つの実在する画素の座標を（ｉ，ｊ），（ｉ＋１，ｊ），（ｉ，ｊ＋１），（ｉ＋１，ｊ＋１）とすると、[  ]はガウス記号を示すものとするとｉ，ｊを次式
【数７２】
2011135584.tif 000100
で求め、
元画像の輝度値をＰ（ｉ，ｊ）、変換後の輝度値をｐ（Ｉ，Ｊ）とすると、近傍の４画素の画素値の重み付け平均を、次式
【数７３】
2011135584.tif 000101
で求めることを特徴とする、請求項６記載の画像投影方法。
【請求項８】
前記画像投影手段の光軸が前記スクリーンに対して前記スクリーンの右又は左方向にのみ傾いている場合は前記−γ回転処理で用いる式、前記傾きの変換処理に用いる式、前記逆変換処理に用いる式を以下のように簡略化すると共に、前記光軸が前記スクリーンの右方向にのみ傾いている場合はαの値を正、左方向にのみ傾いている場合はαの値を負に設定し、
【数７４】
2011135584.tif 000102
前記画像投影手段の光軸が前記スクリーンに対して前記スクリーンの上又は下方向にのみ傾いている場合は前記−γ回転処理で用いる式、前記傾きの変換処理に用いる式、前記逆変換処理に用いる式を以下のように簡略化すると共に、前記光軸が前記スクリーンの上方向にのみ傾いている場合はαの値を正、下方向にのみ傾いている場合はαの値を負に設定する
【数７５】
2011135584.tif 000103
ことを特徴とする、請求項６又は７記載の画像投影方法。