(57)【要約】【課題】投影面に投影された画像の形状の歪みを抑えることができる、あるいは適正な大きさの画像を投影することができる画像処理装置、画像処理方法、および画像投影装置を提供する。【解決手段】実施形態によれば、設定部と、補正部と、を備えた画像処理装置が提供される。前記設定部は、対象画像が投影される投影面の形状に関する情報と、前記対象画像を投影する投影位置に関する情報と、視点の位置に関する情報と、に基づいて、前記投影面に投影される画像を前記視点から観察したときに前記対象画像の全体を視認可能とする補正情報を設定する。前記補正部は、前記補正情報に基づいて前記対象画像を補正する。【選択図】図１
2016019194.tif 000002
【特許請求の範囲】
【請求項１】
対象画像が投影される投影面の形状に関する情報と、前記対象画像を投影する投影位置に関する情報と、視点の位置に関する情報と、に基づいて、前記投影面に投影される画像を前記視点から観察したときに前記対象画像の全体を視認可能とする補正情報を設定する設定部と、
前記補正情報に基づいて前記対象画像を補正する補正部と、
を備えた画像処理装置。
【請求項２】
前記補正情報は、前記投影面に投影される画像の大きさに関する情報と、前記投影面に投影される画像の位置に関する情報と、を含む請求項１記載の画像処理装置。
【請求項３】
前記設定部は、前記投影面に投影される画像を前記視点から観察したときに前記対象画像の大きさが最大となるような前記補正情報を設定する請求項１または２に記載の画像処理装置。
【請求項４】
前記設定部は、前記形状に関する情報に基づいて前記投影面上の複数の点と前記投影位置との間の距離に基づいてクラスタリングを行い、前記点の数が最も多いクラスタの領域に前記対象画像を投影させる前記補正情報を設定する請求項１または２に記載の画像処理装置。
【請求項５】
前記設定部は、前記距離が互いに近い点に基づいて前記クラスタリングを行う請求項４記載の画像処理装置。
【請求項６】
前記設定部は、前記点の数が最も多いクラスタを選択し、選択された前記クラスタの重心が前記対象画像の投影の中心と対応するように前記補正情報を設定する請求項５記載の画像処理装置。
【請求項７】
前記設定部は、前記形状に関する情報に基づいて前記投影面上の複数の点の前記投影面に対する法線ベクトルおよび前記複数の点と前記投影位置との間の距離に基づいてクラスタリングを行い、前記点の数が最も多いクラスタの領域に前記対象画像を投影させる前記補正情報を設定する請求項１または２に記載の画像処理装置。
【請求項８】
前記設定部は、前記法線ベクトルが互いに近い点および前記距離が互いに近い点に基づいて前記クラスタリングを行う請求項７記載の画像処理装置。
【請求項９】
前記設定部は、前記点が最も多いクラスタを選択し、選択された前記クラスタの重心が前記対象画像の投影の中心と対応するように前記補正情報を設定する請求項８記載の画像処理装置。
【請求項１０】
前記設定部は、前記視点を仮想的投影位置と設定し、前記投影位置を仮想的視点と設定し、前記投影面に投影される仮想的投影画像を前記仮想的視点から観察したときに前記仮想的投影位置から投影される仮想的対象画像の全体を視認可能とする前記補正情報を設定する請求項１または２に記載の画像処理装置。
【請求項１１】
前記補正部は、前記補正情報に基づいて補正された前記仮想的対象画像が前記仮想的投影位置から前記投影面に投影されたときに前記仮想的視点から観察される仮想的観察画像を補正画像とする請求項１０記載の画像処理装置。
【請求項１２】
前記設定部は、前記投影面上の点の３次元座標に対応する前記対象画像の画素の２次元座標と、前記３次元座標に対応する前記投影面に投影される画像を前記視点から観察した場合の画素の２次元座標と、に基づいて前記補正情報を設定する請求項１または２に記載の画像処理装置。
【請求項１３】
前記設定部は、前記投影面に投影される画像の端部の画素に対応する前記観察画像の画素の２次元座標を算出する請求項１２記載の画像処理装置。
【請求項１４】
対象画像が投影される投影面の形状に関する情報と、前記対象画像を投影する投影位置に関する情報と、視点の位置に関する情報と、に基づいて、前記投影面に投影される画像を前記視点から観察したときに前記対象画像の全体を視認可能とする補正情報を設定し、
前記補正情報に基づいて前記対象画像を補正する画像処理方法。
【請求項１５】
前記補正情報は、前記投影面に投影される画像の大きさに関する情報と、前記投影面に投影される画像の位置に関する情報と、を有する請求項１４記載の画像処理方法。
【請求項１６】
請求項１〜１３のいずれか１つに記載の画像処理装置と、
前記補正情報に基づいて前記対象画像を補正する補正部と、
前記補正された前記対象画像を前記投影面へ投影する投影部と、
を備えた画像投影装置。
【請求項１７】
前記投影面までの距離を計測する距離センサを有し、前記距離に関する情報に基づいて前記形状に関する情報を取得する取得部をさらに備えた請求項１６記載の画像投影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法、および画像投影装置に関する。
【背景技術】
【０００２】
例えばプロジェクタなどの画像投影装置が画像を投影する場合において、画像が投影される投影面が非平面を含むと、画像投影装置とは異なる位置から投影面を見たときに投影面に投影された画像が歪むことがある。これに対して、投影面の凹凸に関する情報に基づいて入力画像を補正すると、画像投射装置とは異なる位置から投影面を見ても投影面に投影された画像の歪みが抑えられる。  
しかし、そのような補正を加えると、補正された画像の大きさが、投影面上において適正ではないことがある。画像投影装置とは異なる位置から非平面の投影面を見た場合でも、例えば視点位置から投影面を撮影するなどの煩雑な動作を行うことなく、投影面に投影された画像の形状の歪みを抑え、適正な大きさの画像を投影することができる画像処理装置、画像処理方法、および画像投影装置が望まれている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】高橋、沼、青木、近藤、「三次元計測に基づく投影画像の幾何補正手法の検討」、電子情報通信学会技術研究報告、２００７年１０月、ｖｏｌ．１０７、ｎｏ．２８７、ｐ．７１−７６
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施形態は、投影面に投影された画像の形状の歪みを抑えることができる、あるいは適正な大きさの画像を投影することができる画像処理装置、画像処理方法、および画像投影装置を提供する。
【課題を解決するための手段】
【０００５】
実施形態によれば、設定部と、補正部と、を備えた画像処理装置が提供される。前記設定部は、対象画像が投影される投影面の形状に関する情報と、前記対象画像を投影する投影位置に関する情報と、視点の位置に関する情報と、に基づいて、前記投影面に投影される画像を前記視点から観察したときに前記対象画像の全体を視認可能とする補正情報を設定する。前記補正部は、前記補正情報に基づいて前記対象画像を補正する。
【図面の簡単な説明】
【０００６】
【図１】本発明の実施の形態にかかる画像投影装置を表すブロック図である。
【図２】本実施形態にかかる画像処理方法を説明するフローチャート図である。
【図３】本実施形態の取得部を例示するブロック図である。
【図４】本実施形態の距離センサを例示する斜視図である。
【図５】投影面の３次元座標の算出方法を説明する模式的平面図である。
【図６】本実施形態の他の取得部を例示するブロック図である。
【図７】視点情報を取得する別の形態を例示する平面図である。
【図８】投影面と、投影位置と、視点と、の位置関係を例示する斜視図である。
【図９】入力画像および観察画像を表す平面図である。
【図１０】本実施形態の設定部の処理を表すフローチャート図である。
【図１１】入力画像および観察画像を座標軸とともに表す模式的平面図である。
【図１２】内部パラメータＡＰを説明する模式的平面図である。
【図１３】外部パラメータＲＰ、ｔＰを説明する模式的斜視図である。
【図１４】本実施形態の補正情報の更新方法を説明する模式的平面図である。
【図１５】実施形態の変形例にかかる画像処理方法を説明するフローチャート図である。
【図１６】実施形態の変形例にかかる画像投影装置を説明する模式的平面図である。
【図１７】実施形態の変形例にかかる画像投影装置を説明する模式的平面図である。
【図１８】実施形態の変形例にかかる画像投影装置を説明する模式的平面図である。
【発明を実施するための形態】
【０００７】
以下、本発明の実施の形態について図面を参照しつつ説明する。なお、各図面中、同様の構成要素には同一の符号を付して詳細な説明は適宜省略する。  
図１は、本発明の実施の形態にかかる画像投影装置を表すブロック図である。  
なお、図１に表したブロック図は、本実施形態にかかる画像処理装置の要部構成の一例であり、必ずしも実際のプログラムモジュールの構成とは一致しない場合がある。
【０００８】
図１に表した画像投影装置１００は、画像処理装置２００と、取得部１１０と、投影部１２０と、を備える。  
画像処理装置２００は、設定部２１０と、補正部２２０と、を有する。
【０００９】
なお、画像処理装置２００は、画像投影装置１００とは異なる外部の装置であってもよいし、画像投影装置１００が備える装置であってもよい。図１に表したハードウェア構成は、一例であり、各実施形態および各具体例に係る画像処理装置２００の一部、又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットとして実現してもよい。各機能ブロックについては、個別にプロセッサ化してもよいし、各機能ブロックの一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法については、ＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。
【００１０】
取得部１１０は、画像が投影される面（投影面）３５１（図５（ｃ）参照）の３次元形状に関する情報（形状情報）１１２と、画像を投影する画像投影装置１００の位置に関する情報（投影位置情報）１１３と、投影面３５１を観察する視点の位置に関する情報（視点情報）１１４を取得する。取得部１１０は、形状情報１１２と、投影位置情報１１３と、視点情報１１４と、を設定部２１０に送る。
【００１１】
設定部２１０は、形状情報１１２と、投影位置情報１１３と、視点情報１１４と、に基づいて、補正画像の大きさに関する情報および補正画像の位置に関する情報（補正情報）２１２を設定する。補正画像２２２は、入力画像（対象画像）３０１が補正部２２０により補正された画像である。設定部２１０は、補正情報２１２を補正部２２０に送る。
【００１２】
補正部２２０は、補正情報２１２に基づいて入力画像３０１を補正し、補正画像２２２を投影部１２０に送る。投影部１２０は、補正画像２２２を投影する。
【００１３】
図２は、本実施形態にかかる画像処理方法を説明するフローチャート図である。  
取得部１１０は、投影面３５１の形状情報１１２と、投影位置情報１１３と、視点情報１１４と、を取得し設定部２１０に送る（ステップＳ２０１）。
【００１４】
ここで、本実施形態の取得部１１０について、図面を参照しつつ説明する。  
図３は、本実施形態の取得部を例示するブロック図である。  
図４は、本実施形態の距離センサを例示する斜視図である。  
図５（ａ）〜図５（ｃ）は、投影面の３次元座標の算出方法を説明する模式的平面図である。  
図５（ａ）は、投光画像の画素の座標を例示する模式的平面図である。図５（ｂ）は、受光画像の画素の座標を例示する模式的平面図である。図５（ｃ）は、投光部と受光部と対象物体との幾何学的関係を例示する模式的平面図である。対象物体３５０は、投影面３５１を形成する。  
図３に表したように、取得部１１０は、距離センサ１１６と、算出部１１７と、視点取得部１１８と、を有する。距離センサ１１６は、距離センサ１１６自身と、投影面３５１と、の間の距離を計測し、その距離に関する情報（距離情報）１１９を算出部１１７に送る。算出部１１７は、距離情報１１９に基づいて、投影面３５１の形状情報１１２と、投影位置情報１１３と、を取得し設定部２１０に送る。
【００１５】
図４に表したように、本実施形態の距離センサ１１６は、投光部１１６ａと、受光部１１６ｂと、を有する。投光部１１６ａおよび受光部１１６ｂは、互いに略同じ高さに設けられている。投光部１１６ａの中心１１６ｃと受光部１１６ｂの中心１１６ｄとを結ぶ中心線Ｃ１は、距離センサ１１６の底面１１６ｅと略平行である。そのため、距離センサ１１６を水平面に設置すると、中心線Ｃ１は、水平となる。
【００１６】
投光部１１６ａは、ランダムパターンを持つ赤外光を投影面３５１に対して投射する。受光部１１６ｂは、投光部１１６ａが投射した赤外光のうちで投影面３５１から反射される赤外光を受光する。ここで、距離センサ１１６が投光する赤外光および距離センサ１１６が受光する赤外光のパターンを２次元の画像として考え、投光画像の画素の座標（ｘｐ，ｙｐ）に対応する受光画像の画素の座標を（ｘｃ，ｙｃ）と表す。算出部１１７は、投光画像の画素の座標（ｘｐ，ｙｐ）に対応する受光画像の画素の座標（ｘｃ，ｙｃ）を求めることで、受光部１１６ｂを原点としたときの投影面３５１の３次元形状の座標（Ｘｓ，Ｙｓ，Ｚｓ）を求めることができる。
【００１７】
図５（ａ）〜図５（ｃ）を参照しつつ、投影面３５１の３次元形状の座標（Ｘｓ，Ｙｓ，Ｚｓ）の算出方法についてさらに説明する。  
図５（ａ）に表したように、投光画像の画素の座標（ｘ１，０）に対応する受光画像の画素の座標が座標（ｘ２，０）である場合について考える。投光部１１６ａと、受光部１１６ｂと、投光画像の座標（ｘ１，０）の画素の光があたる対象物体３５０と、の関係は、図５（ｃ）に表した通りである。
【００１８】
図５（ｃ）に表した「Ｌ」は、投光部１１６ａと受光部１１６ｂとの間の物理的な距離である。図５（ｃ）に表した「Ｄ」は、距離センサ１１６と対象物体３５０との間の距離である。図５（ｃ）に表した「ｆ」は、受光部１１６ｂの焦点距離である。このとき、幾何的な関係から式（１）の関係が成り立つ。  
【数１】
2016019194.tif 000003
距離センサ１１６と対象物体３５０との間の距離Ｄは、式（１）により式（２）で表される。  
【数２】
2016019194.tif 000004
これにより、投光画像の座標（ｘ１，０）の画素の光があたる対象物体３５０の点の３次元座標（Ｘｓ，Ｙｓ，Ｚｓ）は、式（３）〜式（５）で表される。
【数３】
2016019194.tif 000005
【００１９】
本実施形態では、特定のパターンを持った赤外光を投射する投光部１１６ａと、赤外光を受光する受光部１１６ｂと、が一体となった距離センサ１１６について説明している。なお、投光部１１６ａが投影し受光部１１６ｂが受光する光は、可視光であってもよい。  また、距離を計測する手段の別の例としては、画像投影装置１００は、距離センサ１１６の代わりに図示しない撮影部を備えていてもよい。この場合には、投影部１２０は、特定のパターンの光を対象物体３５０に投影する。撮影部は、対象物体３５０を撮影する。画像投影装置１００は、撮影部が撮影した画像と、投影部１２０が対象物体３５０に投影した元のパターンと、の対応関係から撮影部と対象物体３５０との間の距離を求める。
【００２０】
また、画像投影装置１００は、距離センサ１１６の代わりに、図示しない複数の撮影部を備えていてもよい。この場合には、画像投影装置１００は、複数の撮影部が撮影した複数の画像の画素の対応関係から撮影部と対象物体３５０との間の距離を求める。例えば、画像投影装置１００は、２つの撮影部同士を結ぶ直線と、対象物体３５０と、の間の距離を求める。
【００２１】
また、距離センサ１１６が距離を計測する方法は、特定のパターンを持った光を投影する方法には限定されない。例えば、距離センサ１１６は、パルス形状に変調した光を投影面３５１に投影し、投影面３５１において反射した光を受光し、投影した光の位相と受光した光の位相との間の差に基づいて距離センサ１１６自身と投影面３５１との間の距離を計測してもよい。  
このように、距離センサ１１６は、投影部１２０から画像を投影する対象物体３５０の３次元形状を取得する手段の一例である。対象物体３５０の３次元形状を取得する手段は、これらに限られるわけではない。
【００２２】
なお、対象物体３５０の３次元形状の座標は、距離センサ１１６の受光部１１６ｂを原点として算出される。そのため、距離センサ１１６の受光部１１６ｂと、投影部１２０と、の間の距離に基づいて、投影位置（投影部１２０）の座標を設定することができる。例えば、投影部１２０と受光部１１６ｂとが、ｘ方向にｐｘ、ｙ方向にｐｙ、ｚ方向にｐｚだけ互いに離れている場合には、投影位置の座標は、（Ｘｐ，Ｙｐ，Ｚｐ）＝（ｐｘ，ｐｙ，ｐｚ）と設定することができる。算出部１１７は、投影面３５１の３次元形状を算出し、投影面３５１の形状情報１１２と、投影位置情報１１３と、を設定部２１０に送る。
【００２３】
視点取得部１１８は、視点情報１１４を取得し設定部２１０へ送る。本実施形態では、視点取得部１１８は、予め定めた視点の位置を記録したルックアップテーブル（ＬＵＴ：Look up Table）を有し、ＬＵＴを読み込むことによって視点情報１１４を取得する。ＬＵＴには、距離センサ１１６の受光部１１６ｂを原点としたときの視点の座標が予め記録されている。視点取得部１１８は、ＬＵＴに記録された座標（Ｘｃ，Ｙｃ，Ｚｃ）を視点情報１１４として取得する。
【００２４】
図６（ａ）〜図６（ｃ）は、本実施形態の他の取得部を例示するブロック図である。  
図６（ａ）に表したように、視点情報１１４を取得する別の形態として、取得部１１０ａは、ユーザが視点位置を入力可能な視点位置入力部１１１ａを有していてもよい。この場合には、ユーザが視点位置入力部１１１ａにより視点の位置に関する情報を入力する。これにより、視点取得部１１８は、視点情報１１４を取得することができる。
【００２５】
また、視点情報１１４を取得する別の形態として、図６（ｂ）に表したように、取得部１１０ｂは、第２の距離センサ１１１ｂを有していてもよい。第２の距離センサ１１１ｂは、視聴者の位置に関する情報を取得することができる。これにより、視点取得部１１８は、視点情報１１４を取得することができる。
【００２６】
また、視点情報１１４を取得する別の形態として、図６（ｃ）に表したように、取得部１１０ｃは、可視カメラ１１１ｃを有していてもよい。可視カメラ１１１ｃは、視聴者の位置に関する情報を取得することができる。これにより、視点取得部１１８は、視点情報１１４を取得することができる。
【００２７】
図７は、視点情報を取得する別の形態を例示する平面図である。  
視点情報１１４を取得する別の形態として、視点取得部１１８は、算出部１１７が算出した投影部１２０と投影面３５１との間の距離に基づいて視点情報１１４を取得してもよい。具体的には、図７に表したように、視野角θが予め設定されている。視野角θと、投影部１２０と投影面３５１との間の距離ｄの値と、に応じて、視点の位置の座標（Ｘｃ，Ｙｃ，Ｚｃ）を設定することができる。視点の位置の座標（Ｘｃ，Ｙｃ，Ｚｃ）は、式（６）〜式（８）で表される。なお、（ＸＰ，ＹＰ，ＺＰ）は、投影部１２０の３次元座標を表す。θＸは、水平方向の視野角を表す。θＹは、垂直方向の視野角を表す。  
【数４】
2016019194.tif 000006
取得部１１０は、投影面３５１の形状情報１１２と、投影位置情報１１３と、視点情報１１４と、を設定部２１０に送る。
【００２８】
図２に戻って説明すると、設定部２１０は、投影面３５１の３次元形状の座標（Ｘｓ，Ｙｓ，Ｚｓ）と、投影位置位置の座標（Ｘｐ，Ｙｐ，Ｚｐ）と、視点位置の座標（Ｘｃ，Ｙｃ，Ｚｃ）と、に基づいて、補正情報２１２を設定し補正部２２０に送る（ステップＳ２０２）。補正情報２１２は、視点位置の座標（Ｘｃ，Ｙｃ，Ｚｃ）から投影面３５１に投影された画像を見たときに入力画像３０１の全体の画像情報を視認可能な投影画像（補正画像２２２）の位置に関する情報および投影画像（補正画像２２２）の大きさに関する情報を有する。
【００２９】
図８および図９を参照しつつ、設定部２１０の動作をさらに説明する。  
図８は、投影面と、投影位置と、視点と、の位置関係を例示する斜視図である。  
図９（ａ）〜図９（ｃ）は、入力画像および観察画像を表す平面図である。  
図９（ａ）は、入力画像３０１を表す模式的平面図である。図９（ｂ）は、図９（ａ）に表した入力画像３０１が投影面に投影された投影画像を視点から観察した観察画像の例を表す模式的平面図である。図９（ｃ）は、図９（ａ）に表した入力画像３０１が投影面に投影された投影画像を視点から観察した観察画像の他の例を表す模式的平面図である。
【００３０】
設定部２１０の動作の説明においては、説明の便宜上、カメラなどの撮影装置により視点の位置から投影面を撮影した画像を観察画像とする。但し、カメラなどの撮影装置により視点の位置から投影面を撮影することは、設定部２１０の動作の説明の便宜上のもの、あるいは想定上のものである。本実施形態において、カメラなどの撮影装置が視点の位置に必要となるわけではない。例えば、人の目を表すパラメータを設定して観察画像の見え方を推定してもよい。
【００３１】
図９（ｂ）は、投影部１２０が比較的小さいサイズの画像を投影した場合に、視点の位置で観察される観察画像の例を表す。図９（ｃ）は、投影部１２０が比較的大きいサイズの画像を投影した場合に、視点の位置で観察される観察画像の例を表す。図９（ｂ）に表した観察画像は、入力画像３０１の全体の情報を含む。一方で、図９（ｃ）に表した観察画像は、入力画像３０１の一部の情報を含まない。つまり、投影部１２０が投影する画像のサイズが比較的大きいため、投影面に投影された画像は、視点における観察画像の画面３５５の範囲から外れた部分を有する。言い換えれば、入力画像３０１のうち観察できない領域が存在する。入力画像３０１に関する情報は、表示が望まれる情報を含む。そのため、入力画像３０１に関する情報の全ては、視点位置で観察される観察画像の画面３５５の範囲内に含まれることが望ましい。
【００３２】
画面３５５の範囲は、前述したカメラなどの撮影装置が撮影可能な範囲と等価である。言い換えれば、画面３５５の範囲は、視点の位置における視野の限界の範囲と等価である。
【００３３】
ここで、投影部１２０から投影面３５１に投影された投影画像を視点から観察し、その観察画像の見え方に応じて投影画像の大きさなどを調整することで、観察画像の画面３５５の範囲内に入力画像３０１に関する情報を収めることは可能である。しかし、投影と観察とを繰り返しながら投影条件を調整することは、ユーザの負担となる。
【００３４】
これに対して、本実施形態にかかる画像処理装置２００は、入力画像３０１の各画素が観察画像においてどこの位置に対応するかを演算により算出することで視点における観察画像を推定し、入力画像３０１に関する情報が観察画像の画面３５５の範囲に収まるように入力画像３０１を補正する（ステップＳ２０３）。本実施形態にかかる画像投影装置１００は、入力画像３０１が補正された補正画像２２２を投影部１２０から投影面に投影する（ステップＳ２０４）。
【００３５】
図１０は、本実施形態の設定部の処理を表すフローチャート図である。  
図１１（ａ）〜図１１（ｃ）は、入力画像および観察画像を座標軸とともに表す模式的平面図である。  
図１１（ａ）は、入力画像３０１を表す模式的平面図である。図１１（ｂ）は、図１１（ａ）に表した入力画像３０１が投影面に投影された投影画像を視点から観察した観察画像の例を表す模式的平面図である。図１１（ｃ）は、図１１（ａ）に表した入力画像３０１が投影面に投影された投影画像を視点から観察した観察画像の他の例を表す模式的平面図である。
【００３６】
設定部２１０は、投影部１２０が投影面に画像を仮想的に投影したときに、投影面３５１上の点の３次元座標に対応する入力画像３０１の画素の座標を算出する(ステップＳ２２１)。図１１（ａ）〜図１１（ｃ）では、入力画像および観察画像のそれぞれの画像の中心を原点が通るように、ｘ軸およびｙ軸が設定されている。画面３５５のｘ座標の最小値は、「−１」である。画面３５５のｘ座標の最大値は、「１」である。画面３５５のｙ座標の最小値は、「−１」である。画面３５５のｙ座標の最大値は、「１」である。ここで、入力画像の画素の座標をｍｐ＝（ｘｐ，ｙｐ）と表し、座標ｍｐ＝（ｘｐ，ｙｐ）の入力画像３０１の画素が投影面３５１に投影される位置の３次元座標をＭ＝（Ｘｓ，Ｙｓ，Ｚｓ）と表す。入力画像３０１の画素の座標ｍｐ＝（ｘｐ，ｙｐ）と、投影面３５１上の３次元座標Ｍ＝（Ｘｓ，Ｙｓ，Ｚｓ）と、の間の関係式は、次の式の通りである。
【数５】
2016019194.tif 000007
式（９）中のＰＰは、投影部１２０が投影面３５１に画像を投影する際の透視投影行列を表す。つまり、設定部２１０は、投影面３５１上の点の３次元座標に対応する入力画像３０１の画素の座標を算出する処理において透視投影変換を実行する。
【００３７】
次の式に表したように、透視投影行列ＰＰは、内部パラメータＡＰと、外部パラメータＲＰ、ｔＰと、で表される。
【数６】
2016019194.tif 000008
内部パラメータＡＰは、投影部１２０の特性などを表す。例えば、内部パラメータＡＰは、投影部１２０が有するレンズの焦点距離や、投影部１２０が有するレンズの光軸に対する表示素子の（画像）中心の位置（座標）などを含む。  
外部パラメータＲＰ、ｔＰは、画像投影装置１００の位置や、画像投影装置１００の姿勢などを表す。例えば、外部パラメータＲＰ、ｔＰは、３次元空間において任意に設定された原点に対して、画像投影装置１００が存在する位置や、画像投影装置１００が画像を投影する方向などを表す。
【００３８】
ここで、図１２（ａ）、図１２（ｂ）、および図１３を参照しつつ、内部パラメータＡＰおよび外部パラメータＲＰ、ｔＰをさらに説明する。  
図１２（ａ）および図１２（ｂ）は、内部パラメータＡＰを説明する模式的平面図である。  
図１３は、外部パラメータＲＰ、ｔＰを説明する模式的斜視図である。  
図１２（ａ）は、レンズの光軸が表示素子の中心と一致している場合を例示する模式的平面図である。図１２（ｂ）は、レンズの光軸が表示素子の中心からｙ方向にずれている場合を例示する模式的平面図である。なお、図１２（ａ）および図１２（ｂ）は、ｙｚ平面における模式的平面図である。
【００３９】
まず、内部パラメータＡＰについて説明する。  
図１２（ａ）および図１２（ｂ）に表した例において、レンズ１２１の光軸１２１ａと投影像３５３の端部３５３ａとの間の距離Ｙ、レンズ１２１の光軸１２１ａと対象物１３３の端部１３３ａとの間の距離ｙ、レンズ１２１と投影像３５３との間の距離Ｚ、および焦点距離ｆについては、次の式が成り立つ。
【数７】
2016019194.tif 000009
【００４０】
図１２（ａ）に表した例では、レンズ１２１の光軸１２１ａが表示素子１３１の中心１３１ａと一致しているため、表示素子１３１上の対象物１３３のｙ座標ｙ’については、次の式が成り立つ。
ｙ’＝ｙ    ・・・式（１２）
そのため、レンズ１２１の光軸１２１ａに対する表示素子１３１の中心１３１ａの位置の座標（ｃｘ，ｃｙ）は、（０，０）となる。つまり、ｃｘ＝０およびｃｙ＝０が成り立つ。
【００４１】
一方で、図１２（ｂ）に表した例では、レンズ１２１の光軸１２１ａが表示素子１３１の中心１３１ａからｙ方向にずれている。そのため、表示素子１３１上の対象物１３３のｙ座標ｙ’については、次の式が成り立つ。
ｙ’＝ｙ＋ｃｙ    ・・・式（１３）
そのため、レンズ１２１の光軸１２１ａに対する表示素子１３１の中心１３１ａの位置のｙ座標ｃｙについては、ｃｙ＝０が成り立たない。つまり、レンズ１２１の光軸１２１ａと、表示素子１３１の（画素）中心の位置と、に応じて座標ｃｙは、０以外の値となる。レンズ１２１の光軸１２１ａが表示素子１３１の中心１３１ａからｘ方向にずれている場合には、レンズ１２１の光軸１２１ａに対する表示素子１３１の中心１３１ａの位置のｘ座標ｃｘについては、ｃｘ＝０が成り立たない。
【００４２】
内部パラメータＡＰは、次の式で表される。
【数８】
2016019194.tif 000010
前述したように、式（１４）の中のｃｘ、ｃｙは、レンズ１２１の光軸１２１ａに対する表示素子１３１の中心１３１ａの位置の座標（ｃｘ，ｃｙ）を表す。式（１４）の中のｆｘ、ｆｙは、画素単位で表されるレンズ１２１の焦点距離ｆｘ、ｆｙを表す。式（１４）に表したように、内部パラメータＡＰは、レンズ１２１の光軸１２１ａに対する表示素子１３１の中心１３１ａの位置の座標（ｃｘ，ｃｙ）と、画素単位で表されるレンズ１２１の焦点距離ｆｘ、ｆｙと、を含むパラメータである。
【００４３】
次に、外部パラメータＲＰ、ｔＰについて説明する。  
外部パラメータｔＰは、投影位置の平行移動を表すパラメータである。外部パラメータｔＰに関する行列は、投影位置を原点とするための並進行列ｔである。図１３に表した例では、並進行列ｔは、次の式で表される。
【数９】
2016019194.tif 000011
【００４４】
外部パラメータＲＰは、投影部１２０の投影方向を表すパラメータである。外部パラメータＲＰに関する行列は、投影方向を表すベクトルＶがＺ軸となるように座標を変換するための回転行列Ｒである。回転行列Ｒは、次の式で表される。
【数１０】
2016019194.tif 000012
【００４５】
これにより、外部パラメータ行列［ＲＰ・ｔＰ］は、ワールド座標で表現されている投影面３５１の座標を、投影位置を原点とし投影方向をｚ軸とした画像投影装置１００の座標に変換するための変換行列を表す。
【００４６】
なお、回転行列の例として、座標（ｘ，ｙ，ｚ）をｘ軸まわりに角度αだけ回転させる回転行列Ｒｘは、次の式で表される。
【数１１】
2016019194.tif 000013
また、回転行列の例として、座標（ｘ，ｙ，ｚ）をｙ軸まわりに角度βだけ回転させる回転行列Ｒｙは、次の式で表される。
【数１２】
2016019194.tif 000014
また、回転行列の例として、座標（ｘ，ｙ，ｚ）をｚ軸まわりに角度γだけ回転させる回転行列Ｒｚは、次の式で表される。
【数１３】
2016019194.tif 000015
【００４７】
図３〜図５（ｃ）に関して前述したように、取得部１１０は、投影面３５１の形状情報１１２を算出している。そのため、投影面３５１を形成する各点の３次元座標は既知である。そのため、投影面３５１を形成する複数の点について、投影される入力画像３０１の画素の座標を式（９）により算出する。ただし、式（９）で算出した入力画像３０１の画素の座標（ｘ，ｙ）が次の式（式（２０））に示す条件を満たさない場合には、投影面３５１上の座標（ｘ，ｙ）に対応する点は、入力画像３０１から外れた範囲に存在することを意味する。そのため、入力画像３０１の画素の座標（ｘ，ｙ）が式（２０）に示す条件を満たす投影面３５１上の点を対象として以降の処理を行う。この処理について、図１０に戻って説明する。
｜ｘ｜≦１  かつ  ｜ｙ｜≦１    ・・・式（２０）
なお、本実施の形態では、図１１（ａ）〜図１１（ｃ）に示すように入力画像３０１の座標ならびに観察画像の座標の範囲を−１≦ｘ≦１、−１≦ｙ≦１に正規化しているため、座標の条件は、式（２０）に示す条件となっている。入力画像３０１の座標と観察画像の座標との正規化によっては、座標の条件は式（２０）に示す限りではない。
【００４８】
ステップＳ２２１に関して前述した処理に続いて、設定部２１０は、視点から投影面３５１を観察したときに、投影面３５１上の点の３次元座標に対応する観察画像の画素の座標を算出する（ステップＳ２２３）。ここで、観察画像の画素の座標をｍｃ＝（ｘｃ，ｙｃ）と表し、投影面３５１において座標ｍｃ＝（ｘｃ，ｙｃ）に対応する位置の３次元座標をＭ＝（Ｘｓ，Ｙｓ，Ｚｓ）と表す。観察画像の画素ｍｃ＝（ｘｃ，ｙｃ）と、投影面３５１上の３次元座標Ｍ＝（Ｘｓ，Ｙｓ，Ｚｓ）と、の間の関係式は、次の式の通りである。
【数１４】
2016019194.tif 000016
【００４９】
式（２１）中のＰＣは、座標（ＸＣ，ＹＣ，ＺＣ）の視点の位置から投影面３５１を観察する際の透視投影行列である。つまり、設定部２１０は、投影面３５１上の点の３次元座標に対応する観察画像の画素の座標を算出する処理において透視投影変換を実行する。図８〜図９（ｃ）に関して前述したように、本実施形態においては、視点からカメラなどの撮影装置を用いて投影面３５１を観察することを想定する。そのため、透視投影行列ＰＣは、撮影装置の内部パラメータおよび外部パラメータで決定される。内部パラメータおよび外部パラメータの詳細は、投影部１２０の透視投影行列ＰＰの場合と同様であり、事前にキャリブレーションによって求めることが可能である。
【００５０】
次に、設定部２１０は、式（９）および式（２１）により、座標（Ｘｓ，Ｙｓ，Ｚｓ）の投影面３５１上の点に対応する入力画像３０１上の画素の座標（ｘｐ，ｙｐ）と、座標（Ｘｓ，Ｙｓ，Ｚｓ）の投影面３５１上の点に対応する観察画像上の画素の座標（ｘｃ，ｙｃ）と、を算出し、入力画像３０１上の画素の座標（ｘｐ，ｙｐ）と、観察画像上の画素の座標（ｘｃ，ｙｃ）と、の間の対応関係を求める（ステップＳ２２５）。
【００５１】
ここで、図１１（ａ）に表したように、入力画像３０１における２つの画素（第１の画素３１１および第２の画素３１２）を例に挙げ説明する。第１の画素３１１については、入力画像３０１の座標を図１１（ｃ）に表した観察画像における座標に変換すると、式（２０）の条件が満たされない。そのため、図１１（ｃ）に示すように、第１の画素３１１は、観察画像の画面３５５の範囲には含まれない。
【００５２】
一方で、入力画像３０１の座標を図１１（ｃ）に表した観察画像における座標に変換すると、第２の画素３１２は、観察画像の画面３５５の範囲内に含まれる。そのため、図１１（ｃ）に示すように、第２の画素３１２を観察画像内に確認することができる。  
このように、入力画像３０１の全体が観察画像の画面３５５の範囲に含まれるためには、式（９）および式（２１）によって求めた入力画像３０１の各画素の座標（ｘｐ，ｙｐ）に対応する観察画像の画素（ｘｃ，ｙｃ）が式（２０）に示す条件を満たす必要がある。
【００５３】
そこで、設定部２１０は、設定した補正情報（投影パラメータ）２１２において、入力画像３０１の画素の座標に対応する観察画像の画素の座標を式（９）および式（２１）により算出し、算出された観察画像の画素の座標が式（２０）の条件を満たすか否かを判定する（ステップＳ２２７）。判定の結果、入力画像３０１の画素の座標に対応する観察画像の画素の座標のうち、式（２０）の条件を満たさない画素の座標が存在する場合には（ステップＳ２２７：Ｎｏ）、設定部２１０は補正情報２１２を更新し（ステップＳ２２９）、ステップＳ２２１〜ステップＳ２２７の処理を繰り返す。判定の結果、投影面３５１上の点から算出した入力画像３０１の画素の座標に対応する観察画像の各画素の座標が式（２０）の条件を満たす場合には（ステップＳ２２７：Ｙｅｓ）、設定部２１０は、設定した補正情報（投影パラメータ：大きさおよび位置に関する情報）２１２を補正部２２０に送る（ステップＳ２３１）。
【００５４】
ここで、補正情報２１２の更新方法について、図面を参照しつつ説明する。  
図１４（ａ）〜図１４（ｃ）は、本実施形態の補正情報の更新方法を説明する模式的平面図である。  
図１４（ａ）は、投影範囲の最大限の画像を投影したときの投影画像を表す模式的平面図である。図１４（ｂ）は、投影範囲内で画像の大きさを縮小した投影画像を表す模式的平面図である。図１４（ｃ）は、投影範囲内で画像の大きさを縮小し、縮小した画像の位置を移動させた投影画像を表す模式的平面図である。
【００５５】
具体的には、式（１４）に示した内部パラメータにおいて、焦点距離ｆｘ、ｆｙを変化させることで投影画像３０３の投影角を変化させることができる。そのため、式（２０）の条件を満たさない画素が存在する場合には、式（１４）の焦点距離ｆｘ、ｆｙの値を大きくすることで、投影角を小さくし、図１４（ｂ）に表した補正画像２２２のように投影範囲３５７内における画像の大きさを小さくすることができる。また、式（１０）に示した外部パラメータＲＰ（回転パラメータ）を変化させることで投影方向を変化させることができる。そのため、回転パラメータを変化させることで、図１４（ｃ）に表した補正画像２２２のように投影範囲３５７内における画像の位置を変更することができる。
【００５６】
以上説明したように、設定部２１０は、補正情報２１２を再設定し、再設定された補正情報２１２に基づいて仮想的に投影部１２０から投影したときの投影画像（補正画像２２２）に対応する観察画像の画素を算出し評価する処理を繰り返す（ステップＳ２２１〜Ｓ２２９）。設定部２１０は、投影画像の各画素に対応する観察画像の画素の位置が式（２０）の条件を満たすまで、ステップＳ２２１〜Ｓ２２９の処理を繰り返す。設定部２１０は、最終的に算出した補正情報２１２（大きさに関する情報および位置に関する情報）を補正部２２０に送る（ステップＳ２３１）。なお、本実施形態では、ステップＳ２２７においては、観察画像の各画素の座標が式（２０）を満たすように判定を行う。但し、判定に使用する画素は、各画素でなくともよい。例えば、投影画像の端部の画素に対応する観察画像の画素について、式（２０）の判定を行ってもよい。「投影画像の端部の画素」とは、投影画像の端に位置する画素、若しくは投影画像内で相対的に外側の領域内に含まれる画素をいう。
【００５７】
補正部２２０は、設定部２１０から送られた画像の大きさに関する情報および画像の位置に関する情報を有する補正情報（投影パラメータ）２１２に基づいて、入力画像３０１を補正した補正画像２２２を生成し、補正画像２２２を投影部１２０に送る。投影部１２０は、補正画像２２２を投影面３５１に向けて投影する。
【００５８】
以上、本実施形態によれば、設定部２１０は、投影面３５１を表す３次元座標に対応する入力画像３０１の画素の２次元座標、および投影面３５１を表す３次元座標に対応する観察画像の画素の２次元座標を求める。これにより、非平面の投影面３５１を有する対象物体３５０に画像が投影される場合であっても、投影面３５１を視点位置から撮影することや、補正情報２１２を更新して画像の生成、投影、撮影、および検証を繰り返す必要はない。また、入力画像３０１が観察画像の画面３５５の範囲に含まれるような画像の大きさおよび画像の位置を決定し、入力画像３０１の情報を観察画像の画面３５５の範囲内に表示させることが可能である。
【００５９】
次に、本発明の他の実施の形態について説明する。  
図１５は、実施形態の変形例にかかる画像処理方法を説明するフローチャート図である。本実施形態の全体的な構成は、前述した実施形態の構成と同様である。
【００６０】
本実施形態の設定部２１０は、入力画像３０１の全体の情報が観察画像の画面３５５の範囲に含まれ、かつ入力画像３０１の大きさが最大となるように補正情報２１２を設定する。この点が、図１〜図１４に関して前述した実施形態と異なる。
【００６１】
以下、本実施形態の設定部２１０について説明する。  
設定部２１０は、図１０に関して前述したように、入力画像３０１の補正情報２１２を更新して、入力画像３０１の全体の情報が観察画像の画面３５５の範囲に含まれるような補正情報２１２を算出する（ステップＳ２５１〜Ｓ２５９）。このとき、補正情報２１２の初期値や補正情報２１２の更新方法によっては、視点における観察画像が投影範囲３５７（図１４参照）に対して小さくなりすぎて、投影範囲３５７を最大限まで生かせない可能性がある。
【００６２】
これに対して、本実施形態の設定部２１０は、ステップＳ２５７で式（２０）の条件（第１の条件）を満たした観察画像の画素の座標に対して第２の条件を用いて判定を行う（ステップＳ２６１）。観察画像の各画素の座標が第２の条件を満たす場合には、設定部２１０は、補正情報２１２を更新し（ステップＳ２５９）、ステップＳ２５１〜Ｓ２５７の処理を繰り返す。第２の条件の式は、次の式の通りである。
｜ｘ｜≦Ｔｈ  かつ  ｜ｙ｜≦Ｔｈ    ・・・式（２２）
【００６３】
式（２２）の中の「Ｔｈ」は、観察画像のｘ座標およびｙ座標の閾値であり、１に近く１よりも小さい値である。例えば、閾値Ｔｈを０．９に設定すると、式（２０）および式（２２）の条件に基づいて、各画素が観察画像の画面３５５の範囲に含まれ、観察画像の画素のうちの少なくとも１つの画素のｘ座標またはｙ座標が０．９よりも大きい値となるように補正情報２１２が更新される。式（２２）を満たす場合において、閾値Ｔｈが小さければ小さいほど、入力画像３０１の各画素が観察画像の中央に集中して分布し、観察画像に対して入力画像３０１が小さく表示される。そのため、観察画像の各画素が式（２２）を満たす場合には、設定部２１０は、入力画像３０１がより大きく投影されるように補正情報２１２を更新して、ステップＳ２５１〜Ｓ２５７およびステップＳ２６１の処理を繰り返す。
【００６４】
設定部２１０は、ステップＳ２６３において最終的に算出した補正情報２１２（大きさに関する情報および位置に関する情報）を補正部２２０に送る（ステップＳ２６３）。補正部２２０は、設定部２１０から送られた画像の大きさに関する情報および画像の位置に関する情報を有する補正情報（投影パラメータ）２１２に基づいて、入力画像３０１を補正した補正画像２２２を生成し、補正画像２２２を投影部１２０に送る。投影部１２０は、補正画像２２２を投影面３５１に向けて投影する。
【００６５】
設定部２１０は、入力画像３０１が観察画像の画面３５５の範囲に含まれるような画像の大きさおよび画像の位置を決定し、可能な限り多くの入力画像３０１の情報を観察画像の画面３５５の範囲内に可能な限り大きく表示させることが可能である。
【００６６】
次に、本発明のさらに他の実施の形態について説明する。  
図１６は、実施形態の変形例にかかる画像投影装置を説明する模式的平面図である。
【００６７】
本実施形態の設定部２１０は、入力画像３０１の各画素が観察画像の画面３５５の範囲内に収まり、かつ投影位置から投影面３５１までの奥行の幅が比較的小さい範囲の投影面３５１上に投影されるように、補正情報２１２を設定する。言い換えれば、入力画像３０１の各画素が観察画像の画面３５５の範囲内に収まり、かつ投影位置と投影面３５１上の各点と投影位置との間の複数の距離を算出する。その複数の距離が互いに近い範囲の投影面３５１上に投影されるように、設定部２１０は、補正情報２１２を設定する。この点が、図１〜図１４に関して前述した実施形態と異なる。
【００６８】
設定部２１０は、投影面３５１上の点の３次元座標に基づいて、奥行値（ｚ座標）が互いに近い点の範囲を検出する。具体的には、設定部２１０は、投影面３５１上の全点に対して奥行値（ｚ座標）によってクラスタリングを行う。クラスタリングの手法としては、例えばｋ−ｍｅａｎｓ法や領域統合法などが挙げられる。例に挙げたクラスタリングの手法などを適用することによって、投影面３５１上を形成する点に対して、奥行値（ｚ座標）が互いに近い点でクラスタリングが行われる。設定部２１０は、クラスタリングの結果、もっとも点の数が多かったクラスタを奥行値が互いに近い領域と判断し、そのクラスタの重心となる投影面３５１上の点が投影の中心となるように投影位置を表す補正情報２１２を設定する。クラスタの重心が投影面３５１上ではない場合には、設定部２１０は、重心を投影面３５１上に射影した点と、中心と、が一致するように補正情報２１２を設定する。射影の方向は、投影面３５１に対して垂直方向であってもよいし、投影方向であってもよい。以下、設定部２１０は、図１０に関して前述したステップＳ２２１〜Ｓ２２９の処理を繰り返し、入力画像３０１の情報が観察画像の画面３５５の範囲内に収まるように投影画面の大きさを表す補正情報２１２を更新する。
【００６９】
本実施形態における補正情報２１２の更新では、設定部２１０は、画像の大きさを表すパラメータを更新する。画像の投影位置を表す補正情報２１２は、補正情報２１２の初期値を設定する際に設定される。設定部２１０は、設定した補正情報２１２を補正部２２０に送る。補正部２２０は、補正情報２１２に基づいて補正画像２２２を生成し、補正画像２２２を投影部１２０に送る。投影部１２０は、補正画像２２２を投影する。
【００７０】
設定部２１０は、入力画像３０１が観察画像の画面３５５の範囲に含まれるような画像の大きさおよび画像の位置を決定し、観察画像の画面３５５の範囲であって奥行が近く見やすい範囲に入力画像３０１の情報を表示することができる。
【００７１】
次に、本発明のさらに他の実施の形態について説明する。  
図１７は、実施形態の変形例にかかる画像投影装置を説明する模式的平面図である。本実施形態の全体的な構成は、前述した実施形態の構成と同様である。
【００７２】
本実施形態の設定部２１０は、入力画像３０１の各画素が観察画像の画面３５５範囲内に収まり、かつ奥行が滑らかに変化する平面のような範囲の投影面３５１上に投影されるように、補正情報２１２を設定する。この点が、図１〜図１４に関して前述した実施形態と異なる。
【００７３】
設定部２１０は、投影面３５１上の点の３次元座標に基づいて、各点の法線ベクトル３５９に関する情報を算出する。具体的には、投影面３５１上の各点に対して、投影面３５１上の第１の点と、第１の点の近隣の２点（第２の点および第３の点）と、の３点の３次元座標を次の式（式（２３））に示す平面の方程式に代入し、連立方程式から平面方程式の係数すなわち法線ベクトル３５９を算出する。なお、法線ベクトル３５９の算出方法は、この方法には限定されず、別の算出方法であってもよい。
ａｘ＋ｂｙ＋ｃｚ＝１    ・・・式（２３）
設定部２１０は、投影面３５１の各点の法線ベクトル３５９を算出した後、図１６に関して前述した実施形態と同様に、投影面３５１上の全点に対して法線ベクトル３５９と奥行値（ｚ座標）とによってクラスタリングを行う。
【００７４】
具体的には、設定部２１０は、法線ベクトル３５９が互いに近い点および奥行値が互いに近い点のクラスタリングを行う。
【００７５】
設定部２１０は、クラスタリングの結果、もっとも点の数が多かったクラスタを法線ベクトル３５９ならびに奥行値（ｚ座標）のそれぞれが互いに近い領域、すなわち奥行が滑らかに変化する平面に近い領域と判断し、そのクラスタの重心となる投影面３５１上の点が投影の中心となるように投影位置を表す補正情報２１２を設定する。クラスタの重心が投影面３５１上ではない場合には、設定部２１０は、重心を投影面３５１上に射影した点と、中心と、が一致するように補正情報２１２を設定する。射影の方向は、投影面３５１に対して垂直方向であってもよいし、投影方向であってもよい。以下、設定部２１０は、図１０に関して前述したステップＳ２２１〜Ｓ２２９の処理を繰り返し、入力画像３０１の情報が観察画像の画面３５５の範囲内に収まるように投影画面の大きさを表す補正情報２１２を更新する。
【００７６】
本実施形態における補正情報２１２の更新では、設定部２１０は、画像の大きさを表すパラメータを更新し、画像の位置を表すパラメータを更新しない。これは、図１６に関して前述した通りである。設定部２１０は、設定した補正情報２１２を補正部２２０に送る。補正部２２０は、補正情報２１２に基づいて補正画像２２２を生成し、補正画像２２２を投影部１２０に送る。投影部１２０は、補正画像２２２を投影する。
【００７７】
以上、本実施形態によれば、図１〜図１４に関して前述した実施形態において得られる効果と同様の効果が得られる。また、設定部２１０は、入力画像３０１が観察画像の画面３５５の範囲に含まれるような画像の大きさおよび画像の位置を決定し、観察画像の画面３５５の範囲であって奥行が滑らかに変化する範囲に入力画像３０１の情報を表示することができる。
【００７８】
次に、本発明のさらに他の実施の形態について説明する。  
図１８（ａ）および図１８（ｂ）は、実施形態の変形例にかかる画像投影装置を説明する模式的平面図である。  
本実施形態の全体的な構成は、図１〜図１４に関して前述した実施形態の構成と同様である。ここでは、図１〜図１４に関して前述した実施形態との差分について説明する。
【００７９】
本実施形態の設定部２１０は、視点位置から仮想的に入力画像を投影面３５１に投影し、投影位置から仮想的に投影面３５１を観察したときに、仮想的観察画像の画面３５５の範囲内に仮想的入力画像が全て含まれるような補正情報２１２（画像の大きさに関する情報および位置に関する情報）を設定する。この点が、図１〜図１４に関して前述した実施形態と異なる。
【００８０】
また、補正部２２０は、設定部２１０が設定した補正情報２１２に基づいて、視点位置から投影面３５１に仮想的に入力画像を投影したときに、投影位置から仮想的に観察される観察画像を補正画像２２２として生成し投影部１２０に送る。この点が、図１〜図１４に関して前述した実施形態と異なる。
【００８１】
以下、設定部２１０および補正部２２０について説明する。  
画像が投影面３５１に投影されたときの歪みについて、図１８（ａ）および図１８（ｂ）を参照しつつ説明する。投影面３５１と、画像投影装置１００と、撮影装置３７０と、の互いの位置関係は、例えば図１８（ａ）および図１８（ｂ）に表した通りである。
【００８２】
図１８（ａ）に表したように、画像投影装置１００が投影面３５１に入力画像を投影し、撮影装置３７０が投影面３５１に投影された投影画像を撮影することを考える。このとき、撮影装置３７０が撮影する画像を観察画像とする。また、入力画像の位置ｘＰの画素に対応する観察画像の画素の位置をｘＣ１とする。画像投影装置１００の透視投影行列ＰＰと、撮影装置３７０の透視投影行列ＰＣと、を用いると、画素の位置ｘＰと、画素の位置 ｘＣ１と、の間の関係は、次の式のように表される。
【数１５】
2016019194.tif 000017
【００８３】
一方で、図１８（ｂ）に表したように、撮影装置３７０が仮想的に投影面３５１に入力画像を投影し、画像投影装置１００が仮想的に投影面３５１に投影された投影画像を撮影することを考える。仮想的入力画像の位置ｘＰの画素に対応する仮想的観察画像の画素の位置をｘＣ２とする。画素の位置ｘＰと、画素の位置ｘＣ２と、の間の関係は、次の式のように表される。
【数１６】
2016019194.tif 000018
【００８４】
式（２４）および式（２５）から、画像投影装置１００の位置から投影され撮影装置３７０の位置で撮影される画像の歪みは、撮影装置３７０の位置から仮想的に投影され画像投影装置１００の位置で仮想的に撮影される画像の歪みの逆歪みであることがわかる。従って、次の式（式（２６））に示すように、撮影装置３７０の位置から仮想的に投影され画像投影装置１００の位置で仮想的に撮影される画像を、画像投影装置１００の位置から投影し撮影装置３７０の位置で観察すれば、歪みはキャンセルされる。そのため、元の画像（入力画像）の幾何的な歪みを抑えて表示することが可能である。
【数１７】
2016019194.tif 000019
【００８５】
以上を踏まえて、本実施形態にかかる画像処理装置２００は、視点位置から投影面３５１に入力画像を仮想的に投影したときに、投影位置で仮想的に観察される観察画像を補正画像２２２として算出する。本実施形態にかかる画像投影装置１００は、補正画像２２２を投影部１２０から投影面３５１に投影することで、視点から投影面３５１を観察したときの歪みを抑えた画像表示を行う。
【００８６】
ここで、図８を参照しつつ、本実施形態における設定部２１０の動作を説明する。  
本実施形態の設定部２１０は、入力画像が視点位置から投影面３５１に仮想的に投影されたときに、投影位置から仮想的に投影面３５１を観察して得られる仮想的観察画像の画素であって仮想的入力画像の画素に対応する画素を算出する。設定部２１０は、仮想的入力画像の全範囲が仮想的観察画像に収まるように、図１０に関して前述したステップＳ２２１〜Ｓ２３１の処理を行う。
【００８７】
なお、入力画像が視点位置から仮想的に投影される場合には、設定部２１０は、撮影装置３７０の透視投影行列ＰＣに基づいて投影面３５１上の点を表す３次元座標から仮想的入力画像の２次元座標を算出する。投影面３５１に仮想的に投影された投影画像が投影位置から仮想的に観察される場合には、設定部２１０は、画像投影装置１００の透視投影行列ＰＰに基づいて投影面３５１上の点を表す３次元座標から仮想的観察画像の２次元座標を算出する。
【００８８】
ここで、仮想的入力画像の画素の座標をｍｐ’＝（ｘｐ’，ｙｐ’）と表し、座標ｍｐ’＝（ｘｐ’，ｙｐ’）の画素が投影面３５１に仮想的に投影される位置の３次元座標をＭ＝（Ｘｓ，Ｙｓ，Ｚｓ）と表す。仮想的入力画像の画素の座標ｍｐ’＝（ｘｐ’，ｙｐ’）と、投影面３５１上の３次元座標Ｍ＝（Ｘｓ，Ｙｓ，Ｚｓ）と、の間の関係は、次の式のように表される。
【数１８】
2016019194.tif 000020
【００８９】
式（２７）中のＰＣは、座標（ＸＣ，ＹＣ，ＺＣ）の視点の位置から投影面３５１を観察する際の透視投影行列である。つまり、設定部２１０は、投影面３５１上の点の３次元座標に対応する仮想的入力画像の画素の座標を算出する処理において、視点の位置から投影面３５１を観察する際の透視投影行列に基づいて透視投影変換を実行する。
【００９０】
一方で、投影位置から投影面３５１を仮想的に観察したときの仮想的観察画像の画素の座標をｍｃ’＝（ｘｃ’，ｙｃ’）と表すと、仮想的観察画像の画素の座標ｍｃ’＝（ｘｃ’，ｙｃ’）と、投影面３５１上の３次元座標Ｍ＝（Ｘｓ，Ｙｓ，Ｚｓ）と、の間の関係は、次の式のように表される。
【数１９】
2016019194.tif 000021
【００９１】
式（２８）中のＰＰは、投影部１２０が投影面３５１に画像を投影する際の透視投影行列を表す。つまり、設定部２１０は、投影面３５１上の点の３次元座標に対応する仮想的観察画像の画素の座標を算出する処理において、投影部１２０が投影面３５１に画像を投影する際の透視投影行列に基づいて透視投影変換を実行する。
【００９２】
式（２７）および式（２８）により、仮想的入力画像の画素の座標ｍｐ’＝（ｘｐ’，ｙｐ’）と、仮想的観察画像の画素の座標ｍｃ’＝（ｘｃ’，ｙｃ’）と、の間の対応関係が求まる。設定部２１０は、図１０に関して前述したステップＳ２２１〜Ｓ２２９の処理を繰り返すことで、仮想的入力画像の情報が仮想的観察画像の画面３５５の範囲内に含まれるような仮想的補正情報（仮想投影パラメータ）ＰＣ’を算出することができる。設定部２１０は、仮想的補正情報ＰＣ’として求めた画像の大きさに関する情報および画像の位置に関する情報を補正部２２０に送る。
【００９３】
補正部２２０は、設定部２１０が設定した仮想的補正情報ＰＣ’に基づいて、視点位置から投影面３５１に入力画像を仮想的に投影したときに投影位置において仮想的に観察される仮想的観察画像を生成する。設定部２１０は、仮想的入力画像の座標と仮想的観察画像の座標との間の比較により仮想的補正情報ＰＣ’の更新を行う。一方で、補正部２２０は、設定部２１０が設定した仮想的補正情報ＰＣ’に基づいて、算出される仮想的観察画像の座標から、仮想的観察画像を補正画像２２２として生成する。具体的には、補正部２２０は、射影テクスチャマッピング処理を行うことで、補正画像２２２を生成することが可能である。補正部２２０は、生成した補正画像２２２を投影部１２０に送る。投影部１２０は、補正画像２２２を投影する。
【００９４】
以上、本実施形態によれば、補正部２２０は、視点位置を仮想的投影位置として、投影面３５１に入力画像を仮想的に投影したときに投影位置を仮想視点として観察される仮想的観察画像を補正画像２２２として生成する。投影部１２０が補正画像２２２を投影位置から投影面３５１に投影することで、投影面３５１が非平面な形状を含む場合でも、視点位置から画像を観察したときの幾何的な歪みを抑え、入力画像の情報が含まれた画像を観察することができる。
【００９５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９６】
１００…画像投影装置、  １１０、１１０ａ、１１０ｂ、１１０ｃ…取得部、  １１１ａ…視点位置入力部、  １１１ｂ…距離センサ、  １１１ｃ…可視カメラ、  １１２…形状情報、  １１３…投影位置情報、  １１４…視点情報、  １１６…距離センサ、  １１６ａ…投光部、  １１６ｂ…受光部、  １１６ｃ、１１６ｄ…中心、  １１６ｅ…底面、  １１７…算出部、  １１８…視点取得部、  １１９…距離情報、  １２０…投影部、  １２１…レンズ、  １２１ａ…光軸、  １３１…表示素子、  １３１ａ…中心、  １３３…対象物、  １３３ａ…端部、  ２００…画像処理装置、  ２１０…設定部、  ２１２…補正情報、  ２２０…補正部、  ２２２…補正画像、  ３０１…入力画像、  ３０３…投影画像、  ３１１…第１の画素、  ３１２…第２の画素、  ３５０…対象物体、  ３５１…投影面、  ３５３…投影像、  ３５３ａ…端部、  ３５５…画面、  ３５７…投影範囲、  ３７０…撮影装置、  ３５９…法線ベクトル
【図１】
2016019194.tif 000022
【図２】
2016019194.tif 000023
【図３】
2016019194.tif 000024
【図４】
2016019194.tif 000025
【図５】
2016019194.tif 000026
【図６】
2016019194.tif 000027
【図７】
2016019194.tif 000028
【図８】
2016019194.tif 000029
【図１０】
2016019194.tif 000030
【図１２】
2016019194.tif 000031
【図１３】
2016019194.tif 000032
【図１５】
2016019194.tif 000033
【図１６】
2016019194.tif 000034
【図１７】
2016019194.tif 000035
【図１８】
2016019194.tif 000036
【図９】
2016019194.tif 000037
【図１１】
2016019194.tif 000038
【図１４】
2016019194.tif 000039