(57)【要約】【課題】  １つのセンサーで投写画像の歪みを補正することが可能な画像処理システム等を提供すること。【解決手段】  矩形のキャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成部１７０と、画像情報に基づき、投写対象物へ向けキャリブレーション画像を投写する画像投写部１９０と、投写されたキャリブレーション画像を含む領域を撮像して撮像情報を生成する撮像部１８０と、画像投写部１９０から投写対象物までの距離が、キャリブレーション画像全体が撮像部１８０の撮像範囲に入る最短距離にある状態における撮像情報に基づき、最短投写領域情報を生成するとともに、実際の使用状態における撮像情報に基づき、現投写領域情報を生成する投写領域情報生成部１５０と、最短投写領域情報と、現投写領域情報とに基づき、画像歪み補正用情報を生成する補正用情報生成部１２０とをプロジェクタ２０に設ける。【選択図】        図２
2005033703.tif 000002
【特許請求の範囲】
【請求項１】
矩形のキャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
前記画像情報に基づき、投写対象物へ向けキャリブレーション画像を投写する投写手段と、
投写された前記キャリブレーション画像を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像手段と、
前記キャリブレーション画像全体が前記撮像手段の撮像範囲に入る状態であって、かつ、前記投写手段から前記投写対象物までの距離が実際の使用状態における距離とは異なる位置にある状態における撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す仮投写領域情報を生成するとともに、実際の使用状態における撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す現投写領域情報を生成する投写領域情報生成手段と、
画像歪み補正用情報を生成する補正用情報生成手段と、
前記画像歪み補正用情報に基づき、画像の歪みを補正する歪み補正手段と、
を含み、
前記補正用情報生成手段は、
前記仮投写領域情報に含まれる４隅の座標と、前記現投写領域情報に含まれる４隅の座標とのそれぞれの座標間距離を導出し、
当該座標間距離と投写距離とが関連づけられた投写距離データと、前記座標間距離とに基づき、前記投写手段から前記キャリブレーション画像の４隅までの前記投写手段の光軸上の投写距離を導出し、
当該投写距離と前記投写手段の半画角とに基づき、前記投写手段が画像処理するための前記キャリブレーション画像の４隅のうち少なくとも３つの３次元座標を導出し、
当該３次元座標に基づき、前記投写手段の光軸と前記投写対象物との成す角度を導出し、
当該角度に基づき、前記画像歪み補正用情報を生成することを特徴とする画像処理システム。
【請求項２】
請求項１において、
前記補正用情報生成手段は、
前記３次元座標に基づき、前記投写対象物の法線ベクトルを導出し、
当該法線ベクトルと、前記投写手段の光軸の方向ベクトルとに基づき、前記投写手段の光軸と前記投写対象物との成す角度を導出することを特徴とする画像処理システム。
【請求項３】
矩形のキャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
前記画像情報に基づき、投写対象物へ向けキャリブレーション画像を投写する投写手段と、
投写された前記キャリブレーション画像を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像手段と、
前記キャリブレーション画像全体が前記撮像手段の撮像範囲に入る状態であって、かつ、前記投写手段から前記投写対象物までの距離が実際の使用状態における距離とは異なる位置にある状態における撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す仮投写領域情報を生成するとともに、実際の使用状態における撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す現投写領域情報を生成する投写領域情報生成手段と、
画像歪み補正用情報を生成する補正用情報生成手段と、
前記画像歪み補正用情報に基づき、画像の歪みを補正する歪み補正手段と、
を含み、
前記補正用情報生成手段は、
前記仮投写領域情報に含まれる４隅の座標と、前記現投写領域情報に含まれる４隅の座標とのそれぞれの座標間距離を導出し、
当該座標間距離と投写距離とが関連づけられた投写距離データと、前記座標間距離とに基づき、前記投写手段から前記キャリブレーション画像の４隅までの前記投写手段の光軸上の投写距離を導出し、
当該投写距離と前記投写手段の半画角とに基づき、前記投写手段が画像処理するための前記キャリブレーション画像の４隅のうち少なくとも３つの３次元座標を導出し、
当該３次元座標に基づき、前記投写手段の光軸と前記投写対象物との成す角度を導出し、
当該角度に基づき、前記画像歪み補正用情報を生成することを特徴とするプロジェクタ。
【請求項４】
コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
矩形のキャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
前記画像情報に基づき、投写対象物へ向けキャリブレーション画像を投写する投写手段と、
投写された前記キャリブレーション画像を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像手段と、
前記キャリブレーション画像全体が前記撮像手段の撮像範囲に入る状態であって、かつ、前記投写手段から前記投写対象物までの距離が実際の使用状態における距離とは異なる位置にある状態における撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す仮投写領域情報を生成するとともに、実際の使用状態における撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す現投写領域情報を生成する投写領域情報生成手段と、
画像歪み補正用情報を生成する補正用情報生成手段と、
前記画像歪み補正用情報に基づき、画像の歪みを補正する歪み補正手段として機能させ、
前記補正用情報生成手段は、
前記仮投写領域情報に含まれる４隅の座標と、前記現投写領域情報に含まれる４隅の座標とのそれぞれの座標間距離を導出し、
当該座標間距離と投写距離とが関連づけられた投写距離データと、前記座標間距離とに基づき、前記投写手段から前記キャリブレーション画像の４隅までの前記投写手段の光軸上の投写距離を導出し、
当該投写距離と前記投写手段の半画角とに基づき、前記投写手段が画像処理するための前記キャリブレーション画像の４隅のうち少なくとも３つの３次元座標を導出し、
当該３次元座標に基づき、前記投写手段の光軸と前記投写対象物との成す角度を導出し、
当該角度に基づき、前記画像歪み補正用情報を生成することを特徴とするプログラム。
【請求項５】
コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
コンピュータを、
矩形のキャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
前記画像情報に基づき、投写対象物へ向けキャリブレーション画像を投写する投写手段と、
投写された前記キャリブレーション画像を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像手段と、
前記キャリブレーション画像全体が前記撮像手段の撮像範囲に入る状態であって、かつ、前記投写手段から前記投写対象物までの距離が実際の使用状態における距離とは異なる位置にある状態における撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す仮投写領域情報を生成するとともに、実際の使用状態における撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す現投写領域情報を生成する投写領域情報生成手段と、
画像歪み補正用情報を生成する補正用情報生成手段と、
前記画像歪み補正用情報に基づき、画像の歪みを補正する歪み補正手段と、
を含み、
前記補正用情報生成手段は、
前記仮投写領域情報に含まれる４隅の座標と、前記現投写領域情報に含まれる４隅の座標とのそれぞれの座標間距離を導出し、
当該座標間距離と投写距離とが関連づけられた投写距離データと、前記座標間距離とに基づき、前記投写手段から前記キャリブレーション画像の４隅までの前記投写手段の光軸上の投写距離を導出し、
当該投写距離と前記投写手段の半画角とに基づき、前記投写手段が画像処理するための前記キャリブレーション画像の４隅のうち少なくとも３つの３次元座標を導出し、
当該３次元座標に基づき、前記投写手段の光軸と前記投写対象物との成す角度を導出し、
当該角度に基づき、前記画像歪み補正用情報を生成することを特徴とする情報記憶媒体。
【請求項６】
画像投写装置と投写対象物との位置関係が、矩形のキャリブレーション画像全体が撮像範囲に入る第１の位置で、前記画像投写装置が、前記キャリブレーション画像を前記投写対象物に投写し、投写した前記キャリブレーション画像を含む領域を、撮像面を介して撮像し、当該撮像面における前記キャリブレーション画像の４隅の座標を示す第１の投写領域情報を生成し、
画像投写装置と投写対象物との位置関係が、矩形のキャリブレーション画像全体が撮像範囲に入り、かつ、前記第１の位置とは異なる第２の位置で、前記画像投写装置が、前記キャリブレーション画像を前記投写対象物に投写し、投写した前記キャリブレーション画像を含む領域を、撮像面を介して撮像し、当該撮像面における前記キャリブレーション画像の４隅の座標を示す第２の投写領域情報を生成し、
前記第１の投写領域情報に含まれる４隅の座標と、前記第２の投写領域情報に含まれる４隅の座標とのそれぞれの座標間距離を導出し、
当該座標間距離と投写距離とが関連づけられた投写距離データと、前記座標間距離とに基づき、前記画像投写装置から前記投写対象物上の前記キャリブレーション画像の４隅までの前記画像投写装置の投写光の光軸上の投写距離を導出し、
当該投写距離と前記投写光の半画角とに基づき、前記画像投写装置が画像処理するための前記キャリブレーション画像の４隅のうち少なくとも３つの３次元座標を導出し、
当該３次元座標に基づき、前記投写光の光軸と前記投写対象物との成す角度を導出し、
当該角度に基づき、画像歪み補正用情報を生成し、
当該画像歪み補正用情報に基づき、画像の歪みを補正することを特徴とする画像処理方法。
【請求項７】
請求項６において、
前記投写光の光軸と前記投写対象物との成す角度を導出する際に、
前記３次元座標に基づき、前記投写対象物の法線ベクトルを導出し、
当該法線ベクトルと、前記投写光の光軸の方向ベクトルとに基づき、前記投写光の光軸と前記投写対象物との成す角度を導出することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の歪み補正が可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。
【背景技術】
【０００２】
プロジェクタ等の画像投写装置からの投写光の光軸とスクリーン等の投写対象物との相対的な角度によって画像が歪んでしまい、縦方向や横方向にいわゆる台形歪みが発生してしまう場合がある。
【０００３】
このため、画像投写装置は、画像を投写する場合には、画像の歪みをなくした状態で画像を投写する必要がある。
【０００４】
しかし、一般的な画像の歪み補正機能付き画像投写装置は、傾きセンサーを内蔵して画像の縦方向の歪みのみを補正し、画像の横方向の歪みは補正できていない。
【０００５】
また、画像の横方向の歪みを補正する場合、ユーザーがマウス等を用いてスクリーンの４隅の点を指示することにより、画像投写装置は、当該指示情報に基づいて半自動的に画像の歪みを補正している。また、ユーザーにとっては、マウス等を用いてスクリーンの４隅の点を指示することは煩雑である。
【０００６】
このような課題を解決するため、例えば、特許文献１では、パターン画像を表示した際の投影面の画像を、カメラを介して撮影した画像に基づいてプロジェクタ画像座標と、カメラ画像座標との対応づけを行い、三角測量の手法によってパターン画像が投影された位置の三次元座標を求めることによって投影面の形状を獲得する投影面獲得手段と、投影面の形状に対応して入力原画像に対する傾き補正と拡大縮小補正とを行う映像補正手段を有するプロジェクタ装置が開示されている。
【０００７】
また、特許文献１の手法では、特許文献１の明細書の段落番号００１７に記載されているように、投影面獲得手段として、既知の三次元形状測定装置を用いること、投影面獲得手段が特許文献１の発明の要部でないことが記載されている。
【特許文献１】特開２００１−６１１２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、既知の三次元形状測定装置は、例えば、三角測量を行う方式の場合、２台以上のカメラを用いる必要があり、構造が複雑となる上、高コストの装置となる。
【０００９】
その上、特許文献１の手法のように、スクリーン等の投写対象物の形状を把握して画像処理する手法の場合、投写対象物が壁の場合には適用できず、投写対象物が限定されたものとなってしまう。
【００１０】
本発明は、上記の課題に鑑みなされたものであり、その目的は、１つのセンサーで投写基準点から投写対象物までの距離と角度を測定することにより、投写画像の歪みを補正することが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明に係る画像処理システムおよびプロジェクタは、矩形のキャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
前記画像情報に基づき、投写対象物へ向けキャリブレーション画像を投写する投写手段と、
投写された前記キャリブレーション画像を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像手段と、
前記キャリブレーション画像全体が前記撮像手段の撮像範囲に入る状態であって、かつ、前記投写手段から前記投写対象物までの距離が実際の使用状態における距離とは異なる位置にある状態における撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す仮投写領域情報を生成するとともに、実際の使用状態における撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す現投写領域情報を生成する投写領域情報生成手段と、
画像歪み補正用情報を生成する補正用情報生成手段と、
前記画像歪み補正用情報に基づき、画像の歪みを補正する歪み補正手段と、
を含み、
前記補正用情報生成手段は、
前記仮投写領域情報に含まれる４隅の座標と、前記現投写領域情報に含まれる４隅の座標とのそれぞれの座標間距離を導出し、
当該座標間距離と投写距離とが関連づけられた投写距離データと、前記座標間距離とに基づき、前記投写手段から前記キャリブレーション画像の４隅までの前記投写手段の光軸上の投写距離を導出し、
当該投写距離と前記投写手段の半画角とに基づき、前記投写手段が画像処理するための前記キャリブレーション画像の４隅のうち少なくとも３つの３次元座標を導出し、
当該３次元座標に基づき、前記投写手段の光軸と前記投写対象物との成す角度を導出し、
当該角度に基づき、前記画像歪み補正用情報を生成することを特徴とする。
【００１２】
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
矩形のキャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
前記画像情報に基づき、投写対象物へ向けキャリブレーション画像を投写する投写手段と、
投写された前記キャリブレーション画像を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像手段と、
前記キャリブレーション画像全体が前記撮像手段の撮像範囲に入る状態であって、かつ、前記投写手段から前記投写対象物までの距離が実際の使用状態における距離とは異なる位置にある状態における撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す仮投写領域情報を生成するとともに、実際の使用状態における撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す現投写領域情報を生成する投写領域情報生成手段と、
画像歪み補正用情報を生成する補正用情報生成手段と、
前記画像歪み補正用情報に基づき、画像の歪みを補正する歪み補正手段として機能させ、
前記補正用情報生成手段は、
前記仮投写領域情報に含まれる４隅の座標と、前記現投写領域情報に含まれる４隅の座標とのそれぞれの座標間距離を導出し、
当該座標間距離と投写距離とが関連づけられた投写距離データと、前記座標間距離とに基づき、前記投写手段から前記キャリブレーション画像の４隅までの前記投写手段の光軸上の投写距離を導出し、
当該投写距離と前記投写手段の半画角とに基づき、前記投写手段が画像処理するための前記キャリブレーション画像の４隅のうち少なくとも３つの３次元座標を導出し、
当該３次元座標に基づき、前記投写手段の光軸と前記投写対象物との成す角度を導出し、
当該角度に基づき、前記画像歪み補正用情報を生成することを特徴とする。
【００１３】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
コンピュータを、
矩形のキャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
前記画像情報に基づき、投写対象物へ向けキャリブレーション画像を投写する投写手段と、
投写された前記キャリブレーション画像を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像手段と、
前記キャリブレーション画像全体が前記撮像手段の撮像範囲に入る状態であって、かつ、前記投写手段から前記投写対象物までの距離が実際の使用状態における距離とは異なる位置にある状態における撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す仮投写領域情報を生成するとともに、実際の使用状態における撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す現投写領域情報を生成する投写領域情報生成手段と、
画像歪み補正用情報を生成する補正用情報生成手段と、
前記画像歪み補正用情報に基づき、画像の歪みを補正する歪み補正手段として機能させるためのプログラムを記憶し、
前記補正用情報生成手段は、
前記仮投写領域情報に含まれる４隅の座標と、前記現投写領域情報に含まれる４隅の座標とのそれぞれの座標間距離を導出し、
当該座標間距離と投写距離とが関連づけられた投写距離データと、前記座標間距離とに基づき、前記投写手段から前記キャリブレーション画像の４隅までの前記投写手段の光軸上の投写距離を導出し、
当該投写距離と前記投写手段の半画角とに基づき、前記投写手段が画像処理するための前記キャリブレーション画像の４隅のうち少なくとも３つの３次元座標を導出し、
当該３次元座標に基づき、前記投写手段の光軸と前記投写対象物との成す角度を導出し、
当該角度に基づき、前記画像歪み補正用情報を生成することを特徴とする。
【００１４】
また、本発明に係る画像処理方法は、画像投写装置と投写対象物との位置関係が、矩形のキャリブレーション画像全体が撮像範囲に入る第１の位置で、前記画像投写装置が、前記キャリブレーション画像を前記投写対象物に投写し、投写した前記キャリブレーション画像を含む領域を、撮像面を介して撮像し、当該撮像面における前記キャリブレーション画像の４隅の座標を示す第１の投写領域情報を生成し、
画像投写装置と投写対象物との位置関係が、矩形のキャリブレーション画像全体が撮像範囲に入り、かつ、前記第１の位置とは異なる第２の位置で、前記画像投写装置が、前記キャリブレーション画像を前記投写対象物に投写し、投写した前記キャリブレーション画像を含む領域を、撮像面を介して撮像し、当該撮像面における前記キャリブレーション画像の４隅の座標を示す第２の投写領域情報を生成し、
前記第１の投写領域情報に含まれる４隅の座標と、前記第２の投写領域情報に含まれる４隅の座標とのそれぞれの座標間距離を導出し、
当該座標間距離と投写距離とが関連づけられた投写距離データと、前記座標間距離とに基づき、前記画像投写装置から前記投写対象物上の前記キャリブレーション画像の４隅までの前記画像投写装置の投写光の光軸上の投写距離を導出し、
当該投写距離と前記投写光の半画角とに基づき、前記画像投写装置が画像処理するための前記キャリブレーション画像の４隅のうち少なくとも３つの３次元座標を導出し、
当該３次元座標に基づき、前記投写光の光軸と前記投写対象物との成す角度を導出し、
当該角度に基づき、画像歪み補正用情報を生成し、
当該画像歪み補正用情報に基づき、画像の歪みを補正することを特徴とする。
【００１５】
本発明によれば、画像処理システム等は、１つのセンサーで投写基準点から投写対象物までの距離と角度を測定することにより、投写画像の歪みを補正することが可能となる。
【００１６】
また、本発明によれば、画像処理システム等は、スクリーン等の枠を用いないで投写画像の歪みを補正することが可能であるため、壁等の種々の投写対象物に適用することができ、汎用性を向上させることができる。
【００１７】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記補正用情報生成手段は、
前記３次元座標に基づき、前記投写対象物の法線ベクトルを導出し、
当該法線ベクトルと、前記投写手段の光軸の方向ベクトルとに基づき、前記投写手段の光軸と前記投写対象物との成す角度を導出してもよい。
【００１８】
また、前記画像処理方法において、前記投写手段の光軸と前記投写対象物との成す角度を導出する際に、
前記３次元座標に基づき、前記投写対象物の法線ベクトルを導出し、
当該法線ベクトルと、前記投写手段の光軸の方向ベクトルとに基づき、前記投写手段の光軸と前記投写対象物との成す角度を導出してもよい。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を、画像の歪み補正を行うプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００２０】
（システム全体の説明）
図１は、画像投写時の状態を示す模式図である。
【００２１】
画像処理システムの一種であるプロジェクタ２０は、投写対象物の一種であるスクリーン１０へ向け画像を投写する。これにより、スクリーン１０に投写画像１２が表示される。
【００２２】
また、本実施例では、プロジェクタ２０は、スクリーン１０に正対していない状態となっている。このため、投写画像１２の歪み（例えば、いわゆる台形歪み、キーストン歪み等）が発生している。
【００２３】
また、本実施例では、撮像手段の一部であるセンサー６０は、投写画像１２を含む領域を撮像する。そして、プロジェクタ２０は、センサー６０による撮像情報に基づき、プロジェクタ２０の投写光の光軸とスクリーン１０との成す角度を導出するとともに、プロジェクタ２０の投写基準位置から投写画像１２の４隅までの投写距離を導出する。
【００２４】
さらに、プロジェクタ２０は、当該投写距離に基づいて投写画像１２の歪みを把握し、投写画像１２の歪みを補正するために入力画像信号を補正する。
【００２５】
（機能ブロックの説明）
次に、このような機能を実装するためのプロジェクタ２０の機能ブロックについて説明する。
【００２６】
図２は、本実施形態の一例に係るプロジェクタ２０の機能ブロック図である。
【００２７】
プロジェクタ２０は、画像信号を入力する信号入力部１１０と、画像の歪みが補正されるように、入力された画像信号を補正する歪み補正部１３０と、補正された画像信号を出力する信号出力部１６０と、画像信号に基づき、画像を投写する投写手段の一種である画像投写部１９０と、キャリブレーション画像情報を生成するキャリブレーション画像情報生成部１７０とを含んで構成されている。
【００２８】
また、プロジェクタ２０は、投写画像１２を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像部１８０と、撮像情報に基づき、センサー６０の撮像面における投写画像１２の領域を抽出する投写領域情報生成部１５０と、歪み補正用情報を生成する補正用情報生成部１２０とを含んで構成されている。なお、撮像部１８０は、センサー６０を含む。
【００２９】
また、画像投写部１９０は、空間光変調器１９２と、空間光変調器１９２を駆動する駆動部１９４と、光源１９６と、レンズ１９８とを含んで構成されている。
【００３０】
駆動部１９４は、信号出力部１６０からの画像信号に基づき、空間光変調器１９２を駆動する。そして、画像投写部１９０は、光源１９６からの光を、空間光変調器１９２およびレンズ１９８を介して投写する。
【００３１】
また、上述したプロジェクタ２０の各部を実装するためのハードウェアとしては、例えば、以下のものを適用できる。
【００３２】
図３は、本実施形態の一例に係るプロジェクタ２０のハードウェアブロック図である。
【００３３】
例えば、信号入力部１１０としては、例えばＡ／Ｄコンバーター９３０等、歪み補正部１３０としては、例えば画像処理回路９７０、ＲＡＭ９５０、ＣＰＵ９１０等、信号出力部１６０としては、例えばＤ／Ａコンバーター９４０等、補正用情報生成部１２０、投写領域情報生成部１５０およびキャリブレーション画像情報生成部１７０としては、例えば画像処理回路９７０、ＲＡＭ９５０等、撮像部１８０としては、例えばＣＣＤセンサー、ＣＭＯＳセンサー、ＲＧＢセンサー等、空間光変調器１９２としては、例えば液晶パネル９２０、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実装できる。
【００３４】
なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。
【００３５】
また、これらの各部は、その一部または全部を、回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。
【００３６】
さらに、投写領域情報生成部１５０等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って投写領域情報生成部１５０等の機能をコンピュータに実装させてもよい。
【００３７】
このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
【００３８】
また、情報記憶媒体９００に代えて、上述した各機能を実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実装することも可能である。
【００３９】
（画像処理の流れの説明）
次に、これらの各部を用いた画像処理の流れについて説明する。
【００４０】
図４は、本実施形態の一例に係る画像処理の流れを示すフローチャートである。
【００４１】
プロジェクタ２０の製造業者は、プロジェクタ２０の出荷前に、画像投写部１９０の投写基準位置から投写画像１２の４隅までの投写光軸上の距離と、センサー６０の撮像面における座標間距離との関係を求め、投写距離データとして補正用情報生成部１２０に記憶しておく。
【００４２】
また、製造業者は、プロジェクタ２０の出荷前に、プロジェクタ２０とスクリーン１０とが正対している状態で、センサー６０の撮像範囲にキャリブレーション画像（投写画像１２）全体が入る最短距離の位置（第１の位置、仮位置）にスクリーン１０を設置する。プロジェクタ２０は、スクリーン１０へ向けキャリブレーション画像を投写し、投写画像１２の４隅の撮像面における座標を導出して記憶する（ステップＳ１）。
【００４３】
より具体的には、キャリブレーション画像情報生成部１７０は、全白（画像全体が白）の単色のキャリブレーション画像用の画像情報を生成し、信号出力部１６０は、当該画像情報のデジタル信号を画像投写部１９０に出力する。
【００４４】
画像投写部１９０は、当該デジタル信号に基づき、スクリーン１０へ向け全白のキャリブレーション画像を投写する。これにより、スクリーン１０には、全白のキャリブレーション画像が表示される。
【００４５】
撮像部１８０は、投写画像１２を含む領域を、撮像面を介して撮像して撮像情報を生成する。ここで、撮像情報は、例えば、輝度値、ＸＹＺ値等の輝度値を生成可能な画像信号値をセンサー６０の画素ごとに示す情報である。なお、ここで、ＸＹＺ値とは、国際照明委員会（ＣＩＥ）によって定められた国際規格で、機器独立色の一種の画像信号値である。
【００４６】
ここで、撮像面と投写状態について説明する。
【００４７】
図５は、本実施形態の一例に係る撮像面１７を示す模式図である。また、図６は、本実施形態の一例に係る投写状態を平面的に示す模式図である。また、図７は、本実施形態の一例に係る投写状態を側面的に示す模式図である。
【００４８】
図５に示す撮像面１７は、センサー６０が画像を捉える面であり、センサー６０の撮像情報を矩形で模式的に示す領域でもある。撮像面１７としては、具体的には、例えば、ＣＣＤセンサーの撮像面等が該当する。
【００４９】
また、センサー６０の撮像範囲にキャリブレーション画像全体が入る最短距離にスクリーン１０を設置した場合の投写画像１４は、撮像面１７においては最短投写領域１５であり、４つの頂点Ａ０〜Ｄ０で囲まれる領域である。
【００５０】
また、実際の使用環境における投写画像１２は、撮像面１７においては現投写領域１３であり、４つの頂点Ａ〜Ｄで囲まれる領域である。
【００５１】
投写領域情報生成部１５０は、撮像部１８０からの投写画像１４の撮像情報に基づき、最短投写領域１５の４つの頂点Ａ０〜Ｄ０の撮像面１７における座標を示す最短投写領域情報（第１の投写領域情報、仮投写領域情報）を生成する。
【００５２】
また、製造業者は、最短距離での投写から最長距離での投写に至るまでプロジェクタ２０の位置をスクリーン１０から離しながらセンサー６０による撮像を行う。なお、ここで、最長距離とは、プロジェクタ２０とスクリーン１０とが正対している状態において、メーカーとして所定の品質を保証する最も長い投写光軸上の距離のことである。
【００５３】
また、補正用情報生成部１２０は、最短距離での投写から最長距離での投写に至るまでの投写領域情報と、各時点における投写距離を把握する。そして、補正用情報生成部１２０は、それぞれの投写距離において、投写画像１２の撮像面１７における４隅の座標が、最短距離投写時の投写画像１２の４隅の座標と比べてどれぐらい（例えば、何ドット等）ずれているかを示す座標間距離を演算する。
【００５４】
さらに、補正用情報生成部１２０は、当該座標間距離と、投写距離とを関連づけた２次元ルックアップテーブルを投写距離データとして生成して記憶する。
【００５５】
以上の手順により、製造業者は、最短距離での投写から最長距離での投写に至るまでの座標間距離と、投写距離とが関連づけられた投写距離データと、最短投写領域情報とが記憶された状態でプロジェクタ２０を出荷することができる。
【００５６】
そして、プロジェクタ２０のユーザーが実際の使用環境で使用する際に、投写領域情報生成部１５０は、実際の使用環境における撮像部１８０からの投写画像１２の撮像情報に基づき、現投写領域１３の４つの頂点Ａ〜Ｄの撮像面１７における座標を示す現投写領域情報（第２の投写領域情報）を生成する（ステップＳ２）。
【００５７】
補正用情報生成部１２０は、最短投写領域情報および現投写領域情報に基づき、現投写領域１３と最短投写領域１５の対応する頂点間の撮像面１７における座標間距離を導出する（ステップＳ３）。
【００５８】
そして、補正用情報生成部１２０は、当該座標間距離と投写距離データに基づいて投写距離を導出する（ステップＳ４）。
【００５９】
図８は、本実施形態の一例に係る投写距離を示す模式図である。また、図９は、本実施形態の一例に係る投写距離データのデータ構造を示す模式図である。
【００６０】
レンズ１９８を含む投写レンズ部５０の投写光の発射位置（投写基準位置）を原点とし、レンズ平面を２次元のＸＹ平面、投写光の光軸を３次元目のＺ軸と仮定する。この場合、補正用情報生成部１２０は、投写画像１２の各頂点ＡＢＣＤからＺ軸までの最短点と原点とのＺ軸上の投写距離（Ａｄ、Ｂｄ、Ｃｄ、Ｄｄ）を導出する。
【００６１】
より具体的には、補正用情報生成部１２０は、導出した座標間距離と、座標間距離と投写距離との関係を示す投写距離データとに基づき、投写画像１２の４隅までの投写距離（Ａｄ、Ｂｄ、Ｃｄ、Ｄｄ）を導出する。例えば、図９に示す投写距離データにおいて、座標間距離が０ドット（ｄｏｔ）の場合、投写距離は１．５ｍである。なお、投写距離データは、４つの頂点共通のデータであってもよいし、４つの頂点それぞれ個別のデータであってもよい。
【００６２】
また、図６および図７に示すように、投写レンズ部５０の半画角が、右方向はθＲ、左方向はθＬ、上方向はθＵ、下方向はθＤであるものと仮定する。
【００６３】
この場合、投写画像１２の４隅のプロジェクタ座標A'B'C'D'（空間光変調器１９２の処理用の座標）は、A'(A'x,A'y,A'z)=(Ad*tan(θL),Ad*tan(θD),Ad)、B'(B'x,B'y,B'z)=(Bd*tan(θL),Bd*tan(θU),Bd)、C'(C'x,C'y,C'z)=(Cd*tan(θR),Cd*tan(θU),Cd)、D'(D'x,D'y,D'z)=(Dd*tan(θR),Dd*tan(θD),Dd)となる。
【００６４】
補正用情報生成部１２０は、これらのうち３点を用いて投写画像１２が表示されたスクリーン１０の法線ベクトルＮ(Nx,Ny,Nz)を演算する。例えば、A'C'D'の３点を用いる場合、Nx=(D'y-C'y)*(A'z-D'z)-(D'z-C'z)*(A'y-D'y)、Ny=(D'z-C'z)*(A'x-D'x)-(D'x-C'x)*(A'z-D'z)、Nz=(D'x-C'x)*(A'y-D'y)-(D'y-C'y)*(A'x-D'x)となる。
【００６５】
また、補正用情報生成部１２０は、法線ベクトルＮと投写レンズ部５０の光軸の方向ベクトル（０，０，１）の成す角度（水平方向θｘ，垂直方向θｙ）を導出する（ステップＳ５）。なお、この角度がスクリーン１０とプロジェクタ２０の投写光の光軸との成す角度に相当する。
【００６６】
また、補正用情報生成部１２０は、この角度、すなわち、θｘおよびθｙに基づいて補正後の投写領域の４隅の座標を補正用データから検索することにより、補正後の投写領域の４隅の座標ＥＦＧＨを導出する（ステップＳ６）。
【００６７】
図１０は、本実施形態の一例に係る補正後の投写領域の４隅の座標を示す模式図であり、図１１は、本実施形態の一例に係る補正後の投写領域の４隅の座標を示す補正用データである。
【００６８】
図１１に示すように、上記補正用データでは、θｘ、θｙの値と、補正後の投写領域の４隅の座標ＥＦＧＨそれぞれのｘｙ座標とが関連づけられている。なお、ここで、補正後の投写領域の４隅の座標ＥＦＧＨは、例えば、空間光変調器１９２における座標である。
【００６９】
補正用情報生成部１２０は、図１１に示す補正用データを用いて座標ＥＦＧＨそれぞれのｘｙ座標を用いて画像歪み補正用情報を生成し（ステップＳ７）、当該画像歪み補正用情報を歪み補正部１３０に送る。なお、ここで、画像歪み補正用情報としては、例えば、歪み補正前の画像の４隅の座標と、歪み補正後の画像の４隅の座標との差分値を示す情報等が該当する。
【００７０】
そして、歪み補正部１３０は、当該画像歪み補正用情報に基づき、画像の歪みを補正するように画像信号を補正する（ステップＳ８）。なお、歪み補正部１３０は、画像歪み補正用情報に基づき、ルックアップテーブルや行列等の歪み補正用データを補正することによって画像信号を間接的に補正してもよいし、歪み補正用データを用いずに画像信号を直接的に補正してもよい。
【００７１】
これにより、画像投写部１９０は、画像の歪みが補正された画像を投写することができる。
【００７２】
以上のように、本実施形態によれば、１つのセンサー６０で投写基準点である投写レンズ部５０の投写光の発射点からスクリーン１０までの距離と角度を測定することにより、投写画像１２の歪みを補正することが可能となる。
【００７３】
これにより、本実施形態の画像処理システムの製造業者は、複数のＣＣＤカメラ等を用いて投写画像の３次元座標を検出する手法と比べ、より簡易な構造で、かつ、より低コストで製造可能な画像処理システムをユーザーに提供することができる。
【００７４】
また、本実施形態によれば、スクリーン１０の４隅を用いずに投写画像１２の歪みを補正することができる。すなわち、本実施形態によれば、投写対象物として種々の投写対象物（例えば、ホワイトボード、壁等）を適用することができる。また、投写対象物の色や材質の影響も受けにくい。したがって、本実施形態によれば、汎用性をより向上させることができる。
【００７５】
さらに、本実施形態によれば、プロジェクタ２０は、最短距離投写時の投写画像１２の撮像面１７における座標を基準とすることにより、座標の方向情報を用いることなく、撮像面１７における対応する２点の座標間距離に基づいて投写距離を導出することができる。これにより、プロジェクタ２０は、より簡易に投写距離を導出して投写画像１２の歪みを補正することができる。
【００７６】
（変形例）
なお、本発明の適用は上述した実施例に限定されない。
【００７７】
例えば、プロジェクタ２０が焦点調整機能を有する場合、プロジェクタ２０に、補正用情報生成部１２０によって生成されたプロジェクタ２０からスクリーン１０までの距離情報に基づいて自動焦点調整（オートフォーカス）を行う制御手段を設けてもよい。
【００７８】
また、上述した実施例では、センサー６０はプロジェクタ２０に固定されているが、例えば、センサー６０の位置調整機構（例えば、アーム機構等）を設け、キャリブレーション時に投写レンズ部５０とセンサー６０との位置がより離れた状態でセンサー６０が投写画像１２をセンシングしてもよい。
【００７９】
これによれば、センサー６０の測定精度をより向上させることができる。
【００８０】
また、上述した実施例では、プロジェクタ２０は、実際の使用状態にある撮像情報に基づいて現投写領域情報を生成し、キャリブレーション画像が撮像範囲に入る最短距離にある状態の撮像情報に基づいて仮投写領域情報を生成したが、最短距離でなくても、プロジェクタ２０とスクリーン１０とが、キャリブレーション画像が撮像範囲に入る状態であって、かつ、実際の使用状態とは異なる位置関係にある状態の撮像情報に基づいて仮投写領域情報を生成してもよい。
【００８１】
また、上述した実施例では、座標間距離と投写距離とが関連づけられた投写距離データとして２次元ルックアップテーブルを用いたが、例えば、座標間距離を入力して投写距離を出力する関数を用いてもよい。
【００８２】
また、上述した実施例では、全白のキャリブレーション画像を用いたが、白以外の単色のキャリブレーション画像を用いてもよい。また、プロジェクタ２０は、全黒（画像全体が黒）のキャリブレーション画像を投写して撮像し、全白のキャリブレーション画像を投写して撮像し、撮像情報に含まれる画素ごとの輝度値の比を比較し、所定値以上の輝度比となった画素領域を投写領域として抽出してもよい。
【００８３】
これによれば、プロジェクタ２０は、スクリーン１０の傷やスクリーン１０への外光等の影響を受けにくく、より正確に投写領域を抽出することができる。
【００８４】
また、上述した実施例では、画像処理システムとしてプロジェクタ２０を用いたが、本発明は、プロジェクタ２０以外にもＣＲＴ(Cathode Ray Tube)、ＬＥＤ(Light Emitting Diode)、ＥＬ(Electro Luminescence)等のディスプレイ用の画像処理システムにも有効である。
【００８５】
また、プロジェクタ２０としては、例えば、液晶プロジェクタ、ＤＭＤ(Digital Micromirror Device)を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。
【００８６】
また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実装してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実装してもよい。
【図面の簡単な説明】
【００８７】
【図１】画像投写時の状態を示す模式図である。
【図２】本実施形態の一例に係るプロジェクタの機能ブロック図である。
【図３】本実施形態の一例に係るプロジェクタのハードウェアブロック図である。
【図４】本実施形態の一例に係る画像処理の流れを示すフローチャートである。
【図５】本実施形態の一例に係る撮像面を示す模式図である。
【図６】本実施形態の一例に係る投写状態を平面的に示す模式図である。
【図７】本実施形態の一例に係る投写状態を側面的に示す模式図である。
【図８】本実施形態の一例に係る投写距離を示す模式図である。
【図９】本実施形態の一例に係る投写距離データのデータ構造を示す模式図である。
【図１０】本実施形態の一例に係る補正後の投写領域の４隅の座標を示す模式図である。
【図１１】本実施形態の一例に係る補正後の投写領域の４隅の座標を示す補正用データである。
【符号の説明】
【００８８】
１０  スクリーン（投写対象物）、１２  投写画像、２０  プロジェクタ（画像処理システム）、６０  センサー、１２０  補正用情報生成部、１３０  歪み補正部、１５０  投写領域情報生成部、１７０  キャリブレーション画像情報生成部、１８０  撮像部、１９０  画像投写部（投写手段）、９００  情報記憶媒体
【図１】
2005033703.tif 000003
【図２】
2005033703.tif 000004
【図３】
2005033703.tif 000005
【図４】
2005033703.tif 000006
【図５】
2005033703.tif 000007
【図６】
2005033703.tif 000008
【図７】
2005033703.tif 000009
【図８】
2005033703.tif 000010
【図９】
2005033703.tif 000011
【図１０】
2005033703.tif 000012
【図１１】
2005033703.tif 000013