(57)【特許請求の範囲】
【請求項１】
少なくとも校正用の画像を赤外光を用いて投影する投影部と、
前記投影部が投影した投影画像を撮像する撮像部と、
前記撮像部が撮像した撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定する特定部と、
前記特定部が特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出部と、
前記算出部が算出した傾きと切片とに基づいて、前記撮像画像の情報を変換する変換部と、
を備える情報処理システム。
【請求項２】
前記算出部は、前記回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、前記回帰直線の傾きを水平方向および垂直方向のスケーリング係数とし、前記位置データないし変位データ及び前記スケーリング係数を構造化文書により記述ないし表現することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記算出部は、前記傾きと切片とを算出する処理を所定の時刻に行うことを特徴とする請求項１又は請求項２に記載の情報処理システム。
【請求項４】
前記算出部は、前記傾きと切片とを算出する処理を所定の時間間隔で行うことを特徴とする請求項１又は請求項２に記載の情報処理システム。
【請求項５】
前記投影部は、前記校正用の画像を、点、線、三角形および四角形のうち少なくとも一つを組み合わせた図形を用いて投影することを特徴とする請求項１から請求項４のいずれか１項に記載の情報処理システム。
【請求項６】
前記投影部は、所定の画像及び前記校正用の画像を投影する光学系を含むことを特徴とする請求項１から請求項５のいずれか１項に記載の情報処理システム。
【請求項７】
前記光学系は、所定の画像及び前記校正用の画像を同一の光学的経路を経て投影する光学系である請求項６に記載の情報処理システム。
【請求項８】
前記投影部は、前記所定の画像を投影しないときに、前記校正用の画像を投影することを特徴とする請求項６又は請求項７に記載の情報処理システム。
【請求項９】
前記光学系は、カラー・ホイールを含むことを特徴とする請求項６から請求項８のいずれか１項に記載の情報処理システム。
【請求項１０】
前記カラー・ホイールは、可視光の波長帯域と赤外光の波長帯域に対応するフィルターによって構成されるカラー・ホイールであることを特徴とする請求項９に記載の情報処理システム。
【請求項１１】
前記光学系は、少なくとも赤外線帯域通過フィルター、可視光帯域用液晶パネル、ダイクロック・ミラー及びダイクロック・プリズムを所定の位置に配置して構成されていることを特徴とする請求項６から請求項１０のいずれか１項に記載の情報処理システム。
【請求項１２】
前記撮像部は、前記投影部が投影した投影画像の情報から前記校正用の画像の情報を抽出する抽出部を備えることを特徴とする請求項１から請求項１１のいずれか１項に記載の情報処理システム。
【請求項１３】
前記撮像部は、所定の画像及び前記校正用の画像を撮像する光学的経路の初期段階において同一となる光学系を含むことを特徴とする請求項1から請求項１２のいずれか１項に記載の情報処理システム。
【請求項１４】
前記変換部により変換された撮像画像の情報を遠隔地に送信する送信部と、
前記遠隔地から前記投影部から投影するための画像の情報を受信する受信部とをさらに備え、
前記投影部は、前記受信部が受信した画像の情報に基づいて投影を行うことを特徴とする請求項１から請求項１３のいずれか一項に記載の情報処理システム。
【請求項１５】
投影部が赤外光を用いて投影した校正用の画像を撮像する撮像部の撮像画像の情報を変換する情報処理装置であって、
前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定する特定部と、
前記特定部が特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出部と、
前記算出部が算出した傾きと切片とに基づいて、前記撮像部が撮像した撮像画像の情報を変換する変換部と、
を備えることを特徴とする情報処理装置。
【請求項１６】
少なくとも校正用の画像を赤外光を用いて投影する投影ステップと、
前記投影画像を撮像する撮像ステップと、
前記撮像した撮像画像の情報から前記校正用の図形の形状を表す被校正点の位置を特定する特定ステップと、
前記特定ステップが特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出ステップと、
前記算出ステップが算出した傾きと切片とに基づいて、前記撮像画像の情報を変換する変換ステップとを有することを特徴とする情報処理方法。
【請求項１７】
前記算出ステップは、前記回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、前記回帰直線の傾きを水平方向および垂直方向のスケーリング係数し、前記位置データないし変位データ及び前記スケーリング係数を構造化文書により記述ないし表現することを特徴とする請求項１６に記載の情報処理方法。
【請求項１８】
前記画像変換された撮像画像の情報を遠隔地に送信するステップと、
前記遠隔地から前記投影するために指示された所定の画像の情報を受信するステップと、
前記受信した所定の画像の情報に基づいて投影を行うステップとをさらに有することを特徴とする請求項１６又は請求項１７に記載の情報処理方法。
【請求項１９】
赤外光を用いて投影された校正用の画像を撮像した撮像画像の情報を取得するステップと、
前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定するステップと、
前記特定ステップが特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出ステップと、
前記算出ステップが算出した傾きと切片とに基づいて、前記撮像画像の情報を変換する変換ステップと、
をコンピュータに実行させるためのコンピュータ・プログラム。
【請求項２０】
前記算出ステップは、前記回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、前記回帰直線の傾きを水平方向および垂直方向のスケーリング係数とし、前記位置データないし変位データ及び前記スケーリング係数を構造化文書により記述ないし表現することを特徴とする請求項１９に記載のコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラムに関する。
【背景技術】
【０００２】
昨今の通信技術、カメラやプロジェクターに関するデバイスの技術、コンピューティング技術の発展に伴い、コンピュータ、カメラおよびプロジェクターがオフィスなどに深く浸透してきている。これと相俟って、遠隔地点間を跨るさまざまな業務は通信およびコンピュータの支援を受けることができるようになってきている。例えば、企業における産業活動やその他のさまざまな日常生活において、遠隔会議やテレビ電話あるいはビデオ・チャットが頻繁に行なわれている。会議室にネットワーク、コンピュータ、カメラおよびプロジェクターを取り込むことで、遠隔会議会議の運用を支援することができる。
【０００３】
遠隔会議支援システムの一例として、テレビ会議システムを取り上げることができる。テレビ会議システムによれば、遠隔に位置する複数の会議室において、カメラやマイクなどの画像・音声入力装置や、モニターやスピーカーなどの画像・音声出力装置を設置し、通信回線を利用して、遠隔地点間での意思疎通ないしコミュニケーションを促進ないし支援することができる。
【０００４】
また、会議システムを使うことによって、会議の進行上、会議で使用されるホワイトボードや、スライドその他のプレゼンテーション資料など、会議に関連するさまざまな資料を会議室間あるいは個人のデスクトップ間で共有し、保管することができる。例えば、典型的な電子会議ソフトウェアとして、マイクロソフト社のNetMeetingがある。当該NetMeetingを用いて異なる拠点間の利用者はPowerPointなどの会議資料や描画機能を利用した図形データを共有することが可能となる。
【０００５】
さらに、電子黒板あるいは電子ホワイトボードをネットワークに接続し利用することによって、図形データを共有することができる。例えば、SMART Techonologies Inc．社のSMARTBoardでは、大型のディスプレイとタッチパネルを利用して遠隔地間で手書きの図形を表示および共有することが可能となっている。ここで、上述の技術では、図形データの表示および共有は素材のデータが原則的に電子的なデータに限られているが、実際の会議では、時に三次元の空間を占有する実物の映像データと共に電子データを重ねて表示および共有したい場合がある。
【０００６】
これまで、現実物（対象物）の上に重ねて電子データを表示する技術についてのいくつかの提案がなされている。例えば、FX Palo Alto Laboratoryが提案したiLightシステムでは、プロジェクターとカメラを組み合わせ、かつサーバーとクライアントを構成することによって、利用者は遠隔地間で図形データを表示共有することができる（例えば、非特許文献１を参照のこと）。
【０００７】
具体的には、iLightシステムでは、遠隔地の描画クライアントで描画した図形データをサーバー側のビデオ・プロジェクターを用いてホワイトボード、ポスター、ポストイットなど現実物に重ねて投射し、それらの現実物と投射した画像データをサーバー側に構成するカメラで撮像し、遠隔地の描画クライアントに表示することができる。
【０００８】
また、IBM T.J. Watson Research Centerが提案するプロジェクター・カメラ・システムでは、iLightシステムと同じく、プロジェクターとカメラを組み合わせ、遠隔サイトで描画した図形データを現地サイトないしローカル・サイトで現実物の上にプロジェクターを用いて投影することができる。さらに、iLightとシステム同じく、カメラ・システムで前記現実物と投影した図形データとを撮像し、遠隔サイトに送信することができる（例えば、非特許文献２を参照のこと）。
【０００９】
さらに、映像の歪補正のためにプロジェクターの投射光軸に対するスクリーンの垂直方向および水平方向の傾斜角度を測定する傾斜角度測定装置を有するプロジェクターが提案されている（例えば、特許文献１を参照のこと）。また、可視光の明るさ低減を抑えて、通常の投射中にもスクリーンに不可視光によるテストパターンの表示が可能で、プロジェクターの光軸に対する垂直および水平方向の傾斜角度の測定と自動焦点調整の可能なプロジェクターが提案されている（例えば、特許文献２を参照のこと）。
【００１０】
加えて、遠隔ミーティングや電子会議などにおいて紙データや参考品などの画像データを電子データと同様に扱える卓上のカメラ・デジタイザ付き投影装置が提案されている（例えば、特許文献３を参照のこと）。
【非特許文献１】Jonathan Foote and Don Kimber:"Remjote Interactive Graffiti", MM'04, October 10-16, 2004.
【非特許文献２】Claudio Pinhanez and Gopal Pingali:"Projector-camera Systems for Telepresence", ETP'04, October 15, 2004.
【特許文献１】特開２００５−００６２７２号公報
【特許文献２】特開２００５−０１７３５０号公報
【特許文献３】特開２００４−２６５１８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、非特許文献１のように、プロジェクターで投影した投影画像をカメラで撮像して、これを遠隔地に送信するシステムにおいて、プロジェクターとカメラが構造的に分離されている場合、プロジェクターとカメラ間の調整を簡単に行うことができないという問題があった。例えば、プロジェクターとカメラとの光軸のずれあるいは画角の相違または機械的な配置の不具合によって生じるプロジェクターによって投影される画像とカメラによって撮像された画像との間における相対的な位置のずれ、画像サイズの相違、縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等による不具合などの校正がなされていない場合、遠隔地間で正確な画像の受け渡しができないという問題があった。また、遠隔地において手動でプロジェクターとカメラの画像に対する校正を調整することも考えられるが、その校正には時間と手間が掛かるという問題があった。
【００１２】
また、特許文献１〜３の技術は、プロジェクターとカメラ間の制御を目的とするものではない。
【００１３】
そこで、本発明は上記問題点に鑑みなされたもので、投影部と撮影部の光軸、画角のずれ等を自動的に校正できる情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明の情報処理システムは、少なくとも校正用の画像を赤外光を用いて投影する投影部と、前記投影部が投影した投影画像を撮像する撮像部と、前記撮像部が撮像した撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定する特定部と、前記特定部が特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出部と、前記算出部が算出した傾きと切片とに基づいて、前記撮像画像の情報を変換する変換部と、を備える。本発明によれば、被校正点の位置を所定の参照点の位置に変換する傾きと切片を用いて撮像画像の情報を変換するため、投影部と撮像部の光軸、画角などが一致しないことにより発生する投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができるため、利用者の意図した場所に画像を投影部から投影することができる。また自動校正を簡単な構成により実現できるので、小型な装置を提供できる。さらに、本発明によれば、校正用の画像を赤外光を用いて扱うことで、利用者が校正用画像を知覚することなく、投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができる。
【００１５】
前記算出部は、前記回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、前記回帰直線の傾きを水平方向および垂直方向のスケーリング係数とし、前記位置データないし変位データ及び前記スケーリング係数を構造化文書により記述ないし表現する。
【００１６】
前記算出部は、前記傾きと切片とを算出する処理を所定の時刻に行うことを特徴とする。本発明によれば、例えば投影部から投影される画像と撮像部で撮像する画像の位置合わせなどを定刻に、定期的に、又は自動的に行うことができる。前記算出部は、前記傾きと切片とを算出する処理を所定の時間間隔で行うことを特徴とする。本発明によれば、投影領域と撮像領域の位置合わせをリアルタイムに行うことができる。これにより、投影領域又は撮像領域が時々刻々と変化する場合であっても、動的に校正できるため、投影領域と撮像領域を容易にキャリブレーションできる。
【００１７】
前記投影部は、前記校正用の画像を、点、線、三角形および四角形のうち少なくとも一つを組み合わせた図形を用いて投影する。前記投影部は、所定の画像及び前記校正用の画像を投影する光学系を含む。前記光学系は、所定の画像及び前記校正用の画像を同一の光学的経路を経て投影する光学系である。これにより小型な装置を提供できる。
【００１８】
前記投影部は、前記所定の画像を投影しないときに、前記校正用の画像を投影する。これにより、時間分割による排他制御が可能となる。前記光学系は、カラー・ホイールを含むことを特徴とする。本発明によれば、カラー・ホイールによって、所定の画像と、校正用の画像を重ねることで、タイム・スロットを用いた時間的な制御が可能であると共に、投影部を実現する装置、部品、デバイス、素子又はそれらを収める筐体を従来に比して小さくできる。
【００１９】
前記カラー・ホイールは、可視光の波長帯域と赤外光の波長帯域に対応するフィルターによって構成されるカラー・ホイールである。本発明によれば、所定の画像に対しては、可視光の波長帯域に対応するフィルターを用い、校正用の画像に対しては、赤外光の波長帯域に対応するフィルターを用いることで、所定の画像と投影領域の基準を示す画像を空間的に重ねることができる。これにより、投影部を実現する装置、部品、デバイス、素子又はそれらを収める筐体を従来に比して小さくできる。
【００２０】
前記光学系は、少なくとも赤外線帯域通過フィルター、可視光帯域用液晶パネル、ダイクロック・ミラー及びダイクロック・プリズムを所定の位置に配置して構成されている。本発明によれば、投影部を実現する装置、部品、デバイス、素子又はそれらを収める筐体を従来に比して小さくできる。前記撮像部は、前記投影部が投影した投影画像の情報から前記校正用の画像の情報を抽出する抽出部を備える。これにより、赤外線によって形成される画像から校正用の画像を抽出できる。
【００２１】
前記撮像部は、所定の画像及び前記校正用の画像を撮像する光学的経路の初期段階において同一となる光学系を含む。本発明によれば、所定の画像及び校正用の画像を撮像するための光学的経路が初期段階において同一であるため、撮像部を小型に構成できる。本発明の情報処理システムは、前記変換部により変換された撮像画像の情報を遠隔地に送信する送信部と、前記遠隔地から前記投影部から投影するための画像の情報を受信する受信部とをさらに備え、前記投影部は、前記受信部が受信した画像の情報に基づいて投影を行うことを特徴とする。これにより、ｉＬｉｇｈｔシステムを提供することができる。
【００２２】
本発明の情報処理装置は、投影部が赤外光を用いて投影した校正用の画像を撮像する撮像部の撮像画像の情報を変換する情報処理装置であって、前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定する特定部と、前記特定部が特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出部と、前記算出部が算出した傾きと切片とに基づいて、前記撮像部が撮像した撮像画像の情報を変換する変換部と、を備える。本発明によれば、被校正点の位置を所定の参照点の位置に変換する傾きと切片を用いて撮像画像の情報を変換するため、投影部と撮像部の光軸、画角などが一致しないことにより発生する投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができるため、利用者の意図した場所に画像を投影部から投影することができる。また自動校正を簡単な構成により実現できるので、小型な装置を提供できる。さらに、本発明によれば、校正用の画像を赤外光を用いて扱うことで、利用者が校正用画像を知覚することなく、投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができる。
【００２３】
本発明の情報処理方法は、少なくとも校正用の画像を赤外光を用いて投影する投影ステップと、前記投影画像を撮像する撮像ステップと、前記撮像した撮像画像の情報から前記校正用の図形の形状を表す被校正点の位置を特定する特定ステップと、前記特定ステップが特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出ステップと、前記算出ステップが算出した傾きと切片とに基づいて、前記撮像画像の情報を変換する変換ステップとを有する。本発明によれば、被校正点の位置を所定の参照点の位置に変換する傾きと切片を用いて撮像画像の情報を変換するため、投影部と撮像部の光軸、画角などが一致しないことにより発生する投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができるため、利用者の意図した場所に画像を投影部から投影することができる。また自動校正を簡単な構成により実現できるので、小型な装置を提供できる。さらに、本発明によれば、校正用の画像を赤外光を用いて扱うことで、利用者が校正用画像を知覚することなく、投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができる。
【００２５】
前記算出ステップは、前記回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、前記回帰直線の傾きを水平方向および垂直方向のスケーリング係数し、前記位置データないし変位データ及び前記スケーリング係数を構造化文書により記述ないし表現する。
【００２６】
本発明の情報処理方法は、前記画像変換された撮像画像の情報を遠隔地に送信するステップと、前記遠隔地から前記投影するために指示された所定の画像の情報を受信するステップと、前記受信した所定の画像の情報に基づいて投影を行うステップとをさらに有する。これによりiLightシステムを提供できる。
【００２７】
本発明のコンピュータ・プログラムは、赤外光を用いて投影された校正用の画像を撮像した撮像画像の情報を取得するステップと、前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定するステップと、前記特定ステップが特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出ステップと、前記算出ステップが算出した傾きと切片とに基づいて、前記撮像画像の情報を変換する変換ステップと、をコンピュータに実行させる。本発明によれば、被校正点の位置を所定の参照点の位置に変換する傾きと切片を用いて撮像画像の情報を変換するため、投影部と撮像部の光軸、画角などが一致しないことにより発生する投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができるため、利用者の意図した場所に画像を投影部から投影することができる。また自動校正を簡単な構成により実現できるので、小型な装置を提供できる。さらに、本発明によれば、校正用の画像を赤外光を用いて扱うことで、利用者が校正用画像を知覚することなく、投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができる。
【００２８】
前記算出ステップは、前記回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、前記回帰直線の傾きを水平方向および垂直方向のスケーリング係数とし、前記位置データないし変位データ及び前記スケーリング係数を構造化文書により記述ないし表現する。
【００２９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明の効果】
【００３０】
本発明によれば、投影部と撮影部の光軸、画角のずれ等を自動的に校正できる情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラムを提供できる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明を実施するための最良の形態について説明する。
【実施例１】
【００３２】
図１は、本発明の一実施形態に係るマルチメディア装置１の機能構成を模式的に示している。図１に示すように、マルチメディア処理装置（情報処理システム）１は、サーバー側装置２およびクライアント側装置３から構成される。サーバー側装置２は、制御部（情報処理装置）４、撮像部５、投影部６および通信部（送信部、受信部）７から構成される。クライアント側装置３は、制御部９、提示部１０、入力部１１および通信部１２から構成される。サーバー側装置２およびクライアント側装置３は、通信網又はデータ・バス８で相互に接続されている。
【００３３】
制御部４、撮像部５、投影部６および通信部７は、サーバー側装置２の内部のネットワーク、データ回線又は制御回線などを介して相互に接続されている。同様に、制御部９、提示部１０、入力部１１および通信部１２は、クライアント側装置３の内部のネットワーク、データ回線又は制御回線などを介して相互に接続されている。
【００３４】
撮像部５は、一つ以上のレンズやＣＣＤを含む撮像回路等で構成され、クライアント側装置３へ提供するために投影部６がスクリーン１３または現実物（対象物）に投影した投影画像を撮像し、撮像した画像データを制御部４の内部メモリーに出力する。投影部６は、一つ以上のプロジェクターから構成され、通信部７から入力された画像データや制御部４から入力された画像データに基づいて、スクリーン１３の投影領域に画像を投影する。このとき、投影部６は、可視光を利用して利用者が投影したい画像（所定の画像）を投影し、赤外光を利用して校正用の画像を投影する。投影部６は校正用の画像を、たとえば点、線、三角形又は四角形を組み合わせた図形を用いて投影するのが好ましい。
【００３５】
制御部４は、ＣＰＵ（Central  Processing  Unit）、メモリー、タイマー又はクロックなどで構成され、撮像部５、投影部６および通信部７の各部の回路およびデータを制御する。制御部４は、特定部４１、算出部４２及び変換部４３を備える。特定部４１は、撮像部５が撮像した撮像画像の情報から校正用の画像の形状を表す被校正点の位置を特定する。算出部４２は、被校正点の位置を所定の参照点の位置に変換するための校正パラメーターを算出する。このとき、算出部４２は、被校正点の位置及び参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の傾きと該切片を用いて校正パラメーターを算出する。より詳細には、算出部４２は、被校正点の位置及び参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、回帰直線の傾きを水平方向および垂直方向のスケーリング係数とする構造化文書により校正パラメーターを記述ないし表現する。変換部４３は、校正パラメーターを用いて撮像部５が撮像した撮像画像の情報を変換する。
【００３６】
算出部４２によるパラメーターの算出およびそのパラメーターを使った校正手続きは、電源投入後に行うようにしてよい。また、算出部４２は、校正パラメーターを算出する処理およびそのパラメーターを使った校正手続きを所定の時刻に行うようにしてもよいし、さらに、所定の時間間隔で定期的に行うようにしてもよい。
【００３７】
そこで、本発明において、その運用によっては、電源投入直後に、外部のスクリーン等の設置等の使用環境ないし状態が変化しない間は、一度だけ、上記パラメーターの算出とそのパラメーターを使った校正を行い、その校正以後、適正な状態で所定の画像データを使った投影と撮影を行うことができる。一方、電源投入後、一度だけパラメーターの算出とその算出したパラメーターを使った校正を行うのではなく、所定の時間間隔で定期的に校正を行うこともできる。例えば、利用者が本発明の実装システムを利用する間をセッションと呼ぶことにすると、そのセッション毎にパラメーターの算出とそのパラメーターを使った校正を行うこともできるし、セッション内に、例えば５分や１０分単位の所定の時間間隔でパラメーターの算出とそのパラメーターを使った校正を行うこともできるし、さらには、ライブで、すなわち利用者の認識としては、利用者の所望の、あるいは所定の画像を投影および撮影しつつ、(利用者の認識としては)同時に校正を行うことができる。この場合、技術的にはあるいは物理的にはあるいは手続き的には、短時間の時間間隔での、いわば実時間処理で(例えば、１２０分の１秒毎に)「パラメーターの算出とそのパラメーターを使った校正」と「所定の画像の投影と撮影」を交互に繰り返すこともできる。ある所定の時間単位の間隔で規定されるタイム・スロットによる本発明の制御については後述する。
【００３８】
通信部７は、ネットワーク制御回路、通信制御回路又はバス制御回路などで構成され、主に、制御部４の内部メモリーから画像データを入力し、投影部６に画像データを出力し、通信網又はデータ・バス８を介して、クライアント側装置３の通信部１２と相互にデータを送受信する。また、通信部７は、撮像部５で抽出した画像データを通信網／データ・バス８を介して外部のクライアント側装置３へ送信する。制御部９は、ＣＰＵ及びメモリーなどで構成され、提示部１０、入力部１１および通信部１２の各部の回路およびデータを制御する。
【００３９】
提示部１０は、一般的なディスプレイ、モニターなどで構成され、通信部１２から出力される画像データ又は入力部１１から出力されるデータを利用者に提示する。入力部１１は、利用者からのマウスなどを使って入力したデータを提示部１０又は通信部１２に出力する。通信部１２は、ネットワーク制御回路、通信制御回路又はバス制御回路などにより構成され、主に、入力部１１から画像データを入力し、画像データを提示部１０へ出力し、通信網又はデータ・バス８を介して、サーバー側装置２の通信部７と相互にデータを送受信する。
【００４０】
ここで、サーバー側装置２およびクライアント側装置３は、通信網又はデータ・バス８を介して、いわゆるフィードバック・ループを構成する。すなわち、まず、投影部６は、通信部７から入力された画像データに基づき画像をスクリーン１３に投影する。次に撮像部５は、投影部６の投影領域を撮像し、撮像した画像データを、制御部４の内部メモリーを介して、通信部７へ出力する。次に、通信部７は、撮像部５から撮像された画像データを制御部４の内部メモリーおよび通信網又はデータ・バス８を介して、クライアント側装置３の通信部１２へ送信する。
【００４１】
通信部１２は、通信網又はデータ・バス８を介して、サーバー側装置２からの画像データを受信し、受信した画像データを制御部９へ出力する。制御部９は、通信部１２から出力された画像データに基づいて、提示用の画像データを提示部１０に出力する。そこで、利用者は提示部１０を使ってサーバー側装置２の撮像部５によって撮像された画像を閲覧することができる。よって、利用者は提示部１０に表示された画像に応じて、入力部１１を使って例えばアノテーションなどのデータを入力することができる。入力部１１から入力されたデータは、制御部９へ出力される。
【００４２】
制御部９に保持されている画像データは、入力部１１によって制御部９に入力されたデータによって変更処理される。さらに制御部９は、変更処理された画像データを通信部１２へ出力する。通信部１２は、制御部９から入力された画像データを通信網又はデータ・バス８を介して、サーバー側装置２の通信部７へ送信する。通信部７は、通信網又はデータ・バス８を介して、受信した画像データを投影部６へ出力する。投影部６は、通信部７から入力された画像データに基づいて画像を投影する。
【００４３】
投影された画像は、スクリーン１３の手前に現実物が置かれている場合には、現実物の上に重ねて表示される。現実物の上に重ねて表示されている投影された画像は、前述のように、撮像部５によって撮像される。以上のように、サーバー側装置２およびクライアント側装置３は、通信網又はデータ・バス８を介して、フィードバック・ループを構成している。      
【００４４】
次に、投影部６を具体的に説明する。図３は本実施形態に係る投影部６の機能構成を示すブロック図である。図３に示すように、投影部６は、可視光帯域データ処理回路６１、可視光帯域発光回路６２、赤外線帯域データ処理回路６３、赤外線帯域発光回路６４、混合回路６５および出力回路６６から構成される。可視光帯域データ処理回路６１は、制御部４の内部メモリーに保持されている画像データを入力し、所定の処理を施した画像データを可視光帯域発光回路６２へ送る。可視光帯域発光回路６２は、画像データの各色成分、Ｒ(赤)、Ｇ(緑)およびＢ(青)の成分に対応した発光回路ないし部品で構成され、可視光帯域データ処理回路６１からの画像データに基づいて、投影するための光を発光する。
【００４５】
赤外線帯域データ処理回路６３は、制御部４の内部メモリーに保持されている校正用の画像データを入力し、これを赤外線帯域発光回路６４へ送る。この校正用の画像データは、校正パラメーターを求めるために用いられる。赤外線帯域発光回路６４は、赤外線帯域データ処理回路６３からの校正用の画像データに基づいて、赤外光を発光する。混合回路６５は、可視光帯域発光回路６２からの可視光および赤外線帯域発光回路６４からの赤外光を空間的に混合する。出力回路６６は、混合回路６５からの光を外部へ投射する。これにより、校正用の画像がスクリーン１３又は現実物に投影される。
【００４６】
次に撮像部５を詳細に説明する。図２は本実施形態に係る撮像部５の機能構成を示すブロック図である。図２に示すように、撮像部５は、受光回路５１、フィルター回路５２、可視光帯域データ処理回路５３および赤外線帯域データ処理回路５４から構成される。
【００４７】
受光回路５１はレンズなどで構成される。フィルター回路５２は、たとえば赤外線フィルターなどで構成され、赤外光を可視光から分離する。具体的には、フィルター回路５２は、受光回路５１から入力された光のうち、可視光を可視光帯域データ処理回路５３へ、赤外光を赤外線帯域データ処理回路５４へ導く。なお本実施例では、抽出部として機能するフィルター回路５２は、撮像部５内に組み込まれているが撮像部５の外に設けられていてもよい。
【００４８】
可視光帯域データ処理回路５３は、光電変換回路およびメモリー等で構成され、フィルター回路５２からの可視光を光電変換し、可視光帯域の画像データを生成し、この可視光帯域の画像データを内部のメモリーに保持する。また、可視光帯域データ処理回路５３は、制御部４の制御に従い内部メモリーに保持した可視光帯域の画像データを制御部４の内部メモリーへ出力する。
【００４９】
赤外線帯域データ処理回路５４は、赤外光の帯域に利用可能な光電変換回路およびメモリー等で構成され、フィルター回路５２からの赤外光を光電変換を行い、赤外光帯域の校正用の画像データを生成し、この赤外光帯域の校正用の画像データを内部のメモリーに保持する。赤外線帯域データ処理回路５４は、制御部４の制御に従い内部メモリーに保持した赤外光帯域の校正用の画像データを制御部４の内部メモリーへ出力する。
【００５０】
図４は、本実施形態に係る位置校正手続きの処理手順をフローチャートの形式で示している。ここで、位置校正とは、投影部６の投影画像と撮像部５の撮像画像の位置合わせを意味する。図４に示すように、位置校正手続きは、校正初期化手続き(ステップＳ１)、校正用投影手続き(ステップＳ２)、校正用撮像手続き(ステップＳ３)、校正データ算出適応手続き(ステップＳ４)および校正終了化手続き(ステップＳ５)の各手続きから成る。
【００５１】
まず、ステップＳ１において、制御部４は、制御部４の内部メモリーの初期化、すなわちメモリーの割り当てとクリア、撮像部５に対する初期化の命令および投影部６に対する初期化の命令などを行う。次に、ステップＳ２において、投影部６は、赤外光を用いて校正用の画像を投影する。なお、ステップＳ２については、後で詳述する。また、ステップＳ３において、撮像部５は、可視光および赤外光を分離し、可視光を用いた画像データおよび赤外光を用いた校正用の画像データを抽出する。なお、ステップＳ３については、後で詳述する。ここで、制御部４は、制御部４の内部メモリーと、撮像部５の赤外線帯域データ処理回路５４の内部メモリーおよび投影部６の赤外線帯域データ処理回路６３の内部メモリーとの間で相互にデータの写像(マッピング)ないし対応付けあるいは関連付けおよびデータ転送を行うことができるものとする。
【００５２】
さらに、ステップＳ４において、制御部４の特定部４１は、撮像部５が撮像した撮像画像の情報から校正用の画像の形状を表す被校正点の位置を特定する。算出部４２は、被校正点の位置を所定の参照点の位置に変換するためのパラメーターを算出する。変換部４３は、記パラメーターを用いて撮像部５が撮像した撮像画像データを変換する。最後に、ステップＳ５において、制御部４は、内部メモリーをクリアするなどの終了処理を行う。その後、通信部７は、変換部７により変換された撮像画像の情報を遠隔地に送信する。通信部７は、クライアント側装置（遠隔地）３から投影部６から投影するための画像の情報を受信する。投影部６は、通信部７が受信した画像の情報に基づいてスクリーン１３や現実物に投影を行う。
【００５３】
図５は、ステップＳ２の詳細な校正用投影手続きをフローチャートの形式で示している。図示のとおり、ステップＳ２の校正用投影手続きは、校正用投影初期化手続きステップＳ１１、可視光帯域データ処理ステップＳ１２、可視光帯域発光処理ステップＳ１３、赤外線帯域データ処理ステップＳ１４、赤外線発光処理ステップＳ１５、混合処理ステップＳ１６、出力処理ステップＳ１７および校正用投影終了化手続きＳ１８の各手続きおよび処理で構成される。
【００５４】
まず、ステップＳ１１において、投影部６は、可視光帯域データ処理回路６１、可視光帯域発光回路６２、赤外線帯域データ処理回路６３、赤外線帯域発光回路６４、混合回路６５および出力回路６６のそれぞれを初期化、具体的には各部分の内部メモリーの割り当ておよびリセットなどを行う。次に、ステップＳ１２において、可視光帯域データ処理回路６１は、制御部４の内部メモリーから可視光を利用して投影する画像データを入力し、これに所定の処理を施し可視光帯域発光回路６２へ送る。
【００５５】
ステップＳ１３において、可視光帯域発光回路６２は、可視光を利用して投影する画像データに基づいて、各色成分の強度データに応じて、各色成分Ｒ、ＧおよびＢに対応する発光回路を駆動し、発光する。続いて、ステップＳ１４において、赤外線帯域データ処理回路６３は、制御部４の内部メモリーから赤外光を利用して投影する校正用の画像データを入力し、これに所定の処理を施し赤外線帯域発光回路６４へ送る。
【００５６】
ステップＳ１５において、赤外線帯域発光回路６４は、校正用の画像データの強度、空間的形状あるいはパターンに応じて、赤外光を出す。ステップＳ１６において、混合回路６５は、可視光帯域発光回路６２からの可視光および赤外線帯域発光回路６４からの赤外光を空間的に混合する。ステップＳ１７において、出力回路６６は、混合回路６５からの光を外部へ出す。ステップＳ１８において、可視光帯域データ処理回路６１、可視光帯域発光回路６２、赤外線帯域データ処理回路６３、赤外線帯域発光回路６４、混合回路６５および出力回路６６のそれぞれを終了化、具体的には各部分の内部メモリーのクリアなどを行う。
【００５７】
図６は、ステップＳ３の詳細な校正用撮像手続きをフローチャートの形式で示している。図示のとおり、ステップＳ３の校正用撮像手続きは、校正用撮像初期化手続きＳ２１、受光処理ステップＳ２２、フィルタリング処理ステップＳ２３、可視光帯域データ処理ステップＳ２４、赤外線帯域データ処理ステップＳ２５および校正用撮像終了化手続きＳ２６の各手続きおよび処理で構成される。
【００５８】
まず、ステップＳ２１において、撮像部５は、受光回路１３、フィルター回路５２、可視光帯域データ処理回路５３および赤外線帯域データ処理回路５４のそれぞれを初期化、具体的には、各部分の内部メモリーの割り当ておよびリセットなどを行う。ステップＳ２２において、受光回路５１は外部からの光を受ける。ステップＳ２３において、フィルター回路５２は、入力された光を可視光と赤外光に分離し、可視光を可視光帯域データ処理回路５３へ、赤外光を赤外光帯域データ処理回路５４へ導く。
【００５９】
ステップＳ２４において、可視光帯域データ処理回路５３は、フィルター回路５２からの可視光を光電変換して、可視光を利用して投影された画像データを抽出し、この画像データを制御部４の内部メモリーへ出力する。ステップＳ２５において、赤外線データ処理回路５４は、フィルター回路５２からの赤外光を光電変換して、赤外光を利用して投影された校正用の画像データを取得し、これを制御部４の内部メモリーへ出力する。制御部４は、可視光を利用して投影された画像データを通信部７を介してクライアント側装置３へ送信する。これにより、クライアント側装置３では、投影画像を閲覧することができる。
【００６０】
最後にステップＳ２６において、撮像部５は、受光回路５１、フィルター回路５２、可視光帯域データ処理回路５３および赤外線帯域データ処理回路５４のそれぞれを終了化、具体的には、各部分の内部メモリーのクリアなどを行う。
【００６１】
図８は校正手続き時の投影領域と撮像領域の関係の一例を示した図である。図８（ａ）は、制御部４内のメモリー上に描画された画像を模式的に示している。投影領域２３と撮像領域２５の位置合わせがまだ行われていないため、両者がずれているのが分かる。
【００６２】
校正用の画像２４は、頂点Ａ、Ｂ、Ｃ、Ｄを持つ矩形の図形からなる。校正用画像２４は、投影部６により赤外光を利用して投影されたものである。撮像領域の参照画像２６は、頂点Ａ’Ｂ’Ｃ’Ｄ’を持つ矩形の図形である。制御部４は、校正用の画像ＡＢＣＤが、理想的な参照画像Ａ’Ｂ’Ｃ’Ｄ’に合うように校正パラメーターを算出し、校正用画像２４の位置及び形状を校正していく。参照画像２６の形状は、参照画像２６の各頂点Ａ'、Ｂ'、Ｃ'およびＤ'の座標で表現できる。参照画像２６の各頂点Ａ'、Ｂ'、Ｃ'およびＤ'の座標は、撮像部５のデカルト座標系あるいは、制御部４のメモリーにおけるデータを表現するためのデカルト座標系でそれぞれ座標(A'x,A'y)、(B'x,B'y)、(C'x,C'y)および(D'x,D'y)で表現できる。参照画像２６の各頂点Ａ'、Ｂ'、Ｃ'およびＤ'を校正の基準となるので参照点と呼ぶ。校正用画像２４の各頂点Ａ、Ｂ、ＣおよびＤのそれぞれの座標は、図８において前述と同一のデカルト座標系で(Ax,Ay)、(Bx,By)、(Cx,Cy)および(Dx,Dy)で表現できる。校正用画像２４の各頂点Ａ、Ｂ、ＣおよびＤを被校正点と呼ぶ。
【００６３】
次に校正データ算出適応処理について説明する。図７はステップＳ４の詳細な校正データ算出適応手続きをフローチャートの形式で示している。図７に示すように、ステップＳ４の校正データ算出適応手続きは、校正データ算出適応初期化手続きＳ３１、参照点初期位置特定処理ステップＳ３２、被校正点位置特定処理ステップＳ３３、校正パラメーター算出処理ステップＳ３４、校正パラメーター適応処理ステップＳ３５および校正データ算出適応終了化手続きＳ３６からなる。このステップＳ４においては、制御部４の特定部４１は、撮像部５が撮像した撮像画像の情報から校正用画像２４の形状を表す被校正点の位置を特定する。算出部４２は、被校正点の位置を所定の参照点の位置に変換するための校正パラメーターを算出する。
【００６４】
まず、ステップＳ３１において、制御部４は、内部メモリーの初期化、具体的には、メモリーの割り当ておよびクリアなどを行う。次に、ステップＳ３２において、特定部４１は、投影部６に出力した校正用図形のデータを参照することによって、参照画像２６の形状を表現する座標(A'x,A'y)、(B'x,B'y)、(C'x,C'y)および(D'x,D'y)を特定する。ここで、参照画像２６の参照点の座標(A'x,A'y)、(B'x,B'y)、(C'x,C'y)および(D'x,D'y)は、制御部４の内部メモリー上のデータに対して規定されるデカルト座標系としては、参照画像２６の生成時に特定され得る。つまり、任意の座標を指定し得る。また、制御部４の内部のメモリー上のデータに対して規定されるデカルト座標系と撮像部５の赤外線帯域データ処理回路５４の内部メモリー上のデータに対して規定されるデカルト座標系は同一であるとする。
【００６５】
また、参照点の初期位置によっては、校正用画像２４の形状の全ての座標を撮像部５が撮像できない場合もある。例えば、校正用画像２４の校正点ＢおよびＣが撮像領域２５の外部に位置する場合である。このようなときには、ステップＳ３２において、制御部４は、参照画像２６の位置ないし形状を変更し、校正用画像２４を表現する図形の全ての頂点の座標が撮像領域２５内部に位置するように修正する。
【００６６】
次にステップＳ３３において、特定部４１は、撮像部５から入力した校正用画像２４のデータを参照することによって、被校正点の位置を特定する。具体的には、特定部４１は、図８で示した校正図画像２４の被校正点Ａ、Ｂ、ＣおよびＤのそれぞれの座標を特定する。つまり、特定部４１は、校正用画像２４の撮像部５のデカルト座標系における(Ax,Ay)、(Bx,By)、(Cx,Cy)および(Dx,Dy)を特定する。特定部４１は、これらの座標(Ax,Ay)、(Bx,By)、(Cx,Cy)および(Dx,Dy)は、従来の画像処理技術を応用することにより特定することができる。
【００６７】
次にステップＳ３４において、算出部４２は、参照点Ａ'、Ｂ'、Ｃ'およびＤ'の座標データおよび被校正点Ａ、Ｂ、ＣおよびＤの座標データを用いて校正パラメーターを算出する。算出部４２は、デカルト座標系における座標の相対的な変位と相対的な水平および垂直方向のスケーリング係数、すなわち拡大率ないし縮小率を校正パラメーターとして算出する。
【００６８】
このため、校正パラメーターは、デカルト座標系における座標の相対的な変位と相対的な水平および垂直方向のスケーリング係数、すなわち拡大率ないし縮小率の組のデータとして表現される。例えば、校正パラメーターは、図９のようにＸＭＬ（eXtensible Markup Language）などの形式を用いて表現できる。図９においては、校正パラメーターがcalibration-data要素をルート要素とするＸＭＬ形式で表現され、ｘ、ｙ、xScaleおよびyScaleの各要素を持つことを表している。図９において、ｘ要素の値は０．０であり、ｙ要素の値は０．０であり、xScale要素の値は１．０であり、yScaleの値は１．０であることを示す。ここで、ｘは校正パラメーターのデカルト座標系における座標の相対的な変位のｘ座標を意味する。また、ｙは校正パラメーターのデカルト座標系における座標の相対的な変位のｙ座標を意味する。さらに、xScaleは校正パラメーターのデカルト座標系における相対的な水平方向のスケーリング係数を意味する。yScaleは校正パラメーターのデカルト座標系における相対的な垂直方向のスケーリング係数を意味する。
【００６９】
具体的には、算出部４２は、校正パラメーターを回帰分析手法を用いて計算する。具体的には、算出部４２は、図８（ｂ）に示すように、参照点のｘ座標、すなわちA'x、B'x、C'xおよびD'x並びに校正用画像２４の被校正点のｘ座標、すなわちAx、Bx、CxおよびDxから第一の回帰直線Ｐの傾きと切片ないし定数項を算出する。ここで、当該傾きは、参照点の初期位置と校正用画像２４の被校正点の座標との写像に関する相対的な水平方向のスケーリング係数（xScale）を意味する。当該切片ないし定数項は、参照点の初期位置と校正用画像２４の被校正点の座標との写像に関する相対的な水平方向の変位（xOffset）を意味する。
【００７０】
また、制御部４は、図８（ｃ）に示すように、前述の参照点のｙ座標A'y、B'y、C'yおよびD'y並びに校正用画像２４の被校正点のy座標、すなわちAy、By、CyおよびDyから第二の回帰直線Ｑの傾きと切片ないし定数項を算出する。ここで、当該傾きは、参照点の初期位置と校正用画像２４の被校正点の座標との写像に関する相対的な垂直方向のスケーリング係数（yScale）を意味する。当該切片ないし定数項は、参照点の初期位置と校正用画像２４の被校正点の座標との写像に関する相対的な垂直方向の変位（yOffset）を意味する。
【００７１】
なお、上記では、校正用画像２４を用いた校正パラメーターの算出に、撮像部５におけるデカルト座標系を用いて計算を行ったが、投影部６におけるデカルト座標系を用いて計算できる。また、同様に、校正パラメーターの算出のために、撮像部５および投影部６と幾何学的な関連のある抽象的な座標系を用いて校正パラメーターを算出できる。また、上記においては、回帰分析手法を用いて、校正パラメーターを算出する例について説明したが、フィッティング関数を用いて校正パラメーターを算出することもできる。
【００７２】
次に、ステップＳ３５において、変換部４３は、算出された校正パラメーターを用いて、座標変換を行う画像処理を施すことによって、撮像した画像データを補正する。
【数１】
0004729999.tif 000002
ここで、(Ｘ，Ｙ)は、変換前の座標、（ｘ’，ｙ’）は変換後の座標、xScaleおよびyScaleはそれぞれ回帰直線ＰおよびＱの傾き並びにｘOffsetおよびｙOffsetはそれぞれ回帰直線ＰおよびＱの切片を各々示す。クライアント側装置３の提示部１０を構成するグラフィカル・ユーザ・インタフェース（ＧＵＩ）のディスプレイないしスクリーンに、その補正した画像データを表示することによって、利用者は校正された適正な画像を見ることができる。最後に、ステップＳ３６においては、制御部４は、内部メモリーの解放など、校正データの算出および適応に伴う終了化手続きを行う。
【００７３】
なお、上記の説明においては、校正用画像の座標データ、すなわち校正されるべき座標データから、参照画像の座標データ、すなわち校正された理想的な座標データを予測する回帰直線ないし回帰式の傾き(xScaleおよびyScale)並びに切片(xOffsetおよびyOffset)を用いて、撮影画像データの校正を行ったが、逆に、参照画像の座標データ、すなわち校正された理想的な座標データから校正用画像の座標データ、すなわち校正されるべき座標データを予測する回帰直線ないし回帰式の傾きおよび切片を用いて、投影前に、投影すべき画像データに対して幾何変換の画像処理を施すことによって画像を修正することもできる。
【００７４】
また、以上の説明では、単純な縮尺(拡大または縮小)による歪みおよび平行移動による不具合を校正する場合の例について述べたが、算出部４１は、回転による歪み等による不具合を校正するため、式（２）のようないわゆる一次等角変換(ヘルマート変換)のパラメーター((式２)中のa、b、cおよびd)を算出することによって、縮尺(拡大または縮小)による歪み、平行移動、回転歪みによる不具合を補正することもできるし、さらに式（３）のようないわゆる二次元射影変換のパラメーター((式3)中のa1、a2、a3、a4、a5、a6、a7およびa8)を算出することによって、いわゆる射影歪みを補正することもできる。なお、式（２）および式（３）中の変数xおよびyは夫々参照点の座標、並びに変数ｕおよびｖは夫々被校正点の座標を表す。
【数２】
0004729999.tif 000003
【数３】
0004729999.tif 000004
【００７５】
ここで、一般に上記のパラメーターを決定するのに必要な点数ないし個数以上の基準点および校正点の座標を用いて、いわゆる最小二乗法(最小自乗法、Least squares method)によってパラメーターを決定し得る。
【実施例２】
【００７６】
次に、本発明の第２実施例について説明する。実施例１では、校正用画像として矩形の形状の図形を用いた場合について説明したが、実施例２では、他の校正用画像を用いる場合の例である。図１０は校正用画像の他の例を示す図であり、同図（ａ）は田の字形の校正用画像２４１、同図（ｂ）は三角形の組み合わせによる六角形の校正用画像２４２をそれぞれ示す。投影部６は、赤外光を用いて田の字形の校正用画像２４１や三角形の組み合わせによる六角形の校正用画像２４２を投影する。この投影画像を撮像部５によって撮像する。制御部４の特定部４１は、投影部６から校正用画像の被校正点を特定し、算出部４２は被校正店と所定の参照点を用いて校正パラメーターを算出し、変換部４３は、校正パラメーターを用いて撮像部５が撮像した画像データを変換する。
【００７７】
ここで、上記ステップＳ３３において、特定部４１は、田の字形の校正用画像２４１または三角形の組み合わせによる六角形の校正用画像２４２の各頂点または交点の位置ないし座標を特定するために、従来の画像処理技術を応用する。つまり、田の字形の校正用画像または三角形の組み合わせによる六角形の校正用画像の各頂点または交点の位置ないし座標を特定するために、特定部４１は、撮像部５からの校正用画像データに対して、二値化処理、細線化処理などを行うことによって、校正用画像の各頂点または交点の位置ないし座標を特定する。なお、田の字形の校正用画像２４１または三角形の組み合わせによる六角形の校正用画像２４２の各頂点または交点が実施例１で説明した被校正点に対応する。
【実施例３】
【００７８】
実施例３は、光学系にカラー・ホイールを用いた場合の例である。図１２はカラー・ホイールを用いて投影部６を構成した投影部１０６の一例を示す図である。投影部１０６は、赤外光を利用して校正用画像及び可視光を利用して投影する画像を同一の光学系を用いて投影する。
【００７９】
具体的には、図１２に示すように、投影部１０６は、可視光帯域データ処理回路６１、赤外線帯域データ処理回路６３、カラー・ホイール１０７、ＤＭＤ(デジタル・マイクロミラー・デバイス)１０８、光源１０９、混合回路用レンズ１１０、１１１およびレンズ１１２によって構成されている。図１１はカラー・ホイール１０７の一例を示す図である。図１１に示すように、カラー・ホイール１０７は、可視光の各波長帯域と赤外光の波長帯域に対応するフィルターによって構成され、より詳細には、赤色帯域通過フィルター１０７１、緑色帯域通過フィルター１０７２、青色帯域通過フィルター１０７３および赤外線帯域通過フィルター１０７４の各フィルターで構成されている。
【００８０】
光源１０９は可視光と赤外光の両方を放出できるものである。図３で説明した可視光帯域発光回路６２および赤外線帯域発光回路６４は同一の光源１０９で実現されている。また図３の混合回路６５はカラー・ホイール１０７とＤＭＤ１０８を用いて実現されている。出力回路６６はレンズ１１２により実現されている。混合回路用レンズ１１０は光源１０９からの可視光および赤外光の光をカラー・ホイール１０７に適切に照射する。混合回路用レンズ１１１はカラー・ホイール１０７を通過した可視光および赤外光を適切にＤＭＤ１０８に入射する。
【００８１】
可視光帯域データ処理回路６１および赤外線帯域データ処理回路６３は、カラー・ホイール１０７の回転に同期して、ＤＭＤ１０８を制御する。これにより、任意の可視光をレンズ１１２を通して投影部１０６から投射することができ、かつ、赤外光を利用した校正用画像を適正に生成し、レンズ１１２を通してスクリーン１３の投影領域に校正用画像を投射することができる。このようにして、投影部１０６は、カラー・ホイール等を用いて構成され、所定の画像及び校正用の画像を同一の光学的経路（光源１０９〜レンズ１１２）を経て投影する光学系を含むため、投影部１０６を小型に構成できる。
【００８２】
次に、本実施例に係る撮像部について説明する。図１３は本実施例に係る撮像部の一例を示した図である。図１３に示すように、撮像部２０５は、可視光帯域データ処理回路５３、赤外線帯域データ処理回路５４、レンズ２０６、赤外線反射膜２０７、プリズム２０８及び全反射ミラー２０９を備える。赤外線反射膜２０７、プリズム２０８および全反射ミラー２０９が図２で示したフィルター回路５２に対応する。レンズ２０６が受光回路５１に対応する。可視光帯域データ処理回路５３は、ＣＣＤ等のデバイス、メモリー及びこれらを制御するＣＰＣ等で構成され、可視光はＣＣＤで補足され、メモリーにデジタル化された可視光のデータはメモリーに保存される。赤外線帯域データ処理回路５４は、ＣＣＤ等のデバイス、メモリー及びこれらを制御するＣＰＣ等で構成され、赤外光はＣＣＤで補足され、メモリーにデジタル化された赤外光のデータはメモリーに保存される。図１３に示したように、撮像部２０５は、所定の画像及び校正用の画像を撮像する光学的経路の初期段階において同一となる光学系（レンズ２０６〜プリズム２０８）を含む。これにより撮像部２０５を小型に構成できる。
【００８３】
図１２の投影部１０６が投影する投影画像は、レンズ２０６から撮像部２０５に入力される。赤外光はプリズム２０８を経由し、赤外線反射膜４０によって反射され、プリズム２０８および全反射ミラー２０９を介して赤外線帯域データ処理回路５４に入力される。可視光はプリズム２０８を経由し、赤外線反射膜２０７を通過し、可視光帯域データ処理回路５３に入力される。
【００８４】
次に制御部４によるカラー・ホイール１０７の制御について説明する。図１４は図１で示した制御部４の一例を示す図である。図１４に示すように、制御部４は、ＣＰＵ４０１、メモリー４０２、タイマー４０３およびカウンター４０４から構成される。図１５はカラー・ホイール１０７を制御するタイム・スロットの一例を示す。カラー・ホイール１０７は、通常一定速度で回転軸を中心に回転するので、ある時間的区間のタイム・スロットは、タイム・スロットｔ１〜ｔ４が繰り返される。図１２の光源１０９からの光は、タイム・スロットｔ１で赤色帯域通過フィルター１０７１を通過し、タイム・スロットｔ２で緑色帯域通過フィルター１０７２を通過し、タイム・スロットｔ３で青色帯域通過フィルター１０７３を通過し、タイム・スロットｔ４で赤外線帯域通過フィルター１０７４を通過する。
【００８５】
ＣＰＵ４０１は、カラー・ホイール１０７が図１５に示すタイム・スロットに従うように当該カラー・ホイール１０７の回転速度を制御する。ここで、制御部４のタイマー４０３およびカウンター４０４は、制御すべきタイム・スロットを計測するためにＣＰＵ４０１によって利用される。
【００８６】
このように、制御部４は、タイマーまたはクロックを制御、管理または監視し、ある時間単位、クロック単位、タイム・スライスまたはタイム・スロット毎に、投影部６から所定の画像及び校正用の画像を交互に、又は順次繰り返し投影することによって、投影部１０６が所定の画像を投影していないときに、赤外光を利用して校正用の画像を投影するよう制御できる。これにより、時間分割によって、所定の画像を投影する時間と校正用の画像を投影する時間を時間的に排他制御できる。
【実施例４】
【００８７】
次に実施例４について説明する。実施例４はダイクロック・ミラーを用いて投影部を構成した場合の例である。図１６はダイクロック・ミラーを用いた投影部の例を示す図である。本実施例の投影部１０６は、光学系を少なくとも赤外線帯域通過フィルター、可視光帯域用液晶パネル、ダイクロック・ミラー及びダイクロック・プリズムを所定の位置に配置して構成した例である。図１６に示すように、投影部４０６は、光源４０７、４０８、赤外線帯域通過フィルター４０９、ダイクロック・ミラー４１０、４１１、４１２、全反射ミラー４１３、４１４、４１５、赤色帯域用液晶パネル４１６、緑色帯域用液晶パネル４１７、青色帯域用液晶パネル４１８、赤外線帯域用液晶パネル４１９、ダイクロック・プリズム４２０およびレンズ４２１から構成される。
【００８８】
ここで、ダイクロック・ミラー４１０は可視光領域の光を通過し、赤外光を反射する。ダイクロック・ミラー４１１は赤色帯域の光および赤外光を通過し、緑色帯域および青色帯域の光を反射する。ダイクロック・ミラー４１２は、青色帯域の光を通過し、緑色帯域の光を反射する。また赤色帯域用液晶パネル４１６は赤色帯域の光を制御する。緑色帯域用液晶パネル４１７は緑色帯域の光を制御する。青色帯域用液晶パネル４１８は緑色帯域の光を制御する。赤外線帯域用液晶パネル４１９は赤外光を制御する。
【００８９】
光源４０７から放射された赤色帯域の光は、ダイクロック・ミラー４１０を通過し、ダイクロック・ミラー４１１を通過し、全反射ミラー４１５で反射され、赤外線帯域用液晶パネル４１９を通過し、赤色帯域用液晶パネル４１６で制御され、ダイクロック・プリズム４２０を通過し、レンズ４２１を通過して投影部４０６から投影される。光源４０７から放射された緑色帯域の光は、ダイクロック・ミラー４１０を通過し、ダイクロック・ミラー４１１で反射され、ダイクロック・ミラー４１２で反射され、緑色帯域用液晶パネル４１７で制御され、ダイクロック・プリズム４２０を通過し、レンズ４２１を通過して投影部４０６から投影される。
【００９０】
光源４０７から放射された青色帯域の光は、ダイクロック・ミラー４１０を通過し、ダイクロック・ミラー４１１で反射され、ダイクロック・ミラー４１２を通過し、全反射ミラー４１３で反射され、全反射ミラー４１４で反射され、青色帯域用液晶パネル４１８で制御され、ダイクロック・プリズム４２０を通過し、レンズ４２１を通過して投影部４０６から投影される。
【００９１】
光源４０８から放射された赤外光は、赤外線帯域通過フィルター４０９を通過し、ダイクロック・ミラー４１０で反射され、ダイクロック・ミラー４１１を通過し、全反射ミラー４１５で反射され、赤外線帯域用液晶パネル４１９で制御され、赤色帯域用液晶パネル４１６を通過し、ダイクロック・プリズム４２０を通過し、レンズ４２１を通過して上述した校正用画像が投影部４０６から投影される。可視光帯域データ処理回路６１は赤色帯域用液晶パネル４１６、緑色帯域用液晶パネル４１７および青色帯域用液晶パネル４１８に接続され、各液晶パネルを制御する。赤外線帯域データ処理回路６３は赤外線帯域用液晶パネル４１９に接続され、赤外線帯域用液晶パネル４１９を制御する。このように、投影部４０６は、所定の画像及び校正用の画像を同一の光学的経路（ダイクロック・ミラー４１０〜全反射ミラー４１５〜レンズ４２１）を経て投影する光学系を含むため、投影部４０６を小型に構成できる。
【００９２】
図１７は第４実施例における液晶パネルを制御するタイム・スロットの例を示した図である。図１７に示すように、ある時間的区間は、赤色帯域データ用タイム・スロットｔ１１、赤外線帯域データ用タイム・スロットｔ１２、緑色帯域データ用タイム・スロットｔ１３および青色帯域データ用タイム・スロットｔ１４に分割される。赤色帯域データ用タイム・スロットｔ１１および赤外線帯域データ用タイム・スロットｔ１２は交互に繰り返される。
【００９３】
制御部４は、タイム・スロットｔ１１、タイム・スロットｔ１２、タイム・スロットｔ１３およびタイム・スロットｔ１４のタイミングで可視光帯域データ処理回路６１および赤外線帯域路データ処理回路６３を制御する。タイム・スロットｔ１１の開始時点とタイム・スロットｔ１３の開始時点とタイム・スロットｔ１４の開始時点とは、同期させることができる。
【００９４】
可視光帯域データ処理回路６１は、タイム・スロットｔ１１で、赤色帯域用液晶パネル４１６を制御し、赤色帯域の光を制御する。赤外線帯域データ処理回路６３は、タイム・スロットｔ１１で、赤外線用帯域液晶パネル４１９を制御し、すべての光を通過するようにする。赤外線帯域データ処理回路６３は、タイム・スロットｔ１２で、赤外線用帯域液晶パネル４１９を制御して赤外光を制御する。これにより、赤外光を用いて校正用画像を投影できる。可視光帯域データ処理回路６１は、タイム・スロット６９で、赤色帯域用液晶パネル４１６を制御し、すべての光を通過するようにする。可視光帯域データ処理回路６１は、タイム・スロットｔ１４で、緑色帯域用液晶パネル４１７を制御し、緑色帯域の光を制御する。可視光帯域データ処理回路６１は、タイム・スロットｔ１４で、青色帯域用液晶パネル４１８を制御することによって青色帯域の光を制御する。このように、投影部４０６は、所定の画像を投影しないときに、校正用の画像を投影することで、時間分割によって、所定の画像を投影する時間と校正用の画像を投影する時間を時間的に排他制御できる。
【実施例５】
【００９５】
次に本発明の実施例５について説明する。上記実施例では、赤外光を用いて校正用画像を送る例について説明をしたが、本実施例では、赤外光以外の帯域の光を用いて校正用画像を送る例について説明する。なお、赤外線以外の帯域の光を用いて、校正用画像送る場合、赤外線に関連する部分以外は、これまで説明した構成、装置および方法を利用することができる。このため、実施例５ではこれまで説明した部分と同一箇所についてはその説明を省略する。また、本実施例の説明においては、位置、拡大縮小ないしスケーリング、回転、いわゆる台形歪みなどに関する校正のためのデータを校正パラメーターと総称して呼ぶことがある。
【００９６】
図１８は本発明の実施例５に係る撮像部５０５の一例を示した図である。図１８に示すように、撮像部５０５は、受光回路５１、フィルター回路５２、可視光帯域データ処理回路５３および特定帯域データ処理回路５５４から構成される。この撮像部５０５は、実施例１の撮像部５に対して、特定帯域データ処理回路５５４の部分が変更されている。
【００９７】
特定データ処理回路５５４は、赤外線以外の帯域の電磁波ないし光を処理する。ここで、フィルター回路５２は、可視光と赤外光以外の帯域の電磁波ないし光を分離し、分離した可視光を可視帯域データ処理回路５３に出力し、分離した赤外光以外の帯域の電磁波ないし光を特定帯域データ処理回路５５４に出力する。特定帯域データ処理回路５５４は、フィルター回路５２から出力された赤外線以外の帯域の電磁波ないし光を光電変換し、変換後のデータを内部のメモリーに保持する。
【００９８】
図１９は本発明の実施例５に係る投影部の一例を示した図である。図１９に示すように、投影部６０６は、可視光帯域データ処理回路６１、可視光帯域発光回路６２、特定帯域データ処理回路６６３、特定帯域発光回路６６４、混合回路６５および出力回路６６から構成される。この投影部６０６は、実施例１の投影部６に対して、特定データ処理回路６６３および特定帯域発光回路６６４の部分が変更されている。
【００９９】
特定帯域データ処理回路６６３は、赤外光以外の帯域の電磁波として出力する校正用画像を生成し、後段の特定帯域発生回路６６４に出力する。特定帯域発光回路６６３は、特定帯域データ処理回路６６４から入力した校正用画像データを入力し、当該校正用画像データに応じて、赤外光以外の帯域の電磁波ないし光を発光し、その発光した電磁波ないし光を混合回路６５へ送る。
【０１００】
図２０は本発明の実施例５に係る校正用投影手続きを示したフローチャートである。図２０は、図４のステップＳ２の詳細な手続きを示したものである。図示のとおり、実施例５におけるステップＳ２の校正用投影手続きは、校正用投影初期化手続きステップＳ１１１、可視光帯域データ処理ステップＳ１１２、可視光帯域発光処理ステップＳ１１３、特定帯域データ処理ステップＳ１１４、特定帯域発光処理ステップＳ１１５、混合処理ステップＳ１１６、出力処理ステップＳ１１７および校正用投影終了化手続きＳ１１８の各手続きおよび処理で構成される。本発明の実施例では、特定帯域データ処理ステップＳ１１４および特定帯域発光処理ステップＳ１１５の各手続きないし処理が前述の校正用投影手続きに比べて変更されている。
【０１０１】
ステップＳ１１４において、投影部６０６の特定帯域データ処理回路６６３が赤外線以外の帯域の電磁波として出力するための校正用画像データを生成し、後段の特定帯域発生回路６６４に出力する。続いて、ステップＳ１１５において、特定帯域発光回路６６４は特定帯域データ処理回路６６３から入力した校正用画像データを入力し、当該校正用画像データに応じて、赤外光以外の帯域の電磁波ないし光を発光し、その発光した電磁波ないし光を混合回路６５へ送る。
【０１０２】
図２１は本発明の実施例５に係る校正用撮像手続きを示したフローチャートである。図２１は図４のステップ３の詳細なフローチャートである。図示のとおり、実施例５に係るステップＳ３の校正用撮像手続きは、校正用撮像初期化手続きＳ１２１、受光処理ステップＳ１２２、フィルタリング処理ステップＳ１２３、可視光帯域データ処理ステップＳ１２４、特定帯域データ処理ステップＳ１２５および校正用撮像終了化手続きＳ１２６の各手続きおよび処理で構成される。ステップＳ１２５において、撮像部５０５の特定帯域データ処理回路５５４は、フィルター回路５２からの赤外線以外の帯域の特定帯域の電磁波ないし光を光電変換し、校正用画像データを抽出し、校正用画像データを制御部４の内部メモリーに出力する。
【０１０３】
以上のように、赤外光以外の帯域の電磁波ないし光を用いて校正用画像データを送ることも可能である。赤外線以外の帯域の電磁波ないし光として、可視光以外の帯域の電磁波ないし光を用いることもできる。また、赤外光以外の帯域の電磁波ないし光として、特定の帯域の可視光を用いることもできる。特定帯域の可視光を用いて、校正用画像データを伝送する場合、利用者が所定の画像を投影する際に用いていない帯域の可視光を選択的に用いて、校正用画像を投影できる。
【０１０４】
なお、本発明のコンピュータ・プログラムは、投影された校正用の画像を撮像した撮像画像の情報を取得するステップと、前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定するステップと、前記被校正点の位置を参照点の位置に変換するためのパラメーターを算出する算出ステップと、前記パラメーターを用いて前記撮像画像の情報を変換する変換ステップとをコンピュータに実行させる。また、本発明の制御方法はサーバー側装置により実現される。撮像部の抽出部は、フィルター回路５２及び赤外線帯域データ処理回路５４によって実現されている。
【０１０５】
また、情報処理システムは、少なくとも校正用の画像を投影する投影部６と、投影部６が投影した投影画像を撮像する撮像部５と、撮像部５が撮像した撮像画像の情報から校正用の画像の形状を表す被校正点の位置を特定する特定部４１と、被校正点の位置を所定の参照点の位置に変換するためのパラメーターを算出する算出部４２と、パラメーターを用いて撮像部５及び投影部６の少なくとも一方を移動させる移動部（図示略）とを備えることで実現してもよい。上記実施例では、撮像部５が撮像した撮像画像の情報を変換するようにしていたが、このように、校正用パラメーターを用いて撮像部５及び投影部６を移動させることにより、撮像部５の撮影領域及び投影部６の投影領域を校正することによって上記と同様の効果を得ることができる。
【０１０６】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【図面の簡単な説明】
【０１０７】
【図１】本発明の一実施形態に係るマルチメディア処理装置１の機能構成を示したブロック図である。
【図２】本発明の形態に係る撮像部の機能構成を示したブロック図である。
【図３】本発明の形態に係る投影部の機能構成を示したブロック図である。
【図４】本発明の一実施形態に係るマルチメディア処理装置１における位置校正手続きの一例を示したフローチャートである。
【図５】ステップＳ２の詳細な校正用投影手続きを示したフローチャートである。
【図６】ステップＳ３の詳細な校正用撮像手続きを示したフローチャートである。
【図７】ステップＳ４の詳細な校正データ算出適応手続きを示したフローチャートである。
【図８】校正手続き時の投影画面と撮像画面の関係の一例を示した図である。
【図９】校正パラメーターのデータの表現例を示した図である。
【図１０】校正データの形状の例を示した図である。
【図１１】本発明の一実施例に係るカラー・ホイールの一例を示した図である。
【図１２】本発明の一実施例に係るカラー・ホイールを用いて投影部の例を示す図である。
【図１３】本発明の一実施例に係る撮像部の一例を示した図である。
【図１４】本発明の一実施例に係る制御部の一例を示した図である。
【図１５】本発明のカラー・ホイールを制御するタイム・スロットの一例を示した図である。
【図１６】本発明の一実施例に係るダイクロック・ミラーを用いて投影部を構成した投影部の一例を示した図である。
【図１７】本発明の液晶パネルを制御するタイム・スロットの一例を示した図である。
【図１８】本発明の実施例５に係る撮像部の一例を示した図である。
【図１９】本発明の実施例５に係る投影部の一例を示した図である。
【図２０】本発明の実施例５に係るステップＳ２の詳細な校正用投影手続きを示したフローチャートである。
【図２１】本発明の実施例５に係るステップＳ３の詳細な校正用撮像手続きを示したフローチャートである。
【符号の説明】
【０１０８】
１  マルチメディア処理装置
２  サーバー側装置
３  クライアント側装置
４  制御部
４１  特定部
４２  算出部
４３  変換部
４０１  ＣＰＵ
４０２  メモリー
４０３  タイマー
４０４  カウンター
５、５０５  撮像部
５１  受光回路
５２  フィルター回路
５３  可視光帯域データ処理回路
５４  赤外線帯域データ処理回路
５５４  特定帯域データ処理回路
６、４０６、６０６  投影部
６１  可視光帯域データ処理回路
６２  可視光帯域発光回路
６３  赤外線帯域データ処理回路
６４  赤外線帯域発光回路
６５  混合回路
６６  出力回路
６６３  特定帯域データ処理回路
６６４  特定帯域発光回路
７  通信部
８  通信網、データ・バス
９  制御部
１０  提示部
１１  入力部
１２  通信部
１０７  カラー・ホイール
１０７１  赤色帯域通過フィルター
１０７２  緑色帯域通過フィルター
１０７３  青色帯域通過フィルター
１０７４  赤外線帯域通過フィルター
１０８  ＤＭＤ
１０９  光源
１１０、１１１  混合回路用レンズ
２０５  撮像部
２０６  レンズ
２０７  赤外線反射膜
２０８  プリズム
２０９  全反射ミラー
４０７、４０８  光源
４０９  赤外線帯域通過フィルター
４１０、４１１、４１２  ダイクロック・ミラー
４１３、４１４、４１５  全反射ミラー
４１６  赤色帯域用液晶パネル
４１７  緑色帯域用液晶パネル
４１８  青色帯域用液晶パネル
４１９  赤外線帯域用液晶パネル
４２０  ダイクロック・プリズム
４２１  レンズ
【図１】
0004729999.tif 000005
【図２】
0004729999.tif 000006
【図３】
0004729999.tif 000007
【図４】
0004729999.tif 000008
【図５】
0004729999.tif 000009
【図６】
0004729999.tif 000010
【図７】
0004729999.tif 000011
【図８】
0004729999.tif 000012
【図９】
0004729999.tif 000013
【図１０】
0004729999.tif 000014
【図１１】
0004729999.tif 000015
【図１２】
0004729999.tif 000016
【図１３】
0004729999.tif 000017
【図１４】
0004729999.tif 000018
【図１５】
0004729999.tif 000019
【図１６】
0004729999.tif 000020
【図１７】
0004729999.tif 000021
【図１８】
0004729999.tif 000022
【図１９】
0004729999.tif 000023
【図２０】
0004729999.tif 000024
【図２１】
0004729999.tif 000025