(57)【要約】【課題】投影面の状況に応じた適正な画像を生成可能な投影システムを提供する。【解決手段】プロジェクター部１０によって輝度が段階的かつ等間隔に変化するパターンを投影した投影面を、カメラ部２０が撮影することにより画像を取得する。次に、カメラ制御部２００において、取得した画像について、パターンが投影された領域の明るさの段階的な変化量が等間隔となるように、階調特性補正用の補正値を設定する。その後、γ補正回路２１８において、カメラ制御部２００において設定された補正値に基づいてカメラ部２０で取得される撮影画像の階調特性を補正し、素子駆動制御機能１０１において、プロジェクター部１０から投影面に投影される投影画像の階調特性を補正する。【選択図】　　　　図２
2004109246.tif 000002
【特許請求の範囲】
【請求項１】
投影システムであって、
投影面に、輝度が段階的に変化するパターンを投影する投影手段と、
前記投影面に投影された前記パターンを撮影することによって画像を取得する撮影手段と、
前記撮影手段によって取得される前記画像に基づいて、前記投影手段によって前記投影面に投影される投影画像、および、前記撮影手段によって前記投影面を撮影することにより得られる撮影画像のうち少なくとも一方の画像について、階調特性を補正する階調補正手段と、
を備えることを特徴とする投影システム。
【請求項２】
投影システムであって、
投影面に、無彩色の光を投影する投影手段と、
前記無彩色の光が投影された前記投影面を撮影することによって画像を取得する撮影手段と、
前記撮影手段によって取得される前記画像に基づいて、前記投影手段によって前記投影面に投影される投影画像、および、前記撮影手段によって前記投影面を撮影することにより得られる撮影画像のうち少なくとも一方の画像について、ホワイトバランスを補正するホワイトバランス補正手段と、
を備えることを特徴とする投影システム。
【請求項３】
投影システムであって、
投影面に、複数の焦点検出用の部分を含むパターンを投影する投影手段と、
前記投影面に投影された前記パターンを撮影することによって、複数の画素で構成される前記パターンに係る画像を入力する撮影手段と、
前記撮影手段における撮影レンズの合焦制御を行う合焦制御手段と、
前記画像における前記複数の焦点検出用の部分に対応する領域について、それぞれ前記撮影レンズの合焦状態に関する評価値を算出する評価値算出手段と、
前記評価値に基づいて、前記投影手段によって前記投影面に投影される投影画像、および、前記撮影手段によって前記投影面を撮影することにより得られる撮影画像のうち少なくとも一方の画像について、歪みを補正する歪み補正手段と、を備えることを特徴とする投影システム。
【請求項４】
投影システムであって、
投影面に、複数の特異点を含む所定のパターンを投影する投影手段と、
前記投影面に投影された前記所定のパターンを撮影することによって、画像を取得する撮影手段と、
前記画像について、前記複数の特異点にそれぞれ対応する対応点を抽出する抽出手段と、
前記複数の特異点と、前記対応点との位置関係から補正値を算出する算出手段と、
前記補正値に基づいて、前記撮影手段によって前記投影面を撮影することにより得られる撮影画像の歪みを補正する歪み補正手段と、
を備えることを特徴とする投影システム。
【請求項５】
投影システムであって、
投影面に、単一色の光を投影する投影手段と、
前記単一色の光が投影された前記投影面を撮影することによって画像を取得する撮影手段と、
前記撮影手段によって取得される前記画像について、前記投影面に直接に付された視覚要素に対応する領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出した前記領域と、前記投影手段によって前記投影面に投影するための画像とをデータ合成する合成手段と、
を備えることを特徴とする投影システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、投影面に画像を投影する投影システムの技術に関する。
【０００２】
【従来の技術】
パーソナルコンピュータ（以下、「パソコン」と略称する）の画面に表示される画像を、投影装置によってホワイトボード等の投影面に投影して、会議を行う用途が増加してきている（例えば、非特許文献１参照）。
【０００３】
図３０は、会議における従来の投影システム５００の使用例を示す模式図である。なお、図３０は、会議室ＣＲ１０を上から見た上面図を示している。
【０００４】
図３０に示すように、従来の投影システム５００は、主に、投影装置５１０とパソコン５２０とから構成され、会議机ＣＤ１０上に設置されている。そして、投影装置５１０とパソコン５２０とはケーブルによって接続され、投影装置５１０が、パソコン５２０の画面上に表示される画像と同様な画像を、ホワイトボードＷ１０に拡大投影する。
【０００５】
ここでは、説明者ＰＭ１０等が、適宜、ホワイトボードＷ１０に拡大投影される画像を指しつつ会議を進行することができるため、会議に参加した人々Ｍ１１〜Ｍ１５に、会議の内容等をわかり易く伝えることができる。よって、特に会議用の資料を配付する必要性がなく、資料作成にかかるコストを大幅に削減することができる。
【０００６】
また、このような会議においては、ホワイトボードＷ１０に拡大投影した画像に合わせて、説明者ＰＭ１０等が、マーカーＭＫ等でホワイトボードＷ１０にマニュアルで書き込みを行うことが一般的に行われている。そして、会議の内容を記録するために、ホワイトボードＷ１０に書き込んだ内容をカメラで撮影する場合もある（例えば、非特許文献２参照）。
【０００７】
さらに、図示を省略するが、複数の会議室のパソコン５２０をネットワークを介して接続し、異なる会議室において同様な画像を投影装置５１０によってホワイトボードＷ１０に拡大投影しながら、遠隔地どうしで会議を協同で進行させる電子会議システムのサービスも行われている。
【０００８】
このような技術に関する先行技術文献としては以下のようなものがある。
【０００９】
【特許文献１】
特開平９−２８９６００号公報
【特許文献２】
特開平９−２８９６１１号公報
【特許文献３】
特開２００２−５７８７９号公報
【特許文献４】
特許第２６３２５２０号公報
【特許文献５】
登録実用新案平４−１８３０８号公報
【非特許文献１】
”ＤＡＴＡ　ＰＲＯＪＥＣＴＯＲ（ＴＬＰ−Ｘ２０ＤＪ／ＴＬＰ−Ｘ２１ＤＪ）カタログ”、株式会社東芝　デジタルメディアネットワーク社、２００２年３月
【非特許文献２】
”水で消色するマーカーペン対応のホワイトボード用シート「Ａ・Ｂ・シート」新発売”、［ｏｎｌｉｎｅ］、平成１１年６月４日、富士写真フィルム株式会社、［平成１４年８月６日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｆｕｊｉｆｉｌｍ．ｃｏ．ｊｐ／ｎｅｗｓ＿ｒ／ｎｒｊ４５８．ｈｔｍｌ＞。
【００１０】
【発明が解決しようとする課題】
しかしながら、投影面の色や反射率、外光、および投影装置の光源の劣化等の影響によって、パソコン５２０の画面上に表示される画像と、投影面に投影される画像との間で、色調や階調特性等の相違が生じる場合がある。また、投影面に対して斜めの方向から、投影装置によって画像を投影する場合等、投影面と投影装置との相対的な位置関係によって、投影面に投影される画像が歪む場合もある。これら場合は、画像の作成者が意図した内容を会議に参加した人々に対して正確に伝達することができないといった問題を生じる。
【００１１】
さらに、上述した遠隔地どうしで会議を協同で進行させる電子会議システムでは、投影面に書き込んだ内容等が、他の会議室の投影面には反映されないため、異なる会議室どうしの間で、会議の内容が理解し難くなるといった問題も生じる。
【００１２】
また、会議資料を配付しない場合には、拡大投影された画像と、投影面に書き込んだ内容等とを併せて、会議の内容として記録するために、カメラ等で撮影しても、拡大投影された画像等を、きれいに撮影することが難しいといった問題も生じる。
【００１３】
さらに、会議の内容を記録するために、投影面に書き込んだ内容等を撮影する際に、投影面に対して斜めの方向から撮影しなければならない場合等、投影面とカメラとの相対的な位置関係によって、撮影された画像が歪む場合もある。この問題に関してはカメラに関する以下の従来技術を応用することが考えられる。例えば、特許文献１、２におけるカメラでは、カメラの長手方向とホワイトボードとのなす角度をユーザーが目分量で図り、その角度をカメラに入力することによって、撮影画像の台形歪みを補正することができる。しかし、この方法では、煩雑な操作が必要な上に、補正の精度が低くなるといった難点がある。また、特許文献３におけるカメラでは、投影面に書き込んだ文字や図形から対向する少なくとも２組の線分を外挿すること等によって、歪みを補正するための補正値を算出することができる。しかし、この方法では、少なくとも２組の線分を外挿できるような書き込み等でなければ有効でなく、利用できる場合が制限される。
【００１４】
本発明は、上記課題に鑑みてなされたものであり、投影面の状況に応じた適正な画像処理が可能な投影システムを提供することを基本目的とする。
【００１５】
そして、この基本目的に対応して下記の具体的な目的がある。
【００１６】
第１の具体的な目的は、投影面の状況に応じて適正な画像を「生成」可能な投影システムを提供することである。
【００１７】
第２の具体的な目的は、投影面の状況に応じて適正な画像を「投影」可能な投影システムを提供することである。
【００１８】
第３の具体的な目的は、投影面の状況に応じて適正な画像を「撮影」可能な投影システムを提供することである。
【００１９】
また、本発明の他の目的は、投影面に投影される情報と、投影面に直接付加される情報とを合わせた高品質の画像を取得可能な投影システムを提供することである。
【００２０】
【課題を解決するための手段】
上記の課題を解決するために、請求項１の発明は、投影システムであって、投影面に、輝度が段階的に変化するパターンを投影する投影手段と、前記投影面に投影された前記パターンを撮影することによって画像を取得する撮影手段と、前記撮影手段によって取得される前記画像に基づいて、前記投影手段によって前記投影面に投影される投影画像、および、前記撮影手段によって前記投影面を撮影することにより得られる撮影画像のうち少なくとも一方の画像について、階調特性を補正する階調補正手段とを備えることを特徴とする。
【００２１】
また、請求項２の発明は、投影システムであって、投影面に、無彩色の光を投影する投影手段と、前記無彩色の光が投影された前記投影面を撮影することによって画像を取得する撮影手段と、前記撮影手段によって取得される前記画像に基づいて、前記投影手段によって前記投影面に投影される投影画像、および、前記撮影手段によって前記投影面を撮影することにより得られる撮影画像のうち少なくとも一方の画像について、ホワイトバランスを補正するホワイトバランス補正手段とを備えることを特徴とする。
【００２２】
また、請求項３の発明は、投影システムであって、投影面に、複数の焦点検出用の部分を含むパターンを投影する投影手段と、前記投影面に投影された前記パターンを撮影することによって、複数の画素で構成される前記パターンに係る画像を入力する撮影手段と、前記撮影手段における撮影レンズの合焦制御を行う合焦制御手段と、前記画像における前記複数の焦点検出用の部分に対応する領域について、それぞれ前記撮影レンズの合焦状態に関する評価値を算出する評価値算出手段と、前記評価値に基づいて、前記投影手段によって前記投影面に投影される投影画像、および、前記撮影手段によって前記投影面を撮影することにより得られる撮影画像のうち少なくとも一方の画像について、歪みを補正する歪み補正手段とを備えることを特徴とする。
【００２３】
また、請求項４の発明は、投影システムであって、投影面に、複数の特異点を含む所定のパターンを投影する投影手段と、前記投影面に投影された前記所定のパターンを撮影することによって、画像を取得する撮影手段と、前記画像について、前記複数の特異点にそれぞれ対応する対応点を抽出する抽出手段と、前記複数の特異点と、前記対応点との位置関係から補正値を算出する算出手段と、前記補正値に基づいて、前記撮影手段によって前記投影面を撮影することにより得られる撮影画像の歪みを補正する歪み補正手段とを備えることを特徴とする。
【００２４】
また、請求項５の発明は、投影システムであって、投影面に、単一色の光を投影する投影手段と、前記単一色の光が投影された前記投影面を撮影することによって画像を取得する撮影手段と、前記撮影手段によって取得される前記画像について、前記投影面に直接に付された視覚要素に対応する領域を抽出する領域抽出手段と、前記領域抽出手段によって抽出した前記領域と、前記投影手段によって前記投影面に投影するための画像とをデータ合成する合成手段とを備えることを特徴とする。
【００２５】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００２６】
＜（１）　第１実施形態＞
＜（１−１）　投影システムの概要＞
図１は、本発明の第１実施形態に係る投影システム１の使用例を示す模式図である。なお、図１は、会議室ＣＲ１を上から見た上面図を示しており、図１以降では、方位関係を明確とするために必要に応じて、ＸＹＺ直交座標系を付している。
【００２７】
図１に示すように、本発明の第１実施形態に係る投影システム１は、主に、カメラ（デジタルカメラ）付きプロジェクター２と、パーソナルコンピュータ（以下「パソコン」と略称する）３０とから構成され、会議机ＣＤ上に設置される。そして、カメラ付きプロジェクター２とパソコン３０とはケーブルＣＢによって接続され、カメラ付きプロジェクター２が、パソコン３０の画面上に表示される画像と同様な画像を、投影面であるホワイトボードＷに拡大投影する。
【００２８】
ここでは、説明者ＰＭ等は、適宜、ホワイトボードＷに拡大投影された画像（投影画像）を指したり、マーカーＭＫ等でホワイトボードＷに書き込みを行いながら会議を進行する。よって、会議に参加した人々Ｍ１〜Ｍ５に、会議の内容等をわかり易く伝えることができるため、特に会議用の資料を配付する必要性がなく、資料作成にかかるコストを大幅に削減することができる。
【００２９】
カメラ付きプロジェクター２は、主に、プロジェクター部１０とカメラ部２０とから構成され、カメラ部２０はプロジェクター部１０の筐体に固定される。そして、例えば、プロジェクター部１０の投影レンズ１０Ｒと、カメラ部２０の撮影レンズ２０Ｒとは、出来るだけ近くに配置され、投影レンズ１０Ｒと撮影レンズ２０Ｒは、光軸および画角が互いに近似するように設定される。
【００３０】
なお、図１では、投影レンズ１０Ｒの画角を模式的に示す実線１０Ｌと、撮影レンズ２０Ｒの画角を模式的に示す点線２０Ｌとを付している。図１に示すように、ここでは、ホワイトボードＷに投影される投影画像の全領域（以下、「投影領域」と称する）が、カメラ部２０によって撮影可能な範囲に入るように設定される。
【００３１】
＜（１−２）　投影システムの内部構成＞
図２は、投影システム１の内部構成を示すブロック図である。投影システム１は、上述したように、主に、プロジェクター部１０と、カメラ部２０と、パソコン３０の３つの部分から構成される。以下、３つの部分について順に説明する。
【００３２】
＜（１−２−１）　プロジェクター部の内部構成＞
本実施形態では、後述する表示素子１２３として、一般的なＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）（登録商標）を１つ用いる１チップ方式を例にとって説明する。
【００３３】
図２に示すように、プロジェクター部１０は、一般的なプロジェクターと同様、主に、プロジェクター制御部１００、画像生成機能部１１０、投影機能部１２０、およびＵＳＢＩ／Ｆ３４を備えて構成される。
【００３４】
投影機能部１２０は、光源１２１、色分解用カラーホイール１２２、表示素子１２３、および投影レンズ１０Ｒを備えている。
【００３５】
光源１２１は、白色光を発生させる光源であり、投影レンズ１０Ｒは一般的な投影レンズである。
【００３６】
色分解用カラーホイール１２２は、ＲＧＢの３原色のフィルターを有し、表示素子１２３の駆動と同期しながら回転する。そして、光源１２１から発せられた白色光を、時分割方式によって、順次、Ｒ（レッド）の光、Ｇ（グリーン）の光、Ｂ（ブルー）の光とすることによって色分解した光を、表示素子１２３の表示素子面に照射する。
【００３７】
表示素子１２３は、上述したように、１つのＤＭＤによって構成されている。ＤＭＤは、各画素毎に微小なミラーによって構成されており、プロジェクター制御部１００から発せられる電気信号による制御に基づいて、微小なミラーの角度が変更される。そして、プロジェクター制御部１００から電気信号が発せられた状態では、微小なミラーの角度は、色分解用カラーホイール１２２から照射される光束が、微小なミラーによって反射されて投影レンズ１０Ｒを透過するように構成される。一方、プロジェクター制御部１００から電気信号が発せられない状態では、微小なミラーの角度は、色分解用カラーホイール１２２から照射される光束が、微小なミラーによって反射されて投影レンズ１０Ｒを透過しないように構成される。
【００３８】
画像生成機能部１１０は、パソコン３０から入力されるアナログＲＧＢ信号に基づいて、投影するための画像データを生成する。なお、ここでは、パソコン３０から入力されるアナログＲＧＢ信号が、動画にも対応可能なように、全て動画用のフォーマットとなっているものを例に挙げて説明する。
【００３９】
画像生成機能部１１０は、アナログＲＧＢデコーダー１１１、フレームメモリ１１２、スケーラー１１３、および画像メモリ１１４を備えている。
【００４０】
アナログＲＧＢデコーダー１１１は、パソコン３０から入力されるアナログＲＧＢ信号から、投影機能部１２０の駆動に適合するデジタル画像データを生成する。言い換えれば、色分解用カラーホイール１２２および表示素子１２３の駆動に適合するデジタル画像データを生成する。そして、アナログＲＧＢデコーダー１１１は、図示を省略するが、アナログ信号をサンプリングするためのサンプリングパルスを発生するＰＬＬ回路と、アナログ画像信号をデジタル画像信号（例えば、８ビットのデジタル画像信号）に変換するＡ／Ｄ変換器とを有している。
【００４１】
アナログＲＧＢデコーダー１１１では、パソコン３０から入力されるアナログＲＧＢ信号から水平同期信号および垂直同期信号を分離する。そして、ＰＬＬ回路が、分離された水平同期信号および１フレームの開始を示す垂直同期信号に対して、３倍のスピードで、水平同期信号および垂直同期信号といったサンプリングパルスを発生する。
【００４２】
例えば、後述する表示素子１２３の画素数がＳ−ＶＧＡ規格（８００×６００画素）に対応するものと仮定すると、ＰＬＬ回路は、水平同期信号を発生させてから、次の水平同期信号を発生させる迄に、８００画素分のデータをサンプリングするパルスを発生させる。また、ＰＬＬ回路から発生する垂直同期信号と、色分解用カラーホイール１２２のＲＧＢの切り替えタイミングと、表示素子１２３の垂直走査とを同期させるようにサンプリングを行って、デジタル画像データを生成する。
【００４３】
具体的には、ＰＬＬ回路から発生される垂直同期信号に同期して、色分解用カラーホイール１２２からＲの光を表示素子１２３に照射すべきタイミングになると、Ａ／Ｄ変換器の入力はアナログ信号のうちのＲ信号に切り替わり、サンプリングが開始される。そして、垂直６００ラインのサンプリングが終了すると、次の垂直同期信号に同期して、色分解用カラーホイール１２２からＧの光を表示素子１２３に照射すべきタイミングになり、Ａ／Ｄ変換器の入力はアナログ信号のうちのＧ信号に切り替わり、サンプリングが開始される。さらに、垂直６００ラインのサンプリングが終了すると、次の垂直同期信号に同期して、色分解用カラーホイール１２２からＢの光を表示素子１２３に照射すべきタイミングになり、Ａ／Ｄ変換器の入力はアナログ信号のうちのＧ信号に切り替わり、サンプリングが開始される。
【００４４】
その後、垂直６００ラインのサンプリングが終了すると、さらに同様なサンプリング動作が繰り返されて、パソコン３０から入力されるアナログＲＧＢ信号から、投影機能部１２０の駆動に適合するデジタル画像データを生成する。以上のようにして生成されるデジタル画像データは随時、フレームメモリ１１２に記憶される。
【００４５】
スケーラー１１３は、投影レンズ１０Ｒの光軸と、投影面であるホワイトボードＷとが垂直でない場合に発生する台形歪み等を補正する。なお、従来のプロジェクターでは、ユーザーが投影レンズのレンズ面と投影面との相対角度を目分量で測定して入力すること等によって、スケーラーが、フレームメモリ１１２に記憶されている画素データについて、走査線毎に拡大、縮小演算を行っていた。一方、本発明の第１実施形態に係るスケーラー１１３は、後述する補正値算出機能１０２において算出される歪み補正用の補正値に基づいて、フレームメモリ１１２に記憶されているデジタル画像データに対し、走査線毎や、画素毎に拡大、縮小演算を行う。なお、スケーラー１１３から出力される画像データの画素数は、表示素子１２３の画素数に対応している。歪み補正用の補正値の算出、および歪みの補正については、後程詳述する。
【００４６】
画像メモリ１１４は、揮発性または不揮発性の記憶媒体によって構成され、スケーラー１１３において拡大、縮小演算が行われたデジタル画像データを記憶する。そして、プロジェクター制御部１００は、画像メモリ１１４に記憶されたデジタル画像データに基づいて、投影機能部１２０の駆動を制御することにより、垂直同期信号に同期して、Ｒのフィールド、Ｇのフィールド、Ｂのフィールドを繰り返して光学的に投影する。したがって、プロジェクター部１０が、ホワイトボードＷ（投影面）に画像を投影する手段として機能する。
【００４７】
ここでは、画素毎に、画像メモリ１１４に記憶されるデジタル値に応じた期間、プロジェクター制御部１００から表示素子１２３への電気信号が発生される。つまり、画素毎に、画像メモリ１１４に記憶されるデジタル値に応じた期間、表示素子１２３の微小なミラーの反射角度が変更される。なお、画素毎のデジタル値と、プロジェクター制御部１００から表示素子１２３への電気信号の発生時間との関係は、Ｒ、Ｇ、Ｂ毎に、プロジェクター制御部１００内に記憶されるＬＵＴ（変換テーブル）によって設定されている。そして、ＬＵＴはプロジェクター制御部１００において変更可能であり、後述する階調特性補正用およびホワイトバランス補正用の補正値等に従って、投影画像のホワイトバランス（以下、「ＷＢ」と略称する）および階調特性を任意に設定することができる。
【００４８】
プロジェクター制御部１００は、マイクロコンピュータ（ＣＰＵ）、ＲＡＭ１０ａおよびＲＯＭ１０ｂを有しており、上述したプロジェクター部１０の各部材の駆動を有機的に制御してプロジェクター部１０の動作を統括制御する。なお、プロジェクター制御部１００の各機能は、ＣＰＵにおいて、ＲＯＭ１０ｂに格納されるプログラムによって実現される。
【００４９】
また、プロジェクター制御部１００は、表示素子１２３の微小なミラーの反射角度を変更するため、電気信号を発生させる素子駆動制御機能１０１を有しており、さらに、投影画像の歪み補正用の補正値を算出する補正値算出機能１０２を有している。補正値算出機能１０２は、後述するカメラ制御部２００において算出される撮影倍率比に基づいて、投影画像の歪みを補正するための補正値を算出する。
【００５０】
ＵＳＢＩ／Ｆ１３０は、プロジェクター制御部１００とカメラ部２０との間で通信を可能にするための、ＵＳＢ規格に準拠した通信用インターフェースである。
【００５１】
＜（１−２−２）カメラ部の内部構成＞
図２に示すように、カメラ部２０は、主に、カメラ制御部２００、撮影機能部２１０、画像メモリ２２０、およびＵＳＢＩ／Ｆ２３０を備えて構成される。
【００５２】
撮影機能部２１０は、画像を取得するために、画像信号処理を行うものであり、撮影レンズ２０Ｒ、レンズ駆動回路２１２、撮像素子２１３、撮像素子駆動回路２１４、信号処理回路２１５、Ａ／Ｄ変換器２１６、ＷＢ回路２１７、γ補正回路２１８、および、色変換・色補正回路２１９を備えている。
【００５３】
撮像素子２１３は、一般的なＣＣＤであり、撮影レンズ２０Ｒにより結像された被写体の光像を、Ｒ，Ｇ，Ｂの色成分の画像信号（各画素で受光された画素信号の信号列からなる信号）に光電変換して出力する。撮像素子駆動回路２１４は、撮像素子２１３の駆動を制御するための各種のタイミングパルスを生成するものである。
【００５４】
撮影機能部２１０における露出制御は、レンズ駆動回路２１２による撮影レンズ２０Ｒの絞りと、撮像素子２１３の露光量、つまり、シャッタスピードに相当する撮像素子２１３の電荷蓄積時間を調節して行われる。ここで、被写体輝度が低輝度時に適切なシャッタスピードが設定出来ない場合は、撮像素子２１３から出力される画像信号のレベル調整を行うことにより露光不足による不適正露出が補正される。すなわち、低輝度時は、絞りとシャッタスピードと信号処理回路２１５のゲイン調整とを組合せて露出制御が行われることとなる。
【００５５】
撮像素子駆動回路２１４は、カメラ制御部２００から送信される基準クロックに基づき撮像素子２１３の駆動制御信号を生成するものである。この撮像素子駆動回路２１４は、例えば積分開始／終了（露出開始／終了）のタイミング信号、各画素の受光信号の読出制御信号（水平同期信号，垂直同期信号，転送信号等）等のクロック信号を生成し、撮像素子２１３に出力する。
【００５６】
信号処理回路２１５は、撮像素子２１３から出力される画像信号（アナログ信号）に所定のアナログ信号処理を施すものである。この信号処理回路２１５は、ＣＤＳ（相関二重サンプリング）回路とＡＧＣ（オートゲインコントロール）回路とを有し、ＣＤＳ回路により画像信号のノイズ低減処理を行い、ＡＧＣ回路でゲインを調整することにより画像信号のレベル調整を行う。
【００５７】
Ａ／Ｄ変換器２１６は、信号処理回路２１５から出力される画像信号の各画素信号をデジタル信号に変換するものである。Ａ／Ｄ変換器２１６は、図示を省略するタイミング発生回路から入力されるＡ／Ｄ変換用のクロックに基づいて各画素信号（アナログ信号）をデジタル画像信号（例えば、８ビットのデジタル画像信号）に変換する。
【００５８】
ＷＢ（ホワイトバランス）回路２１７は、Ａ／Ｄ変換器２１６から出力されるＲ，Ｇ，Ｂの各色成分の画素データの画素値の変換を行うことにより、画像データ（撮影画像）に対してＷＢ補正を施すものである。例えば、このＷＢ回路２１７は、画像データの各色成分値（全画素のＲＧＢ値）に基づいてＲ，Ｇ，Ｂの各色成分の画素値を調整する。このＷＢ補正についてはさらに後述する。
【００５９】
γ補正回路２１８は、ＷＢ回路２１７から入力される画像データ（撮影画像）に対して階調特性の補正を行うものである。この階調補正についてもさらに後述する。
【００６０】
色変換・色補正回路２１９は、γ補正回路２１８から入力される画像データに対して、例えばＹＣｒＣｂ系に色空間を変換し、色再現性を向上させる色補正を行うものである。
【００６１】
画像メモリ２２０は、撮像素子２１３で取得され、上記の画像処理が施された画像データ（撮影画像）を一時的に記憶するメモリである。画像メモリ２２０は、少なくとも数フレーム分の記憶容量を有している。すなわち、画像メモリ２２０は、撮像素子２１３の画素数に対応する画素データ数フレーム分の記憶容量を少なくとも有し、各画素データが対応する画素位置に記憶されるようになっている。
【００６２】
ＵＳＢＩ／Ｆ２３０は、プロジェクター部１０およびパソコン３０と通信可能にするための、ＵＳＢ規格に準拠した通信用インターフェースであり、プロジェクター部１０のＵＳＢＩ／Ｆ１３０とケーブルで接続され、プロジェクター制御部１００とカメラ制御部２００との間でデータの送受信が可能となっている。
【００６３】
カメラ制御部２００は、マイクロコンピュータ（ＣＰＵ）、ＲＡＭ２０ａおよびＲＯＭ２０ｂを有しており、カメラ部２０の各部材の駆動を有機的に制御してカメラ部２０の動作を統括制御する。なお、カメラ制御部２００の各機能は、ＣＰＵにおいて、ＲＯＭ２０ｂに格納されるプログラムを実行することによって実現される。
【００６４】
また、カメラ制御部２００は、プロジェクター部１０によってホワイトボードＷに光学的に投影される画像（投影画像）、および、カメラ部２０によってホワイトボードＷを撮影することによって得られる画像（撮影画像）について、階調特性やＷＢや歪みの補正を行うための各種機能を有している。さらに、カメラ制御部２００は、ホワイトボードＷへの書き込み等を撮影して、会議の内容を記録するための機能も有している。
【００６５】
図３は、カメラ制御部２００の各種機能を説明するためのブロック図である。なお、図３では、ＣＰＵで実現される機能を具体的に図示している。
【００６６】
図３に示すように、カメラ制御部２００は、投影画像や撮影画像に対するＷＢ補正を制御するためのＷＢ制御機能２０１、投影画像や撮影画像に対する階調特性の補正を行うための階調制御機能２０２を備えている。また、カメラ制御部２００は、投影画像および撮影画像に対する歪みを補正するためのＡＦ領域抽出機能２０３、評価値演算機能２０４、合焦制御機能２０５、および距離算出機能２０６を備えている。
【００６７】
なお、図３に示す各種機能の説明については、後程、ホワイトバランス（ＷＢ）補正、階調特性の補正、画像の歪み補正、および、会議内容の記録について具体的に説明する際に、詳述する。
【００６８】
＜（１−２−３）　パソコンの内部構成＞
図２に示すように、パソコン３０は、記憶部３２、出力Ｉ／Ｆ３３、ＵＳＢＩ／Ｆ３４、ＬＣＤ３５、およびＰＣ制御部３００を備えている。
【００６９】
記憶部３２は、例えばハードディスク等で構成されており、後述するプログラムや画像データ等が格納される。記憶部３２に記憶される画像データは、プロジェクター部１０からホワイトボードＷに投影される投影画像のもととなる画像データである。なお、以下では、投影画像のもととなる画像データを「投影原画像」と称することとする。
【００７０】
出力Ｉ／Ｆ３３は、プロジェクター部１０へデータを伝送するためのインターフェイスである。具体的には、ＰＣ制御部３００から出力されるアナログＲＧＢ信号を、プロジェクター部１０のアナログＲＧＢデコーダー１１１へ伝送する。
【００７１】
ＵＳＢＩ／Ｆ３４は、カメラ部２０と通信可能にするための、ＵＳＢ規格に準拠した通信用インターフェースであり、カメラ部２０のＵＳＢＩ／Ｆ２３０とケーブルによって接続され、カメラ制御部２００とＰＣ制御部３００との間でデータの送受信が可能となっている。
【００７２】
ＬＣＤ３５は、記憶部３２に記憶される画像データ等に基づいて、画像を表示するための表示装置である。
【００７３】
ＰＣ制御部３００は、マイクロコンピュータ（ＣＰＵ）、ＲＡＭ３０ａおよびＲＯＭ３０ｂを有し、パソコン３０の各部を統括制御する部位である。そして、このＰＣ制御部３００のＲＡＭ３０ａに、記憶部３２に記憶されるプログラムをロードして、ＣＰＵで実行することにより、ＰＣ制御部３００の各種機能を実現する。そして、ＰＣ制御部３００の機能には、例えば、アナログＲＧＢエンコーダー機能３０１、補正値算出機能３０２、画像補正機能３０３、領域抽出機能３０４、および画像合成機能３０５等がある。
【００７４】
また、ＰＣ制御部３００が、記憶部３２に記憶されるカメラ付きプロジェクター２の動作を制御するプログラム（投影プログラム）を実行することによって、カメラ付きプロジェクター２およびパソコン３０は投影システム１としての動作を実行する。即ち、投影システム１では、プロジェクター部１０およびカメラ部２０は、ＵＳＢ３４，１３０，２３０を介して、パソコン３０によって制御される。
【００７５】
例えば、ユーザーがパソコン３０に設けられている図示を省略するキーボード等を操作することによって、ＰＣ制御部３００において、カメラ付きプロジェクター２の動作を制御する投影プログラムが実行される。そして、ユーザーがキーボード等を種々操作することによって、本発明の特徴部分である、ＷＢ補正、階調特性の補正、画像の歪み補正、会議内容の記録等の動作が実行される。なお、これらの動作については、後程詳述する。
【００７６】
また、ユーザーがプロジェクター部１０による画像の投影を開始すべくパソコン３０のキーボード等を操作すると、ＰＣ制御部３００が記憶部３２から投影原画像を読み出す。そして、アナログＲＧＢエンコーダー機能３０１によって、アナログＲＧＢ信号を生成して、出力Ｉ／Ｆ３３を介して、プロジェクター部１０に伝送する。さらに、プロジェクター部１０によってホワイトボードＷに投影される投影画像に同期して、同様の内容の画像（投影原画像）がＬＣＤ３５上に表示される。
【００７７】
また、ＰＣ制御部３００は、ユーザーによるキーボード等の操作によって、ＵＳＢＩ／Ｆ３４を介して、カメラ部２０から画像データ（撮影画像）を取得する。なお、この撮影画像は、ホワイトボードＷを撮影することによって得られる画像である。
【００７８】
補正値算出機能３０２は、後述するカメラ制御部２００において算出される撮影倍率比に基づいて、撮影画像の歪み補正用の補正値を算出する。画像補正機能３０３は、補正値算出機能３０２において算出される歪み補正値に基づいて、撮影画像の歪みを補正する。また、カメラ部２０によって撮影可能な範囲は、ホワイトボードＷに画像が投影される投影領域を全て包含し、その周辺の領域をも含むため、画像補正機能３０３は、必要に応じて、撮影画像のうち投影領域に対応する領域を、撮影画像の全体を占めるように、投影領域の抽出・拡大処理を行う。なお、補正値算出機能３０２における補正値の算出、画像補正機能３０３における撮影画像の歪み補正、および投影領域の抽出および拡大処理については、後程、動作説明を行う際に詳述する。
【００７９】
ところで、ＰＣ制御部３００がカメラ部２０から画像データを取得する場合は、単にホワイトボードＷを撮影して撮影画像を得る場合と、ホワイトボードＷを撮影して、投影画像と合わせて会議内容を記録する場合とがある。そして、もしも、単に撮影画像を得る場合は、画像補正機能３０３によって撮影画像の歪み補正が施された撮影画像を記憶部３２に記憶する。一方、もしも、投影画像と合わせて会議内容を記録する場合は、画像補正機能３０３によって撮影画像の歪み補正、および投影領域の抽出・拡大処理が施された撮影画像から、領域抽出機能３０４によって、マーカーＭＫ等を用いてマニュアルでホワイトボードＷに直接書き込まれる等して直接色彩等が付加された部分に対応する領域を抽出する。即ち、領域抽出機能３０４が、カメラ部２０によって取得される画像について、ホワイトボードＷ（投影面）に直接に付された視覚要素に対応する領域を抽出する手段として機能する。
【００８０】
そして、画像合成機能３０５は、領域抽出機能３０４によって抽出された領域と、プロジェクター部１０によってホワイトボードＷ（投影面）に投影するための投影原画像とをデータ合成（具体的にはデジタルデータとして合成）して画像データを生成し、記憶部３２に記憶する。
【００８１】
なお、領域抽出機能３０４および画像合成機能３０５における処理については、後程、動作説明を行う際に詳述する。
【００８２】
＜（１−３）　投影システムの動作説明＞
＜（１−３−１）　投影画像のＷＢ補正＞
パソコン３０において、投影プログラムが実行されているときに、ユーザーがパソコン３０のキーボード等を種々操作すると投影画像のＷＢ補正の動作が実行される。
【００８３】
以下、図２および図３等を参照しつつ、投影画像のＷＢ補正の動作について説明する。
【００８４】
投影画像のＷＢ補正の動作が開始すると、ＰＣ制御部３００からカメラ制御部２００に投影画像のＷＢ補正用の撮影を実施すべく撮影信号が伝送される。そして、カメラ制御部２００は、プロジェクター部１０にコマンドを送信し、垂直同期信号に同期して次のフィールドでは、パソコン３０からのアナログＲＧＢ信号の入力に拘わらず、フレームメモリ１１２に記憶されるデジタル画像データを全面無彩色であるグレーであってかつ空間的に均一な画像レベルとなるように設定する。つまり、次の垂直同期信号に同期して、プロジェクター部１０が、投影面であるホワイトボードＷに、無彩色である全面グレーの光を投影する。ここで言う全面グレーの光は、例えば、デジタル画像データが８ビットのデータの場合は、ＲＧＢの各色の各画素値が１００／２５５階調となるように設定することによって生成可能である。
【００８５】
なお、プロジェクター部１０から投影される全面無彩色の光は、ＲＧＢの各色の各画素値が１００／２５５階調となるように設定された全面グレーのものに限られず、その他の階調となるように設定されたものでも良い。しかし、人間の視覚的な観点から、ＲＧＢの各色の各画素値が１００／２５５階調等となるようなミドル階調の全面無彩色の光であることが好ましい。
【００８６】
これに対して、カメラ制御部２００が、撮像素子駆動回路２１４に撮影のトリガー信号を出し、次の垂直同期信号に同期して、カメラ部２０が、無彩色である全面グレーの光が投影されたホワイトボードＷ（投影面）を撮影することによってデジタル画像を取得する。このとき、カメラ制御部２００の制御の下で、露光量が撮像素子２１３の許容量を超過して、撮像素子２１３の出力が飽和しないように、レンズ駆動回路２１２が撮影レンズ２０Ｒの絞り値を所定の絞り値に設定する。なお、ここでは、シャッタースピードが垂直同期信号によって決まり、プロジェクター部１０からは全面グレーの光が投影され、発光量も決まるため、撮像素子２１３の出力が飽和しないように、所定の絞り値を容易に設定することができる。
【００８７】
図３に示すカメラ制御部２００のＷＢ制御機能２０１では、プロジェクター部１０から全面グレーの略均一な光をホワイトボードＷに投影して撮影を行った際に、Ａ／Ｄ変換器２１６から出力されるデジタル画像信号を取得する。そして、その取得したデジタル画像信号に基づいて、各画素毎に、Ｒ／Ｇ、Ｂ／Ｇの画素値の比をそれぞれ演算し、全画素についての平均値（Ｒｓ／Ｇｓ，Ｂｓ／Ｇｓ）を求め（ｇｒ，ｇｂ）とする。なお、演算の効率化のため、画像を所定面積の複数のブロックに分割して各ブロックの代表となる画素のみからｇｒ，ｇｂを求めても良く、所定間隔で画素を間引いた後の画素のみからｇｒ，ｇｂを求めても良い。
【００８８】
次に、ＷＢ制御機能２０１は、算出した（ｇｒ，ｇｂ）に基づいて投影画像について、ＷＢ補正用のＷＢ補正値を設定する。
【００８９】
図４は、ＷＢ制御機能２０１におけるＷＢ補正値の設定方法を説明するための図である。図４において、点５１０はＸＸ−ＹＹ座標系において座標（ｇｒ，ｇｂ）に位置する。座標（ｇｒ，ｇｂ）のＸＸ座標の値が大きく、ＹＹ座標の値が小さいほどＢｓ／Ｇｓに対してＲｓ／Ｇｓが大きくなるため、元の画像は赤みがかっていることとなる。逆に、ＸＸ座標の値が小さく、ＹＹ座標の値が大きいほどＢｓ／Ｇｓに対してＲｓ／Ｇｓが小さくなるため、元の画像は青みがかっていることとなる。したがって、原点から４５°の角度にて伸びる直線Ｌｅに近い点は、ＷＢが整っている画像に対応する点となる。
【００９０】
図４に示すように、予め設定されたＷＢ設定に応じてＸＸ−ＹＹ座標系には所定の領域Ｒａが設定されており、外光や投影面の色や光源１２１の劣化等の影響で、点５１０に示すように、座標（ｇｒ，ｇｂ）が所定の領域Ｒａ内にない場合には、点５１０の位置が領域Ｒａのうち最も近い位置（点５１１）へと変換されるように、ＷＢ補正値を設定する。なお、点５１０が領域Ｒａに含まれる場合には、点５１０の位置の変換は行われないため、ＷＢ補正値は設定されない。また、座標（ｇｒ，ｇｂ）が一定の範囲内にない場合は、異常なデータであるとして、ＷＢ補正値を設定しない。
【００９１】
ＷＢ制御機能２０１において設定された投影画像に対するＷＢ補正値は、プロジェクター制御部１００に送信される。そして、プロジェクター制御部１００は、受信したＷＢ補正値に応じて、ＬＵＴ（変換テーブル）を変更し、素子駆動制御機能１０１によって、プロジェクター部１０から投影される画像の表示色温度を変更する。即ち、ここでは、素子駆動制御機能１０１が、プロジェクター部１０によって全面グレーの光が投影されたホワイトボードＷを撮影することによって取得される画像に基づいて、プロジェクター部１０によってホワイトボードＷに投影される投影画像について、ホワイトバランスを補正する手段として機能する。
【００９２】
＜（１−３−２）　撮影画像のＷＢ補正＞
パソコン３０において、投影プログラムが実行されているときに、ユーザーがパソコン３０のキーボード等を種々操作すると撮影画像のＷＢ補正の動作が実行される。
【００９３】
上述した投影画像に対するＷＢ補正の動作では、ＷＢ補正用の撮影時に、プロジェクター部１０からホワイトボードＷに対して全面グレーの光を投影したが、撮影画像のＷＢ補正の動作では、例えば、ＷＢ補正用の撮影時に、プロジェクター部１０からホワイトボードＷに対して無彩色の光として全面白色の略均一な光を投影する。つまり、カメラ部２０の撮影に同期して、プロジェクター部１０が、投影面であるホワイトボードＷに、無彩色である全面白色の光を投影する。全面白色の光は、例えば、デジタル画像データが８ビットのデータの場合は、ＲＧＢの各色の各画素値が最大輝度すなわち２５５／２５５階調となるように設定することによって生成可能である。
【００９４】
なお、プロジェクター部１０から投影される全面無彩色の光の色は、ＲＧＢの各色の各画素値が２５５／２５５階調となるように設定された全面白色のものに限られず、ホワイトボードＷに直接記載されたものや、貼付された資料等をカメラ部２０によって撮影する際にプロジェクター部１０から撮影用の照明光として投影される光の色と同様であれば良い。
【００９５】
そして、撮影画像に対するＷＢ補正値の設定までは、ＷＢ補正用の撮影時にプロジェクター部１０からホワイトボードＷに対して投影する光が、投影画像に対するＷＢ補正値の設定と異なるのみであり、ＷＢ制御機能２０１が、投影画像に対するＷＢ補正値の設定と同様に、撮影画像に対するＷＢ補正値を設定する。
【００９６】
ＷＢ補正値が設定されると、ＷＢ回路２１７におけるＲ，Ｇ，Ｂのゲインの設定値が求められる。そして、その後にカメラ部２０によって得られる撮影画像対しては、求められたゲイン設定値に基づいて、ＷＢ回路２１７においてＷＢ補正が行われる。即ち、ここでは、ＷＢ回路２１７が、プロジェクター部１０によって無彩色である全面白色の光が投影されたホワイトボードＷを撮影することによって取得される画像に基づいて、カメラ部２０によってホワイトボードＷを撮影することにより得られる撮影画像について、ホワイトバランスを補正する手段として機能する。
【００９７】
以上のように、ここでは、パソコン３０において、投影プログラムが実行されているときに、ユーザーがパソコン３０のキーボード等を種々操作すると、無彩色の光を投影したホワイトボードＷ（投影面）を撮影して画像を得る。そして、得られた画像に基づいて、ホワイトボードＷに投影される投影画像、および、ホワイトボードＷを撮影することによって得られる撮影画像のうち少なくとも一方の画像についてＷＢを補正する。その結果、ホワイトボードＷの表面が有する固有の色や、外光の色や、光源１２１の色等の影響により、投影画像や撮影画像の色調が変化するのを補正することができる。
【００９８】
なお、上述したようなＷＢ補正の動作は、投影システム１の使用開始時、および、使用開始時から一定時間経過する毎に行われるようにしても良い。このような構成とすることで、時間の経過とともに外光の影響が変化する場合等に対応することができる。なお、ここでは、無彩色の光を投影するタイミングと、撮影するタイミングとが同期しており、さらに、無彩色の光を投影する時間はごく短時間であるため、投影画像を見ている人に気づかれず、投影画像が見づらくなることがない。
【００９９】
＜（１−３−３）　階調特性の補正＞
パソコン３０において、投影プログラムが実行されているときに、ユーザーがパソコン３０のキーボード等を種々操作すると投影画像や撮影画像に対する階調特性の補正の動作が実行される。
【０１００】
以下、図２および図３等を参照しつつ、階調特性の補正の動作について説明する。
【０１０１】
階調特性の補正の動作が開始すると、ＰＣ制御部３００からカメラ制御部２００に階調特性補正用の撮影を実施すべく撮影信号が伝送される。そして、カメラ制御部２００はプロジェクター部１０にコマンドを送信し、垂直同期信号に同期して次のフィールドでは、パソコン３０からのアナログＲＧＢ信号の入力に拘わらず、フレームメモリ１１２に記憶されるデジタル画像データが、ＲＯＭ１０ｂに格納される階調が段階的に変化するパターンであるグレースケールチャートとなるように設定する。したがって、次の垂直同期信号に同期して、プロジェクター部１０が、ホワイトボードＷに、輝度が段階的に変化するパターン（グレースケールチャート）を投影する。なお、グレースケールチャートの具体例については後述する。
【０１０２】
これに対して、カメラ制御部２００が、撮像素子駆動回路２１４に撮影のトリガー信号を出し、次の垂直同期信号に同期して、カメラ部２０が、ホワイトボードＷに投影された、輝度が段階的に変化するパターン（段階的な濃淡分布パターン）を撮影することによって画像を取得する。このとき、カメラ制御部２００の制御の下で、露光量が撮像素子２１３の許容量を超過して、撮像素子２１３の出力が飽和しないように、レンズ駆動回路２１２が撮影レンズ２０Ｒの絞り値を所定の絞り値に設定する。なお、ここでは、シャッタースピードが垂直同期信号によって決まり、プロジェクター部１０からはグレースケールチャートが投影され、発光量も決まるため、撮像素子２１３の出力が飽和しないように、所定の絞り値を容易に設定することができる。
【０１０３】
次に、図３に示すカメラ制御部２００の階調制御機能２０２では、プロジェクター部１０からグレースケールチャートをホワイトボードＷに投影して撮影を行った際に、Ａ／Ｄ変換器２１６から出力されるデジタル画像信号に基づいて、階調特性補正用の補正値を算出する。
【０１０４】
ここで、階調制御機能２０２における階調特性補正用の補正値の算出方法について説明する。
【０１０５】
図５は、階調特性補正用の撮影時に、Ａ／Ｄ変換器２１６から出力されるデジタル画像信号に基づいた画像Ｇ１を例示する模式図である。図５では、枠ＰＳ内が、プロジェクター部１０から投影されるグレースケールチャートに対応する部分である。
【０１０６】
グレースケールチャートは、輝度が等間隔かつ段階的に変化する無彩色の領域Ｓ１〜Ｓ７を有している。なお、ここでは、領域Ｓ１が白色で、領域Ｓ７が黒色となっており、領域Ｓ１〜Ｓ７の順に段階的に輝度が低くなるように設定されている。また、グレースケールチャートは、領域Ｓ１〜Ｓ７以外の部分は、領域Ｓ４と同様な輝度の無彩色となるように設定されている。
【０１０７】
また、図５に示すように、プロジェクター部１０によってホワイトボードＷに投影される投影領域と、カメラ部２０によって撮影されるホワイトボードＷ上の領域とは完全に一致していない。よって、階調制御機能２０２では、グレースケールチャートの領域Ｓ１〜Ｓ７が確実に含まれていると考えられる画像Ｇ１中央の左右に伸びる破線ＳＬ１上の画像データを用いる。そして、撮像素子２１３の画素数が仮に１０２４×７６８であるとすると、破線ＳＬ１上の１０２４画素のデータのうち、領域Ｓ１〜Ｓ７に対応しない左右のデータを排除する。例えば、破線ＳＬ１上を−Ｘ方向から＋Ｘ方向へ輝度の変化を見ていくと、領域Ｓ１になる所で著しく輝度（画素値）が上昇し、また、領域Ｓ７から出るところで著しく輝度（画素値）が上昇するため、左右のデータの排除は輝度の変化を検出することによって容易に達成することができる。
【０１０８】
その後、階調制御機能２０２は、得られた画像データの画素値と領域Ｓ１〜Ｓ７の位置関係とから、領域Ｓ１〜Ｓ７それぞれの領域についての画素値の平均値を求める。そして、グレースケールチャートの最も明るい領域Ｓ１の画素値を１とし、その画素値を基準に、領域Ｓ２〜Ｓ７の画素値を換算する。つまり、ここでは、領域Ｓ１の明るさを基準とする領域Ｓ２〜Ｓ７の明るさの比を求める。
【０１０９】
図６は、領域Ｓ１〜Ｓ７の理想的な明るさの比を例示する模式図である。なお、図６では、横軸が画像Ｇ１中におけるＸ方向の位置を示し、縦軸が明るさの比を示している。また、領域Ｓ１〜Ｓ７にそれぞれ対応する明るさの比をＳｔｅｐ１〜Ｓｔｅｐ７として示している。図６に示すように、外光の影響が無く理想的な場合は、Ｓｔｅｐ１の明るさの比を１とすると、Ｓｔｅｐ７の明るさの比は０．０５となるものとする。
【０１１０】
図７は、外光の影響がある場合の明るさの比を例示する模式図である。なお、図７では、実線が、外光の影響がある場合の明るさの比を示し、破線が、図６で示した理想的な明るさの比を参考として示している。
【０１１１】
図７に示すように、外光の影響がある場合は、Ｓｔｅｐ５〜Ｓｔｅｐ７の明るさの差が著しく小さくなってしまっている。このような場合は、ホワイトボードＷに投影される投影画像のうち輝度の低い部分については、黒つぶれ等が発生し、意図した画像を投影することができない。このような問題を解決するために、ここでは、階調制御機能２０２が階調特性を補正すべく階調特性補正用の補正値を算出する。
【０１１２】
図８は、階調特性補正用の補正値の算出方法を説明するための図である。なお、図８では、実線が、図７に示す外光の影響がある場合の明るさの比を理想的に補正したものを示し、破線が、図６で示した理想的な明るさの比を参考として示している。
【０１１３】
図８に示すように、階調制御機能２０２は、図７に示す外光の影響がある場合のＳｔｅｐ１とＳｔｅｐ７の明るさの比を基準として、Ｓｔｅｐ１〜Ｓｔｅｐ７の明るさの比が等間隔かつ順に低下するような明るさの比を算出する。この算出された明るさの比は、図７に示す外光の影響がある場合の明るさの比を理想的に補正したものである。なお、階調制御機能２０２は、Ｓｔｅｐ１〜Ｓｔｅｐ７の明るさの比が等間隔かつ順に低下するようにしたが、これに限られるものではなく、特定の明るさを強調するように補正しても良い。
【０１１４】
図８に示すように、Ｓｔｅｐ１〜Ｓｔｅｐ７の明るさの差は、図６で示したＳｔｅｐ１〜Ｓｔｅｐ７の理想的な明るさの差と比較して小さくなっているが、Ｓｔｅｐ５〜Ｓｔｅｐ７の明るさの差が著しく小さくなるといった問題が解決されている。よって、階調制御機能２０２では、図７に示す外光の影響がある場合の明るさの比から、図８に示す明るさの比へと理想的に補正するための階調変換特性を算出する。
【０１１５】
図９は、外光の影響がある場合の階調変換特性を例示する図である。なお、図９では、横軸が変換前の階調特性を示し、縦軸が変換後の階調特性を示し、さらに、曲線９Ｃが変換前と変換後の階調特性の関係（階調変換特性）を示している。この階調変換特性は、図７に示す外光の影響がある場合の明るさの比から、図８に示す明るさの比へと理想的に補正するための階調特性補正用の補正値となる。
【０１１６】
カメラ制御部２００は、階調制御機能２０２によって算出された階調特性補正用の補正値（階調変換特性）を、ＵＳＢＩ／Ｆ１３０，２３０を介してプロジェクター制御部１００に伝送する。そして、プロジェクター制御部１００では、階調特性補正用の補正値にしたがって、ＲＯＭ１０ｂ内に記憶されたＬＵＴ（変換テーブル）を補正する。ＬＵＴが補正されると、その後は、素子駆動制御機能１０１の制御の下で、外光の影響等を考慮した投影画像がホワイトボードＷに投影されることとなる。
【０１１７】
したがって、ここでは、素子駆動制御機能１０１が、プロジェクター部１０によって輝度が段階的に変化するパターンが投影されたホワイトボードＷをカメラ部２０によって撮影することにより取得される画像に基づいて、プロジェクター部１０によってホワイトボードＷに投影される投影画像について、階調特性を補正する手段として機能する。
【０１１８】
また、上述したように、ホワイトボードＷへの書き込みや、資料や、写真を貼付して撮影する際にも、外光やホワイトボードＷの反射率等の影響により、撮影画像の階調特性が変化することがある。よって、ここでは、このような撮影画像の階調特性の変化を抑制するために、階調制御機能２０２によって、上記の方法で算出された階調特性補正用の補正値（階調変換特性）を用いる。具体的には、階調制御機能２０２によって算出された補正値を、プロジェクター制御部１００において、γ補正回路２１８における補正値として設定する。このように、γ補正回路２１８における補正値が設定されると、その後は、外光の影響等を考慮して、撮影画像の階調特性を補正することができる。
【０１１９】
したがって、ここでは、γ補正回路２１８が、プロジェクター部１０によって輝度が段階的に変化するパターンが投影されたホワイトボードＷをカメラ部２０によって撮影することによって取得される画像に基づいて、カメラ部２０によってホワイトボードＷを撮影することにより得られる撮影画像について、階調特性を補正する手段として機能する。
【０１２０】
以上のように、ここでは、輝度が段階的に変化するパターンをホワイトボードＷ（投影面）に投影し、そのパターンを撮影して画像を取得する。そして、その取得した画像に基づいて、ホワイトボードＷに投影される投影画像、および、ホワイトボードＷ（投影面）等を撮影することによって得られる撮影画像のうちの少なくとも一方の画像について、階調特性を補正する。その結果、外光の影響やホワイトボードＷの表面における光学的反射率等により投影画像や撮影画像の階調特性が変化するのを補正することができる。
【０１２１】
なお、上述したような階調特性補正用の補正値の算出は、投影システム１の使用開始時、および、使用開始時から一定時間経過する毎に行われるようにしても良い。このような構成とすることによって、時間の経過とともに外光等の影響が変化する場合に対応することができる。そして、ここでは、グレースケールチャートを投影するタイミングと、撮影するタイミングとが同期しており、さらに、グレースケールチャートを投影する時間はごく短時間であるため、投影画像を見ている人に気づかれず、投影画像が見づらくなることがない。
【０１２２】
また、上述した階調特性の補正においては、ホワイトボードＷにグレースケールチャートを投影したが、これに限られるものではなく、例えば、ＲＧＢの三色の輝度が段階的に変化する３つのパターンを別個に投影して、その３つのパターンを別々に撮影して、ＲＧＢの三色それぞれについて階調特性補正用の補正値を算出するようにしても良い。しかしながら、輝度が段階的に変化するパターンをグレースケールチャートのように無彩色の輝度が段階的に変化するパターンとした方が、１つのパターンを撮影するのみ補正値を算出することができるため、投影画像や撮影画像の階調特性を効率良く補正することができる。
【０１２３】
なお、グレースケールチャートを撮影して取得される画像に基づいて、上述したように、ＷＢ補正用の補正値を算出し設定することもできる。このような構成とすることによって、ＷＢ補正と階調特性の補正とを効率良く実施することができる。
【０１２４】
＜（１−３−４）　画像の歪み補正＞
図１０は、ホワイトボードＷに対して斜めの方向から投影および撮影する場合を例示する模式図である。なお、図１０は、ホワイトボードＷおよびカメラ付きプロジェクター２を真上から見た図であり、図１０では、投影レンズ１０Ｒの画角を模式的に示す実線１０Ｌと、撮影レンズ２０Ｒの画角を模式的に示す点線２０Ｌとを付している。また、図１０に示す状態では、投影レンズ１０Ｒおよび撮影レンズ２０Ｒの光軸はＹ軸と略一致し、ホワイトボードＷは、Ｚ軸を軸として、ＸＺ平面に対して角度θだけ回動させた位置に配置される。
【０１２５】
以下、図１０のようにホワイトボードＷとカメラ付きプロジェクター２とが配置される場合を例に挙げて、撮影画像および投影画像の歪み補正について説明する。
【０１２６】
図１１は、プロジェクター部１０から、後述する投影画像の歪み補正をすることなく、ホワイトボードＷに投影される投影画像Ｓｍ１を、ホワイトボードＷの正面（ホワイトボードＷの投影面に対する法線方向）から見た模式図を例示している。このとき、図１１に示すように、投影画像Ｓｍ１は台形歪みを生じる。つまり、ここでは、ホワイトボードＷとプロジェクター部１０との相対的な位置関係によって、ホワイトボードＷに対して斜めの方向から画像を投影する斜め投影を行う際は、ホワイトボードＷ上の投影画像が歪む。
【０１２７】
このような場合は、画像の作成者が意図した内容を会議に参加した人々に対して正確に伝達することができないといった問題を生じる。よって、ここでは、図１１に示すように、斜め投影によって生じる台形歪みを補正して、図１２に示すように、ホワイトボードＷの正面から投影したような投影画像Ｓｍ１’とする必要性がある。
【０１２８】
図１３は、カメラ部２０が、後述する撮影画像の歪み補正をすることなく、ホワイトボードＷを斜めの方向から撮影する斜め撮影を行った際に取得される撮影画像を例示する模式図である。図１３に示す”ＡＢＣＤ”というそれぞれの文字の大きさはほぼ同じであるが、斜め撮影をすることによって、撮影画像に台形歪みが発生し、右端の寸法が左端の寸法よりも小さくなる。
【０１２９】
このような場合は、文字などが読みにくくなったり、後述するホワイトボードＷへの書き込み等を撮影して得られた撮影画像と、投影するための投影原画像とをデータ合成する際には、投影原画像とずれを生じる。よって、ここでは、図１３に示すように、斜め撮影によって生じる台形歪み等を補正して、図１４に示すように、ホワイトボードＷの正面から撮影したような画像とする必要性がある。
【０１３０】
以下、図２および図３等を適宜参照しつつ、カメラ付きプロジェクター２とホワイトボードＷとの相対的な位置関係によって生じる投影画像および撮影画像の歪みの補正動作について説明する。
【０１３１】
パソコン３０において、投影プログラムが実行されているときに、ユーザーがパソコン３０のキーボード等を種々操作すると、投影画像の歪み補正動作が実行されたり、撮影画像の歪み補正動作が開始して、カメラ部２０がホワイトボードＷを撮影し、取得された撮影画像の歪みを補正したりする。
【０１３２】
歪み補正動作が開始すると、ＰＣ制御部３００からカメラ制御部２００に歪み補正用の撮影を実施すべく撮影信号が伝送される。そして、カメラ制御部２００は、プロジェクター部１０にコマンドを送信し、垂直同期信号に同期して次のフィールドから、パソコン３０からのアナログＲＧＢ信号の入力に拘わらず、フレームメモリ１１２に記憶されるデジタル画像データが、ホワイトボードＷの各位置と、カメラ付きプロジェクター２との距離を検出することができるパターン（焦点検出用パターン）となるように設定する。したがって、次の垂直同期信号に同期して、プロジェクター部１０が、ホワイトボードＷに、焦点検出用のパターンを投影する。
【０１３３】
図１５は、プロジェクター部１０からホワイトボードＷに投影される焦点検出用パターンＡＦＰを例示する図である。図示の便宜上、図１５では白黒を反転させて描いているが、焦点検出用パターンＡＦＰは、矩形の輪郭部分である明るい白色の枠ＰＦと、焦点検出用の複数の部分Ａ１〜Ａ５と、黒色の背景ＢＧとを含んでいる。なお、部分Ａ１〜Ａ５は、それぞれ白色の複数の線が並んだ縞領域となっており、焦点検出用パターンＡＦＰのほぼ中心と四隅に分散配置されている。
【０１３４】
これに対して、カメラ制御部２００が、撮像素子駆動回路２１４に撮影のトリガー信号を出し、次の垂直同期信号に同期して、カメラ部２０が、ホワイトボードＷに投影された焦点検出用のパターンを撮影することによって、複数の画素で構成される焦点検出用のパターンに係る画像を入力する。このとき、カメラ制御部２００の制御の下で、焦点検出が容易となるように、撮影レンズ２０Ｒの絞りを開放近くに設定する。したがって、露光量が撮像素子２１３の許容量を超過して、撮像素子２１３の出力が飽和しないように、プロジェクター部１０から投影される焦点検出用パターンＡＦＰの明るさが設定される。
【０１３５】
なお、ここでは、シャッタースピードが垂直同期信号によって決まり、撮影レンズ２０Ｒの絞りをほぼ開放としているため、撮像素子２１３の出力が飽和しないように、焦点検出用パターンＡＦＰの明るさを容易に設定することができる。
【０１３６】
次に、プロジェクター部１０から焦点検出用パターンＡＦＰをホワイトボードＷに投影して撮影を行った際にＡ／Ｄ変換器２１６からカメラ制御部２００にデジタル画像信号を出力する。
【０１３７】
図１６は、焦点検出用パターンＡＦＰが投影されたホワイトボードＷをカメラ部２０で撮影して取得した画像Ｇ３を例示する模式図である。図１６では、枠ＰＦ’の内側が、プロジェクター部１０から投影される焦点検出用パターンＡＦＰに対応する領域である。また、図１６に示すように、点線で囲まれた領域Ａ１’〜Ａ５’が、焦点検出のための部分Ａ１〜Ａ５に対応した焦点検出用の領域である。また、プロジェクター部１０から焦点検出用パターンＡＦＰを投影していない部分は暗い領域となっている。
【０１３８】
よって、図３に示すＡＦ領域抽出機能２０３が、明るい白色の枠ＰＦ’の外側のエッジを色若しくは階調の変化等によって抽出することで、焦点検出用パターンＡＦＰが投影された領域の境界画素を検出することができる。そして、ＡＦ領域抽出機能２０３が、焦点検出のための領域Ａ１’〜Ａ５’の位置を特定し、領域Ａ１’〜Ａ５’の画像データを抽出する。なお、焦点検出のための領域Ａ１’〜Ａ５’の位置の特定は、例えば、枠ＰＦ’との位置関係や、輝度の変化によって容易に実施することができる。
【０１３９】
評価値演算機能２０４は、ＡＦ領域抽出機能２０３から領域Ａ１’〜Ａ５’の画像データを取り込み、それぞれの領域についてコントラストを評価する。つまり、評価値演算機能２０４では、コントラスト方式のオートフォーカス動作において実施されているものと同様に、領域Ａ１’〜Ａ５’内の各隣接画素間に関するコントラスト値の総和として評価値を求める。
【０１４０】
そして、合焦制御機能２０５が、レンズ駆動回路２１２に制御信号を送り、撮影レンズ２０Ｒの焦点位置を徐々に変化させながら数回〜数十回撮影を行い、上述したように、評価値演算機能２０４において領域Ａ１’〜Ａ５’についての評価値を算出する。即ち、合焦制御機能２０５が、カメラ部２０における撮影レンズ２０Ｒの合焦制御を行う手段として機能し、評価値演算機能２０４が、焦点検出用パターンＡＦＰに係る画像Ｇ３における複数の焦点検出用の部分Ａ１〜Ａ５に対応する領域Ａ１’〜Ａ５’について、それぞれ撮影レンズ２０Ｒの合焦状態に関する評価値を算出する手段として機能する。
【０１４１】
図１７は、領域Ａ１’〜Ａ５’について算出された評価値と撮影レンズ２０Ｒの光軸方向の位置との関係を表す曲線Ｃ１４，Ｃ３，Ｃ２５を例示する模式図である。図１７では、横軸がレンズ位置Ｘ、縦軸が評価値Ｃを示しており、曲線Ｃ１４，Ｃ３，Ｃ２５がそれぞれ領域Ａ１’，Ａ４’と領域Ａ３’と領域Ａ２’，Ａ５’における評価値Ｃとレンズ位置Ｘとの関係を示している。
【０１４２】
距離算出機能２０６は、図１７に示すように、レンズ位置が繰り入れ側から繰り出し側へ順に、曲線Ｃ１４の評価値が最大となるレンズ位置Ｘ＝Ｘ１、曲線Ｃ３の評価値が最大となるレンズ位置Ｘ＝Ｘ２，曲線Ｃ２５の評価値が最大となるレンズ位置Ｘ＝Ｘ３が検出する。そして、距離算出機能２０６は、レンズ位置Ｘ＝Ｘ１，Ｘ２，Ｘ３に対応する焦点位置を算出することによって、カメラ付きプロジェクター２からホワイトボードＷに投影されている部分Ａ１〜Ａ５までの距離を算出する。なお、ここでは、部分Ａ１，Ａ４までの距離がＬ１、部分Ａ３までの距離がＬ２、部分Ａ２，Ａ５までの距離をＬ３と算出する。
【０１４３】
ここで、撮影画像の歪み補正を行う場合には、カメラ部２０によって、歪み補正を行う対象である撮影画像の取得を行う。
【０１４４】
具体的には、ＰＣ制御部３００からカメラ制御部２００にホワイトボードＷの撮影を実施するための撮影信号が伝送される。そして、カメラ制御部２００はプロジェクター部１０にコマンドを送信し、垂直同期信号に同期して次のフィールドは、パソコン３０からのアナログＲＧＢ信号の入力に拘わらず、フレームメモリ１１２に記憶されるデジタル画像データが、全面白色の明るい画像となるように設定する。したがって、ホワイトボードＷに全面白色の明るい光が投影されることとなる。
【０１４５】
これに対して、カメラ制御部２００が、撮像素子駆動回路２１４に撮影のトリガー信号を出し、カメラ部２０において、次の垂直同期信号に同期して、全面白色の明るい光が投影されたホワイトボードＷの撮影を行う。このとき、露光量が撮像素子２１３の許容量を超過して、撮像素子２１３の出力が飽和しないように、レンズ駆動回路２１２が撮影レンズ２０Ｒの絞り値を所定の絞り値に設定する。なお、ここでは、シャッタースピードが垂直同期信号によって決まり、プロジェクター部１０からの発光は全面白色光であり、発光量も決まるため、撮像素子２１３の出力が飽和しないように、所定の絞り値を容易に設定することができる。
【０１４６】
こうしてカメラ部２０によって撮影され取得された撮影画像は、撮影機能部２１０の各部の処理が施されて、カメラ制御部２００の制御の下で、ＰＣ制御部３００へと転送される。
【０１４７】
ここで、歪み補正用の補正値の算出方法について簡単に説明する。
【０１４８】
図１８は、歪み補正用の補正値の算出方法を説明するための図である。なお、図１８では、ホワイトボードＷ、撮影レンズ２０Ｒ、および撮像素子２１３の位置関係を平面的に示した模式図である。そして、図１８では、点Ｐ，Ｆ，ＧはホワイトボードＷ上の点であり、点ＰはホワイトボードＷに投影されている部分Ａ３の中心の位置に対応し、点ＦはホワイトボードＷに投影されている部分Ａ１，Ａ４の中心の位置に対応し、点ＧはホワイトボードＷに投影されている部分Ａ２，Ａ５の中心の位置に対応する。
【０１４９】
図１８において、Ｌは撮影レンズ２０Ｒの光軸である。点Ａは撮像素子２１３の撮像面と光軸Ｌとの交点である。Ｎ０、Ｎ１、Ｎ２は、それぞれホワイトボードＷ上の点Ｐ，Ｆ，Ｇを通る撮像素子２１３の撮像面に平行な線分であり、Ｎ３は撮像素子２１３の撮像面上の点Ａを通る被写体面（線分ＦＧ）に平行な線分である。また、Ｎ５は撮影レンズ２０Ｒのレンズ面を示す線分である。点Ｏは撮影レンズ２０Ｒのレンズ面と光軸Ｌとの交点である。点Ｂは線分ＯＦの延長線と撮像素子２１３の撮像面との交点である。点Ｃは線分ＯＧの延長線と撮像素子２１３の撮像面との交点である。点Ｑは線分Ｎ１と光軸Ｌとの交点、点Ｒは線分Ｎ２と光軸Ｌとの交点であり、点Ｄ，Ｅはそれぞれ線分Ｎ０と線分ＢＦの延長線および線分ＧＣとの交点である。また点Ｂ’，Ｃ’はそれぞれ線分Ｎ３と線分ＦＢおよび線分ＧＣの延長線との交点である。
【０１５０】
図１８に示すように、ホワイトボードＷ上のＦＧ上から発せられる光像は撮像素子２１３の撮像面に結像するが、撮像面とホワイトボードＷとは傾斜角θだけ傾いているため、撮像面に結像される光像ＢＣは、ＤＥ上から発せられる光像が撮像面に投影したものと等価となっている。
【０１５１】
撮像素子２１３の撮像面上のＡ，Ｂ，Ｃ各点での撮影倍率をそれぞれＭａ，Ｍｂ，Ｍｃとし、被写体距離をそれぞれＬ２（＝ＯＰ），Ｌ１（＝ＯＱ），Ｌ３（＝ＯＲ）とすると、Ｍｂ＝Ｍａ・ＯＰ／ＯＱ＝Ｍａ・Ｌ２／Ｌ１，Ｍｃ＝Ｍａ・ＯＰ／ＯＲ＝Ｍａ・Ｌ２／Ｌ３であるから、Ｍｂ＞Ｍａ＞Ｍｃとなり、撮像面に結像される光像は、図１３に示すような台形に歪んだ画像となり、光像ＢＣの内、完全に焦点が合っているのはＡ点（光軸Ｌと撮像面との交点）のみとなっている。
【０１５２】
そして、撮影倍率Ｍは撮影レンズ２０Ｒによって決まる定数であり、Ｋ（比例定数）×ｆ（焦点距離）で求められる。したがって、ホワイトボードＷ上の点Ｐ，Ｆ，Ｇにおける距離Ｌ１，Ｌ２，Ｌ３を測定すれば、Ｌ２／Ｌ１とＬ２／Ｌ３からＡ点に対する撮影倍率比を求めることができ、この情報をもとに歪み補正用の補正値を算出することができる。なお、ここでは、厳密にはＬ２／Ｌ１とＬ２／Ｌ３は異なるが、何れかの値を代表して用いて補正値を算出しても誤差はごく小さいものとなる。なお、Ｌ２／Ｌ１とＬ２／Ｌ３の平均値を用いて、補正値を算出しても良い。
【０１５３】
ところで、撮影画像の歪み補正は、特許文献１で開示されている方法でも実施可能であるが、本実施形態では、パソコン３０の画像補正機能３０３において実施する。
【０１５４】
距離算出機能２０６は、撮影倍率比Ｌ２／Ｌ１，Ｌ２／Ｌ３を算出し、ＰＣ制御部３００の補正値算出機能３０２に転送する。そして、補正値算出機能３０２において、撮影倍率比Ｌ２／Ｌ１，Ｌ２／Ｌ３に基づき、撮影画像の歪み補正用の歪み補正値を算出する。
【０１５５】
補正値算出機能３０２では、撮影画像のうち撮影倍率の高い部分を撮影倍率の低い部分に合わせられるように画像の各部における縮小倍率を算出し設定する。ここでは、この縮小倍率が歪み補正値となる。
【０１５６】
図１８のＢ点の縮小倍率Ｍｂ’はＭｃ／Ｍｂになるが、ここで、撮像素子２１３の撮像面上の水平方向（Ｘ方向）の画素位置Ｘｉにおける縮小倍率をＭｉとし、点Ｂ，Ｃの撮像面上の水平方向（Ｘ方向）の画素位置をＸｂ，Ｘｃとすると、下に示す式（１）が成立する。
【０１５７】
【数１】
2004109246.tif 000003
【０１５８】
ここでは、Ｘｂ，Ｘｃ、Ｍｂ，Ｍｃも既知であるため、式（１）より撮像面上の水平方向（Ｘ方向）の画素位置Ｘｉにおける縮小倍率Ｍｉを求めることができる。例えば、Ｍｃ＝０．９、Ｍｂ＝１．１、Ｘｂ＝１、Ｘｃ＝−１である場合、Ｘｉ＝０．５とすると、式（１）より、縮小倍率Ｍｉ＝０．８６３５と算出される。
【０１５９】
このように、補正値算出機能３０２では、撮像素子２１３の撮像面上のＸ方向の全ての画素について局所的な縮小倍率Ｍｉを算出する。そして、補正値算出機能３０２によって算出された歪み補正値に基づいて、画像補正機能３０３によって、撮影画像の歪みが補正される。具体的には、画素位置Ｘｉの同じ垂直ラインにおける画素を縮小倍率Ｍｉで縮小処理を行う。縮小処理としては、例えば、ニアエストネイバー法、バイリニア法、バイキュービック法等、一般的な画像処理によって実施することができる。即ち、画像補正機能３０３が、評価値演算機能２０４で算出された評価値に基づいて、カメラ部２０によってホワイトボードＷを撮影することにより得られる撮影画像について、歪みを補正する手段として機能する。
【０１６０】
このような撮影画像の歪み補正によって、全体的に画像中に表されるものは小さくなるが、台形歪みのない撮影画像を得ることができ、ホワイトボードＷへの書き込み等を見易い状態で保存や印刷等することができる。
【０１６１】
また、プロジェクター制御部１００の補正値算出機能１０２は、距離算出機能２０６において算出した撮影倍率比Ｌ２／Ｌ１，Ｌ２／Ｌ３に基づいて、投影画像の台形歪みを補正するための補正値を算出することもできる。これは、プロジェクター部１０とカメラ部２０とは一体となっているため、カメラ部２０の撮像素子２１３からホワイトボードＷまでの距離と、プロジェクター部１０の表示素子１２３からホワイトボードまでの距離とが、ほぼ一致することを利用するものである。そして、ここでは、従来のプロジェクターに広く採用されている台形歪み補正と同様な方法によって補正値を算出することができる。
【０１６２】
例えば、図１１に示すような投影画像を、図１２に示すような投影画像とするためには、図１１に示す投影画像のうち＋Ｘ方向の大きく投影される部分が縮小されるように投影される必要性がある。補正値算出機能１０２では、歪み補正値算出機能３０２において撮像素子２１３の撮像面上のＸ方向の全ての画素について縮小倍率Ｍｉを算出したのと同様の方法で、フレームメモリ１１２に記憶される画像データについて、Ｘ方向の全ての画素について縮小倍率Ｍｉ’を算出することができる。ここでは、プロジェクター制御部１００において、この縮小倍率Ｍｉ’が歪み補正値として設定される。
【０１６３】
その後は、プロジェクター制御部１００において設定された歪み補正値に基づいて、スケーラー１１３によって、投影画像の歪みが補正される。例えば、画素位置Ｘｉ’の同じ垂直ラインにおける画素を縮小倍率Ｍｉ’で縮小処理を行う。即ち、スケーラー１１３が、評価値演算機能２０４で算出された評価値に基づいて、プロジェクター部１０によってホワイトボードＷに投影される投影画像について、歪みを補正する手段として機能する。
【０１６４】
なお、ここで撮影画像および投影画像の歪みを正しく補正するためには、図１８に示すように、ホワイトボードＷ上の３点の距離を求める必要性がある。つまり、プロジェクター部１０から投影する焦点検出用のパターンには、全ての部分が直線状に並ばない３箇所の焦点検出用の部分が必要である。また、投影レンズ１０Ｒや撮影レンズ２０Ｒの各種収差等の誤差要因を勘案すると、図１５に示すように、焦点検出用パターンには、中心と４隅の計５箇所の焦点検出用の部分が存在する方が好ましい。
【０１６５】
また、ここでは、コントラスト方式のオートフォーカス動作において実施されているものと同様に、焦点検出用の領域Ａ１’〜Ａ５’内の各隣接画素間に関するコントラスト値の総和として評価値を求めることによって距離を測定する。よって、焦点検出用の部分に描かれる模様は、撮影レンズ２０Ｒの駆動によって評価値が変化するものであれば、点や線等何でも良い。しかし、より正しく距離を測定して、歪みをより良く補正するためには、焦点検出用の部分に描かれる模様は、撮影レンズ２０Ｒの駆動によって評価値が変化し易いものが好ましい。なお、撮影レンズ２０Ｒの駆動によって評価値が変化し易い模様としては、例えば、図１５に示す線が多く並んだような模様が挙げられる。
【０１６６】
なお、以上では、図１０に示すように、ホワイトボードＷがＺ軸を回転軸として、ＸＺ平面に対して角度θだけ回動させた状態を例にとって説明したが、Ｘ軸を回転軸としてＸＺ平面に対して角度θだけ回動させた状態であっても、同様にして、撮影画像および投影画像の歪みを補正することができる。よって、ここでは、縦および横方向の台形歪み補正の両方ともを実施することができる。
【０１６７】
また、ホワイトボードＷをＺ軸を回転軸として、ＸＹ平面に対して角度θだけ回動させた上に、Ｘ軸を回転軸として回動させた状態であっても、距離算出機能２０６において、カメラ付きプロジェクター２からホワイトボードＷに投影される部分Ａ１〜Ａ５までの距離をそれぞれ算出することができ、その値に基づいて、撮影画像および投影画像の歪みを補正することができる。例えば、ホワイトボードＷに投影される部分Ａ１〜Ａ５までの距離が分かれば、内挿および外挿によって、カメラ付きプロジェクター２から投影画像上の任意の点までの距離を推定することができる。そして、その距離に基づいて、撮影画像の画素毎に縦方向および横方向の縮小倍率を求めることによって、撮影画像および投影画像の歪みを補正することができる。よって、ここでは、プロジェクター部１０やカメラ部２０と、ホワイトボードＷとの相対的な位置関係等から生じる投影画像や撮影画像のあらゆる方向への歪みを補正することができる。
【０１６８】
なお、上述したような投影画像に対する歪み補正値の設定動作は、投影システム１の使用開始時、および、使用開始時から一定時間経過する毎に行われるようにしても良い。このような構成とすることで、途中でホワイトボードＷが動いた場合にも対応することができる。また、上述したように、撮影画像に対する歪み補正値は、撮影が行われる毎に行われるため、途中でホワイトボードＷが動いた場合にも対応することができる。なお、ここでは、焦点検出用パターンを投影するタイミングと、撮影するタイミングとが同期しており、さらに、焦点検出用パターンを投影する時間はごく短時間であるため、投影画像を見ている人に気づかれず、投影画像が見づらくなることがない。
【０１６９】
以上のように、ここでは、パソコン３０において、投影プログラムが実行されているときに、ユーザーがパソコン３０のキーボード等を種々操作すると、焦点検出用の部分（部分Ａ１〜Ａ５）を複数含むパターン（焦点検出用パターンＡＦＰ）をホワイトボードＷに投影する。ホワイトボードＷに投影されたパターンを撮影して入力された画像における複数の焦点検出用の部分に対応する領域（領域Ａ１’〜Ａ５’）について、それぞれ撮影レンズ２０Ｒの合焦状態に関する評価値を求める。さらに、その評価値に基づいて、ホワイトボードＷに投影される投影画像、および、ホワイトボードＷを撮影することにより得られる撮影画像のうちの少なくとも一方の画像について、歪みを補正する。その結果、プロジェクター部１０やカメラ部２０と、ホワイトボードＷとの相対的な位置関係等から生じる投影画像や撮影画像の歪みを補正することができる。
【０１７０】
また、ここでは、１つのパターン（焦点検出用パターンＡＦＰ）を投影して、そのパターンを撮影して入力された画像に基づいて、投影画像と撮影画像の両方の歪みの補正用の補正値を算出することができるため、効率良く、投影画像と撮影画像の両方の歪み補正用の補正値を算出することができる。
【０１７１】
＜（１−３−５）　会議内容の記録＞
図１９は、ホワイトボードＷ上の状態を例示する模式図である。図１９に示すように、枠ＰＳ２内は投影画像が投影される投影領域であり、その投影画像に合わせて、マーカーＭＫによる書き込みＭＲが行われている。
【０１７２】
そして、パソコン３０において、投影プログラムが実行されて、図１９に示すような投影画像が投影されているときに、ユーザーがパソコン３０のキーボード等を種々操作すると、ホワイトボードＷ上に投影されている投影画像および書き込みＭＲ等を併せて記録する記録動作が実行される。
【０１７３】
記録動作が開始すると、ＰＣ制御部３００からカメラ制御部２００に記録用の撮影を実施するための撮影信号が伝送される。そして、カメラ制御部２００は、プロジェクター部１０にコマンドを送信し、垂直同期信号に同期して次のフィールドから、パソコン３０からのアナログＲＧＢ信号の入力に拘わらず、フレームメモリ１１２に記憶されるデジタル画像データが、略均一な単一色である全面白色となるように設定する。したがって、次の垂直同期信号に同期して、プロジェクター部１０が、ホワイトボードＷに、単一色の光を投影する。
【０１７４】
これに対して、カメラ制御部２００が、撮像素子駆動回路２１４に撮影のトリガー信号を出し、次の垂直同期信号に同期して、カメラ部２０が、単一色である全面白色の光が投影されたホワイトボードＷを撮影することによって画像を取得する。このとき、カメラ制御部２００の制御の下で、露光量が撮像素子２１３の許容量を超過して、撮像素子２１３の出力が飽和しないように、レンズ駆動回路２１２が撮影レンズ２０Ｒの絞り値を所定の絞り値に設定する。なお、ここでは、シャッタースピードが垂直同期信号によって決まり、プロジェクター部１０からの発光は全面白色の光であり、発光量も決まるため、撮像素子２１３の出力が飽和しないように、所定の絞り値を容易に設定することができる。
【０１７５】
図２０は、ホワイトボード上の書き込みを撮影した撮影画像ＰＧを例示する模式図である。図２０に示すように、ホワイトボードＷ上の枠ＰＳ３内に全面白色の光が照射され、書き込みＭＲを鮮明に撮影することができる。
【０１７６】
図２０に示すような撮影画像ＰＧは、カメラ制御部２００の制御の下で、ＰＣ制御部３００の画像補正機能３０３に伝送される。
【０１７７】
次に、画像補正機能３０３では、投影するための投影原画像と、撮影画像ＰＧに係る画像とをデータ合成する際に、ずれのない合成画像を生成するため、上述したように、撮影画像ＰＧの歪み補正を行う。その後、撮影画像ＰＧのうち投影領域に対応する領域を、撮影画像の全体を占めるように、投影領域の抽出・拡大処理を行う。例えば、図２０に示すように、ホワイトボードＷ上の投影領域には略均一な全面白色の光が照射され、その周辺は投影領域よりも十分暗いため、輝度変化に基づいて、撮影画像ＰＧのうち、投影領域とその周辺部との境界（枠ＰＳ３）を容易に検出することができる。よって、画像補正機能３０３では、枠ＰＳ３内の画像を抽出し、その抽出した画像を撮影画像の全体となるように拡大処理を施す。
【０１７８】
領域抽出機能３０４は、画像補正機能３０３によって歪み補正、および投影領域の抽出・拡大処理が施された撮影画像から、マーカーＭＫ等を使用してマニュアルでホワイトボードＷに直接書き込まれる等して直接に表示された視覚要素（文字、図形、色彩等）に対応する領域を抽出する。例えば、図２０に示すように、ホワイトボードＷ上の投影領域内には全面白色の光が照射される場合は、書き込みＭＲと、その周辺とは色が全く異なるため、撮影画像ＰＧから書き込みＭＲに対応する領域を容易に抽出することができる。即ち、領域抽出機能３０４が、カメラ部２０によって取得される画像について、ホワイトボードＷ上に直接に付された視覚要素に対応する領域を抽出する手段として機能する。
【０１７９】
なお、ここでは、書き込みＭＲに対応する領域を抽出する場合を例にとって説明したが、ホワイトボードＷに紙の資料や写真等を直接貼付して視覚要素を与えた際にも同様な方法によって、撮影画像から資料や写真等に対応する領域を抽出することができる。
【０１８０】
図２１は、ホワイトボードＷ上に投影するための投影原画像ＰＰを例示する模式図である。なお、図２１では、パソコン３０の記憶部３２に記憶される投影原画像ＰＰを示しており、図１９に示すホワイトボードＷ上に投影された投影画像に対応する投影原画像である。
【０１８１】
次に、画像合成機能３０５は、領域抽出機能３０４によって抽出された領域と、プロジェクター部１０によって投影原画像ＰＰとをデジタル情報としてデータ合成して画像データ（合成画像）を生成し、記憶部３２に記憶する。図２２は、投影原画像ＰＰと書き込みＭＲとをデータ合成した画像（合成画像）ＣＰを例示する模式図である。図２２に示す合成画像ＣＰは、図１９に示すホワイトボードＷ上の状態を反映した画像となっている。即ち、画像合成機能３０５が、領域抽出機能３０４によって抽出した領域と、プロジェクター部１０によってホワイトボードＷに投影するための投影原画像とをデータ合成する手段として機能する。
【０１８２】
したがって、ここでは、単一色の光をホワイトボードＷに照射して、ホワイトボードＷを撮影して画像を取得する。そして、取得される画像から、ホワイトボードＷ上に直接書き込まれたり、添付される等して直接に付された視覚要素に対応する領域を抽出する。そして抽出した領域とホワイトボードＷに投影するための投影原画像とデータ合成する。その結果、ホワイトボードＷに投影するための投影原画像と、ホワイトボードＷ上に直接書き込まれた文字や線や添付された資料等とをデータ合成した高品質な画像を作成することができる。即ち、ホワイトボードＷに投影される情報と、ホワイトボードＷに直接付加される視覚要素の情報とを併せた高品質の画像を取得可能な投影システムを提供することができる。
【０１８３】
以上、第１実施形態に係る投影システム１においては、外光や、ホワイトボードＷの傾き等を勘案して、投影画像や撮影画像のホワイトバランスや階調特性や歪み等を補正する。また、ホワイトボードＷに投影される情報と、ホワイトボードＷに直接付加される情報とを併せた高品質の画像を取得する。よって、ホワイトボードＷ（投影面）の状況に応じた適正な画像を投影および撮影可能であるとともに、ホワイトボードＷ（投影面）の状況に応じた適正な画像を生成可能な投影システムを提供することができる。
【０１８４】
＜（２）　第２実施形態＞
＜（２−１）　撮影画像の歪み補正＞
上述したように、ホワイトボードＷを斜め撮影した際に、ホワイトボードＷの正面から撮影したような撮影画像を得るためには、撮影画像の歪み補正をしなければならない。また、ホワイトボードＷに対して斜め投影している際に、ホワイトボードＷへの書き込み等を撮影して得られた撮影画像と、投影するための投影原画像とをデータ合成するためには、投影原画像と整合するように撮影画像の歪み補正をしなければならない。
【０１８５】
このような撮影画像の歪み補正を行うために、第１実施形態に係る投影システム１では、焦点検出用パターンＡＦＰを投影し、そのパターンを撮影して入力された画像に基づいて撮影画像の歪みを補正したが、第２実施形態に係る投影システム１Ａでは、撮影画像の歪み補正を行うために、第１実施形態とは異なるパターンをホワイトボードＷに投影する。
【０１８６】
したがって、第２実施形態に係る投影システム１Ａでは、カメラ制御部２００およびＰＣ制御部３００の機能が第１実施形態に係る投影システム１と異なる。具体的には、図２３に示すように、第２実施形態に係るカメラ制御部２００Ａには、第１実施形態に係る各種機能に加えて、対応点抽出機能２０７が付加されている。また、図２に示すように、第２実施形態に係るＰＣ制御部３００Ａでは、補正値算出機能３０２Ａおよび画像補正機能３０３Ａの機能が、第１実施形態に係る補正値算出機能３０２および画像補正機能３０３と異なる。
【０１８７】
以下、図２および図２３等を適宜参照しつつ、第１実施形態に係る投影システム１と異なる部分のみについて説明し、その他の部分については、第１実施形態に係る投影システム１と同様となるため、同様な符号を付して説明を省略する。
【０１８８】
ここでは、上述した図１０に示した場合と同様に、投影レンズ１０Ｒおよび撮影レンズ２０Ｒの光軸がほぼＹ軸と一致し、ホワイトボードＷの投影面は、ＸＺへ平面から角度θだけ傾いている場合を例に挙げて説明する。
【０１８９】
パソコン３０において、投影プログラムが実行されているときに、ユーザーがパソコン３０のキーボード等を種々操作すると、撮影画像の歪み補正動作が開始して、カメラ部２０がホワイトボードＷを撮影し、取得された撮影画像の歪みを補正したりする。
【０１９０】
撮影画像の歪み補正動作が開始すると、ＰＣ制御部３００からカメラ制御部２００Ａに撮影画像の歪み補正用の撮影を実施すべく撮影信号が伝送される。そして、カメラ制御部２００Ａはプロジェクター部１０にコマンドを送信し、垂直同期信号に同期して次のフィールドから、パソコン３０からのアナログＲＧＢ信号の入力に拘わらず、フレームメモリ１１２に記憶されるデジタル画像データが、ＲＯＭ１０ｂに格納される歪みを補正するためのパターン（方眼パターン）となるように設定する。したがって、次の垂直同期信号に同期して、プロジェクター部１０が、ホワイトボードＷに、方眼パターンを投影する。
【０１９１】
図２４は、プロジェクター部１０からホワイトボードＷに投影される方眼パターンＧＰＳを例示する模式図である。方眼パターンＧＰＳは、輪郭部分が白色の枠ＧＰＦと、縦横に伸びる白色の線分からなる方眼状のパターンＧＰとから構成されている。なお、方眼パターンＧＰＳでは、縦横に伸びる白色の線分が交差する点（例えば、点Ａ、点Ｂ、点Ｃ）が、方眼パターンＧＰＳ上の位置を特定するための特異点（他の点と識別可能な幾何学的特徴を有する点）となっている。即ち、プロジェクター部１０が、ホワイトボードＷに、複数の特異点を含む所定の方眼パターンを投影する手段として機能する。
【０１９２】
これに対して、カメラ制御部２００が、撮像素子駆動回路２１４に撮影のトリガー信号を出し、次の垂直同期信号に同期して、カメラ部２０が、ホワイトボードＷに投影された所定の方眼パターンＧＰＳを撮影することによって、画像を取得する。このとき、カメラ制御部２００の制御の下で、露光量が撮像素子２１３の許容量を超過して、撮像素子２１３の出力が飽和しないように、レンズ駆動回路２１２が撮影レンズ２０Ｒの絞り値を所定の絞り値に設定する。
【０１９３】
なお、ここでは、シャッタースピードが垂直同期信号によって決まり、プロジェクター部１０からは方眼パターンＧＰＳが投影され、発光量も決まるため、撮像素子２１３の出力が飽和しないように、所定の絞り値を容易に設定することができる。
【０１９４】
次に、プロジェクター部１０から方眼パターンＧＰＳをホワイトボードＷに投影して撮影を行った際に、Ａ／Ｄ変換器２１６から図２３に示すカメラ制御部２００の対応点抽出機能２０７に出力される。
【０１９５】
図２５は、ホワイトボードＷに投影された方眼パターンＧＰＳをカメラ部２０で撮影して取得される画像Ｇ２を例示する模式図である。図２５では、枠ＧＰＦ’が、プロジェクター部１０から投影される方眼パターンＧＰＳの枠ＧＰＦに対応し、方眼状のパターンＧＰ’が方眼状のパターンＧＰに対応する。そして、ここでは、撮影レンズ２０Ｒの光軸とホワイトボードＷとは垂直の関係にないため、図２５に示すように、方眼状のパターンＧＰ’に台形歪みが発生している。
【０１９６】
対応点抽出機能２０７では、輝度の変化を検出することによって、図２５に示す画像Ｇ２から、枠ＧＰＦ’外の領域を輝度による判別で排除する。次に、残された方眼状のパターンＧＰ’の縦方向と横方向への輝度変化を見ることにより、方眼状のパターンＧＰ’の縦および横から何本目の線が何処にあるのかを検出することができる。よって、対応点抽出機能２０７は、図２５に示すＧ２における、方眼状のパターンＧＰ’の線分が交差する点の位置を特定することができる。その結果、例えば、図２４における点Ａ、点Ｂ、点Ｃに対応する点として、図２５に示す画像Ｇ２における点Ａ’、点Ｂ’、点Ｃ’をそれぞれ特定し、抽出することができる。即ち、対応点抽出機能２０７が、画像Ｇ２について、プロジェクター部１０から投影される方眼パターンＧＰＳに含まれる複数の特異点にそれぞれ対応する対応点を抽出する手段として機能する。
【０１９７】
次に、図２に示すＰＣ制御部３００Ａの補正値算出機能３０２Ａにおいて、図２４に示す方眼パターンＧＰＳにおける複数の特異点（例えば、点Ａ、点Ｂ、点Ｃ）と、図２５に示す画像Ｇ２における対応点（点Ａ’、点Ｂ’、点Ｃ’）との位置関係から撮影画像の歪みを補正するための補正値を算出する。即ち、補正値算出機能３０２Ａが、複数の特異点と、その対応点との位置関係から補正値を算出する手段として機能する。
【０１９８】
ここで、図２６および図２７を参照しつつ、補正値算出機能３０２Ａにおける補正値を算出するための原理を簡単に説明する。
【０１９９】
図２６および図２７は、補正値を算出するための原理を説明するための図である。図２６では、プロジェクターの光軸をｚ軸とし、光源を原点としてｘｙｚ直交座標系を設定した場合に、ライトバルブ（例えば、表示素子１２３）における画素と、投影面（ホワイトボードＷ）上に投影される画像との位置関係を模式的に示す。また、図２７では、カメラの光軸をｚ’軸としたｘ’ｙ’ｚ’直交座標系を設定した場合において、投影面（ホワイトボードＷ）上の位置と、撮像素子２１３における画素との位置関係を模式的に示している。
【０２００】
図２６に示すように、プロジェクター部１０から発せられるある光線（第１の光線）が、下式（２）の関係を有する場合、ライトバルブである第１の投影面Ｐ１をｚ＝１で表される平面とすると、第１の光線と第１の投影面Ｐ１との交点の座標は点Ｍ（ｐ，ｑ，１）となる。
【０２０１】
ｘ／ｐ＝ｙ／ｑ＝ｚ・・・（２）
【０２０２】
次に、この状態で、画像として第２の投影面Ｐ２（例えば、ホワイトボードＷ）に投影されることを前提に発せられる光線群と、第２の投影面Ｐ２との交点Ｍ’を求める。ここで、第２の投影面Ｐ２を下式（３）で表すと、第１の光線と第２の投影面Ｐ２との交点Ｍ’の座標は次式（４）〜（６）で表される。
【０２０３】
ｚ＝ａｘ＋ｂｙ＋ｃ・・・（３）
ｘ＝ｃｐ／（１−ａｐ−ｂｑ）・・・（４）
ｙ＝ｃｑ／（１−ａｐ−ｂｑ）・・・（５）
ｚ＝ｃ／（１−ａｐ−ｂｑ）・・・（６）
【０２０４】
つまり、ここでは、第１の投影面Ｐ１の画像を第２の投影面Ｐ２に投影することで、３次元空間において、画像の一部を示す点Ｍが点Ｍ’に変換されたことになる。
【０２０５】
そして、図２７に示すように、カメラの撮像素子に照射されるある光線（第２の光線）が、下式（７）の関係を有する場合、撮像素子の撮像面となる第３の投影面Ｐ３をｚ’＝１で表される平面とすると、第２の光線と第３の投影面Ｐ３との交点の座標は点Ｎ（ｓ，ｔ，１）となる。
【０２０６】
ｘ’／ｓ＝ｙ’／ｔ＝ｚ’・・・（７）
【０２０７】
この状態で、第３の投影面Ｐ３に画像を結像するために照射される光線群と、第３の投影面Ｐ３とは異なる第４の投影面Ｐ４（例えば、ホワイトボードＷ）との交点Ｎ’を求める。ここで、第４の投影面Ｐ４を下式（８）で表すと、第２の光線と第４の投影面Ｐ２との交点Ｎ’の座標は次式（９）〜（１１）で表される。
【０２０８】
ｚ’＝ｄｘ’＋ｅｙ’＋ｆ・・・（８）
ｘ’＝ｆｓ／（１−ｄｓ−ｅｔ）・・・（９）
ｙ’＝ｆｔ／（１−ｄｓ−ｅｔ）・・・（１０）
ｚ’＝ｆ／（１−ｄｓ−ｅｔ）・・・（１１）
【０２０９】
つまり、ここでは、第４の投影面Ｐ４の画像を第３の投影面Ｐ３に投影することで、３次元空間において、画像の一部を示す点Ｎ’が点Ｎに変換されたことになる。
【０２１０】
そして、プロジェクターによる投影画像を、プロジェクターとは異なる位置と姿勢を有するカメラで撮影した場合には、３次元空間において、投影画像を構成するある点の座標は、図２６に示す投影過程における点Ｍから点Ｍ’への座標変換と、プロジェクターについてのｘｙｚ直交座標系からカメラについてのｘ’ｙ’ｚ’直交座標系への座標変換と、図２７に示す撮影過程における点Ｎ’から点Ｎへの座標変換を受けることとなる。また、ここで、ｘｙｚ直交座標系からｘ’ｙ’ｚ’直交座標系への座標変換を示す係数（座標変換係数）をｒ１１，ｒ１２，ｒ１３，ｒ２１，ｒ２２，ｒ２３，ｒ３１，ｒ３２，ｒ３３として、下式（１２）〜（１４）の関係が成立するものとして説明を続ける。
【０２１１】
ｘ’＝ｒ１１ｘ＋ｒ１２ｙ＋ｒ１３ｚ・・・（１２）
ｙ’＝ｒ２１ｘ＋ｒ２２ｙ＋ｒ２３ｚ・・・（１３）
ｚ’＝ｒ３１ｘ＋ｒ３２ｙ＋ｒ３３ｚ・・・（１４）
【０２１２】
ここで、式（１２）〜（１４）に、式（４）〜（６）および式（９）〜（１１）を代入すると、下式（１５）〜（１７）の関係式が求まる。
【０２１３】
【数２】
2004109246.tif 000004
【０２１４】
式（１５）〜（１７）の３つの式には、ａ〜ｆ、ｒ１１〜ｒ３３の１５個の未知である係数が含まれているが、以下の手順で整理すると未知数を９個まで減らすことができる。
【０２１５】
例えば、第２の投影面と第４の投影面は同一であるため、一方の投影面の式が決まれば、他方の投影面の式は、ｘｙｚ直交座標系からｘ’ｙ’ｚ’直交座標系への座標変換係数を用いて表すことができる。つまり、未知数ａ，ｂ，ｃまたは未知数ｄ，ｅ，ｆのうち一方を無くすことができ、未知数が３個減る。また、２つの座標系（ｘｙｚ直交座標系とｘ’ｙ’ｚ’直交座標系）の間で、方位関係が傾いているのみで、拡大縮小を伴わないことを条件とすると、下式（１８）〜（２０）の関係を用いて、未知数である９個の座標変換係数ｒ１１〜ｒ３３を６個の未知数に減らすことができる。
【０２１６】
ｒ１１２＋ｒ１２２＋ｒ１３２＝１・・・（１８）
ｒ２１２＋ｒ２２２＋ｒ２３２＝１・・・（１９）
ｒ３１２＋ｒ３２２＋ｒ３３２＝１・・・（２０）
【０２１７】
このように、式（１５）〜（１７）の３つの式における未知数は９個とすることができるため、第１の投影面Ｐ１上での点Ｍ（ｐ，ｑ，１）と第３の投影面Ｐ３上での点Ｎ（ｓ，ｔ，１）とを対応づける組合せが３組あれば、その３組の座標を式（１５）〜（１７）に代入すると、９つの式が得られ、残りの９個の未知数を求めることができる。よって、第１の投影面Ｐ１上の任意の点と、その点に対応する第３の投影面Ｐ３上の点とを相互に変換することができる式（変換式）を導出することができる。
【０２１８】
したがって、例えば、補正値算出機能３０２Ａにおいて、図２４に示す方眼パターンＧＰＳにおける３点の特異点（例えば、点Ａ、点Ｂ、点Ｃ）と、図２５に示す画像Ｇ２における対応点（点Ａ’、点Ｂ’、点Ｃ’）との位置関係から、変換式を求めることができる。なお、ここでは、この変換式が撮影画像の歪みを補正するための補正値にあたる。
【０２１９】
そして、画像補正機能３０３Ａが、補正値算出機能３０２Ａで算出された補正値に基づいて、カメラ部２０によってホワイトボードＷを撮影することにより得られる撮影画像の歪みを補正する。この結果、ホワイトボードＷに投影される画像に合わせて書き込まれる文字や資料等をカメラ部２０で撮影して画像を取得し、その画像を、投影画像と整合するように座標変換して画像を生成することができる。
【０２２０】
ところで、プロジェクター部１０において、投影画像の歪み補正をしている場合には、第１の投影面Ｐ１における画像は、投影画像の歪み補正値に基づいて、投影原画像を変形させたものとなっている。しかし、第１の投影面Ｐ１における画像と、投影原画像との位置関係は、投影画像の歪み補正値によって規定されるため、カメラ部２０で撮影した画像を、投影原画像と整合するように座標変換をすることは容易に可能である。なお、このような場合は、ＰＣ制御部３００がプロジェクター制御部１００から投影画像に対する歪み補正値を取得することによって、変換式を、投影画像に対する歪み補正値を加味した式とし、座標変換を実現する。
【０２２１】
したがって、プロジェクター部１０において、投影画像の歪み補正をしている場合には、ホワイトボードＷに投影される画像は、ホワイトボードＷの正面から見ると、パソコン３０の記憶部３２に記憶される投影原画像をそのまま拡大したものとなっている。よって、カメラ部２０で撮影した画像を、投影原画像と整合するように座標変換をすると、ホワイトボードＷ上の書き込み等をホワイトボードＷの正面から撮影して取得された画像のように補正することができる。
【０２２２】
なお、上述したように、ここでは、投影するための画像における３点の特異点と、３点の特異点に対応する撮影画像における対応点との位置関係から、撮影画像の歪みを補正するための補正値を求めることができる。そして、この３点の特異点は直線状に並ばないことが必要である。しかし、投影レンズ１０Ｒや撮影レンズ２０Ｒの各種収差等の誤差要因を勘案すると、すべての画像の中心と４隅の計５箇所における特異点と、その対応点との位置関係から、撮影画像の歪み補正をするための補正値を求める方が好ましい。
【０２２３】
また、上述したように、撮影画像に対する歪み補正値は、撮影が行われる毎に行われるため、途中でホワイトボードＷが動いた場合にも対応することができる。なお、ここでは、方眼パターンＧＰＳを投影するタイミングと、撮影するタイミングとが同期しており、さらに、方眼パターンＧＰＳを投影する時間はごく短時間であるため、投影画像を見ている人に気づかれず、投影画像が見づらくなることがない。
【０２２４】
以上のように、第２実施形態に係る投影システム１Ａでは、複数の特異点（例えば、点Ａ，Ｂ，Ｃ）を含む所定の方眼パターンＧＰＳをホワイトボードＷに投影する。そして、その投影された方眼パターンＧＰＳを撮影して得られた画像Ｇ２から、複数の特異点にそれぞれ対応する対応点を抽出する。さらに、方眼パターンＧＰＳにおける複数の特異点と、対応点との位置関係とから補正値を算出する。その補正値に基づいて、ホワイトボードＷを撮影することにより得られる撮影画像の歪みを補正する。その結果、ホワイトボードＷ（投影面）とカメラ部２０との相対的な位置関係等から生じる撮影画像の歪みを補正することができる。
【０２２５】
また、ここでは、ホワイトボードＷを撮影することによって得られる撮影画像を、投影するための投影原画像と整合するように補正することができる。よって、上述したように、ホワイトボードＷ上に直接書き込まれたり、添付される等して直接に付された視覚要素に対応する領域を撮影画像から抽出して、ホワイトボードＷに投影するための投影原画像とデータ合成する際に、ずれのない合成画像を生成することができる。
【０２２６】
＜（３）　第３実施形態＞
第３実施形態では、複数の会議室のパソコンをネットワークを介して接続し、同じ画像を各会議室において拡大投影しながら、遠隔地同士で会議を協同して進行させる電子会議システムについて示している。
【０２２７】
＜（３−１）　電子会議システムの内部構成＞
図２８は、電子会議システムの内部構成を示すブロック図である。図２８に示すように、電子会議システムでは、２つの会議室ＣＲ１，ＣＲ２にそれぞれ、ホワイトボードＷ１，Ｗ２に画像を投影するように、第１実施形態に係る投影システム１とほぼ同様な投影システム１Ｂが設置されている。両会議室ＣＲ１，ＣＲ２に設置される投影システム１Ｂの内部構成は、全く同様であるため、同様な部分については同様な符号を付しており、また、投影システム１Ｂは投影システム１に異なる機能が若干付加されたものであり、以下、主に、投影システム１と異なる点について説明する。なお、投影システム１Ｂの動作の制御は、パソコン３０内に記憶されるプログラムがＰＣ制御部３００において実行されることによって実現されているものとする。
【０２２８】
投影システム１Ｂのパソコン３０にはスピーカＳＰが設けられるとともに、マイクＭＣが接続され、両会議室ＣＲ１，ＣＲ２内の音声を入力して音声データを取得することができる。また、投影システム１Ｂは、それぞれパソコン３０がネットワーク４００に接続され、両会議室ＣＲ１，ＣＲ２に設置される投影システム１Ｂは相互にデータを送受信することができる。
【０２２９】
そして、パソコン３０の記憶部３２に記憶される画像データ（投影原画像）を送受信することによって、両会議室ＣＲ１，ＣＲ２において同様な投影画像をホワイトボードＷに投影することができる。例えば、会議室ＣＲ１のパソコン３０に記憶される画像データ（投影原画像）を会議室ＣＲ２のパソコン３０に送信することによって、会議室ＣＲ１のパソコンに記憶される画像データに基づいて、両会議室ＣＲ１，ＣＲ２において同様な投影画像を投影することができる。
【０２３０】
また、両会議室ＣＲ１，ＣＲ２に設置される投影システム１Ｂは、パソコン３０がネットワーク４００を介して相互にデータを送受信することができるため、マイクＭＣを介して取得される音声データを相互に送受信して、スピーカＳＰから音声を出力することができる。
【０２３１】
ところで、上述した投影システム１では、会議内容の記録動作において、画像合成機能３０５が、領域抽出機能３０４によって抽出された領域と、プロジェクター部１０によって投影するための投影原画像とをデータ合成して合成画像データを生成し、記憶部３２に記憶した。これに対して、投影システム１Ｂでは、投影システム１における会議内容の記録動作と同様に、カメラ部２０によってホワイトボードＷ１，Ｗ２の撮影を行い、その画像に基づいて、領域抽出機能３０４によって抽出した領域についての画像データをネットワーク４００を介して他方の投影システム１Ｂに送信する。そして、他方の投影システム１Ｂにおいて、投影原画像とデータ合成して合成画像データを生成し、ホワイトボードＷに投影する。なお、投影システム１Ｂにおける投影画像と撮影画像との合成処理のその他の動作については、投影システム１と同様となる。
【０２３２】
ここで、「ネットワーク」とは、データ通信を行う通信回線網であり、具体的には、インターネット、ＬＡＮ、ＷＡＮ、ＣＡＴＶなどの、電気通信回線（光通信回線を含む）により構成される各種の通信回線網である。ネットワークに対する接続形態は、専用回線などを利用した常時接続であってもよいし、アナログ回線あるいはデジタル回線（ＩＳＤＮ）などの電話回線を利用したダイアルアップ接続などの一時的な接続のいずれであってもよい。また、その伝送方式は、無線方式および有線方式のいずれであってもよい。
【０２３３】
＜（３−２）　電子会議システムの使用例＞
図２９は、電子会議システムの使用例を示す模式図である。図２９に示すように、複数の会議室ＣＲ１，ＣＲ２には、それぞれ、投影システム１Ｂが設置され、投影システム１に備えられたパソコン３０が、ネットワーク等を介して、データを送受信し合うことによって、ホワイトボードＷ１，Ｗ２上に直接書き込まれた内容等も反映させながら、パソコン３０に表示される同一の画像を、ホワイトボードＷ１，Ｗ２に投影している。また、パソコン３０が図示を省略するマイクＭＣによって音声データを取得し、ネットワーク４００を介して音声データを送信受信することによって、一方の会議室における音声を他方の会議室において、パソコン３０に設けられたスピーカＳＰから出力することができる。
【０２３４】
そして、例えば、図２９に示すように、会議室ＣＲ１の説明者ＰＭ１は、ホワイトボードＷ上に投影された画像中の重要な点に赤のマーカーでアンダーラインＭＲ１を付し、会議の参加者に説明している。一方、会議室ＣＲ２の説明者ＰＭ２は、ホワイトボードＷ上に投影された画像中の重要な点に丸印ＭＲ２を付すとともに、「４０万画素超」という文字ＭＲ３を書き込んで、会議の参加者に説明している。
【０２３５】
このとき、両会議室ＣＲ１，ＣＲ２においては、もう一方の会議室で書き込まれた内容等を反映させるため、一定間隔毎に、カメラ部２０がホワイトボードＷ上の書き込み等を撮影し、その画像に基づいて、領域抽出機能３０４によって抽出した領域についての画像データをネットワーク４００を介して他方の投影システム１Ｂに送信する。そして、他方の投影システム１Ｂにおいて、投影原画像とデータ合成して合成画像データを生成し、ホワイトボードＷに投影する。
【０２３６】
その結果、図２９に示すように、一方の会議室においてホワイトボードＷに書き込まれたり、貼付された資料等の内容を他方の会議室のホワイトボードＷに反映させることができる。
【０２３７】
なお、一方の会議室において、ホワイトボードに投影した投影画像に合わせてマーカー等で書き込みを行った場合に、そのままカメラ部２０で撮影してその画像を他方の会議室にネットワーク４００を介して伝達し、その画像に基づいて、他方の会議室において、ホワイトボードＷに画像を投影しても、一方の会議室においてホワイトボードＷに書き込まれたり、貼付された資料等の内容を他方の会議室のホワイトボードＷに反映させることができる。しかし、そのままカメラ部２０で撮影すると、投影した画像とマーカーの書き込みとが重なって撮影されるため、読みにくい画像になったり、ホワイトボードＷに投影した画像をカメラで撮影した場合は、投影画像に対応する部分の画質が劣化してしまい、他方の会議室では、画像の作成者が意図した内容を会議に参加した人々に対して正確に伝達することができない。
【０２３８】
このような問題に対して、本実施形態に係る投影システム１Ｂでは、単一色（全面白色）の光をホワイトボードＷに照射して、ホワイトボードＷを撮影することによって画像を取得する。そして、取得された画像から、ホワイトボードＷ上に直接書き込まれたり、添付される等して直接に付された視覚要素に対応する領域を抽出して、ホワイトボードＷに投影するための投影原画像とデータ合成する。その結果、ホワイトボードＷに投影するための投影画像と、ホワイトボードＷ上に直接書き込まれた文字や線や添付された資料等の視覚要素とをデータ合成した高品質な画像を作成することができる。
【０２３９】
なお、上述したように、カメラ部２０による撮影時に、全面白色等の単一色の光をプロジェクター部１０から照射する。よって、全面白色等の単一色の光をホワイトボードＷに投影する時間が長いと、会議の参加者に違和感を与えたり、画像が見づらくなったりする。しかし、本実施形態に係る投影システム１Ｂにおいては、単一色の光を照射するタイミングと、撮影するタイミングとが同期しており、さらに、単一色の光を投影する時間は、１フレーム以内というごく短時間であるため、会議の参加者に違和感を与えたり、画像が見づらくなったりすることがない。
【０２４０】
また、ホワイトボードＷへの書き込み等の撮影は、ユーザーがパソコン３０のキーボード等を種々操作することによって行うことができるが、電子会議では、時間的なずれの低減が要求されるため、ホワイトボードＷ上の書き込み等を次々と撮影し、画像データをネットワーク４００を介して伝送する場合もある。このような場合は、ユーザーがパソコン３０において撮影間隔を短く設定し、撮影動作を繰り返し行って、書き込み等に係る撮影画像と投影原画像のデータ合成を短い周期で行うことが好ましい。
【０２４１】
ところで、ここでは、ホワイトボードＷ上の書き込みを撮影する際に、撮影画像の歪み補正をするか否かは、プロジェクター部１０から投影される投影画像の歪み補正を行っているか否かに従う。
【０２４２】
例えば、投影画像の歪み補正を行っていない場合は、会議の説明者は特に台形歪み等を問題とせず、投影画像に合わせて、ホワイトボードＷに書き込み等をしたものと考えられる。よって、この場合は、撮影画像に対する歪み補正は行わない。なお、投影画像の歪み補正を行っているか否かは、プロジェクター制御部１００とカメラ制御部２００間のデータの交信等によって情報を取得し、撮影画像に対する歪みを行うか否かについて、ＰＣ制御部３００等によって制御および管理することができる。一方、投影画像の歪み補正を行っている場合は、上述した撮影画像の歪み補正を必ず行い、他方の会議室の投影システムに画像データを伝送する。
【０２４３】
以上のように、第３実施形態に係る電子会議システムでは、一方の投影システム１Ｂにおいて、単一色（全面白色）の光をホワイトボードＷに照射して、ホワイトボードＷを撮影することによって画像を取得する。そして、取得された画像から、ホワイトボードＷ上に直接書き込まれたり、添付される等して直接に付された視覚要素に対応する領域を抽出して、他方の投影システムに伝送する。そして、他方の投影システムにおいて、抽出された領域と、ホワイトボードＷ上に投影するための投影原画像とをデータ合成して投影する。その結果、遠隔地等場所を違える会議室同士で、意志疎通を十分図ることができる。また、ホワイトボードＷに投影される情報と、ホワイトボードＷに直接付加される視覚要素の情報とを併せた高品質の画像を投影可能な投影システムを提供することができる。
【０２４４】
＜（４）　変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０２４５】
◎例えば、上述した実施形態では、スケーラー１１３等は専用の電子回路となっているが、プロジェクター制御部１００内のＣＰＵにおいてプログラムを実行することにより、その機能を実現するようにしても良い。
【０２４６】
◎また、上述した実施形態では、プロジェクター制御部１００、カメラ制御部２００、およびＰＣ制御部３００を別々に設けているが、それらの機能のうちの一部、または全ての機能を、１箇所のＣＰＵにおいてプログラムを実行することによって実現するようにしても良い。
【０２４７】
◎また、投影プログラムが実行されているときに、ユーザーがパソコン３０のキーボード等を種々操作することによって、投影画像のＷＢ補正、撮影画像のＷＢ補正、投影画像の階調特性の補正、撮影画像の階調特性の補正、投影画像の歪み補正、および撮影画像の歪み補正のうちの全ての動作を実行しなかったり、いずれか１つの動作を実行したり、種々の組合せの動作を実行したり、全ての動作を実行するようにしても良い。
【０２４８】
◎また、上述した第２実施形態では、第２および第４等の投影面が平面の場合における撮影画像の歪み補正について例示したが、第２および第４の投影面が曲面である場合にも、曲面の式を規定することによって、第２実施形態と同様な手法によって、第１の投影面と第３の投影面との間の座標変換係数を求めることができる。したがって、プロジェクター部１０から投影画像が投影される投影面が曲面の場合にも撮影画像の歪み補正を実施可能である。
【０２４９】
◎また、上述した実施形態では、ＷＢ補正値を求めるために、投影領域に全面無彩色の光を投影したが、投影領域の一部に無彩色の光を投影して、その部分に係る画像データに基づいてＷＢ補正値を求めるようにしても良い。
【０２５０】
◎また、上述した実施形態では、プロジェクター制御部１００、カメラ制御部２００，２００Ａ、ＰＣ制御部３００，３００Ａの間におけるデータの送受信は、ＵＳＢＩ／Ｆ３４とＵＳＢＩ／Ｆ２３０の間、およびＵＳＢＩ／Ｆ２３０とＵＳＢＩ／Ｆ１３０の間をそれぞれケーブルによって接続することによって実現されていたが、接続の組合せや方式はこれに限られず、種々の組合せや方式で接続しても良い。
【０２５１】
◎また、上述した実施形態では、投影画像の歪み補正を自動で行う点を特徴とする動作以外の動作においては、投影画像の歪み補正の設定はユーザーが手動で行っても良い。
【０２５２】
◎また、上述した実施形態において例示した投影システム１，１Ａ，１Ｂは、上述したように撮影画像の歪み補正を行うため、ホワイトボードＷ等の被写体に係る撮影画像の歪み補正を行う歪み補正装置として見ることもできる。
【０２５３】
なお、上述した具体的実施形態には以下の構成を有する発明が含まれている。
【０２５４】
（１）被写体に複数の焦点検出用の部分を含むパターンを投影する投影手段と、前記投影面に投影された前記パターンを撮影することによって、複数の画素で構成される前記パターンに係る画像を入力する撮影手段と、前記撮影手段における撮影レンズの合焦制御を行う合焦制御手段と、前記画像における前記複数の焦点検出用の部分に対応する領域について、それぞれ前記撮影レンズの合焦状態に関する評価値を算出する評価値算出手段と、前記評価値に基づいて、前記撮影手段によって前記被写体を撮影することにより得られる撮影画像について、歪みを補正する歪み補正手段とを備えることを特徴とする歪み補正装置。
【０２５５】
（１）の発明によれば、焦点検出用の領域を複数含むパターンを投影し、そのパターンを撮影して入力された画像における、複数の焦点検出用の部分に対応する領域について、それぞれ撮影レンズの合焦状態に関する評価値を求め、その評価値に基づいて、被写体を撮影することにより得られる撮影画像の歪みを補正するような構成とすることによって、撮影手段と、被写体との相対的な位置関係等から生じる撮影画像の歪みを補正することができる。
【０２５６】
（２）被写体に複数の特異点を含む所定のパターンを投影する投影手段と、前記投影面に投影された前記所定のパターンを撮影することによって、画像を取得する撮影手段と、前記画像について、前記複数の特異点にそれぞれ対応する対応点を抽出する抽出手段と、前記複数の特異点と、前記対応点との位置関係から補正値を算出する算出手段と、前記補正値に基づいて、前記撮影手段によって前記被写体を撮影することにより得られる撮影画像の歪みを補正する歪み補正手段とを備えることを特徴とする歪み補正装置。
【０２５７】
（２）の発明によれば、複数の特異点を含む所定のパターンを被写体に投影し、その投影された所定のパターンを撮影して得られた画像から、複数の特異点にそれぞれ対応する対応点を抽出し、所定のパターンにおける複数の特異点と、対応点との位置関係から補正値を算出し、その補正値に基づいて、被写体を撮影することにより得られる撮影画像の歪みを補正するような構成とすることによって、被写体と撮影手段との相対的な位置関係等から生じる撮影画像の歪みを補正することができる。
【０２５８】
（３）投影システムに含まれるコンピュータによって実行されることにより、前記投影システムを、請求項１から請求項５、（１）および（２）のうちいずれかに記載の投影システムとして機能させるプログラム。
【０２５９】
（３）の発明によれば、請求項１から請求項５、（１）および（２）のいずれかに記載の発明と同様な効果を得ることができる。
【０２６０】
【発明の効果】
以上説明したように、請求項１から請求項５の発明によれば、投影面の状況に応じた適正な画像処理が可能な投影システムを提供することができる。
【０２６１】
また、請求項１から請求項３の発明によれば、投影面の状況に応じた適正な画像を投影可能な投影システムを提供することができる。
【０２６２】
特に、請求項１の発明によれば、輝度が段階的に変化するパターンを投影面に投影し、そのパターンを撮影して得られた画像に基づいて、投影面に投影される投影画像や、投影面等を撮影することによって得られる撮影画像の階調特性を補正するような構成とすることによって、外光の影響や投影面の反射率等により投影画像や撮影画像の階調特性が変化するのを補正することができる。
【０２６３】
また、請求項２の発明によれば、無彩色の光を投影した投影面を撮影して得られた画像に基づいて、投影面に投影される投影画像や、投影面等を撮影することによって得られる撮影画像のホワイトバランスを補正するような構成とすることによって、投影面の色や、外光の色や、投影手段の光源の色等の影響により、投影画像や撮影画像の色調が変化するのを補正することができる。
【０２６４】
また、請求項３の発明によれば、焦点検出用の部分を複数含むパターンを投影し、そのパターンを撮影して入力された画像における複数の焦点検出用の部分に対応する領域について、それぞれ撮影レンズの合焦状態に関する評価値を求め、その評価値に基づいて、投影面に投影される投影画像や、投影面を撮影することにより得られる撮影画像の歪みを補正するような構成とすることによって、投影手段や撮影手段と、投影面との相対的な位置関係等から生じる投影画像や撮影画像の歪みを補正することができる。
【０２６５】
また、請求項４の発明によれば、複数の特異点を含む所定のパターンを投影面に投影し、その投影された所定のパターンを撮影して得られた画像から、複数の特異点にそれぞれ対応する対応点を抽出し、所定のパターンにおける複数の特異点と、対応点との位置関係から補正値を算出し、その補正値に基づいて、投影面を撮影することにより得られる撮影画像の歪みを補正するような構成とすることによって、投影面と撮影手段との相対的な位置関係等から生じる撮影画像の歪みを補正することができる。
【０２６６】
また、請求項５の発明によれば、単一色の光を投影面に投影して投影面を撮影することによって取得される画像について、投影面に直接書き込まれたり、添付される等して直接に付された視覚要素に対応する領域を抽出して、投影面に投影するための画像とデータ合成するような構成とすることによって、投影面に投影される画像と、投影面に直接書き込まれた文字や線や添付された資料等の視覚要素とを合成した高品質な画像を作成することができる。即ち、投影面に投影される情報と、投影面に直接付加される情報とを併せた高品質の画像を取得可能な投影システムを提供することができる。
【図面の簡単な説明】
【図１】第１実施形態に係る投影システムの使用例を示す模式図である。
【図２】第１実施形態に係る投影システムの内部構成を示すブロック図である。
【図３】第１実施形態に係るカメラ制御部の機能を説明するためのブロック図である。
【図４】ホワイトバランス補正値の設定方法を説明するための図である。
【図５】階調特性補正用の撮影時に取得される画像を例示する模式図である。
【図６】グレースケールチャートに係る理想的な明るさの比を例示する模式図である。
【図７】外光の影響がある場合の明るさの比を例示する模式図である。
【図８】階調特性補正用の補正値の算出方法を説明するための図である。
【図９】外光の影響がある場合の階調変換特性を例示する図である。
【図１０】ホワイトボードに対して斜めの方向から投影および撮影する場合を例示する模式図である。
【図１１】ホワイトボードに対して斜め投影される画像を例示する模式図である。
【図１２】歪み補正後の投影画像を示す模式図である。
【図１３】斜め撮影時に取得される撮影画像を例示する模式図である。
【図１４】歪み補正後の撮影画像を示す模式図である。
【図１５】ホワイトボードに投影される焦点検出用パターンを例示する図である。
【図１６】ホワイトボードに投影された焦点検出用パターンを撮影することによって取得される撮影画像を例示する模式図である。
【図１７】評価値と撮影レンズの位置との関係を表す曲線を例示する模式図である。
【図１８】撮影画像に対する歪み補正用の補正値の算出方法を説明するための図である。
【図１９】ホワイトボード上の状態を例示する模式図である。
【図２０】ホワイトボードの書き込みを撮影した撮影画像を例示する模式図である。
【図２１】ホワイトボードに投影するための投影原画像を例示する模式図である。
【図２２】投影原画像と書き込みとをデータ合成した合成画像を例示する模式図である。
【図２３】第２実施形態に係るカメラ制御部の機能を説明するためのブロック図である。
【図２４】ホワイトボードに投影される方眼パターンを例示する模式図である。
【図２５】ホワイトボードに投影された方眼パターンを撮影して得られた画面を例示する模式図である。
【図２６】撮影画像の歪み補正用を算出するための原理を説明するための図である。
【図２７】撮影画像の歪み補正用を算出するための原理を説明するための図である。
【図２８】電子会議システムの内部構成を示すブロック図である。
【図２９】電子会議システムの使用例を示す模式図である。
【図３０】会議における従来の投影システムの使用例を示す模式図である。
【符号の説明】
１，１Ａ，１Ｂ　投影システム
２　カメラ付きプロジェクター
１０　プロジェクター部（投影手段）
２０　カメラ部（撮影手段）
３０　パソコン
１００　プロジェクター制御部
１０１　素子駆動制御機能（ホワイトバランス補正手段、階調補正手段）
１１３　スケーラー（歪み補正手段）
２００，２００Ａ　カメラ制御部
２０４　評価値演算機能（評価値算出手段）
２０５　合焦制御機能（合焦制御手段）
２０７　対応点抽出機能（抽出手段）
２１０　撮影機能部（撮影手段）
２１７　ＷＢ回路（ホワイトバランス補正手段）
２１８　γ補正回路（階調補正手段）
３００　ＰＣ制御部
３０２Ａ　補正値算出機能（算出手段）
３０３Ａ　画像補正機能（歪み補正手段）
３０４　領域抽出機能（領域抽出手段）
３０５　画像合成機能（合成手段）
【図１】
2004109246.tif 000005
【図２】
2004109246.tif 000006
【図３】
2004109246.tif 000007
【図４】
2004109246.tif 000008
【図５】
2004109246.tif 000009
【図６】
2004109246.tif 000010
【図７】
2004109246.tif 000011
【図８】
2004109246.tif 000012
【図９】
2004109246.tif 000013
【図１０】
2004109246.tif 000014
【図１１】
2004109246.tif 000015
【図１２】
2004109246.tif 000016
【図１３】
2004109246.tif 000017
【図１４】
2004109246.tif 000018
【図１５】
2004109246.tif 000019
【図１６】
2004109246.tif 000020
【図１７】
2004109246.tif 000021
【図１８】
2004109246.tif 000022
【図１９】
2004109246.tif 000023
【図２０】
2004109246.tif 000024
【図２１】
2004109246.tif 000025
【図２２】
2004109246.tif 000026
【図２３】
2004109246.tif 000027
【図２４】
2004109246.tif 000028
【図２５】
2004109246.tif 000029
【図２６】
2004109246.tif 000030
【図２７】
2004109246.tif 000031
【図２８】
2004109246.tif 000032
【図２９】
2004109246.tif 000033
【図３０】
2004109246.tif 000034