(57)【要約】      （修正有）【課題】投影画像がユーザの体等の遮蔽物によって遮られ投影画像が歪んでしまい、投影画像を撮像した画像を台形補正する為に必要な投影画像の頂点の座標を正しく検出できず、正しい補正結果が得られない場合でも、画像補正を可能とする方法を提供する。【解決手段】プロジェクタと投影面の間の遮蔽物の有無を判断し、遮蔽物が無い場合は投影画像の頂点の検出を行い、その座標を使って画像補正を行うと同時に、その座標を保存する。遮蔽物が有る場合は投影画像の頂点の検出は行わず、保存してある直近の検出結果である座標を使って画像補正を行う。【選択図】図７
2015171124.tif 000002
【特許請求の範囲】
【請求項１】
画像を投影する投影手段（１１２）と、
投影した画像を撮像する撮像手段（１１３）と、
撮像画像の一部の範囲を特定する範囲特定手段（４０２、４０３、４０４）と、
前記投影手段によって画像が投影されている投影面と、前記撮像手段の間に遮蔽物が有るかを判定する遮蔽物有無判定手段（４０５）を備え、
前記遮蔽物有無判定手段によって遮蔽物が無いと判定された場合（Ｓ７１５で「遮蔽物無し」）は、前記範囲特定手段を実行し（Ｓ７１６〜Ｓ７２２）、
前記遮蔽物有無判定手段によって遮蔽物が有ると判定された場合（Ｓ７１５で「遮蔽物有り」）は、前記範囲特定手段を実行せず、前記範囲特定手段で取得済みの情報を用いる（Ｓ７３０）事を特徴とする画像処理方法。
【請求項２】
前記範囲特定手段を用いて撮像画像に対して画像処理（Ｓ７２３〜Ｓ７２６）を行う事を特徴とする請求項１に記載の画像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホワイトボード等の投影面に投影した情報を撮影する技術に関するものである。
【背景技術】
【０００２】
近年、ホワイトボード等の投影面にプロジェクタで画像を投影し、投影した画像にユーザが手書きで書き込みを行った後、その状態をカメラで撮像する事で手書きがされた投影画像を保存するカメラ付きプロジェクタが提案されている。このようなシステムでは、カメラはプロジェクタと同じ位置から投影面を煽って撮る事になるので、撮像した画像に映る投影画像には歪みが生じる。この歪みは撮像画像を台形補正することによって補正できるが、台形補正には補正したい平面の頂点の座標が必要である。
【０００３】
この課題に対し、投影画像の四隅にマーカを配置し、撮像画像を解析してマーカの座標を検出する事で、台形補正に必要な投影画像の頂点を求めるシステムが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−４８７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザはホワイトボード等の投影面に書込みを行う際、プロジェクタと投影面の間に立つ。その際、投影画像はユーザの体によって遮られ、歪む。特許文献１ではマーカがユーザの体によって遮られた場合、撮像画像を解析した結果検出されるマーカの座標は、投影面に投影された投影画像の頂点を表したものにはならず、この状態で台形補正を行っても正しく補正された画像は得られない。
【課題を解決するための手段】
【０００６】
本発明の構成は、
画像を投影する投影手段（１１２）と、
投影した画像を撮像する撮像手段（１１３）と、
撮像画像の一部の範囲を特定する範囲特定手段（４０２、４０３、４０４）と、
前記投影手段によって画像が投影されている投影面と、前記撮像手段の間に遮蔽物が有るかを判定する遮蔽物有無判定手段（４０５）を備え、
前記遮蔽物有無判定手段によって遮蔽物が無いと判定された場合（Ｓ７１５で「遮蔽物無し」）は、前記範囲特定手段を実行し（Ｓ７１６〜Ｓ７２２）、
前記遮蔽物有無判定手段によって遮蔽物が有ると判定された場合（Ｓ７１５で「遮蔽物有り」）は、前記範囲特定手段を実行せず、前記範囲特定手段で取得済みの情報を用いる（Ｓ７３０）事を特徴とする。
画像処理方法。
【発明の効果】
【０００７】
本発明によれば、投影を遮蔽物が遮っている状態でも、台形補正に必要な投影画像の頂点の誤検出を防ぎ、正しく補正された画像を得られる。
【図面の簡単な説明】
【０００８】
【図１】本実施例におけるシステムの構成の一例を示す図である。
【図２】ＰＣの内部構成の一例を示す図である。
【図３】本実施例における、図１の構成を具体化した図である。
【図４】本実施例における、ＰＣのソフトウェア構成を示す機能ブロック図である。
【図５】本実施例における、輪郭抽出の具体例を示す図である。
【図６】本実施例における、各撮影タイミングでの遮蔽物の状態と投影画像の輪郭の距離の推移を示す図である。
【図７】本実施例における、でホワイトボードに投影した画像を撮像し、得られた画像を補正して保存する処理の流れを示すフローチャートである。
【図８】本実施例における、撮像画像を補正できない警告を表示した状態を示す図である。
【図９】距離センサを用いる実施例におけるシステムの構成の一例を示す図である。
【図１０】距離センサを用いる実施例における、ＰＣのソフトウェア構成を示す機能ブロック図である。
【図１１】距離センサを用いる実施例における、ホワイトボードに投影した画像を撮像し、得られた画像を補正して保存する処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【００１０】
＜本システムの構成＞
図１は、本実施例における、ホワイトボードの画像を保存するためのシステムの構成の一例を示す図である。本システムは、情報処理システム１１０とホワイトボード１１４とで構成され、更に情報処理システム１１０は、ＰＣ１１１と、プロジェクタ（投影装置）１１２と、カメラ（撮像装置）１１３とを有する。また、情報処理システム１１０は、ＬＡＮやＷＡＮなどに代表されるネットワーク１３０を介して、サーバ１４０と接続されている。
【００１１】
サーバ１４０はファイルサーバである。ＰＣ１１１はネットワーク１３０を介してサーバ１４０にファイルを格納する事や、格納されたファイルを閲覧する事ができる。
【００１２】
本明細書において、ホワイトボードの盤面には、文字や図形をマーカペン等で手書きしたり、文字や図形が記入されている糊付の付箋を貼ったり、文字や図形等が印刷された文書やカード等をテープや磁石等を用いて貼ったりすることが可能である。以下、ホワイトボードの盤面の共有領域（詳細は後述する）に記載して撮像し、保存する情報を保存情報と記述する。
【００１３】
ＰＣ１１１は、カメラ１１３に撮像指示を送信し、その都度ホワイトボード１１４の盤面を撮像した撮像画像を取得する。
【００１４】
なお、図１に示す情報処理システムは、ＰＣにプロジェクタとカメラが接続されているが、ＰＣ自体がプロジェクタやカメラの機能を有していてもよい。また、上述したＰＣにおける処理内容の一部をサーバ１４０で処理するような構成としてもよい。
【００１５】
図２は、本実施例における、ＰＣ１１１の内部構成の一例を示す図である。ＰＣ１１１は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、キーボードＩ／Ｆ  ２０５、ディスプレイＩ／Ｆ  ２０６、外部メモリＩ／Ｆ  ２０７、外部Ｉ／Ｆ  ２０８、マウスＩ／Ｆ  ２１１、ネットワークＩ／Ｆ  ２１３を有する。これらはシステムバス２０４で接続されている。
【００１６】
キーボードＩ／Ｆ  ２０５にはキーボード２０９が接続され、マウスＩ／Ｆ  ２１１にはマウス２１２が接続される。ＰＣ１１１は、ユーザがキーボード２０９及びマウス２１２で入力した入力情報を受け付ける。ディスプレイＩ／Ｆ  ２０６にはプロジェクタ１１２が接続される。ＰＣ１１１は、プロジェクタ１１２を介してホワイトボード１１４に画像を投影する。外部Ｉ／Ｆ  ２０８にはカメラ１１３が接続される。
【００１７】
カメラ１１３は、ホワイトボード１１４の盤面の記載内容を撮像し、ＰＣ１１１は、カメラ１１３が撮像した画像を取得する。ＰＣ１１１は、予め設定された時間間隔で撮像するようカメラ１１３を制御してもよいし、ユーザがマウス２１２やキーボード２０９で入力した入力情報に応じて撮像するようカメラ１１３を制御してもよい。
【００１８】
ＰＣ１１１は、サーバ１４０へネットワークＩ／Ｆ  ２１３を介してホワイトボード１１４の盤面の撮像画像に基づく画像を送信する。
【００１９】
ＣＰＵ２０１は、ＰＣ１１１全体の制御を行い、ＲＯＭ２０３やＨＤＤ等の外部メモリ２１０などに記憶された本実施例を実現するプログラムを、ＲＡＭ２０２に読み込み、各種処理を実行する。すなわち、ＰＣ１１１のＣＰＵ２０１は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する処理部（処理手段）として機能する。ＲＯＭ２０３は、ＣＰＵ２０１を起動するためのプログラムを含む各種データを記憶している。ＲＡＭ２０２は、ワークメモリとして用いられる。
【００２０】
図３は、ホワイトボードの画像を撮像し、保存する様子を示す図である。
【００２１】
いま、プロジェクタ１１２は、投影画像３００をホワイトボード１１４に投影している。
【００２２】
投影画像３００は、ＰＣ１１１によってプロジェクタ１１２に投影を指示されている画像である。なお、図３では、投影画像３００は空中に浮いているように描かれているが、これは投影画像３００がプロジェクタ１１２から出力されていることを表現したものである。ホワイトボード上１１４内の領域３０１は、投影画像に対して書込みを行うための領域（以下、書込み領域）である。書込み領域３０１の位置と大きさは、ホワイトボード１１４に投影された際の投影画像３００の領域と同じとする。
【００２３】
撮像画像３０２は、カメラ１１３によって書込み領域３０１を撮像して得られた画像である。投影画像３００と同様、空中に浮いているように描かれているが、これは撮像画像３０２がカメラ１１３によって撮像されていることを表現したものである。カメラ１１３の撮像範囲は、必ず書込み領域３０１の全域を含んでいるものとする。また、撮像画像３０２は、撮像された時刻を示すタイムスタンプを属性として付与された状態で、カメラ１１３から出力されるものとする。
【００２４】
＜ソフトウェア構成＞
続いて、ＰＣ１１１のソフトウェア構成について説明する。
【００２５】
図４は、本実施例に係る、ＰＣ１１１のソフトウェア構成を示す機能ブロック図である。ＰＣ１１１は、撮像処理部４０１、輪郭抽出部４０２、直線検出部４０３、台形補正部４０４、交点計算部４０５、色補正部４０６、投影処理部４０７、輪郭距離計算部４０８、トリミング部４０９、データ管理部４１０の各機能部を有する。
【００２６】
撮像処理部４０１は、カメラ１１３に撮影指示を送信し、カメラからの出力を受け取って画像ファイルとしてＲＡＭ２０２に保存する。また、撮像画像３０２の属性データの読み出しも担当する。
【００２７】
輪郭抽出部４０２は、入力された画像から、キャニー法等のエッジ抽出手法を用いて輪郭を抽出する。抽出された輪郭は座標の配列で表現される。また、投影画像３００の属性データの読み出しも担当する。
【００２８】
この輪郭抽出の具体例を図５を用いて説明する。図５（ア）は、投影画像３００が投影されたホワイトボード１１４の前に遮蔽物が無い状態である。この状態で撮像される撮像画像３０２を図５  （イ）に示す。図５（イ）に於いて、投影画像３００からは輪郭５０１（太線）が抽出される。図５（ウ）は、投影画像３００が投影されたホワイトボード１１４の前に、人体等の遮蔽物３０３が有る状態である。この状態で撮像される撮像画像３０２を図５  （エ）に示す。図５（エ）に於いて、投影画像３００は遮蔽物３０３に遮られる事によって歪み、結果として輪郭５０２（太線）が抽出される。図５（オ）は、投影画像３００が投影されたホワイトボード１１４の前に、人体等の遮蔽物３０３が有り、且つ図５（ウ）から遮蔽物３０３が移動した状態ある。この状態で撮像される撮像画像３０２を図５  （カ）に示す。図５（カ）に於いて、投影画像３００は遮蔽物３０３に遮られる事によって歪み、結果として輪郭５０３（太線）が抽出される。
【００２９】
直線抽出部４０３は、入力された画像から、ハフ変換等の直線検出手法を用いて直線を抽出する。抽出された直線は傾きと切片で表現される。また、直線検出部４０３は、抽出されたすべての直線についてクラスタリングを行い、近い直線を纏めた複数のクラスタを形成した後、各クラスタでの平均の直線を求める事でクラスタを代表する直線を決める処理も行う。
【００３０】
交点計算部４０４は、入力された二つの直線の交点の座標を求める処理を担当する。
【００３１】
輪郭距離計算部４０５は、入力された二つの輪郭の形状の距離を算出する。ここでは、輪郭の形状の距離として二つの輪郭のモーメント特徴量の差を用いる。モーメント特徴量とは形状の特徴量を示す、形状によって固有の値であり、この値が近ければ形状が似ている、遠ければ形状が似ていないと判断できる。
【００３２】
この輪郭距離計算の具体例を図６に示す。例えば図６（イ）と図６（ウ）のように、互いに盤面の前に遮蔽物が無い状態の間では、輪郭の形状が変わっておらず、輪郭の形状の距離（モーメント特徴量の差）は０に近くなる。一方、図６（オ）と図６（カ）のように盤面の前に遮蔽物が無い状態と有る状態、及び図６（サ）と図６（シ）のように盤面の前の遮蔽物が動いている状態の間では、輪郭の形状が変わる為、輪郭の形状の距離は大きくなる。
【００３３】
色補正部４０６は、入力された画像に対して色補正処理を行う。色補正処理は、入力画像から下地の色等のノイズを取り除き、更に色を強調する事で見やすくする処理である。
【００３４】
投影処理部４０７は、プロジェクタに指示を出し、新たに作成された投影画像を、現在投影している投影画像に代えて、ホワイトボード１１４の盤面の書込み領域３０１に投影する。
【００３５】
台形補正部４０８は、入力された頂点座標と投影画像のアスペクト比から台形補正後に各頂点が位置すべき座標（以下、補正後頂点座標と記述する）を求め、頂点座標が補正後頂点座標に重なるように入力画像に台形補正を施す。
【００３６】
トリミング部４０９は、入力された画像のうち指定された領域だけを切り出す処理を行う。
【００３７】
データ管理部４１０は、外部メモリ２１０に保存されている画像や座標データ、各種フラグのＲＡＭ２０２へのロードと、ＲＡＭ２０２上に存在する画像や座標データ、各種フラグの外部メモリ２１０へのストアを行う。また、サーバ１４０との画像ファイルの送受信も担当する。
【００３８】
なお、ＰＣ１１１は、本発明と直接の関係がない一般的な情報処理装置が有する上記機能以外の諸機能を有してもよい。
【００３９】
＜処理フロー＞
次に、本システムにおける処理のフローについて、図７と図６を用いて説明する。図７は本システムでホワイトボードに投影した画像を撮像し、得られた画像を補正して保存する処理の流れを示すフローチャートである。本フローチャートで示す手順は、そのプログラムがＰＣ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１０のいずれかに格納され、ＣＰＵ２０１により実行される。
【００４０】
Ｓ７０１に於いて、撮像処理部４０１はカメラ１１３が撮影した撮像画像３０２を待つ。撮像画像３０２の受信後、データ管理部４１０はＳ７０２に於いて、外部メモリ２１０から遮蔽物フラグを取得する。この遮蔽物フラグは、以前のタイミングで図７のフローチャートの処理が行われた際に、Ｓ７１４にて保存されたものであり、以前のタイミングでホワイトボードの前に遮蔽物が存在していたかを示す。次に、輪郭抽出部４０２はＳ７０３に於いて、Ｓ７０１で受信した撮像画像３０２から、最大の輪郭を抽出する。続いて、撮像処理部４０１はＳ７０４に於いて、撮像画像３０２に付与された属性データから、タイムスタンプを読みだす。
【００４１】
その後、データ管理部４１０はＳ７０５に於いて、Ｓ７０３で抽出した輪郭を、輪郭に含まれる座標を羅列したテキストファイルとして外部メモリ２１０に保存する。この時、保存するファイルの名前としてＳ７０４で取得したタイムスタンプを用いる事で、輪郭を元となる画像が撮影された時刻と紐付けて保存する。
【００４２】
次に、データ管理部４１０はＳ７０６に於いて、外部メモリ２１０に保存されている輪郭の中から、Ｓ７０５で保存したものを除いて最もファイル名の大きいものを選ぶ事で、前回のタイミングにてＳ７０５で保存された輪郭を取得する。続いてデータ管理部４１０はＳ７０７に於いて、外部メモリ２１０に保存されている輪郭の中から、Ｓ７０５で保存したものを除いて二番目にファイル名の大きいものを選ぶ事で、前々回のタイミングにてＳ７０５で保存された輪郭を取得する。その後、輪郭距離計算部４０５はＳ７０８に於いて、Ｓ７０３で抽出した現在の撮像画像の輪郭と、Ｓ７０６で取得した前回の撮像画像の輪郭との距離（以下、距離Ａと記述する）を算出する。
【００４３】
続いて、輪郭距離計算部４０５はＳ７０９に於いて、Ｓ７０６で取得した前回の撮像画像の輪郭と、Ｓ７０７で取得した前々回の撮像画像の輪郭との距離（以下、距離Ｂと記述する）を算出する。
【００４４】
次に輪郭距離計算部４０５はＳ７１０に於いて、距離Ａが一定の閾値より大きく、且つ距離Ｂが一定の閾値よりも小さいかを判断する。この条件に当てはまる場合は、図６に於けるパターンＢの状態であり、即ち前々回と前回のタイミングはどちらも遮蔽物が無い状態（＝距離Ｂが小さい）で、前回と現在のタイミングの間で盤面の前に遮蔽物が現れた（＝距離Ａが大きい）と推測される。よって、輪郭距離計算部４０５はＳ７１１に於いて、Ｓ７０２で取得した遮蔽物フラグを「遮蔽物有り」に変更し、処理をＳ７１４に進める。
【００４５】
Ｓ７１０の条件に当てはまらない場合は、輪郭距離計算部４０５はＳ７１２に於いて、距離Ａが一定の閾値より小さく、且つ距離Ｂが一定の閾値よりも大きいかを判断する。この条件に当てはまる場合は、図６に於けるパターンＣの状態であり、即ち前々回と前回のタイミングの間で盤面の前から遮蔽物無くなり（＝距離Ｂが大きい）、前回と今回のタイミングはどちらも遮蔽物が無い状態（＝距離Ａが小さい）であると推測される。
【００４６】
よって、輪郭距離計算部４０５はＳ７１３に於いて、Ｓ７０２で取得した遮蔽物フラグを「遮蔽物無し」に変更し、処理をＳ７１４に進める。Ｓ７１０とＳ７１２のどちらの条件にも当てはまらない場合は図６に於けるパターンＡ又はパターンＤの状態であり、即ち遮蔽物の有無の状態は以前のタイミングと変わらないものと推測される。よって、遮蔽物フラグはＳ７０２で取得したものから変更を加えず、処理をＳ７１４に進める。
【００４７】
その後、データ管理部４１０はＳ７１４に於いて、遮蔽物フラグを外部メモリ２１０に保存する。続いて、輪郭距離計算部４０５はＳ７１５に於いて遮蔽物フラグが「遮蔽物無し」と「遮蔽物有り」のどちらかを判断する。
【００４８】
Ｓ７１５で遮蔽物フラグが「遮蔽物無し」であると判断された場合、頂点座標の検出処理に入る。先ず輪郭抽出部４０２はＳ７１６に於いて、Ｓ７０１で取得した撮像画像３０２から最大の輪郭を抽出する。次に、直線抽出部４０３はＳ７１７に於いて、Ｓ７１６で抽出した輪郭に対して直線検出を行い、直線群を得る。続いて直線検出部４０３はＳ７１８に於いて、Ｓ７１７で取得した直線群を４つにクラスタリングする。その後直線検出部４０３はＳ７１９に於いて、Ｓ７１８で得た各クラスタについてそれぞれの平均となる直線を算出する。
【００４９】
ここで得た各クラスタの平均の直線が、撮像画像３０２に映る投影画像３００の四辺となる。次に、交点計算部４０４はＳ７２０に於いて、Ｓ７１９で得た四辺の交点を算出する。その後、交点計算部４０４はＳ７２１に於いて、撮像画像３０２への台形補正に使用する補正前の頂点座標として、Ｓ７２０で算出した交点の座標を代入する。続いて、データ管理部４１０はＳ７２２に於いて、補正前の頂点座標を外部メモリ２１０に保存する。
【００５０】
その後、投影処理部４０７はＳ７２３に於いて、現在投影されている投影画像３００の属性から、アスペクト比を取得する。続いて台形補正部４０８はＳ７２４に於いて、補正後の頂点座標を求める。ここでの補正後の頂点座標は、補正前の頂点座標が構成する台形が、下辺の位置を変えないまま投影画像３００のアスペクト比の長方形になるよう、台形の上辺を算出する事で求める。次に台形補正部４０８はＳ７２５に於いて、補正前の頂点座標がＳ７２４で求めた補正後頂点座標に重なるように、撮像画像３０２に台形補正を施す。その後、トリミング部４０９はＳ７２６に於いて、Ｓ７２５で補正した画像のうち、補正後頂点座標で構成される領域を切り出す。
【００５１】
続いて、色補正部４０６はＳ７２７に於いて、Ｓ７２６でトリミングした画像から下地の色等のノイズを取り除き、更に色を強調する事で見やすくする処理を施す。その後、データ管理部４１０はＳ７２８に於いて、Ｓ７２７で色補正を施した画像をネットワーク１３０経由でサーバ１４０に保存し、処理を終える。
【００５２】
Ｓ７１５で遮蔽物フラグが「遮蔽物有り」と判断された場合、データ管理部４１０はＳ７２９に於いて、外部メモリ２１０に補正前頂点座標が保存されているかを調べる。外部メモリ２１０に補正前頂点座標が保存されていた場合は、データ管理部４１０はＳ７３０に於いて外部メモリ２１０から補正前頂点座標を取得し、撮像画像３０２への台形補正に使用する補正前の頂点座標として代入した上で、Ｓ７２３以降の処理を行う。外部メモリ２１０に補正前頂点座標が保存されていない場合は、投影処理部４０７はＳ７３１に於いて、投影画像３００として警告を表示し、処理を終える。この警告を表示した状態を図８に示す。図８に於いて、投影画像３００に警告８０１が表示されている。
【００５３】
＜その他の実施例＞
前述の実施例では遮蔽物の有無を撮像画像の輪郭から判断したが、図９に示すように構成に距離センサ１１５を追加し、距離センサ１１５から取得した距離画像から遮蔽物の有無を判断しても良い。
【００５４】
距離センサ１１５を使用する場合のソフトウェア構成を図１０に示す。輪郭距離計算部４０５が距離画像処理部１００１に変わった以外は、前述の実施例に於けるソフトウェア構成と同一である。距離画像処理部１００１は、距離センサ１１５から取得した距離画像の解析を担当する。
【００５５】
距離センサ１１５を使用する場合の処理のフローを図１１に示す。本フローチャートで示す手順は、そのプログラムがＰＣ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１０のいずれかに格納され、ＣＰＵ２０１により実行される。尚、図７と同等の処理については説明を省略する。
【００５６】
Ｓ７０１でカメラから撮像画像を取得後、距離画像処理部１００１はＳ１１０１に於いて距離センサが作成した距離画像を待つ。距離画像取得後、Ｓ１１０２に於いて、外部メモリ２１０に補正前頂点座標が保存されているかを調べ、保存されていなければ処理をＳ７１６に移す。外部メモリ２１０に補正前頂点座標が保存されていた場合は、距離画像処理部１００１はＳ１１０３に於いて、外部メモリ２１０から保存されている補正前頂点座標を取得する。
【００５７】
次に、距離画像補正部１００１はＳ１１０４に於いて、Ｓ１１０３で得た座標で形成される四角形の内側を抽出するように距離画像をマスクした画像を作成する。続いて距離画像処理部１００１はＳ１１０５に於いて、Ｓ１１０４でマスクした画像の中で距離が最も近い点と最も遠い点を抽出し、それぞれの距離を求める。その後距離画像処理部１００１はＳ１１０６に於いて、Ｓ１１０５で求めた最も遠い距離から最も近い距離を引いた値が閾値未満であるかを判断し、閾値未満であればＳ７１６に、閾値以上であればＳ７２９にそれぞれ処理を移す。
【００５８】
以上の要領で距離センサ１１５を構成に追加すれば、遮蔽物の有無判断の精度を向上させる事ができる。
【００５９】
また、前述の実施例では補正前頂点座標の検出として、投影画像の四辺を検出し、その交点を求める手法を用いたが、投影画像にマーカを付与し、そのマーカを検出する手法を用いても良い。その場合は補正前頂点座標の検出処理をより簡略化できる。
【００６０】
また、前述の実施例では色補正までを施した最終成果画像をサーバ１４０に保存しているが、外部メモリ２１０に保存しても良い。その場合はシステム構成からサーバ１４０を除くことが出来る。
【００６１】
また、前述の実施例では輪郭を元となる撮像画像のタイムスタンプと紐付けて保存し、輪郭距離計算に必要な前回及び前々回のタイミングでの輪郭を紐付けられたタイムスタンプから判断して読みだしていた。しかし、これをタイムスタンプと紐付けずに、輪郭を保存する毎に前回及び前々回のタイミングの輪郭を更新するようにしても良い。その場合は、常に必要な輪郭だけが保存され、使わなくなった古い輪郭は保存されなくなる為、システムの動作に必要な外部メモリ２１０の容量を節約できる。
【符号の説明】
【００６２】
１１０  情報処理システム      １１１  ＰＣ      １１２  プロジェクタ（投影装置）
１１３  カメラ（撮像装置）      １１４  ホワイトボード
１３０  ネットワーク      １４０  サーバ
【図１】
2015171124.tif 000003
【図２】
2015171124.tif 000004
【図３】
2015171124.tif 000005
【図４】
2015171124.tif 000006
【図５】
2015171124.tif 000007
【図６】
2015171124.tif 000008
【図７】
2015171124.tif 000009
【図８】
2015171124.tif 000010
【図９】
2015171124.tif 000011
【図１０】
2015171124.tif 000012
【図１１】
2015171124.tif 000013