(57)【要約】【課題】  マスク残留やマスク膨張の発生を抑制して、スクリーンの見易さを維持しつつ発表者の眩しさを軽減することが可能な投写システム、画像処理装置、プログラム及び情報記憶媒体を提供すること。【解決手段】  画像をスクリーンに投写する投写部と、投写された画像を撮像した撮像画像から前記スクリーンに対応する領域を抽出したスクリーン画像を取得する画像取得部と、入力画像と前記スクリーン画像との差分を算出し、前記差分が所定値以上である領域の画素値を第１の値とし、前記差分が所定値未満である領域の画素値を第２の値とした差分画像を生成する差分算出部と、前記差分画像において画素値が前記第１の値であるマスク領域を収縮させる処理を行ってマスク画像を生成するマスク生成部と、前記入力画像に前記マスク画像を描画して得られる画像を前記投写部に出力するマスク描画部とを含む。【選択図】      図１
2014038266.tif 000002
【特許請求の範囲】
【請求項１】
画像をスクリーンに投写する投写部と、
前記投写部によってスクリーンに投写された画像を撮像する撮像部と、
前記撮像部によって撮像された撮像画像から前記スクリーンに対応する領域を抽出したスクリーン画像を取得する画像取得部と、
前記投写部に入力される入力画像と前記スクリーン画像との差分を算出し、前記差分が所定値以上である領域の画素値を第１の値とし、前記差分が所定値未満である領域の画素値を第２の値とした差分画像を生成する差分算出部と、
前記差分算出部で生成した前記差分画像に対して所定の処理を行ってマスク画像を生成するマスク生成部と、
前記入力画像に前記マスク生成部で生成される前記マスク画像を描画して得られる画像を前記投写部に出力するマスク描画部とを含み、
前記マスク生成部は、
前記差分画像において画素値が前記第１の値であるマスク領域を収縮させる処理を行って、前記マスク画像を生成することを特徴とする、投写システム。
【請求項２】
請求項１において、
前記マスク生成部は、
前記差分画像に前記マスク領域が複数存在する場合に、複数の前記マスク領域のうち、その面積及び位置の少なくとも一方が所定の条件を満たさないマスク領域の画素値を前記第２の値に変更する処理を行って、前記マスク画像を生成することを特徴とする、投写システム。
【請求項３】
請求項１又は２において、
前記マスク生成部は、
前記差分画像における前記マスク領域の位置を基準として所定のマスク表示領域を設定し、前記マスク領域のうち前記マスク表示領域に含まれない部分の画素値を前記第２の値に変更する処理を行って、前記マスク画像を生成することを特徴とする、投写システム。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記スクリーン画像の明るさ及びコントラストの少なくとも一方を補正する画像補正部を更に含むことを特徴とする、投写システム。
【請求項５】
投写部によってスクリーンに投写された画像を撮像した撮像画像から前記スクリーンに対応する領域を抽出したスクリーン画像を取得する画像取得部と、
前記投写部に入力される入力画像と前記スクリーン画像との差分を算出し、前記差分が所定値以上である領域の画素値を第１の値とし、前記差分が所定値未満である領域の画素値を第２の値とした差分画像を生成する差分算出部と、
前記差分算出部で生成した前記差分画像に対して所定の処理を行ってマスク画像を生成するマスク生成部と、
前記入力画像に前記マスク生成部で生成される前記マスク画像を描画して得られる画像を前記投写部に出力するマスク描画部とを含み、
前記マスク生成部は、
前記差分画像において画素値が前記第１の値であるマスク領域を収縮させる処理を行って、前記マスク画像を生成することを特徴とする、画像処理装置。
【請求項６】
投写部によってスクリーンに投写された画像を撮像した撮像画像から前記スクリーンに対応する領域を抽出したスクリーン画像を取得する画像取得部と、
前記投写部に入力される入力画像と前記スクリーン画像との差分を算出し、前記差分が
所定値以上である領域の画素値を第１の値とし、前記差分が所定値未満である領域の画素値を第２の値とした差分画像を生成する差分算出部と、
前記差分算出部で生成した前記差分画像に対して所定の処理を行ってマスク画像を生成するマスク生成部と、
前記入力画像に前記マスク生成部で生成される前記マスク画像を描画して得られる画像を前記投写部に出力するマスク描画部としてコンピュータを機能させ、
前記マスク生成部は、
前記差分画像において画素値が前記第１の値であるマスク領域を収縮させる処理を行って、前記マスク画像を生成することを特徴とする、プログラム。
【請求項７】
コンピュータ読み取り可能な情報記憶媒体であって、請求項６のプログラムを記憶したことを特徴とする情報記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投写システム、画像処理装置、プログラム及び情報記憶媒体に関する。
【背景技術】
【０００２】
近年、企業や教育機関にプロジェクタが普及し、プレゼンテーションや教育に利用されることが一般的になっている。プロジェクタを使用する際、聴衆の方向を向いた発表者がプロジェクタとスクリーンの間に入ると、プロジェクタ光が発表者にも投射され、発表者が眩惑してしまうという問題がある。このような問題を解決するための技術として、スクリーンに映し出された映像を撮影手段により撮影し、撮影手段からの出力データからプロジェクタに入力される入力データを減算することでプレゼンタによる影に相当する差分データを求め、入力データと差分データとを加算する（入力データにマスクを描画する）ことで、プレゼンタのみに照射される光の輝度を低減させる技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３９１４７２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら上記の従来技術では、発表者領域（プレゼンタによる影のデータ）を検出してからマスクを描画するまでの遅延や、発表者領域の検出誤差等に起因して、発表者が移動したときに移動元の領域にいつまでもマスクが残ってしまう現象（マスク残留）や、マスクが発表者の領域外へ徐々に広がってしまう現象（マスク膨張）が発生し、スクリーンに映し出される映像の多くの部分をマスクしてしまうといった問題点があった。
【０００５】
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、マスク残留やマスク膨張の発生を抑制して、スクリーンの見易さを維持しつつ発表者の眩しさを軽減することが可能な投写システム、画像処理装置、プログラム及び情報記憶媒体を提供することにある。
【課題を解決するための手段】
【０００６】
（１）本発明に係る投写システムは、
画像をスクリーンに投写する投写部と、
前記投写部によってスクリーンに投写された画像を撮像する撮像部と、
前記撮像部によって撮像された撮像画像から前記スクリーンに対応する領域を抽出したスクリーン画像を取得する画像取得部と、
前記投写部に入力される入力画像と前記スクリーン画像との差分を算出し、前記差分が所定値以上である領域の画素値を第１の値とし、前記差分が所定値未満である領域の画素値を第２の値とした差分画像を生成する差分算出部と、
前記差分算出部で生成した前記差分画像に対して所定の処理を行ってマスク画像を生成するマスク生成部と、
前記入力画像に前記マスク生成部で生成される前記マスク画像を描画して得られる画像を前記投写部に出力するマスク描画部とを含み、
前記マスク生成部は、
前記差分画像において画素値が前記第１の値であるマスク領域を収縮させる処理を行って、前記マスク画像を生成することを特徴とする。
【０００７】
また、本発明に係る画像処理装置は、
投写部によってスクリーンに投写された画像を撮像した撮像画像から前記スクリーンに対応する領域を抽出したスクリーン画像を取得する画像取得部と、
前記投写部に入力される入力画像と前記スクリーン画像との差分を算出し、前記差分が所定値以上である領域の画素値を第１の値とし、前記差分が所定値未満である領域の画素値を第２の値とした差分画像を生成する差分算出部と、
前記差分算出部で生成した前記差分画像に対して所定の処理を行ってマスク画像を生成するマスク生成部と、
前記入力画像に前記マスク生成部で生成される前記マスク画像を描画して得られる画像を前記投写部に出力するマスク描画部とを含み、
前記マスク生成部は、
前記差分画像において画素値が前記第１の値であるマスク領域を収縮させる処理を行って、前記マスク画像を生成することを特徴とする。
【０００８】
また、本発明は、上記各部（画像取得部、差分算出部、マスク生成部、マスク描画部）としてコンピュータを機能させるためのプログラムに関する。また、本発明は、コンピュータ読み取り可能な情報記憶媒体であって、上記各部としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体に関係する。
【０００９】
本発明によれば、差分画像において画素値が前記第１の値であるマスク領域（投写部とスクリーンの間に位置する発表者に相当する領域）を収縮させる処理を行ってマスク画像を生成することで、マスク残留やマスク膨張の発生を抑制して、スクリーンの見易さを維持しつつ発表者の眩しさを軽減することができる。
【００１０】
（２）また本発明に係る投写システム、画像処理装置、プログラム及び情報記憶媒体では、
前記マスク生成部は、
前記差分画像に、前記マスク領域が複数存在する場合に、複数の前記マスク領域のうち、その面積及び位置の少なくとも一方が所定の条件を満たさないマスク領域の画素値を前記第２の値に変更する処理を行って、前記マスク画像を生成してもよい。
【００１１】
本発明によれば、マスク領域が複数存在する場合に、所定の条件を満たすマスク領域以外のマスク領域を除去する処理を行うことで、誤検出等によって発表者領域以外の領域にマスクが描画（投写）されてしまう現象を防止することができる。
【００１２】
（３）また本発明に係る投写システム、画像処理装置、プログラム及び情報記憶媒体では、
前記マスク生成部は、
前記差分画像における前記マスク領域の位置を基準として所定のマスク表示領域を設定し、前記マスク領域のうち前記マスク表示領域に含まれない部分の画素値を前記第２の値に変更する処理を行って、前記マスク画像を生成してもよい。
【００１３】
本発明によれば、マスク領域をマスク表示領域に含まれる領域に限定する処理を行うことで、残留するマスクの面積を小さくしてマスク残留の発生を抑制することができる。
【００１４】
（４）また本発明に係る投写システム及び画像処理装置では、
前記スクリーン画像の明るさ及びコントラストの少なくとも一方を補正する画像補正部を更に含んでもよい。
【００１５】
また本発明に係るプログラム及び情報記憶媒体では、
前記スクリーン画像の明るさ及びコントラストの少なくとも一方を補正する画像補正部として更にコンピュータを機能させてもよい。
【００１６】
本発明によれば、差分算出の前処理としてスクリーン画像の補正処理を行うことで、発表者領域の誤検出を抑制することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態の投写システムの機能ブロック図の一例。
【図２】発表者の領域を検出して入力画像の発表者に相当する領域にマスクを描画する手法の基本原理について説明するための図。
【図３】マスク残留とマスク膨張について説明するための図。
【図４】マスクの収縮処理について説明するための図。
【図５】マスクの収縮処理について説明するための図。
【図６】ノイズ除去処理について説明するための図。
【図７】マスク表示領域の限定処理について説明するための図。
【図８】本実施形態の投写システムの処理の流れを示すフローチャート図。
【発明を実施するための形態】
【００１８】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１９】
１．構成
図１に本実施形態の投写システムの機能ブロック図の一例を示す。なお本実施形態の投写システムは図１の構成要素（各部）の一部を省略した構成としてもよい。
【００２０】
投写システム１は、画像ＰをスクリーンＳに投写する投写部１０と、スクリーンＳに投写された画像を撮像して撮像画像Ｐｃを出力する撮像部２０と、画像処理部３０と、記憶部４０と、情報記憶媒体５０とを含む。
【００２１】
ここで、投写システム１は、投写部１０として機能するプロジェクタと、撮像部２０として機能するカメラ（例えば、Ｗｅｂカメラ）と、画像処理部３０及び記憶部４０として機能する画像処理装置（コンピュータ）とを含むシステムとして構成されてもよいし、投写部１０と撮像部２０と画像処理部３０と記憶部４０とを含む単体のプロジェクタとして構成されてもよい。
【００２２】
画像処理部３０は、投写部１０に入力される入力画像Ｐｉｎ及び撮像画像Ｐｃに基づき画像Ｐを生成する処理を行い、生成した画像Ｐを投写部１０に出力する。画像処理部３０は記憶部４０をワーク領域として画像処理を行う。画像処理部３０の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）などのハードウェアや、プログラムにより実現できる。画像処理部３０は、画像取得部３２、画像補正部３３、差分算出部３４、マスク生成部３６、マスク描画部３８を含む。
【００２３】
画像取得部３２は、撮像部２０から出力された撮像画像Ｐｃから、スクリーンＳに対応する領域（画像が投写された領域）を抽出したスクリーン画像Ｐｓを取得する処理を行う。具体的には、撮像画像Ｐｃに対して推定されるスクリーンＳの頂点座標を用いて射影変換を行うことで台形歪みを補正するとともに、撮像画像Ｐｃからスクリーン画像Ｐｓを抽出する処理を行う。
【００２４】
画像補正部３３は、画像取得部３２で取得されたスクリーン画像Ｐｓの明るさ及びコントラストの少なくとも一方を補正する処理を行い、補正されたスクリーン画像Ｐｓ’を生成する。なお、画像補正部３３は省略可能である。
【００２５】
差分算出部３４は、入力画像Ｐｉｎと画像補正部３３で補正されたスクリーン画像Ｐｓ’（或いは、画像取得部３２で取得したスクリーン画像Ｐｓ）との差分を算出し、前記差分が所定値（閾値）以上である領域の画素値（輝度値）を第１の値とし、前記差分が所定値未満である領域の画素値を第２の値とした差分画像Ｐｄを生成する。具体的には、まず、入力画像Ｐｉｎとスクリーン画像Ｐｓ’との差分を算出してグレースケール画像を生成し、生成したグレースケール画像を二値化処理することで差分画像Ｐｄを生成する。ここで、投写部１０とスクリーンＳとの間に発表者が位置する場合（撮像部２０によって、投写された画像と発表者とがともに撮像される場合）、差分画像Ｐｄにおける、発表者に相当する領域の画素値は第１の値（２階調の場合は１、２５６階調の場合は２５５）となり、それ以外の領域の画素値は第２の値（０）となる。
【００２６】
マスク生成部３６は、差分画像Ｐｄに対して所定の処理を行ってマスク画像Ｐｍを生成する。具体的には、前記所定の処理として、差分画像Ｐｄにおいて画素値が第１の値であるマスク領域を収縮させる処理（マスクの収縮処理）を行って、マスク画像Ｐｍを生成する。ここで、マスク領域を収縮させる処理とは、マスク領域を収縮させた収縮領域以外の領域の画素値を前記第２の値に変更する処理である。
【００２７】
また、マスク生成部３６は、前記所定の処理として上記処理に加えて、差分画像Ｐｄに、前記マスク領域が複数存在する場合に、複数の前記マスク領域のうち、その面積及び位置の少なくとも一方が所定の条件を満たさないマスク領域の画素値を前記第２の値に変更する処理（ノイズ除去処理）を行ってもよい。例えば、面積が所定の値よりも大きいマスク領域や、差分画像Ｐｄの下端に接するマスク領域については所定条件を満たすと判断し、それ以外のマスク領域の画素値を前記第２の値に変更してもよい。
【００２８】
また、マスク生成部３６は、前記所定の処理として上記処理に加えて、差分画像Ｐｄにおける前記マスク領域の位置を基準として所定のマスク表示領域を設定し、前記マスク領域のうち前記マスク表示領域に含まれない部分の画素値を前記第２の値に変更する処理（マスク表示領域の限定処理）を行ってもよい。
【００２９】
マスク描画部３８は、入力画像Ｐｉｎにマスク画像Ｐｍを描画することで画像Ｐを生成し、生成した画像Ｐを投写部１０に出力する。具体的には、入力画像Ｐｉｎからマスク画像Ｐｍを減算することで画像Ｐを生成する。これによって、入力画像Ｐｉｎにおいてマスク領域に対応する領域の画素値（輝度値）を０に変更した画像Ｐを生成することができる。
【００３０】
記憶部４０は、画像処理部３０のワーク領域（例えば、入力画像Ｐｉｎ、撮像画像Ｐｃ、スクリーン画像Ｐｓ、Ｐｓ’、差分画像Ｐｄ、マスク画像Ｐｍ、画像Ｐが一時的に記憶される領域）となるもので、その機能はＲＡＭなどにより実現できる。
【００３１】
情報記憶媒体５０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などにより実現できる。画像処理部３０は、情報記憶媒体５０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体５０には、画像処理部３０の各部としてコンピュータを機能させるためのプログラムが記憶される。
【００３２】
２．本実施形態の手法
次に本実施形態の手法について図面を用いて説明する。
【００３３】
２−１．基本原理
図２は、発表者の領域を検出して入力画像の発表者に相当する領域にマスクを描画する手法の基本原理について説明するための図である。
【００３４】
図２に示すように、この手法では、スクリーンＳに投写された画像を撮像した撮像画像Ｐｃからスクリーン画像Ｐｓを取得し、スクリーン画像Ｐｓと入力画像Ｐｉｎとの差分を算出して二値化処理することで、差分画像Ｐｄを生成する。差分画像Ｐｄにおいて、発表者ＰＲに相当する領域（マスク領域ＭＡ）の輝度値は１（第１の値の一例）となり、それ以外の領域の輝度値は０（第２の値の一例）となる。そして、入力画像Ｐｉｎから差分画像Ｐｄを減算することで、発表者ＰＲに相当する領域にマスクＭＳが描画された画像Ｐを生成する。このように生成した画像Ｐを投写部１０によってスクリーンＳに投写することで、発表者ＰＲのみに照射される光の輝度を低減させることができる。
【００３５】
２−２．マスクの収縮処理
ここで、上記手法では、画像処理の遅延時間や発表者領域の検出誤差によって、マスク残留やマスク膨張といった現象が発生し、発表者ＰＲに相当する領域以外の領域にマスクが描画及び投写されてしまうといった問題点がある。
【００３６】
図３（Ａ）は、マスク残留について説明するための図である。撮像画像Ｐｃからスクリーン画像Ｐｓを抽出してからマスクを描画するまでには、画像処理による遅延が発生する。そのため、発表者ＰＲが移動した場合、マスクＭＳは多少遅延して発表者ＰＲに追従することになる。図３（Ａ）に示す例では、発表者ＰＲが右側に移動したために、遅延によってマスクＭＳが発表者ＰＲの左側に描画及び投写されている。このように発表者ＰＲの領域外に描画及び投写されたマスクＭＳが、差分処理によって発表者の領域（すなわち、入力画像Ｐｉｎとの差分）として検出されると、再び同じ位置にマスクＭＳが描画されることになり、マスクＭＳはいつまでも同じ位置に描画され続けてマスクの残留が発生する。
【００３７】
図３（Ｂ）は、マスク膨張について説明するための図である。画像取得部３２によるスクリーン領域推定や射影変換の誤差、投写部１０による投影誤差によって、発表者ＰＲの領域と投写されたマスクＭＳとの間にずれが生じることがある。この場合、図３（Ｂ）に示すように、発表者ＰＲの領域からはみ出たマスクＭＳが、差分処理によって発表者の領域（すなわち、入力画像Ｐｉｎとの差分）として検出されると、ずれた分だけ一回り大きくなったマスクＭＳが描画及び投写されることになる。そして、この一回り大きくなったマスクＭＳが再びずれた状態で投写されるため、更に一回り大きなマスクＭＳが描画されてしまう。このように、マスクＭＳのずれと発表者領域の誤検出が繰り返されることによって、徐々にマスクＭＳが広がっていき、マスクの膨張が発生する。
【００３８】
本実施形態の投写システム１では、このようなマスク残留やマスク膨張の発生を抑制するために、図４に示すように、差分画像Ｐｄにおけるマスク領域ＭＡを収縮させる処理（マスク収縮処理）を行ってマスク画像Ｐｍを生成する。そして、入力画像Ｐｉｎからマスク画像Ｐｍを減算することで、マスクＭＳが描画された画像Ｐを生成する。
【００３９】
マスク収縮処理とは、図５に示すように、マスク領域ＭＡの境界の画素（画素の輝度値が第２の値（０）である領域に接するマスク領域ＭＡ内の画素）の輝度値を第２の値（０）に変更する処理である。この処理を所与の回数だけ繰り返すことで、マスク領域ＭＡを所与の大きさまで収縮させてマスク画像Ｐｍを生成する。
【００４０】
このように差分画像Ｐｄに対してマスクの収縮処理を行うことで、発表者ＰＲの領域外に描画されて発表者の領域として誤検出されたマスクは、収縮処理によって一回り小さくなって描画及び投写される。そして次フレームにおいては更に一回り小さくなって描画及び投写されるため、これを繰り返すうちに残留マスク（発表者ＰＲの領域外の同じ位置に描画及び投写されたマスク）はなくなることになり、マスク残留の発生を抑制することができる。
【００４１】
マスク膨張の場合も同様に、発表者ＰＲの領域からずれた位置に描画されて発表者の領域として誤検出されたマスクは、収縮処理によって一回り小さくなって描画及び投写されるため、発表者ＰＲの領域からはみ出て投写される部分は収縮処理を行わない場合に比べて小さくなる。そのため、徐々にマスクＭＳが膨張してしまうといったマスク膨張の発生を抑制することができる。
【００４２】
２−３．ノイズ除去処理
また、上記手法では、マスク残留やマスク膨張の問題とは別に、誤検出によって発表者ＰＲの領域外にマスクＭＳが描画及び投写されてしまうことがある。例えば、入力画像Ｐｉｎに、ウィンドウやアイコン、文字列といった表示オブジェクトが含まれていると、投写部１０による投写時の色の変化や撮像部２０による撮像時の文字等の潰れ等によって、これらの表示オブジェクトが、差分処理によって発表者の領域（すなわち、入力画像Ｐｉｎとの差分）として誤検出されてしまうことがある。図６に示す例では、差分画像Ｐｄにおいて、発表者ＰＲに相当する領域として検出されたマスク領域ＭＡ１とは別に、表示オブジェクトの誤検出によってマスク領域ＭＡ２、ＭＡ３が生成されている。マスク領域ＭＡ２、ＭＡ３のようにある程度の大きさをもったノイズは、平滑化フィルタ等の一般的なノイズフィルタでは除去することができない。
【００４３】
そこで本実施形態の投写システム１では、差分画像Ｐｄに複数のマスク領域ＭＡが存在する場合に、その面積及び位置が所定の条件を満たさないマスク領域ＭＡの輝度値を第２の値（０）に変更する（すなわち、当該マスク領域ＭＡを除去する）処理を行ってマスク画像Ｐｍを生成する。
【００４４】
ここで、発表者ＰＲに相当するマスク領域ＭＡは、その面積が十分に大きいと考えられる。また、一般的なプロジェクタの使用場面においては、スクリーンＳの下端部は発表者ＰＲの膝から上にあるため、発表者ＰＲに相当するマスク領域ＭＡは、差分画像Ｐｄの下端に接していると考えられる。一方、誤検出によって生成されるマスク領域ＭＡのほとんどは、差分画像Ｐｄの下端に接していないと考えられる。
【００４５】
そこで、本実施形態では、差分画像Ｐｄの下端に接するマスク領域ＭＡのうち、最も面積が大きいマスク領域ＭＡを、前記所定の条件を満たすマスク領域ＭＡとして選択し、それ以外のマスク領域を除去する処理を行う。これにより、誤検出によって生成されたマスク領域のほとんどを除去することができる。図６に示す例では、差分画像Ｐｄの下端に接しているマスク領域ＭＡ１が所定の条件を満たすと判断され、所定の条件を満たさないマスク領域ＭＡ２、ＭＡ３が除去されている。
【００４６】
このように、差分画像Ｐｄに対して、所定の条件を満たさないマスク領域ＭＡを除去する処理を行うことで、誤検出によって発表者ＰＲの領域外にマスクＭＳが描画及び投写されてしまうことを防止することができる。
【００４７】
２−４．マスク表示領域の限定処理
また、本実施形態の投写システム１では、差分画像Ｐｄにおけるマスク領域ＭＡの大き
さを制限する処理を行ってマスク画像Ｐｍを生成する。具体的には、図７（Ａ）に示すように、発表者ＰＲに相当する領域よりも少しだけ大きい矩形のマスク表示領域ＤＡを、差分画像Ｐｄに設定し、マスク領域ＭＡのうちマスク表示領域ＤＡに含まれない部分の画素値を第２の値（０）に変更する処理を行う。すなわち、マスク表示領域ＤＡ外のマスクを除去する処理を行う。このように、マスク領域ＭＡの大きさを制限する処理を行うことで、図７（Ｂ）に示すように、発表者ＰＲが移動した際に移動元の位置に残ってしまう残留マスクの面積を大幅に小さくすることができ、また、上述したマスク収縮処理によって残留マスクや膨張したマスクを除去する際に要する時間を短くすることができる。
【００４８】
ここで、残留マスクは発表者ＰＲの移動方向と反対側の方向に発生するから、このマスク表示領域ＤＡは、発表者ＰＲに相当するマスク領域ＭＡの移動方向側の端を基準として設定される。例えば、マスク領域ＭＡが右側に移動した場合には、当該マスク領域ＭＡの右端とマスク表示領域ＤＡの右端が重なるように、マスク表示領域ＤＡを設定する。このとき、発表者ＰＲが腕を横方向に伸ばすなどしてマスク領域ＭＡの右端が発表者ＰＲの顔から大きく離れてしまう場合を考慮して、マスク領域ＭＡの最下部（発表者ＰＲの胴体部分に相当する部分）の端を基準として、マスク表示領域ＤＡを設定する。なお、マスク領域ＭＡの移動方向は、マスク領域ＭＡの両端の座標の変化に基づいて簡単に判定することができる。
【００４９】
２−５．スクリーン画像の補正処理
撮像部２０の設置角度等の影響により撮像部２０で撮像された撮像画像Ｐｃ（及びスクリーン画像Ｐｓ）が暗くなってしまう場合がある。この場合、スクリーン画像Ｐｓと入力画像Ｐｉｎとの差分が大きくなってしまい、広い範囲で発表者領域の誤検出が発生してしまう。また、投写部１０からの投写光が発表者ＰＲの体に当たることで、本来差分が大きくなるはずの発表者領域において差分が小さくなってしまうことがある。前者の場合には、二値化処理時の閾値を上げる必要があり、後者の場合には、逆に二値化処理時の閾値を下げる必要がある。よって、閾値の調節だけでは発表者領域の誤検出を減らすことは困難である。
【００５０】
本実施形態の投写システム１では、このような発表者領域の誤検出を抑制するために、スクリーン画像Ｐｓの明るさとコントラストを補正する処理を行う。具体的には、暗くなってしまったスクリーン画像Ｐｓを入力画像Ｐｉｎの明るさに近づけるために、明るさの補正を行い、発表者領域とそれ以外の領域の差を明確化するために、コントラストの補正を行う。両補正に用いる明るさのゲイン値とコントラストレベルは、投写システム１を使用する環境に応じてパラメータとして設定する。また、スクリーン画像Ｐｓを入力画像Ｐｉｎの明るさに近づけるために必要な明るさのパラメータと、発表者領域とそれ以外の領域の差を明確化するために必要なコントラストのパラメータをキャリブレーションにより決定しておき、決定したパラメータに基づき補正処理を行ってもよい。
【００５１】
３．処理
次に、本実施形態の投写システム１の処理の一例について図８のフローチャートを用いて説明する。投写システム１は、以下のステップＳ１０〜Ｓ２４の処理を１フレーム毎に繰り返す。
【００５２】
まず、画像取得部３２は、撮像部２０から出力された撮像画像Ｐｃから、スクリーン画像Ｐｓを取得する処理を行う（ステップＳ１０）。次に、画像補正部３３は、スクリーン画像Ｐｓの明るさ及びコントラストを補正する処理を行う（ステップＳ１２）。次に、差分算出部３４は、入力画像Ｐｉｎと補正されたスクリーン画像Ｐｓ’との差分を算出し二値化して差分画像Ｐｄを生成する（ステップＳ１４）。
【００５３】
次に、マスク生成部３６は、差分画像Ｐｄにおけるマスク領域ＭＡ（画素値が第１の値である画素の連結成分）を収縮させる処理を行う（ステップＳ１６）。すなわち、マスク領域ＭＡの境界部分の画素値（輝度値）を第１の値から第２の値に変更する処理を所定の回数繰り返す。
【００５４】
次に、マスク生成部３６は、差分画像Ｐｄにおいて、所定の条件を満たさないマスク領域ＭＡの画素値を第２の値に変更する処理を行う（ステップＳ１８）。すなわち、面積が閾値以下であり、且つ差分画像Ｐｄの下端に接していないマスク領域ＭＡを除去する処理を行う。
【００５５】
次に、マスク生成部３６は、差分画像Ｐｄにおけるマスク領域ＭＡの移動方向側の最下部の端を基準として、マスク表示領域ＤＡを設定し（ステップＳ２０）、マスク領域ＭＡのうちマスク表示領域ＤＡに含まれない部分の画素値を第２の値に変更する処理を行う（ステップＳ２２）。ステップＳ１６〜Ｓ２２の処理によりマスク画像Ｐｍが生成される。
【００５６】
次に、マスク描画部３８は、入力画像Ｐｉｎからマスク画像Ｐｍを減算することで画像Ｐを生成し、生成した画像Ｐを投写部１０に出力する（ステップＳ２４）。
【００５７】
４．実験結果
本実施形態の投写システムの性能を評価するための実験を行った。評価実験として、６名の被験者に実際にシステムが使用される状況を想定したタスクを実施してもらい、その様子を映像として記録して、マスク成功率、マスク追従速度及びマスク除去速度の測定を行った。
【００５８】
ここで、マスク成功率とは、発表者検出の成功率であり、発表者（被験者）の顔がスクリーン内にある時に行った直接指示（発表者が自身の手や指を使ってスクリーン上の対象を指示すること）の回数のうち、発表者の顔にマスクが表示（投写）された回数の割合である。また、マスク追従速度とは、発表者が静止してから発表者の顔にマスクが表示されるまでに要する時間であり、追従速度が速いほど発表者が眩しさを感じる時間が短くなる。また、マスク除去速度とは、発表者が静止してから発表者領域以外のマスクが除去されるまでに要する時間であり、除去速度が速いほど不必要なマスクによってスクリーンの内容が隠される時間が短くなる。
【００５９】
実験では、スクリーンを１２個のブロックに分割し、それぞれの中心にターゲット（指示対象）を表示した。また、ランダムな順序で１ブロックずつターゲットを表示していき、すべてのブロックにターゲットが表示されるまで繰り返した。被験者のタスクとして、すべてのブロックのターゲットへの直接指示を２回、すなわち、計２４回の直接指示を１セットとして実施して実験を行った。
【００６０】
実験の結果、マスク成功率は９６．６％であり、マスク追従速度は０．６秒であった。また、マスク除去速度については、マスク表示領域の限定処理を行わなかった場合では２．５秒となり、マスク表示領域の限定処理を行った場合では０．８秒となった。なお、マスク成功率は、被験者全員の結果を総計したものであり、マスク追従速度とマスク除去速度は、被験者全員の結果の平均値である。
【００６１】
本実験の実験結果は、本実施形態の投写システムにより、高い精度で発表者領域を検出することができ、効果的に発表者の眩しさを軽減しつつ、発表者領域以外のマスクを除去できることを示している。また、マスクの除去速度に関しては、マスク表示領域の限定処理を行うことで、収縮処理だけでマスクの除去を行う場合よりも、除去に要する時間を大幅に短縮できることがわかる。
【００６２】
なお、本発明は、上述の実施の形態に限定されるものではなく、種々の変更が可能である。本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
【符号の説明】
【００６３】
１  投写システム、１０  投写部、２０  撮像部、３０  画像処理部、３２  画像取得部、３３  画像補正部、３４  差分算出部、３６  マスク生成部、３８  マスク描画部、４０  記憶部、５０  情報記憶媒体
【図３】
2014038266.tif 000003
【図４】
2014038266.tif 000004
【図６】
2014038266.tif 000005
【図７】
2014038266.tif 000006
【図８】
2014038266.tif 000007
【図１】
2014038266.tif 000008
【図２】
2014038266.tif 000009
【図５】
2014038266.tif 000010