(57)【特許請求の範囲】
【請求項１】
不可視光を撮像対象とする撮像装置がスクリーンを撮像して得られた撮像画像において前記スクリーンに投影された不可視光に対応する画素値に基づいて、定められた第１閾値以上の画素値の画素が集合したマスク領域を検出するマスク領域検出部と、
前記マスク領域検出部により検出されたマスク領域に基づいて複数の画像を合成するにあたり、主画像において前記マスク領域が対応する領域に対して、副画像において前記マスク領域が対応する領域の画像を合成する画像合成部と、
を備える画像処理装置。
【請求項２】
前記画像合成部は、前記副画像のサイズが前記主画像と異なる場合において、前記主画像において前記マスク領域が対応する領域の重心座標と、前記副画像と前記主画像のサイズの比とに基づいて前記副画像において前記マスク領域が対応する領域を特定する
請求項１に記載の画像処理装置。
【請求項３】
前記マスク領域検出部は、前記マスク領域に含まれる画素の画素値のうち、前記第１閾値以上から第２閾値以下の範囲の画素値については、前記画素値に応じたゼロから最大値未満の出力画素値に変換し、前記第２閾値より大きい画素値については最大の出力画素値に変換し、
前記画像合成部は、前記副画像において前記マスク領域が対応する領域に含まれる画素について前記出力画素値に基づいて前記主画像の画素と合成する
請求項１または２に記載の画像処理装置。
【請求項４】
前記マスク領域検出部は、それぞれ異なる所定の位置から前記スクリーンを撮像する複数の撮像装置によって得られた複数の撮像画像の間で共通して存在する不可視光が投影された領域を、前記マスク領域として検出する
請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記撮像装置は、異なる波長域の不可視光ごとに撮像を行うことで、前記異なる波長域の不可視光ごとに応じた複数の波長域対応撮像画像を取得し、
前記マスク領域検出部は、前記複数の波長域対応撮像画像ごとにマスク領域を検出し、
前記画像合成部は、前記複数の波長域対応撮像画像ごとに検出されたマスク領域に基づいて、前記複数の波長域対応撮像画像ごとに個別に複数の画像を合成する
請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
照明装置と、撮像装置と、画像処理装置とを備える画像処理システムであって、
前記照明装置は、不可視光を出射する不可視光出射部を備え、
前記撮像装置は、不可視光を撮像対象とし、前記照明装置から出射された不可視光が投影されるスクリーンを撮像するように設けられ、
前記画像処理装置は、
前記撮像装置によって得られた撮像画像において前記スクリーンに投影された不可視光に対応する画素値に基づいて、定められた所定の閾値以上の画素値の画素が集合したマスク領域を検出するマスク領域検出部と、
前記マスク領域検出部により検出されたマスク領域に基づいて複数の画像を合成するにあたり、主画像において前記マスク領域が対応する領域に対して、副画像において前記マスク領域が対応する領域の画像を合成する画像合成部とを備え、
前記画像合成部により合成された画像が投影装置によって前記スクリーンに画像光として投影されるように、前記合成された画像を出力する出力部とを備える
画像処理システム。
【請求項７】
それぞれ異なる所定の位置から前記スクリーンを撮像する複数の前記撮像装置を備え、
前記マスク領域検出部は、前記複数の撮像装置によって得られた複数の撮像画像の間で共通して存在する不可視光が投影された領域を、前記マスク領域として検出する
請求項６に記載の画像処理システム。
【請求項８】
それぞれ異なる波長域の不可視光を出射する複数の前記照明装置を備え、
前記撮像装置は、前記異なる波長域の不可視光ごとに撮像を行うことで、前記異なる波長域の不可視光ごとに応じた複数の波長域対応撮像画像を取得し、
前記マスク領域検出部は、前記複数の波長域対応撮像画像ごとにマスク領域を検出し、
前記画像合成部は、前記複数の波長域対応撮像画像ごとに検出されたマスク領域に基づいて、前記複数の波長域対応撮像画像ごとに個別に複数の画像を合成する
請求項６または７に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム及び照明装置に関する。
【背景技術】
【０００２】
表示画面上の位置に応じた座標の入力を行うにあたり、マウスなどのポインティングデバイスや空間上で操作が可能なモーションコントローラなどを用いることが知られている。
また、一例として、ポインティングデバイスであるレーザーポインタの光が照射されたスクリーン上をカメラによって撮像し、撮像された画像におけるレーザーポインタの光の位置を座標として入力するプレゼンテーション制御システムが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１２５７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
コンピュータに対する操作として、座標としての点の指定ではなく、或るまとまった領域を指定したい場合がある。このような場合において、上記のような座標を入力するデバイスを利用して領域を指定しようとする場合には、点として座標を連続させて領域を形成する操作が必要になる。
具体的に、マウスであれば、ドラッグ操作によって座標の移動軌跡を描いて領域の輪郭を形成するという操作が必要になる。コンピュータに対する操作として、例えば領域だけを指定すればよいような場合には、上記のように座標を連続させて領域を形成する操作が煩わしいものとなって合理的でなくなる場合がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、領域を指定する操作を簡単に行えるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するための本発明の一態様は、不可視光を撮像対象とする撮像装置がスクリーンを撮像して得られた撮像画像において前記スクリーンに投影された不可視光に対応するマスク領域を検出するマスク領域検出部と、前記マスク領域検出部により検出されたマスク領域に基づいて複数の画像を合成する画像合成部とを備える画像処理装置である。
【０００７】
本発明の一態様は、上記の画像処理装置であって、前記画像合成部は、主画像において前記マスク領域が対応する領域に対して、副画像において前記マスク領域が対応する領域の画像を合成してもよい。
【０００８】
本発明の一態様は、上記の画像処理装置であって、前記画像合成部は、前記副画像のサイズが前記主画像と異なる場合において、前記主画像において前記マスク領域が対応する領域の重心座標と、前記副画像と前記主画像のサイズの比とに基づいて前記副画像において前記マスク領域が対応する領域を特定してもよい。
【０００９】
本発明の一態様は、上記の画像処理装置であって、前記マスク領域検出部は、撮像画像において第１閾値以上の画素値の画素が集合した領域を前記マスク領域として検出してもよい。
【００１０】
本発明の一態様は、上記の画像処理装置であって、前記マスク領域検出部は、前記マスク領域に含まれる画素の画素値のうち、前記第１閾値以上から第２閾値以下の範囲の画素値については、前記画素値に応じたゼロから最大値未満の出力画素値に変換し、前記第２閾値より大きい画素値については最大の出力画素値に変換し、前記画像合成部は、前記副画像において前記マスク領域が対応する領域に含まれる画素について前記出力画素値に基づいて前記主画像の画素と合成してもよい。
【００１１】
本発明の一態様は、上記の画像処理装置であって、前記マスク領域検出部は、それぞれ異なる所定の位置から前記スクリーンを撮像する複数の撮像装置によって得られた複数の撮像画像の間で共通して存在する不可視光が投影された領域を、前記マスク領域として検出してもよい。
【００１２】
本発明の一態様は、上記の画像処理装置であって、前記撮像装置は、異なる波長域の不可視光ごとに撮像を行うことで、前記異なる波長域の不可視光ごとに応じた複数の波長域対応撮像画像を取得し、前記マスク領域検出部は、前記複数の波長域対応撮像画像ごとにマスク領域を検出し、前記画像合成部は、前記複数の波長域対応撮像画像ごとに検出されたマスク領域に基づいて、前記複数の波長域対応撮像画像ごとに個別に複数の画像を合成してもよい。
【００１３】
本発明の一態様は、照明装置と、撮像装置と、画像処理装置とを備える画像処理システムであって、前記照明装置は、不可視光を出射する不可視光出射部を備え、前記撮像装置は、不可視光を撮像対象とし、前記照明装置から出射された不可視光が投影されるスクリーンを撮像するように設けられ、前記画像処理装置は、前記撮像装置によって得られた撮像画像において前記スクリーンに投影された不可視光に対応するマスク領域を検出するマスク領域検出部と、前記マスク領域検出部により検出されたマスク領域に基づいて複数の画像を合成する画像合成部とを備え、前記画像合成部により合成された画像が投影装置によって前記スクリーンに画像光として投影されるように、前記合成された画像を出力する出力部とを備える画像処理システムである。
【００１４】
本発明の一態様は、上記の画像処理システムであって、それぞれ異なる所定の位置から前記スクリーンを撮像する複数の前記撮像装置を備え、前記マスク領域検出部は、前記複数の撮像装置によって得られた複数の撮像画像の間で共通して存在する不可視光が投影された領域を前記マスク領域として検出してもよい。
【００１５】
本発明の一態様は、上記の画像処理システムであって、それぞれ異なる波長域の不可視光を出射する複数の前記照明装置を備え、前記撮像装置は、前記異なる波長域の不可視光ごとに撮像を行うことで、前記異なる波長域の不可視光ごとに応じた複数の波長域対応撮像画像を取得し、前記マスク領域検出部は、前記複数の波長域対応撮像画像ごとにマスク領域を検出し、前記画像合成部は、前記複数の波長域対応撮像画像ごとに検出されたマスク領域に基づいて、前記複数の波長域対応撮像画像ごとに個別に複数の画像を合成してもよい。
【００１６】
本発明の一態様は、携帯に対応する外形を有し、不可視光を出射する不可視光出射部を備える照明装置である。
【００１７】
本発明の一態様は、上記の照明装置であって、前記不可視光出射部から不可視光が出射されている状態と不可視光が出射されていない状態とのいずれの状態であるのかを報知する出射状態報知部をさらに備えてもよい。
【００１８】
本発明の一態様は、上記の照明装置であって、前記不可視光出射部から出射される不可視光の照射範囲を調整する照射範囲調整部をさらに備えてもよい。
【発明の効果】
【００１９】
以上説明したように、本発明によれば、領域を指定する操作が簡単に行えるようになるという効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】第１実施形態における画像処理システムの構築例を示す斜視図である。
【図２】第１実施形態における画像処理システムの構成例を示すブロック図である。
【図３】第１実施形態における照明装置の外観例を示す斜視図である。
【図４】第１実施形態における照明装置の構成例を示すブロック図である。
【図５】第１実施形態における画像処理装置の構成例を示すブロック図である。
【図６】第１実施形態におけるマスク領域検出部が撮像画像からマスク領域を検出する処理の手順例を説明する図である。
【図７】第１実施形態における画素値変換アルゴリズムを模式的に示す図である。
【図８】第１実施形態における画像合成部が第１表示モードに応じて実行する画像合成処理の手順例を説明する図である。
【図９】第１実施形態における画像合成部が第１表示モードに応じて実行する画像合成処理の手順例を示すフローチャートである。
【図１０】第１実施形態における画像合成部が第３表示モードに応じて実行する画像合成処理の手順例を説明する図である。
【図１１】第１実施形態における画像合成部が第３表示モードに応じて実行する画像合成処理の手順例を示すフローチャートである。
【図１２】第１実施形態において、スクリーンに対する照明装置からの赤外光の投影の仕方に応じて、スクリーン上で指定する赤外光投影領域のサイズ、形状が変化することを説明する図である。
【図１３】スクリーンにて拡散した赤外光とともに直接光としての赤外光が撮像される状態の一例を説明する図である。
【図１４】第２実施形態における画像処理システムの構成例を示す図である。
【図１５】第２実施形態において、直接光としての赤外光に応じた赤外光対応領域をノイズとして除去するための画像処理の一例を説明するための図である。
【発明を実施するための形態】
【００２１】
＜第１実施形態＞
［画像処理システムの構成例］
本実施形態における画像処理システムは、ユーザによる入力デバイスとしての照明装置３００の操作に応じてスクリーン１００に表示される画像が変化する、インタラクティブシステムである。
以下、図１、図２を参照して、本実施形態の画像処理システムの全体的構成例及び用途例について説明する。図１は、本実施形態における画像処理システムの構築例を示す斜視図である。図２は、本実施形態における画像処理システムの構成例を示すブロック図である。
【００２２】
本実施形態の画像処理システムは、図１、図２に示すように、スクリーン１００、プロジェクタ２００、照明装置３００、撮像装置４００及び画像処理装置５００を備える。
スクリーン１００は筐体１０の前面において、ユーザＹが観察可能なように設けられる。スクリーン１００は、また、プロジェクタ２００、照明装置３００、撮像装置４００及び画像処理装置５００は筐体１０内に設けられている。ただし、画像処理装置５００については、筐体１０の外側に設けられてもよい。
【００２３】
スクリーン１００には、プロジェクタ２００（投影装置）により投影された画像ＰＩが表示される。この場合、プロジェクタ２００は、スクリーン１００の背面から画像光を投影する背面投影型である。
図１に示すように、ユーザＹは、入力デバイスとしての照明装置３００を所持する。照明装置３００は、赤外光（不可視光の一例）を照射する。ユーザＹは、スクリーン１００の前面側に位置し、照明装置３００を使用して、画像が表示されたスクリーン１００上の所望の位置に対して照明装置３００から出射される赤外光を投影させる。照明装置３００がスクリーン１００に投影されることにより、ユーザＹには不可視であるが、スクリーン１００には投影された赤外光が散乱することにより赤外光投影領域ＩＲＡとしての不可視の画像領域が形成される。
【００２４】
撮像装置４００は、赤外光を撮像対象とする。つまり、撮像装置４００は、赤外光を撮像可能に構成される。具体的に、赤外光を撮像可能な撮像装置４００は、受光素子に光が入射する経路に、赤外光を透過し可視光を減衰させる光学フィルタを設けることによって構成することができる。
【００２５】
撮像装置４００は、スクリーン１００の背面からスクリーンを撮像するように設置される。このとき、撮像装置４００の撮像範囲は、例えば、スクリーン１００に表示される画像ＰＩのサイズに対応させるように補正が行われる。
上記のように撮像装置４００が設置されることで、撮像装置４００がスクリーン１００を撮像することによっては、例えば画像ＰＩに対応するサイズの画面において、スクリーン１００にて形成された赤外光投影領域ＩＲＡが含まれる撮像画像が得られる。
【００２６】
撮像装置４００によって得られた撮像画像は、図２に示すように、画像処理装置５００に出力される。なお、図１においては、撮像装置４００と画像処理装置５００とがケーブルによって有線で接続された態様を示している。つまり、この場合の撮像画像は有線による信号線あるいはデータインターフェースを経由して撮像装置４００から画像処理装置５００に伝送される。しかし。撮像装置４００と画像処理装置５００とは無線通信によって接続されて、撮像画像が伝送されるようにしてもよい。
【００２７】
画像処理装置５００は、コンピュータにより構成され、撮像装置４００から入力される撮像画像に含まれる赤外光投影領域ＩＲＡに基づいてスクリーン１００に表示される画像が変化するように画像処理を行う。
ここで、赤外光投影領域ＩＲＡは、ユーザＹが入力デバイスである照明装置３００により赤外光をスクリーン１００に照射するという操作を行うことによって形成される。つまり、本実施形態の撮像画像には、ユーザＹの操作による入力結果が反映されている。従って、画像処理装置５００が、スクリーン１００に表示させる画像は、ユーザの操作に応じて変化するインタラクティブな画像である。
より具体的には、画像処理装置５００は、画像ＰＩに対応する主画像に、撮像画像に含まれる赤外光投影領域ＩＲＡが形成された位置に対応する領域に副画像を合成した合成画像を生成する。
【００２８】
画像処理装置５００は、合成画像がスクリーン１００にて表示されるように、合成画像による画像信号を図２に示すようにプロジェクタ２００に出力する。なお、図１においては、有線により画像処理装置５００とプロジェクタ２００とが接続された態様が示されている。しかし、画像処理装置５００とプロジェクタ２００とは無線通信により接続されてもよい。
【００２９】
プロジェクタ２００は、画像処理装置５００から合成画像を入力し、入力した合成画像の画像光をスクリーン１００に投影する。これにより、スクリーン１００にて合成画像が表示される。つまり、スクリーン１００においては、主画像に対応する画像内容の画面において、赤外光投影領域ＩＲＡが形成されている領域に副画像が合成して表示された画像ＰＩが表示される。
【００３０】
［照明装置３００の構成例］
図３は、照明装置３００の外観例を示す斜視図である。同図に示す照明装置３００は、携帯に適した形状の本体部３０１と、不可視光が照射されるヘッド部３０２とを備える。このように、照明装置３００は、携帯に対応する外形を有している。
【００３１】
照明装置３００の本体部３０１の上面部には、オンオフスイッチ３０３とインジケータ３０４が備えられている。
オンオフスイッチ３０３は、照明装置３００が不可視光を出射する状態と、不可視光を出射しない状態とで切り替える操作が行われるスイッチである。
照明装置３００の電源がオフの状態においてオンオフスイッチ３０３を操作することにより電源がオンとなり、照明装置３００のヘッド部３０２から不可視光が出射される。このとき不可視光は、同図の矢印ＡＸで示す方向に沿って放射状に出射される。また、照明装置３００の電源がオンの状態においてオンオフスイッチ３０３を操作すると電源がオフとなり不可視光の出射が停止する。
【００３２】
インジケータ３０４（出射状態報知部の一例）は、照明装置３００の不可視光出射部から不可視光が出射されている状態と不可視光を出射していない状態とのいずれの状態であるのかを報知する。具体的に、インジケータ３０４は、例えば不可視光が出射されている状態のときには発光し、不可視光が出射されていない状態のときには発光しないように動作する。インジケータ３０４は、例えば可視光に対応するＬＥＤ（Light Emitted Diode）を備えて構成することができる。
【００３３】
不可視光は人には見えない。このために、照明装置３００の場合には、可視光を出射する懐中電灯などのように、光の出射の有無を視覚的に確認することができない。そこで、本実施形態においては、インジケータ３０４を設けることで、照明装置３００が不可視光を出射している状態であるか否かをユーザが視覚的に確認できるようにしている。
【００３４】
なお、インジケータ３０４は、発光以外の態様により不可視光が出射しているか否かを示すように構成されてもよい。例えば、オンオフスイッチ３０３についてスライドスイッチなどを採用する。そのうえで、インジケータ３０４としては、スライドスイッチが物理的にスライドされるのに連動して、本体部３０１において形成された窓部から表出して見える色が切り替わるような構成としてもよい。
【００３５】
図４は、照明装置３００の構成例を示すブロック図である。なお、同図において図３と同一部分には同一符号を付して説明を省略する。
同図に示すように、照明装置３００は、オンオフスイッチ３０３、インジケータ３０４、制御回路３１１、バッテリ３１２、不可視光出射部３１３及び照射範囲調整部３１４を備える。
制御回路３１１は、不可視光出射部３１３からの不可視光の出射と、インジケータ３０４の発光を制御する回路である。
バッテリ３１２は、照明装置３００に内蔵される電源である。バッテリ３１２は、一次電池であってもよいし、二次電池であってもよい。
【００３６】
不可視光出射部３１３は、赤外光を出射する部位である。不可視光出射部３１３は、赤外線ＬＥＤ３１３ａと光学系部３１３ｂとを備える。
赤外線ＬＥＤ３１３ａは、駆動電流の供給に応じて赤外光を発する。光学系部３１３ｂは、例えばレンズや、リフレクタなどを備えて構成される部位であり、例えばヘッド部３０２（図３）において設けられる。赤外線ＬＥＤ３１３ａから発せられた赤外光は、光学系部３１３ｂを介することで、図３にて示したように矢印ＡＸで示す光軸方向に沿って放射状に出射される。
【００３７】
オンオフスイッチ３０３は、同図に示すように、バッテリ３１２から制御回路３１１に電源を供給するラインに挿入されるように設けられる。オンオフスイッチ３０３がオンとなるのに応じてバッテリ３１２から制御回路３１１に電源が供給される。
制御回路３１１は、電源の供給に応じて、赤外線ＬＥＤ３１３ａに駆動電流を供給する。このように電源の供給に応じて、赤外線ＬＥＤ３１３ａに駆動電流が流れることで、不可視光出射部３１３から赤外光が出射される。また、制御回路３１１は、電源の供給に応じて、インジケータ３０４にも駆動電流を供給する。インジケータ３０４におけるＬＥＤは、駆動電流により発光する。
このように制御回路３１１が動作することで、オンオフスイッチ３０３の操作によって電源がオンとなるのに応じて、赤外光が出射されるとともにインジケータ３０４が発光して赤外光が出射されている状態であることを示す。
【００３８】
また、照射範囲調整部３１４は、例えば光学系部３１３ｂにおけるリフレクタの角度などを調整することにより、光学系部３１３ｂから出射される赤外光の照射範囲を調整する。例えば、例えば図３において矢印Ｆで示すように、ヘッド部３０２を回転させることにより、照射範囲調整部３１４としての機構が動作し、ヘッド部３０２の回転角度に応じて赤外光の照射範囲が変更される。
なお、照射範囲調整部３１４は省略されてもよい。照射範囲調整部３１４が省略された場合、不可視光の照射範囲は固定となる。
【００３９】
［画像処理装置の構成例］
図５のブロック図を参照して画像処理装置５００の構成例について説明する。同図に示す画像処理装置５００は、入出力部５０１、制御部５０２及び記憶部５０３を備える。
【００４０】
入出力部５０１は、撮像装置４００から出力された撮像画像を入力する。また、入出力部５０１は、スクリーン１００にて表示されるべき画像をプロジェクタ２００に出力する。スクリーン１００にて表示されるべき画像には、前述のように主画像に対して副画像が合成された合成画像が含まれる。つまり、本実施形態の入出力部５０１（出力部の一例）は、合成画像がプロジェクタ２００によってスクリーンに画像光として投影されるように合成画像を出力する。
【００４１】
制御部５０２は、画像処理装置５００における各種制御を実行する。同図の制御部５０２は、マスク領域検出部５２１と画像合成部５２２とを備える。
【００４２】
マスク領域検出部５２１は、撮像装置４００がスクリーン１００を撮像して得られた撮像画像においてスクリーン１００に投影された赤外光に対応するマスク領域を検出する。
画像合成部５２２は、マスク領域検出部５２１により検出されたマスク領域に基づいて複数の画像を合成する。具体的に、画像合成部５２２は、主画像においてマスク領域が対応する領域に対して、副画像においてマスク領域が対応する領域の画像を合成する。
画像合成部５２２は、生成した合成画像を入出力部５０１からプロジェクタ２００に出力する。これにより、合成画像がプロジェクタ２００によりスクリーン１００に投影され、スクリーン１００にて画像として表示される。
【００４３】
記憶部５０３は、制御部５０２が利用する各種の情報を記憶する。同図に示す記憶部５０３は、画像合成部５２２が利用する情報を記憶する部位として、主画像記憶部５３１及び副画像記憶部５３２を備える。
【００４４】
主画像記憶部５３１は、主画像を記憶する。主画像は静止画であってもよいし動画であってもよい。主画像は、スクリーン１００の画面全体において主画面として表示される画像である。
副画像記憶部５３２は、副画像を記憶する。副画像は静止画であってもよいし動画であってもよい。副画像は、主画像に合成される画像である。
【００４５】
ここで、主画像と副画像の内容の具体例について説明する。また、ここでの具体例は、本実施形態の画像処理システムにより、以下に説明する第１表示モード〜第３表示モードのいずれかによるインタラクティブ表示が可能である場合を挙げる。
【００４６】
第１表示モードでは、スクリーン１００に、過去の或る時期において作成された或る地域の古地図が主画像として表示される。そして、ユーザＹが、照明装置３００によってスクリーン１００に表示された古地図上の任意の場所に対して赤外光を投影させると、赤外光投影領域ＩＲＡが形成されている領域に対応する古地図上の位置に、現在の地図（現代地図）が比較対象として表示されるというものである。つまり、第１表示モードのもとでは、ユーザは古地図における任意の場所を現代地図と比較することができる。
【００４７】
また、第２表示モードにおいても、スクリーン１００には、過去の或る時期において作成された或る地域の古地図が主画像として表示される。そして、ユーザＹが、照明装置３００によってスクリーン１００に表示された古地図上の任意の場所に対して赤外光を投影させると、赤外光投影領域ＩＲＡが形成されている領域に対応する古地図上の位置に、対応の位置の古地図が拡大された画像が表示されるというものである。つまり、第２表示モードのもとでは、ユーザの操作によって主画像における任意の位置の古地図を拡大することができる。
【００４８】
また、第３表示モードも、スクリーン１００には、過去の或る時期において作成された或る地域の古地図が主画像として表示される。そして、ユーザＹが、照明装置３００によってスクリーン１００に表示された古地図上の任意の場所に対して赤外光を投影させると、赤外光投影領域ＩＲＡが形成されている領域に対応する古地図上の位置に、古地図の作成のために測量者が測量を行ったときの軌跡（測量軌跡）が表示されるというものである。つまり、第３表示モードのもとでは、古地図上に測量軌跡を表示させることができる。
【００４９】
第１表示モード〜第３表示モードにおいて、主画像記憶部５３１が記憶する主画像は、所定のサイズ（水平画素数×垂直画素数）による古地図の画像で共通である。
一方、副画像は、第１表示モード〜第３表示モードのそれぞれに応じて以下のように異なる。
つまり、第１表示モードの場合には、副画像は、主画像としての古地図の画像と同じサイズを有する現代地図の画像である。
また、第２表示モードの場合には、副画像は、例えば主画像としての古地図の画像に対して所定倍のサイズを有する古地図の画像である。
また、第３表示モードの場合には、副画像は、例えば主画像としての古地図の画像と同じサイズを有する測量軌跡が表された画像である。
【００５０】
本実施形態の画像処理装置５００では、副画像記憶部５３２に、第１表示モード〜第３表示モードの各表示モードに応じたそれぞれに応じた副画像が記憶される。これにより、画像処理装置５００は、第１表示モード〜第３表示モードの間で表示モードを任意に選択して切り替えることができる。
具体的に、画像処理装置５００は、例えば予め定めた一定時間が経過するごとに表示モードを切り替えることができる。あるいは、画像処理装置５００は、主画像が動画である場合には、動画としての主画像の再生を繰り返すようにされたうえで、主画像の再生が開始されるタイミングで表示モードを切り替えることができる。
【００５１】
［マスク検出処理例］
続いて、図６を参照して、画像処理装置５００におけるマスク領域検出部５２１が実行するマスク処理の手順の一例について説明する。なお、以降の説明にあたり、本実施形態における画像処理装置５００は、６０ｆｐｓ（frame per second）のフレームレートに対応して画像処理を行うように構成された場合を例に挙げる。
図６（Ａ）には、撮像装置４００により撮像され、入出力部５０１を介して入力された１フレーム分の撮像画像Ｐ１が示されている。同図の撮像画像Ｐ１においては、スクリーン１００に投影された赤外光投影領域ＩＲＡに対応する赤外光対応領域ＡＲ１が含まれている。
【００５２】
本実施形態の撮像装置４００により撮像される撮像画像Ｐ１は、同図に示すようにレンズなどの光学系の歪みに応じて全体が歪んでいる。また、図１の構成の場合、撮像装置４００はスクリーン１００の背面から撮像していることから、スクリーン１００を撮像して得られる撮像画像は、スクリーン１００の前面側から観察される画像に対して左右が反転している。
【００５３】
そこで、マスク領域検出部５２１は、撮像画像Ｐ１について、歪み補正を行う。撮像画像Ｐ１がどのように歪みを生ずるのかについては、例えば撮像装置４００の光学系の特性に応じて既知であることから、予め定めたアルゴリズムによって補正を行えばよい。
歪み補正によって、撮像画像Ｐ１は、図６（Ｂ）に示すように画像の形状についての歪みが補正された撮像画像Ｐ２が得られる。
ここで、撮像画像Ｐ２の縦横比は、主画像の縦横比と一致している。例えば撮像画像Ｐ１の歪み補正を行う過程においては、撮像画像Ｐ２の縦横比を主画像の縦横比と一致させるための補正処理（サイズ対応補正）も行われてもよい。
なお、補正処理として、左右反転補正を行った後に歪み補正を行ってもよい。
【００５４】
次に、マスク領域検出部５２１は、撮像画像Ｐ２の左右を反転させる補正（左右反転補正）を行う。左右反転補正が行われることによって、撮像画像Ｐ２は、図６（Ｃ）に示す撮像画像Ｐ３となり、スクリーン１００を前面から観察して得られる画像と同じ向きになる。
【００５５】
次に、マスク領域検出部５２１は、撮像画像Ｐ３においてマスク領域を検出する処理を行う。検出対象となるマスク領域は、撮像画像Ｐ３においてスクリーン１００に投影された不可視光に対応する領域、即ち、赤外光対応領域ＡＲ１である。
マスク領域検出部５２１は、以下のようにマスク領域を検出する。ここで、撮像画像Ｐ３は、グレースケールによる画像であり、赤外光対応領域ＡＲ１の領域は周囲よりも輝度（画素値）が高い。そこで、マスク領域検出部５２１は、撮像画像Ｐ３において、予め定めた閾値以上の画素値の画素が集合した領域をマスク領域として検出する。
【００５６】
具体的には、マスク領域検出部５２１は、撮像画像Ｐ３を形成する画素ごとの画素値を入力画素値として、各入力画素値を所定の画素値変換アルゴリズムに従って出力画素値に変換する処理を行うことによってマスク領域を検出する。
図７は画素値変換アルゴリズムを模式的に示している。同図によれば、マスク領域検出部５２１は、第１閾値ｔｈ１未満の入力画素値を、「０（ゼロ）」の出力画素値に変換する。そして、マスク領域検出部５２１は、第１閾値ｔｈ１の入力画素値を「０」より大きい所定の出力画素値に変換する。マスク領域検出部５２１は、「０」より大きい出力画素値を有する画素の集合による領域、即ち、入力画素値が第１閾値ｔｈ１以上の画素の集合による領域をマスク領域として検出する。
そのうえで、マスク領域検出部５２１は、第２閾値ｔｈ２より大きい入力画素値を、最大値の出力画素値に変換する。
また、マスク領域検出部５２１は、第１閾値ｔｈ１以上から第２閾値ｔｈ２以下の範囲の入力画素値については、入力画素値に応じた「０」から最大値までの出力画素値に変換する。
【００５７】
図７の画素値変換アルゴリズムが行われることによって、図６（Ｃ）の撮像画像Ｐ３は、図６（Ｄ）の基準画像Ｐ４に変換される。基準画像Ｐ４においては、撮像画像Ｐ３の赤外光対応領域ＡＲ１以外に対応する領域が「０」の出力画素値により黒色となっている。そして、基準画像Ｐ４において、撮像画像Ｐ３の赤外光対応領域ＡＲ１に対応する領域は、「０」より大きい出力画素値が集合している。このように、基準画像Ｐ４において、「０」より大きい出力画素値（第１閾値ｔｈ１以上の入力画素値）の画素が集合した領域がマスク領域ＭＳＫである。
【００５８】
また、赤外光投影領域ＩＲＡは中心から周辺にいくほど光量が低下する。これに伴い、撮像画像Ｐ３の赤外光対応領域ＡＲ１は、中央から縁側に近づくに従って輝度（画素値）が低下していく。つまり、赤外光対応領域ＡＲ１の縁側は、第１閾値ｔｈ１以上から第２閾値ｔｈ２以下の範囲に該当する入力画素値を有する画素が多く存在する。このために、基準画像Ｐ４における縁部ＢＤにおいては、「０」から最大値の間の中間的な出力画素値を有する画素が多く存在している。
本実施形態のマスク領域検出部５２１は、図６（Ｄ）に示されるような基準画像を生成することにより、マスク領域を検出する。
【００５９】
［画像合成処理の手順例］
続いて、図８を参照して、古地図の画像上の不可視光が投影された領域に対して、地図上で同じ場所の現代地図の画像を合成して表示する第１表示モードに応じて画像処理装置５００における画像合成部５２２が実行する画像合成処理の手順例について説明する。
以下に説明する画像合成処理は、図６及び図７にて説明した処理によってマスク領域検出部５２１により得られた基準画像Ｐ４を利用した１フレーム分に対応する画像処理である。
【００６０】
画像合成部５２２は、図８（Ａ）に示されるように、マスク領域検出部５２１によるマスク領域の検出結果である基準画像Ｐ４を入力する。また、画像合成部５２２は、図８（Ｂ）に示されるように、副画像記憶部５３２から、第１表示モードに対応する副画像ＳＢ１を取得する。基準画像Ｐ４の縦横比は、前述のように補正処理の段階で主画像と一致するように補正が行われている（サイズ対応補正）。なお、副画像ＳＢ１のサイズは、主画像のサイズと同じである。
【００６１】
画像合成部５２２は、副画像ＳＢ１を対象画像として、基準画像Ｐ４におけるマスク領域ＭＳＫ以外の領域をマスクし、マスク領域ＭＳＫに含まれる領域を抽出するようにしてマスク処理を行う。
このようなマスク処理の結果、図８（Ｃ）に示すように、副画像ＳＢ１はマスク領域ＭＳＫに対応する領域において画像が表示され、マスク領域ＭＳＫ以外の領域が非表示（例えば白レベル）となる。
【００６２】
次に、画像合成部５２２は、図８（Ｄ）に示すように、主画像記憶部５３１から主画像ＭＮを入力する。そして、主画像ＭＮに対して、マスク領域ＭＳＫに対応する領域のみが表示された図８（Ｃ）の副画像ＳＢ１を重ね合わせるようにして合成する。この結果、図８（Ｅ）に示すように、主画像ＭＮに対してマスク領域ＭＳＫと同じ位置の副画像ＳＢ１の抽出画像ＥＸが重畳して表示された合成画像ＰＳＨが生成される。
【００６３】
また、「０」から最大値の間の中間画素値が密集して存在する抽出画像ＥＸの縁部ＢＤにおける画素は、画素値に応じて同じ位置における合成比率が変更されたうえで主画像の画素との合成が行われる。このために、抽出画像ＥＸにおいて、中心部は副画像の内容が明確に現れているが、縁部ＢＤ近傍は背景の主画像が透けて見えるように透明度を有した状態で表示される。
また、基準画像Ｐ４の縁部ＢＤにおける画素値は、外周となるほど小さくなる傾向にある。このため、合成画像ＰＳＨにおける抽出画像ＥＸは縁部ＢＤの外側になるほど透明度が高くなっていく。
【００６４】
そして、図８（Ｅ）の合成画像ＰＳＨがスクリーン１００に表示された場合には、ユーザＹは、自分が照明装置３００により不可視光を投影させているスクリーン１００上の領域において、古地図に代えて同じ地図上の場所の現代地図が表示された状態を観察できる。つまり、第１表示モードとしての表示が実現される。
また、このように表示される合成画像ＰＳＨにおける抽出画像ＥＸは、縁部ＢＤの外側になるほど透明度が高くなっていることから、主画像ＭＮとの境界が曖昧になるようにして見える。このように抽出画像ＥＸと主画像ＭＮとの境界が曖昧となるように表現されることで、スクリーン１００にて表示される主画像上に表示される抽出画像ＥＸの見え方を自然なものとすることができる。
【００６５】
図９のフローチャートを参照して図６及び図７により説明したマスク領域検出と図８により説明した画像合成処理に対応して画像処理装置５００が実行する処理手順例について説明する。なお、同図に示す処理は、１フレームに対応する画像処理となる。
【００６６】
まず、マスク領域検出部５２１は、処理対象としてのフレームの撮像画像を入力する（ステップＳ１０１）。
次に、マスク領域検出部５２１は、撮像画像の補正（歪み補正、左右反転補正及びサイズ対応補正）を行う（ステップＳ１０２）。
【００６７】
次に、マスク領域検出部５２１は、ステップＳ１０２により補正された撮像画像を利用して、マスク領域ＭＳＫを検出する（ステップＳ１０３）。具体的には、マスク領域検出部５２１は、図６にて説明したように、撮像画像Ｐ３の各画素の画素値（入力画素値）を図７に例示した画素値変換アルゴリズムによって出力画素値に変換することによって基準画像Ｐ４を生成する。
【００６８】
次に、画像合成部５２２は、図８（Ａ）、図８（Ｂ）にて説明したように、ステップＳ１０３によるマスク領域の検出結果として得られた基準画像Ｐ４と副画像ＳＢ１とを入力する。そして、画像合成部５２２は、副画像ＳＢ１について、図８（Ｃ）にて説明したように、基準画像Ｐ４のマスク領域ＭＳＫが対応する領域の画像を抽出するようにマスク処理を行う（ステップＳ１０４）。
【００６９】
次に画像合成部５２２は、図８（Ｅ）にて説明したように、ステップＳ１０４によるマスク処理が行われた副画像ＳＢ１を主画像ＭＮに合成して、合成画像ＰＳＨを生成する（ステップＳ１０５）。
マスク領域検出部５２１と画像合成部５２２は、上記のようにフレームごとにステップＳ１０１〜Ｓ１０５の処理を実行して合成画像ＰＳＨを生成する。そして、画像合成部５２２は、合成画像ＰＳＨをフレーム画像とする画像信号を入出力部５０１からプロジェクタ２００に出力させる。
【００７０】
なお、画像合成部５２２が、第３表示モードに対応した測量軌跡の副画像を利用して、図８及び図９と同様の手順による画像処理を行うことで、第１表示モードとしての表示を実現することができる。
【００７１】
また、上記の図８及び図９による説明では、スクリーン１００において１つの赤外光投影領域ＩＲＡが形成されていたことに応じて、撮像画像から１つのマスク領域が検出された場合を例に挙げている。
しかし、第１表示モードと第３表示モードは、マスク処理により主画像に副画像を合成するという処理により実現される。従って、第１表示モードと第３表示モードでは、撮像画像から複数のマスク領域が検出された場合においても、図８に示した処理により、各マスク領域に応じて主画像に副画像を合成させた合成画像が生成される。従って、照明装置３００を操作するユーザ数については特に限定されることがない。
【００７２】
次に、図１０を参照して、古地図の画像上の不可視光が投影された領域に対して、同じ地図上の場所の古地図の拡大図を合成して表示する第２表示モードに応じて画像合成部５２２が実行する画像合成処理の手順例について説明する。
以下に説明する画像合成処理は、図６及び図７にて説明した処理によってマスク領域検出部５２１により得られた基準画像Ｐ４を利用した１フレーム分に対応する画像処理である。
【００７３】
画像合成部５２２は、図１０（Ａ）に示されるように、マスク領域検出部５２１によるマスク領域の検出結果である基準画像Ｐ４を入力する。
また、画像合成部５２２は、図１０（Ｂ）に示されるように、副画像記憶部５３２から、第２表示モードに対応する副画像ＳＢ２を取得する。副画像ＳＢ２は、前述のように主画像を拡大した画像を表示するために使用される。同図では、主画像の縦方向及び横方向をそれぞれ２００％の倍率により拡大した副画像を表示する場合を例に挙げる。この場合、副画像ＳＢ２は、主画像の縦方向のサイズ（画素数）をＸ、主画像の横方向のサイズをＹとすると、副画像ＳＢ２は、２Ｘ×２Ｙのサイズを有する。
なお、第２表示モードにおける主画像に対する副画像の倍率は特に限定されない。また、副画像の倍率は、１より大きい数値であってもよいし、１より小さい数値であってもよい。つまり、第２表示モードにより副画像として縮小画像を表示してもよい。
【００７４】
ここで、図１０（Ａ）の基準画像Ｐ４は、主画像とＸ×Ｙのサイズを有する。これに対して、副画像ＳＢ２は、２Ｘ×２Ｙによるサイズを有する。そこで、本実施形態における画像合成部５２２は、主画像においてマスク領域ＭＳＫに対応する位置に同じ地図上の位置の拡大図を表示させるために、副画像ＳＢ２においてマスク領域ＭＳＫが対応する位置を特定する。
副画像ＳＢ２においてマスク領域ＭＳＫが対応する位置を特定するにあたり、画像合成部５２２は、図１０（Ａ）に示すように、基準画像Ｐ４におけるマスク領域ＭＳＫの重心座標ＧＴ１を算出する。
次に、画像合成部５２２は、図１０（Ｂ）に示すように、副画像ＳＢ２において、重心座標ＧＴ１に対応する補助重心座標ＧＴ２を算出する。補助重心座標ＧＴ２は、基準画像Ｐ４を２倍に拡大して副画像ＳＢ２と同じサイズとした場合に、重心座標ＧＴ１と一致する副画像ＳＢ２上の座標である。
【００７５】
画像合成部５２２は、補助重心座標ＧＴ２が求められた副画像ＳＢ２において、マスク領域ＭＳＫが対応する位置を求める。このために、画像合成部５２２は、基準画像Ｐ４からマスク領域ＭＳＫを重心座標ＧＴ１とともに抽出する。そして、画像合成部５２２は、図１０（Ｃ）に示すように、抽出したマスク領域ＭＳＫを、重心座標ＧＴ１と補助重心座標ＧＴ２とが一致するようにして副画像ＳＢ２に対して重ね合わせる。
そのうえで、画像合成部５２２は、同じ図１０（Ｃ）に示すように、副画像ＳＢ２についてマスク領域ＭＳＫ以外の領域をマスクし、マスク領域ＭＳＫが重ね合わされた領域の画像を抽出するようにマスク処理を行う。このようなマスク処理によって、副画像ＳＢ２から、マスク領域ＭＳＫが重ね合わされた抽出画像ＥＸに含まれる画像部分が抽出される。
【００７６】
次に、画像合成部５２２は、図１０（Ｄ）に示すように、第２表示モードに対応の主画像ＭＮを主画像記憶部５３１から取得する。前述のように、主画像ＭＮのサイズは、基準画像Ｐ４と同じく、Ｘ×Ｙである。
画像合成部５２２は、取得した主画像ＭＮと図１０（Ａ）の基準画像Ｐ４とを重ね合わせた際に主画像ＭＮにおいてマスク領域ＭＳＫが対応する領域に、図１０（Ｃ）で説明したマスク処理によって抽出された抽出画像ＥＸが合成される。
上記の合成処理によって、画像合成部５２２は、図１０（Ｅ）に示されるように、主画像ＭＮに対してマスク領域ＭＳＫと同じ位置の副画像ＳＢ２の抽出画像ＥＸが重畳して表示された合成画像ＰＳＨが生成される。
【００７７】
また、第２表示モードの場合においても、「０」から最大値の間の中間画素値が多く存在する抽出画像ＥＸの縁部ＢＤにおける画素は、画素値に応じて同じ位置における合成比率が変更されたうえで主画像の画素との合成が行われる。
【００７８】
そして、図１０（Ｅ）の合成画像ＰＳＨがスクリーン１００に表示された場合には、ユーザＹは、主画像に基づく標準の縮尺の古地図が表示されたスクリーン１００上で、自分が照明装置３００により不可視光を投影させている領域において、標準に対して２倍の縮尺により拡大された古地図が表示された状態を観察できる。つまり、第２表示モードとしての表示が実現される。
また、このように表示される合成画像ＰＳＨにおける抽出画像ＥＸについても、縁部ＢＤの外側になるほど透明度が高くなっており、主画像ＭＮとの境界は曖昧となるようにされている。
【００７９】
図１１のフローチャートを参照して、図１０により説明した画像合成処理に対応して画像処理装置５００が実行する処理手順例について説明する。なお、同図に示す処理は、１フレームに対応する画像処理となる。また、図１０では、説明を分かりやすくすることの便宜上、撮像画像から１つのマスク領域が検出された場合に応じた基本的な画像合成処理について説明したが、図１１のフローチャートでは、複数のマスク領域が検出された場合に対応した画像合成処理の手順例について説明する。
【００８０】
同図において、ステップＳ２０１〜Ｓ２０３の処理は、図９のステップＳ１０１〜Ｓ１０３と同様に、マスク領域検出部５２１がマスク領域を検出するために実行する処理である。つまり、マスク領域を検出する処理の手順は、第１表示モード及び第３表示モードと、第２表示モードとで共通である。ステップＳ２０１〜Ｓ２０３によっては、撮像画像から複数のマスク領域が検出される場合がある。
【００８１】
次に、画像合成部５２２は、図１０（Ａ）にて説明したように、ステップＳ２０３によるマスク領域の検出結果として得られる基準画像Ｐ４におけるマスク領域ＭＳＫの重心座標ＧＴ１を算出する（ステップＳ２０４）。ここで、基準画像Ｐ４において複数のマスク領域ＭＳＫが存在する場合（複数のマスク領域ＭＳＫが検出された場合）、画像合成部５２２は、複数のマスク領域ＭＳＫごとの重心座標ＧＴ１を算出する。
【００８２】
また、画像合成部５２２は、基準画像Ｐ４に存在するマスク領域ＭＳＫごとにラベリングを行う（ステップＳ２０５）。ラベリングによって、基準画像Ｐ４に複数のマスク領域ＭＳＫが存在する場合、複数のマスク領域ＭＳＫについて弁別が行われる。なお、ラベリングの処理に際しては、例えば基準画像Ｐ４の２値化が行われる。さらにラベリングの処理にあたり、処理負荷の軽減のために、例えばサイズ（解像度）を小さくする処理を行ってもよい。
そのうえで、画像合成部５２２は、ステップＳ２０６によりラベリングを行ったマスク領域ＭＳＫごとに付されるラベル番号を示す変数ｎに、初期値として「０」を代入する（ステップＳ２０６）。この場合のラベル番号は「０」から昇順に従って付される。
【００８３】
次に、画像合成部５２２は、図１０（Ｂ）にて説明したように、副画像ＳＢ２においてラベル番号ｎのマスク領域の重心座標ＧＴ１に対応する補助重心座標ＧＴ２を算出する（ステップＳ２０７）。
次に、画像合成部５２２は、図１０（Ｃ）にて説明したように、副画像ＳＢ２に、ステップＳ２０７により算出された補助重心座標ＧＴ２を基準としてラベル番号ｎのマスク領域ＭＳＫを重ね合わせる。そして、画像合成部５２２は、副画像ＳＢ２においてラベル番号ｎのマスク領域ＭＳＫに対応する領域の画像部分を抽出画像ＥＸとして抽出する（ステップＳ２０８）。
次に、画像合成部５２２は、図１９（Ｅ）にて説明したように、主画像ＭＮにおいてラベル番号ｎのマスク領域ＭＳＫが対応する領域に、ステップＳ２０８により抽出された抽出画像ＥＸを合成する（ステップＳ２０９）。
ステップＳ２０７による補助重心座標の算出と、ステップＳ２０８及びＳ２０９によるマスク処理とによって、ｎ番目のマスク領域に対応する１つの抽出画像ＥＸが主画像ＭＮに対して合成される。
【００８４】
ステップＳ２０９の処理を終了すると、画像合成部５２２は、変数ｎをインクリメントする（ステップＳ２１０）。画像合成部５２２は、ステップＳ２１０によりインクリメントされた変数ｎが最大値より大きいか否かについて判定する（ステップＳ２１１）。
変数ｎが最大値以下である場合（ステップＳ２１１−ＮＯ）、まだマスク処理（主画像ＭＮに対する抽出画像ＥＸの合成）が行われていないマスク領域ＭＳＫが残っている。そこで、この場合の画像合成部５２２は、ステップＳ２０７に処理を戻す。これにより、マスク領域ＭＳＫごとに対応してラベル番号ｎに従ってマスク処理が行われていく。
【００８５】
そして、全てのマスク領域ＭＳＫに対応するマスク処理が完了すると、変数ｎが最大値より大きくなったことが判定される（ステップＳ２１１−ＹＥＳ）。ステップＳ２１１にて変数ｎが最大値より大きくなったことが判定された段階では、ステップＳ２０３により検出された全てのマスク領域ＭＳＫごとに応じて、副画像ＳＢ２から抽出した抽出画像ＥＸの合成が行われた合成画像ＰＳＨが生成されている。
以降において、マスク領域検出部５２１と画像合成部５２２は、１フレームごとのタイミングに応じて、ステップＳ２０１〜Ｓ２１１による処理を実行する。そして、画像合成部５２２は、合成画像ＰＳＨをフレーム画像とする画像信号を、表示用の画像信号として入出力部５０１からプロジェクタ２００に出力させる。
【００８６】
これまでの説明から理解できるように、本実施形態においては、ユーザが照明装置３００を入力デバイスとして使用して赤外光をスクリーン１００に投影させて赤外光投影領域ＩＲＡをスクリーン１００形成することで、領域を指定する操作を行うことができる。
つまり、本実施形態においては、領域を指定するにあたり、ユーザは、照明装置３００によりスクリーン１００に不可視光を投影させるという簡単な操作を行えばよく、座標の移動軌跡を描いて領域の輪郭を形成するといったような操作を行う煩わしさがない。
【００８７】
また、本実施形態においては、図１２に例示するように、指定する領域の大きさと形状を簡単に変更することができる。
図１２（Ａ）においては、スクリーン１００に対して、３つの照明装置３００−１、３００−２及び３００−３から赤外光が投影された状態を平面方向から示している。なお、同図の説明にあたり、照明装置３００−１、３００−２及び３００−３について特に区別しない場合には照明装置３００と記載する。
【００８８】
また、図１２（Ｂ）には、照明装置３００−１、３００−２及び３００−３のそれぞれから投影された赤外光によって赤外光投影領域が形成された状態のスクリーン１００を前面側から見た図である。
同図において、赤外光投影領域ＩＲＡ−１は、照明装置３００−１から投影された赤外光によって形成されたものである。赤外光投影領域ＩＲＡ−２は、照明装置３００−２から投影された赤外光によって形成されたものである。赤外光投影領域ＩＲＡ−３は、照明装置３００−３から投影された赤外光によって形成されたものである。なお、同図の説明にあたり、赤外光投影領域ＩＲＡ−１、ＩＲＡ−２、ＩＲＡ−３について特に区別しない場合には、赤外光投影領域ＩＲＡと記載する。
【００８９】
ここで、照明装置３００−１からスクリーン１００までの距離ｄｓ１と、照明装置３００−２からスクリーン１００までの距離ｄｓ２とを比較した場合、距離ｄｓ１の方が長い。そして、照明装置３００から出射された不可視光は、或る照射角に従って放射状に拡がっていく。
このため、図１２（Ｂ）に示されるように、照明装置３００−１に対応する赤外光投影領域ＩＲＡ−１と照明装置３００−２に対応する赤外光投影領域ＩＲＡ−２とを比較した場合には、赤外光投影領域ＩＲＡ−１の方が大きい。
つまり、本実施形態においては、ユーザがスクリーン１００の前において前後方向に移動して照明装置３００からスクリーン１００までの距離を変化させることで、指定する領域のサイズを簡単に変更することができる。
【００９０】
また、図１２（Ａ）に示すように、照明装置３００−１と照明装置３００−２は、スクリーン１００に対してほぼ正面から赤外光を投影させているのに対して、照明装置３００−３は、スクリーン１００に対して或る傾斜角度を有した状態で投影されている。
このために、照明装置３００−１と照明装置３００−２のそれぞれに対応する赤外光投影領域ＩＲＡ−１、ＩＲＡ−２は、いずれもほぼ円形となっている。これに対して、照明装置３００−３に対応する赤外光投影領域ＩＲＡ−３は円形から扁平し、横方向に延伸された楕円形となる。
つまり、本実施形態においてはスクリーン１００に対する照明装置３００からの赤外光の照射角度を変化させることで赤外光投影領域ＩＲＡの形状を簡単に変更することができる。
また、赤外光投影領域ＩＲＡの形状については、例えば照明装置３００のヘッド部３０２（図３）において赤外光が出射される開口部の一部を、手や板などで遮ることによっても簡単に変更することができる。
【００９１】
＜第２実施形態＞
次に、第２実施形態について説明する。
スクリーン１００に形成される赤外光投影領域ＩＲＡは、スクリーン１００に投影された赤外光がスクリーン１００にて拡散することによって形成される。本実施形態におけるスクリーン１００は背面投影型のプロジェクタ２００に対応しているために或る程度の光透過性を有している。このため、スクリーン１００を透過した直接光としての赤外光が強くなるような場合がある。この場合、撮像装置４００は、スクリーン１００にて拡散した赤外光とともに、スクリーン１００にて拡散せずに撮像装置４００に直接到達した赤外光も撮像する。
【００９２】
上記のようにスクリーン１００にて拡散した赤外光とともに直接光としての赤外光が撮像される状態の一例について、図１３を参照して説明する。
図１３（Ａ）は、スクリーン１００の前側において右寄りの位置にて、照明装置３００からスクリーン１００に対して赤外光を照射している状態を示している。
この場合において、照明装置３００から出射された赤外光の光束において、スクリーン１００にて拡散する赤外光の範囲を光範囲Ｌ１により示し、スクリーン１００にて拡散せずにスクリーン１００を透過する赤外光の範囲を光範囲Ｌ２により示す。
光範囲Ｌ１にはスクリーン１００の背面にて設置される撮像装置４００が含まれていないが、光範囲Ｌ２には撮像装置４００が含まれている。このような場合、撮像装置４００で受ける赤外光としては、スクリーン１００にて拡散された赤外光に対して直接光としての赤外光が相対的に強くなる。
【００９３】
上記のようにスクリーン１００にて拡散された赤外光に対して直接光としての赤外光が相対的に強くなった場合、撮像装置４００がスクリーン１００を撮像して得られる撮像画像Ｐ３は、図１３（Ｂ）に示す状態となる。
つまり、撮像画像Ｐ３においては、スクリーン１００にて拡散した赤外光に応じて赤外光対応領域ＡＲ１１に加え、直接光としての赤外光に対応する赤外光対応領域ＡＲ１２が存在する状態となる。
【００９４】
ここで、赤外光対応領域ＡＲ１１と赤外光対応領域ＡＲ１２のうち、照明装置３００を操作するユーザの意図に対応するのは赤外光対応領域ＡＲ１１である。従って、この場合には、赤外光対応領域ＡＲ１１に対応するマスク領域に応じた画像の合成が行われた合成画像が表示されればよい。
しかし、図１３（Ｂ）に示される撮像画像Ｐ３についてマスク領域検出を行った場合には、赤外光対応領域ＡＲ１１に対応するマスク領域に加え、赤外光対応領域ＡＲ１２に対応するマスク領域まで検出されてしまう。この場合、スクリーン１００には、赤外光対応領域ＡＲ１１に対応するマスク領域に基づいて副画像が合成された領域だけではなく、赤外光対応領域ＡＲ１２に対応するマスク領域に基づいて副画像が合成された領域まで表示されてしまう。即ち、この場合には、スクリーン１００にユーザの操作に対応しない状態の画像まで表示されてしまうという誤動作が生じる。
【００９５】
上記のような不具合に対する対策の１つは、図７にて説明した第１閾値ｔｈ１を高く設定することである。第１閾値を高く設定することで、或る程度大きな値の入力画素値についても「０」の出力画素値とすることができる。このため、直接光の入力画素値が第１閾値ｔｈ１未満であれば、直接光に応じた画像部分をマスク領域として検出しないようにできる。
【００９６】
しかし、例えば撮像装置４００にて受光される直接光が相当に強いような場合には、第１閾値ｔｈ１の調整によって直接光の画像部分がマスク領域として検出されないようにすることが難しくなる。
また、第１閾値ｔｈ１を高くすることによっては、第１閾値ｔｈ１から第２閾値ｔｈ２までの範囲が狭くなることにもつながる。第１閾値ｔｈ１から第２閾値ｔｈ２までの範囲が狭くなると、合成画像ＰＳＨにおける抽出画像ＥＸと主画像ＭＮとの領域が明確になってくるために見づらくなる場合がある。
【００９７】
そこで、本実施形態の画像処理システムは、直接光としての赤外光に応じた赤外光対応領域をノイズとして除去可能なように構成される。直接光としての赤外光に応じた赤外光対応領域がノイズとして除去されれば、直接光としての赤外光に応じた赤外光対応領域に対応したマスク領域を誤検出することが防止される。
そこで、以下、直接光としての赤外光に応じた赤外光対応領域をノイズとして除去するための構成について説明する。
【００９８】
図１４は、本実施形態における画像処理システムの構成例を示している。同図に示すように、本実施形態においては、それぞれ異なる位置からスクリーン１００を撮像するように設けられた２つの撮像装置４００−１、４００−２が備えられる。なお、以降の説明において、撮像装置４００−１、４００−２について特に区別しない場合には撮像装置４００と記載する。
【００９９】
撮像装置４００−１と撮像装置４００−２は、一方の撮像装置４００が直接光の光範囲Ｌ２に含まれている場合に、他方の撮像装置４００は直接光の光範囲Ｌ２に含まれないようにされた位置関係を有する。撮像装置４００−１と撮像装置４００−２との間の距離Ｃｄｓは、上記の位置関係が得られるように設定される。
同図においては、撮像装置４００−１は直接光の光範囲Ｌ２に含まれているが、撮像装置４００−２は光範囲Ｌ２に含まれていない場合が示されている。
【０１００】
図１５を参照して、本実施形態において、直接光としての赤外光に応じた赤外光対応領域をノイズとして除去するための画像処理の一例について説明する。
同図においては撮像画像Ｐ３−１と撮像画像Ｐ３−２が示されている。撮像画像Ｐ３−１は、図１４の撮像装置４００−１により撮像して得られた補正後の撮像画像である。撮像画像Ｐ３−２は、撮像装置４００−２により撮像して得られた補正後の撮像画像である。
【０１０１】
撮像装置４００−１は、図１４に示したように直接光の光範囲Ｌ２に含まれている。このために、撮像画像Ｐ３−１においては、スクリーン１００にて拡散した赤外光に応じた赤外光対応領域ＡＲ１１と、直接光としての赤外光に応じた赤外光対応領域ＡＲ１２とが含まれている。
一方、撮像装置４００−２は直接光の光範囲Ｌ２に含まれていない。このために、撮像画像Ｐ３−２においては、スクリーン１００にて拡散した赤外光に応じた赤外光対応領域ＡＲ１１は含まれているが、直接光としての赤外光に応じた赤外光対応領域ＡＲ１２は含まれていない。
【０１０２】
本実施形態におけるマスク領域検出部５２１は、撮像画像Ｐ３−１と撮像画像Ｐ３−２とについて例えば乗算処理を行うことで、撮像画像Ｐ３−１と撮像画像Ｐ３−２との間で共通して存在する赤外光対応領域を含み、共通して存在しない赤外光対応領域を含まない撮像画像Ｐ３を生成する。
このようにして、本実施形態においては、図６（Ｃ）の撮像画像Ｐ３として、直接光としての赤外光に応じた赤外光対応領域が含まれないようにすることができる。そして、マスク領域検出部５２１は、撮像画像Ｐ３を対象としてマスク領域検出を行う。これにより、直接光としての赤外光に応じたマスク領域は検出されなくなり、結果的に、照明装置３００を操作するユーザが意図した通りの合成画像を表示することができる。
【０１０３】
なお、図１４及び図１５に示した本実施形態の構成は、照明装置３００以外からスクリーン１００に照射され、スクリーン１００を透過するような外乱光に対しても有効である。
また、図１４においては、２つの撮像装置４００が備えられた例を示しているが、３以上の撮像装置４００を備え、マスク領域検出部５２１は、３以上の撮像画像の間で共通に存在する赤外光対応領域を含む撮像画像を生成するように構成してもよい。
【０１０４】
［変形例］
本実施形態においては、以下の構成によって、複数の照明装置３００ごとに応じて異なる合成処理が行われるようにすることが可能である。
つまり、複数の照明装置３００については、それぞれ異なる波長域による赤外光が出射されるように構成する。このためには、例えば複数の照明装置３００ごとに異なる波長域の赤外光を通過させるフィルタを設ければよい。
【０１０５】
また、撮像装置４００については、複数の照明装置３００が対応する波長域ごとの赤外光を個別に撮像できるように構成する。
このためには、複数の照明装置３００が出射する赤外光の波長域ごとに応じた赤外光の撮像を行う複数の撮像装置４００を設ければよい。
あるいは、１つの撮像装置４００にスピンホイールや液晶チューナブルフィルタなどを適用して、例えばフィールドあるいはフレームごとに異なる波長域の赤外光を撮像した撮像画像が得られるように構成してもよい。
【０１０６】
そして、画像処理装置５００は、異なる波長域に対応する複数の撮像画像（波長域対応撮像画像）ごとに、マスク領域検出と主画像に対する副画像（抽出画像ＥＸ）の画像合成処理を個別に行う。このような構成によって、照明装置３００を操作するユーザごとに、操作に応じて全く異なる抽出画像ＥＸを表示することができる。
一例として、例えば３人のユーザが同じスクリーン１００に照明装置３００を使用して操作を行っている場合には以下のような表示を行うことができる。つまり、１人目のユーザに対応しては、第１表示モードにより現代地図を表示し、２人目のユーザに対応しては第２表示モードにより拡大図を表示し、３人目のユーザに対応しては第３表示モードにより測量軌跡を表示するというものである。
【０１０７】
なお、これまでの実施形態における画像処理システムは、スクリーン１００の背面からプロジェクタ２００により画像を投影する背面投影型の構成であった。しかし、本実施形態の画像処理システムは、スクリーンの前面からプロジェクタによって画像を投影する前面投影型であってもよい。前面投影型の場合、撮像装置もスクリーンの前面側からスクリーンを撮像するように設けられる。
【０１０８】
なお、上述の画像処理装置５００としての機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の画像処理装置５００としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【０１０９】
１０  筐体、１００  スクリーン、２００  プロジェクタ、３００  照明装置、３０１  本体部、３０２  ヘッド部、３０３  オンオフスイッチ、３０４  インジケータ、３１１  制御回路、３１２  バッテリ、３１３  不可視光出射部、３１３ａ  赤外線ＬＥＤ、３１３ｂ  光学系部、３１４  照射範囲調整部、４００  撮像装置、５００  画像処理装置、５０１  入出力部、５０２  制御部、５０３  記憶部、５２１  マスク領域検出部、５２２  画像合成部、５３１  主画像記憶部、５３２  副画像記憶部
【図１】
0006604528.tif 000002
【図２】
0006604528.tif 000003
【図３】
0006604528.tif 000004
【図４】
0006604528.tif 000005
【図５】
0006604528.tif 000006
【図６】
0006604528.tif 000007
【図７】
0006604528.tif 000008
【図８】
0006604528.tif 000009
【図９】
0006604528.tif 000010
【図１０】
0006604528.tif 000011
【図１１】
0006604528.tif 000012
【図１２】
0006604528.tif 000013
【図１３】
0006604528.tif 000014
【図１４】
0006604528.tif 000015
【図１５】
0006604528.tif 000016