(57)【要約】      （修正有）【課題】机上面を囲むユーザが機器の操作に影響されずテンポのよいコミュニケーションを行うことができる情報処理装置及びその制御方法、並びにプログラムを提供する。【解決手段】プロジェクタにより投影される画像に含まれる操作メニュー５００のキャプチャボタン５０３へのユーザの手又はペン等の物体によるタッチが有った場合、その物体を特定し、その特定された物体がキャプチャ領域４０１内にあるか否かを判定する。キャプチャ領域４０１内にないと判定されたときに、カメラによる撮影を行い画像のキャプチャを行う。【選択図】図５
2018190144.tif 000002
【特許請求の範囲】
【請求項１】
机上面の対象領域に画像を表示する表示手段と、
前記画像を撮影してキャプチャ画像を生成するキャプチャ手段と、
ユーザにより操作される物体によるキャプチャボタンへのタッチの有無を検出する検出手段と、
前記検出手段により前記タッチが有ったことが検出されたときに、前記物体を特定する特定手段と、
前記特定手段により特定された前記物体が前記対象領域内にあるか否かを判定する判定手段とを備え、
前記キャプチャ手段は前記判定手段により前記物体が前記対象領域内にないと判定された場合に前記キャプチャ画像を生成することを特徴とする情報処理装置。
【請求項２】
前記キャプチャボタンは前記表示される画像に含まれ、
前記判定手段により前記物体が前記対象領域内にないと判定された場合、前記画像において前記キャプチャボタンを非表示とする表示制御手段をさらに備え、
前記キャプチャ手段は、前記キャプチャボタンが非表示となった後、前記画像を撮影することを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記キャプチャボタンは前記表示される画像に含まれ、
前記キャプチャボタンと前記ユーザとの間に前記対象領域のうち前記キャプチャ画像となる画像が表示される領域が存在することを特徴とする請求項１記載の情報処理装置。
【請求項４】
前記特定手段は、前記対象領域に対する第１の物体画像を生成する第１の生成手段を備え、前記第１の物体画像に基づいて前記物体を特定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記判定手段により前記物体が前記対象領域内にあると判定された場合、前記物体を追跡する追跡手段を更に備えることを特徴とする請求項４記載の情報処理装置。
【請求項６】
前記第１の物体画像及び前記特定手段による特定結果を保持する保持手段を更に備え、
前記追跡手段は、前記対象領域に対する第２の物体画像を生成する第２の生成手段を備え、前記生成された第２の物体画像に含まれる物体のうち、前記第１の物体画像に含まれる前記特定結果により特定される前記物体との重なり具体の最も高い物体を、前記追跡される物体として特定することを特徴とする請求項５記載の情報処理装置。
【請求項７】
前記検出手段により前記タッチが有ったことが検出されてから前記キャプチャ手段により前記キャプチャ画像が生成されるまでの間は前記検出手段が設けられている領域と前記追跡手段により位置が追跡された前記物体の間の距離に応じて前記キャプチャボタンの表示態様を決定する決定手段をさらに備えることを特徴とする請求項５又は６記載の情報処理装置。
【請求項８】
前記表示態様は、表示透過度であることを特徴とする請求項７記載の情報処理装置。
【請求項９】
前記検出手段は前記対象領域内に設けられるタッチマットであることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記検出手段は、前記対象領域に対する第３の物体画像を生成する第３の生成手段を備え、前記第３の物体画像に含まれる物体の端点の距離値が閾値以下であって、当該物体の位置が前記キャプチャボタンと重なる場合、前記タッチが有ったことを検出することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１１】
前記検出手段は前記対象領域外に物理的に設けられるボタンであることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１２】
机上面の対象領域に画像を表示する表示ステップと、
前記画像を撮影してキャプチャ画像を生成するキャプチャステップと、
ユーザにより操作される物体によるキャプチャボタンへのタッチの有無を検出する検出ステップと、
前記検出ステップにおいて前記タッチが有ったことが検出されたときに、前記物体を特定する特定ステップと、
前記特定ステップにおいて特定された前記物体が前記対象領域内にあるか否かを判定する判定ステップとを有し、
前記キャプチャステップは前記判定ステップにおいて前記物体が前記対象領域内にないと判定された場合に前記キャプチャ画像を生成することを特徴とする制御方法。
【請求項１３】
請求項１２記載の制御方法を実行することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びその制御方法、並びにプログラムに関し、特に机上面の様子をキャプチャして画像を生成する会議システムに用いられる情報処理装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、机上面（水平面）に情報を表示する会議システムとして、例えば、プロジェクタにより上方から画像を投影する方式や机上埋め込み型のディスプレイで画像を表示する方式が存在する。
【０００３】
このような会議システムでは、机上面に電子資料を表示して会議を行うことができる。またプロジェクタで画像を上方から投影する方式の場合、机上面に紙やホワイトボードを設置すれば、画等として投影された電子資料に対してペンやマーカーで書き込みを行うことができる。
【０００４】
また一般的に会議では、現物や試作物、サンプル品といった物を机上におき、これを参照しながらディスカッションする場合がある。
【０００５】
さらに、かかる会議システムには撮像手段が設けられており、机上におけるコミュニケーションの様子を撮像し、画像として記録保持（キャプチャ）することができる。例えば、電子資料や書込みの内容、机上においた物、電子資料や物への指し示し、などの様子を撮影して画像を生成し、その画像を記録すれば、会議の経過や備忘の情報として活用することができる。
【０００６】
一方、特許文献１に記載されている画像処理装置は、机上面に載置した帳票を上方から撮像し画像を生成する。このとき、生成した画像に、ユーザの手などの被写体である帳票以外の物体が含まれるか否かを判定する。含まれると判定された場合には、当該被写体以外の物体がキャプチャの対象領域から移動するまでの時間を予測し、当該時間が経過した後で再度撮像を行う。
【０００７】
これにより、ユーザの手などが写り込んだ画像が生成されてしまうことを低減する。
【０００８】
例えば、前述の会議システムにおいて、物理的あるいは仮想的に設けられたボタン等で、キャプチャの操作指示を受け付ける場合、こうしたボタンと表示領域との位置関係によっては、当該ボタンを操作したユーザの手が画像に写り込んでしまうことがある。このような画像の生成を特許文献１の技術を適用することにより低減することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第５６２９２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、前述の会議システムに特許文献１の技術を適用すると、本来画像に含めたい指差しを行う手や、画像に含まれても差し支えのない物を把持する手までもが被写体以外の物体として検出されてしまい、キャプチャされなくなってしまう。
【００１１】
このような課題を鑑みて本発明は、机上面を囲むユーザが機器の操作に影響されずテンポのよいコミュニケーションを行うことができる情報処理装置及びその制御方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の請求項１に係る情報処理装置は、机上面の対象領域に画像を表示する表示手段と、前記画像を撮影してキャプチャ画像を生成するキャプチャ手段と、ユーザにより操作される物体によるキャプチャボタンへのタッチの有無を検出する検出手段と、前記検出手段により前記タッチが有ったことが検出されたときに、前記物体を特定する特定手段と、前記特定手段により特定された前記物体が前記対象領域内にあるか否かを判定する判定手段とを備え、前記キャプチャ手段は前記判定手段により前記物体が前記対象領域内にないと判定された場合に前記キャプチャ画像を生成することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、机上面を囲むユーザが機器の操作に影響されずテンポのよいコミュニケーションを行うことができる。
【図面の簡単な説明】
【００１４】
【図１】実施例１に係る情報処理装置を含む会議システムの外観図である。
【図２】図１の情報処理装置の外観図である。
【図３】図１の会議システムのハードウェア構成図である。
【図４】実施例１における各領域の関係を示す模式図である。
【図５】図４の投影領域に投影される画像に含まれる操作メニューを示す図である。
【図６】実施例１における情報処理装置の制御処理の手順を示すフローチャートである。
【図７】実施例１に係る図６のステップＳ６０４のキャプチャ処理の手順を示すフローチャートである。
【図８】実施例１で生成される物体画像およびキャプチャ画像を示す図である。
【図９】実施例２における各領域の関係を示す模式図である。
【図１０】図９の投影領域に投影される画像に含まれる操作メニューを示す図である。
【図１１】実施例３に係る画面の表示態様の決定方法を説明する模式図である。
【図１２】実施例３に係る図６のステップＳ６０４のキャプチャ処理の手順を示すフローチャートである。
【図１３】実施例４に係る情報処理装置を含む会議システムの外観図である。
【図１４】実施例４における情報処理装置の制御処理の手順を示すフローチャートである。
【図１５】図１４のステップＳ６０４，Ｓ１４０２におけるキャプチャ処理の手順を示すフローチャートである。
【図１６】実施例４で生成される物体画像を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態について図面を用いて説明する。
【００１６】
（実施例１）
図１は、本実施例に係る情報処理装置１０１を含む会議システムの外観図である。
【００１７】
この会議システムは、図１（ａ）に示すように、プロジェクタ２０３により机上の投影面に画像が投影された状態で、図１（ｂ）に示すように、机の周りに複数のユーザが囲むようにして使用する。
【００１８】
情報処理装置１０１は、机上に設置して利用するものであり、カメラ２０２、プロジェクタ２０３、デプスセンサ２０４を備える。なお、図１では、情報処理装置１０１の内部構成を説明するため情報処理装置１０１の外装は省略して示している。
【００１９】
プロジェクタ２０３は、画像を机上の投影面１０３に投影する投影部である。カメラ２０２はその投影された画像を撮影するための撮像部である。尚、本実施例においては、プロジェクタ２０３により机上に画像を投影したが、ユーザが机上面で画像が視認できる方法であればこれに限定される物ではない。例えば、机上埋め込み型のディスプレイに画像を表示するようにしてもよい。
【００２０】
また、デプスセンサ２０４は、机上面にあるユーザの手やペンなどの物体の領域を抽出して取得するために用いるセンサである。
【００２１】
情報処理装置１０１には、机上に設置されたタッチマット２０５が接続されている。タッチマット２０５は、ユーザによるタッチ操作を受け付けるための入力インターフェースであり、押圧された位置を示す座標を検出する。尚、プロジェクタ２０３ではなく、机上埋め込み型のディスプレイを使用する場合、そのディスプレイとタッチマット２０５が一体となって構成される。
【００２２】
タッチマット２０５は、プロジェクタ２０３が画像を投影できる範囲を含む領域（図１（ａ）の破線で示す領域、以下、投影領域１０４と呼ぶ。）に設定される。
【００２３】
プロジェクタ２０３が投影する画像には、電子資料や、メッセージおよびボタン等のＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を含めることができる。ユーザは手やペンなどを使って情報処理装置１０１に対する操作を行う。情報処理装置１０１は、タッチマット２０５のポインティング結果に基づいて投影面に投影されているＧＵＩの選択操作を検知する。
【００２４】
図２は、情報処理装置１０１を図１とは別の方向から見た外観図である。図２においても図１と同様、内部構成を説明するため外装は省略して示している。
【００２５】
情報処理装置１０１は、台座２５１、及びこれに固定されるメインフレーム２５２を備えている。また、このメインフレーム２５２に、プロジェクタ２０３及びデプスセンサ２０４を直接固定すると共に、カメラ２０２をカメラアタッチメント２５３を介して固定する。
【００２６】
プロジェクタ２０３は、光源である光源ユニット２５８と投影光学系であるプロジェクタ鏡筒部２５９と投影ミラー２６０を備えている。プロジェクタ鏡筒部２５９の内部には複数のレンズが配置されている。光源ユニット２５８とプロジェクタ鏡筒部２５９は屈曲部２５９ａを介して接続されている。光源ユニット２５８は屈曲部２５９ａの奥側に配置される。屈曲部２５９ａには反射ミラー２６１が配置され、光源ユニット２５８から出た光を投影ミラー２６０に向けて反射する。投影ミラー２６０は、プロジェクタ鏡筒部２５９の図２向かって上方手前側に配置される。投影ミラー２６０は、光源ユニット２５８から投光された光を投影面１０３に向けて反射し、投影領域１０４に画像を投影する。以下、図１の投影領域１０４のサイズとして、幅を「ｓｃｒｅｅｎ＿ｗｉｄｔｈ」、高さを「ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ」と表す。本実施例の投影領域１０４のサイズは、ｓｃｒｅｅｎ＿ｗｉｄｔｈ＝１９２０ドット、ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ＝１０８０ドットであるが、これに限定されない。また、本実施例において、プロジェクタ２０３の投影ミラー２６０は投影領域１０４に投影した画像が適切なアスペクト比（例えば１６：９）となるように曲面ミラーとなっている。
【００２７】
次に、カメラ２０２の構成を説明する。カメラ２０２は、撮像素子としてのＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサ（不図示）、撮像ミラー２５６、及びカメラ鏡筒部２５７を備える。
【００２８】
ＣＣＤセンサは、投影面１０３に対して略水平になるように取り付けられている。
【００２９】
撮像ミラー２５６はメインフレーム２５２に組み付けられる、凹形状の曲面ミラーである。
【００３０】
カメラ鏡筒部２５７（撮像鏡筒部）は、撮像光学系として複数のレンズを組み込んだ撮像光学系であり、カメラマウント２５５に取り付けられる。
【００３１】
カメラ鏡筒部２５７は、対象物の像を上述のカメラ２０２内部のＣＣＤセンサに結像させる。
【００３２】
投影領域１０４をカメラ２０２で読み取る際には、対象物の像を撮像ミラー２５６でカメラ鏡筒部２５７へと反射させ、カメラ鏡筒部２５７が備える複数のレンズ（不図示）を通り、ＣＣＤセンサで画像を読み取る。ＣＣＤセンサの撮像面に結像された像は、カメラ２０２内部のＡ／Ｄ変換部（不図示）により画像データに変換される。
【００３３】
次に、会議システムのハードウェア構成を説明する。
【００３４】
図３は、図１の会議システムのハードウェア構成を示す図である。
【００３５】
情報処理装置１０１は、上述のカメラ２０２，プロジェクタ２０３、及びデプスセンサ２０４の他、制御部３０１を備える。
【００３６】
制御部３０１は、システムバスに接続されたＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、ＨＤＤ３０５。ネットワークＩ／Ｆ３０６、カメラＩ／Ｆ３０７、ディスプレイコントローラ３０８、ＵＳＢコントローラ３０９を備える。
【００３７】
ＣＰＵ３０２は制御部３０１全体の動作を制御する中央演算装置（プロセッサ）であり、ＲＯＭ３０４又はＨＤＤ３０５に記憶された制御プログラムを読み出す。また、情報処理装置１０１の有するカメラ２０２，プロジェクタ２０３、及びデプスセンサ２０４や、情報処理装置１０１に接続された後述の各周辺装置を制御する。
【００３８】
ＲＡＭ３０３は揮発性メモリであり、ＣＰＵ３０２の演算や、ＲＯＭ３０４及びＨＤＤ３０５に格納された各種制御プログラムを展開するための一時記憶領域として用いられる。
【００３９】
ＲＯＭ３０４は不揮発性メモリであり、情報処理装置１０１のブートプログラムなどが格納されている。
【００４０】
ＨＤＤ３０５には情報処理装置１０１の制御用プログラムが格納されている。
【００４１】
ＣＰＵ３０２は電源ＯＮ等の起動時、ＲＯＭ３０４に格納されているブートプログラムを実行する。このブートプログラムは、ＨＤＤ３０５に格納されている制御用プログラムを読み出し、ＲＡＭ３０３上に展開する。ＣＰＵ３０２はブートプログラムを実行すると、続けてＲＡＭ３０３上に展開した制御用プログラムを実行し、情報処理装置１０１の制御を行う。また、ＣＰＵ３０２は制御用プログラムによる動作に用いるデータもＲＡＭ３０３上に格納して読み書きを行う。ＨＤＤ３０５は、更に、制御用プログラムによる動作に必要な各種設定や、また、生成した画像データや投影する電子資料を記憶する。
【００４２】
制御部３０１は、ネットワークＩ／Ｆ３０６を介してネットワーク３００に接続される。ＣＰＵ３０２は、ネットワーク３００上の外部装置との間で、画像や情報の送受信を行う。これにより、例えば、ネットワーク３００上のファイルサーバ１０２から電子資料を受信したり、画像として記録保持する（以下「キャプチャ」という）画像をファイルサーバ１０２に送信したりされる。
【００４３】
制御部３０１は、カメラＩ／Ｆ３０７を介してデプスセンサ２０４に接続される。
【００４４】
デプスセンサ２０４は、赤外線投射部３１５、赤外線カメラ３１６、及びコントローラ３１４からなる。
【００４５】
赤外線投射部３１５は対象物に対して人の目には不可視である赤外線によって３次元測定パターンを投射する。
【００４６】
赤外線カメラ３１６は対象物に投射した３次元測定パターンを読み取るカメラである。
【００４７】
コントローラ３１４は、赤外線投射部３１５と赤外線カメラ３１６を制御して、対象物までの距離を示す８ビット１チャネルの距離画像データを取得する。この距離画像データはデプスセンサ２０４からカメラＩ／Ｆ３０７を介して制御部３０１のＲＡＭ３０３へ転送される。
【００４８】
ディスプレイコントローラ３０８は、ＣＰＵ３０２の指示に応じてディスプレイ（投影領域１０４）への画像の表示を制御する。ここでは、ディスプレイコントローラ３０８はプロジェクタ２０３に接続されている。
【００４９】
また、制御部３０１は、ＵＳＢコントローラ３０９を介してタッチマット２０５に接続されている。ＣＰＵ３０２は、ユーザの手やペンなどによるタッチや長押しといった、タッチマット２０５に対する操作およびその座標を取得することができる。また、ＵＳＢコントローラ３０９はＣＰＵ３０２の指示に応じて外付けのＵＳＢデバイスの制御を行う。本実施例では、情報処理装置１０１にＵＳＢメモリやＳＤカードなどの外部メモリ３１３が接続されている。ユーザは、情報処理装置１０１に外部メモリ３１３を接続することで、外部メモリ３１３内に記憶されている電子資料をプロジェクタ２０３で投影することができる。また、カメラ２０２でキャプチャした画像を外部メモリ３１３内に記録することができる。
【００５０】
なお、上述したディスプレイコントローラ３０８、ＵＳＢコントローラ３０９、カメラＩ／Ｆ３０７、及びネットワークＩ／Ｆ３０６の接続には、ＵＳＢや有線ＬＡＮ、無線ＬＡＮ、ラインケーブルなどを適宜採用することができる。
【００５１】
次に、本実施例における、プロジェクタ２０３の投影領域１０４と、投影された画像のキャプチャ領域４０１、カメラ２０２の撮影領域４０２、デプスセンサ２０４の３次元形状測定領域４０３の関係について説明する。
【００５２】
図４は、本実施例におけるこれらの領域の関係を示す模式図である。
【００５３】
カメラ２０２が撮影する領域である撮影領域４０２は、投影領域１０４より広く、投影領域１０４を内包する領域である。
【００５４】
デプスセンサ２０４が３次元形状測定する領域である３次元形状測定領域４０３は、撮影領域４０２より広く、撮影領域４０２を内包する領域である。
【００５５】
プロジェクタ２０３により投影され画像のうち、カメラ２０２で撮影され、キャプチャの対象とする領域をキャプチャ領域４０１と呼称する。本実施例において、キャプチャ領域４０１は、投影領域１０４と同じサイズの領域である。
【００５６】
次に、会議システムに用いられる机上にプロジェクタ２０３により投影される画像に含まれる操作メニュー５００について説明する。
【００５７】
図５は、投影領域１０４に投影される画像に含まれる操作メニュー５００を示す図である。
【００５８】
ＣＰＵ３０２はタッチマット２０５から投影領域１０４内の任意のタッチ位置（例えば５０１）に対する長押し（一定時間タッチし続ける操作）を検知するとタッチ位置５０１を中心とした位置に操作メニュー５００を表示する。長押し以外の操作、例えば、タッチやダブルタッチ（素早く２回タッチする操作）を検知し、そのタッチ位置を中心とした位置に操作メニュー５００を表示してもよい。なお、タッチ位置が、投影領域１０４の端部に近いと、操作メニュー５００の一部が投影領域１０４の外部にかかる場合がある。この場合に、ＣＰＵ３０２は操作メニュー５００の全体が表示されるよう操作メニュー５００を表示すべき中心位置をタッチ位置からずらすように補正した後に、操作メニュー５００を表示する。これにより、操作メニュー５００は投影領域１０４の内部に確実に表示することができる。このように投影領域１０４に表示される操作メニュー５００は、開くボタン５０２、キャプチャボタン５０３、及び終了ボタン５０４を含む。
【００５９】
ユーザによる開くボタン５０２のタッチが有ったことをタッチマット２０５が検出すると、ＣＰＵ５０２は不図示の資料選択画面を表示する。さらに、ユーザによりその資料選択画面から表示したい電子資料（例えばプレゼンテーション用の資料）１０５が選択（タッチ）されたことをタッチマット２０５が検出すると、ＣＰＵ５０２はその選択された電子資料１０５を投影領域１０４に表示する。ユーザは、資料選択画面により外部メモリ３１３やファイルサーバ１０２、さらに、情報処理装置１０１内のＨＤＤ３０５などに格納されている電子資料を選択することができる。
【００６０】
ユーザによるキャプチャボタン５０３のタッチが有ったことをタッチマット２０５が検出すると、ＣＰＵ５０２は机上面におけるコミュニケーションの様子をカメラ２０２により撮像して画像としてキャプチャする。
【００６１】
ユーザによる終了ボタン５０４のタッチが有ったことをタッチマット２０５が検出すると、ＣＰＵ５０２は情報処理装置１０１の電源をオフにして会議システムを終了する。
【００６２】
ユーザによる投影領域１０４の内部であって操作メニュー５００の領域外の部分のタッチが有ったことをタッチマット２０５が検出すると、ＣＰＵ５０２は操作メニュー５００を閉じる（表示を終了する）。
【００６３】
次に、情報処理装置１０１の制御について説明する。
【００６４】
図６は、本実施例における情報処理装置１０１の制御処理の手順を示すフローチャートである。図６のフローチャートに示す各ステップは、ＣＰＵ３０２がＲＯＭ３０４又はＨＤＤ３０５に記憶された制御プログラムをＲＡＭ３０３に読み出し、実行することにより実現される。なお、本処理は、制御部３０１内のＣＰＵ３０２、ディスプレイコントローラ３０８、ＵＳＢコントローラ３０９等と、制御部３０１と接続するカメラ２０２、プロジェクタ２０３、デプスセンサ２０４，タッチマット２０５等が適宜協働して実現する。
【００６５】
情報処理装置１０１の電源が投入されるとＣＰＵ３０２は本処理を開始する。
【００６６】
ステップＳ６０１では、ＣＰＵ３０２は、ユーザにより操作メニュー５００の表示指示が成されたか否かを判定する。ＣＰＵ３０２は、前述のように、ユーザが投影領域１０４内の任意のタッチ位置を長押ししすると操作メニュー５００の表示指示がなされたと判定し、処理をステップＳ６０２へ進める。そうでない場合には、再度ステップＳ６０１の処理を行う。
【００６７】
ステップＳ６０２では、ＣＰＵ３０２は、ディスプレイコントローラ３０８及びプロジェクタ２０３を制御して操作メニュー５００を表示する。
【００６８】
ステップＳ６０３では、ＣＰＵ３０２は、ユーザによりキャプチャの操作指示が成されたか、すなわちユーザによるキャプチャボタン５０３のタッチの有無を判定する。ステップＳ６０２で表示した操作メニュー５００上のキャプチャボタン５０３がタッチされたら、キャプチャの操作指示が成されたと判定し、処理をステップＳ６０４へ進める。そうでなければ、処理をステップＳ６０５へ進める。
【００６９】
ステップＳ６０４では、ＣＰＵ３０２は、キャプチャ処理を行う。キャプチャ処理については図７（ａ）で後述する。
【００７０】
ステップＳ６０５では、ＣＰＵ３０２は、ユーザによりファイルを開く操作指示が成されたか否かを判定する。ステップＳ６０２で表示した操作メニュー５００上の開くボタン５０２がタッチされたら、ファイルを開く操作指示が成されたと判定し、処理をステップＳ６０６へ進める。そうでなければ、処理をステップＳ６０８へ進める。
【００７１】
ステップＳ６０６では、ＣＰＵ３０２は、前述のように、ユーザからの操作指示に応じて、ユーザが選択したファイルを開く。
【００７２】
ステップＳ６０７では、ＣＰＵ３０２は、ディスプレイコントローラ３０８及びプロジェクタ２０３を制御して、操作メニュー５００を閉じ、表示内容を更新する。
【００７３】
ステップＳ６０８では、ＣＰＵ３０２は、ユーザにより終了の操作指示が成されたか否かを判定する。ステップＳ６０２で表示した操作メニュー５００上の終了ボタン５０４がタッチされたら、終了の操作指示が成されたと判定し、処理を終了する（情報処理装置１０１の電源をオフにする）。そうでなければ、処理をステップＳ６０９へ進める。
【００７４】
ステップＳ６０９では、ＣＰＵ３０２は、ユーザにより操作メニュー５００の表示終了指示が成されたか否かを判定する。ＣＰＵ３０２は、前述のように、ユーザが投影領域１０４の内部であって操作メニュー５００の領域外の部分をタッチすると操作メニュー５００の表示終了指示がなされたと判定し、処理をステップＳ６０７へ進める。そうでない場合には、ステップＳ６０３の処理に戻る。
【００７５】
次に、図７（ａ）のフローチャートを用いて、図６のステップＳ６０４のキャプチャ処理について説明する。
【００７６】
ステップＳ７０１では、ＣＰＵ３０２は、投影面１０３近傍の物体を検出する物体検出処理を実行する。この処理について、図７（ｂ）のフローチャートを用いて説明する。
【００７７】
図７（ｂ）においてまず、ステップＳ７２１で、ＣＰＵ３０２は、デプスセンサ２０４を制御して距離画像を取得する。以下、本実施例では、デプスセンサ２０４により取得された距離画像が６４０ドットｘ３６０ドットのサイズである場合について説明する。ステップＳ７２１で取得する距離画像は、デプスセンサ２０４のコントローラ３１４が実行する図７（ｃ）の距離画像生成処理により生成される。
【００７８】
図７（ｃ）においてまず、ステップＳ７４１では、コントローラ３１４は、赤外線投射部３１５を制御して赤外線による３次元形状測定パターンを投影面１０３方向に投射する。
【００７９】
ステップＳ７４２では、コントローラ３１４は、ステップＳ７４１で投影面１０３方向に向けて投射した３次元測定パターンを赤外線カメラ３１６で撮影し、８ビット１チャネルの情報からなる赤外線カメラ画像を取得する。
【００８０】
ステップＳ７４３では、コントローラ３１４は、ステップＳ７４１で投射した３次元測定パターンとステップＳ７４２で取得した赤外線カメラ画像との間の対応点を抽出する。例えば、赤外線カメラ画像上の１点を３次元形状測定パターン上から探索して、同一の点が検出された場合にこれらを対応付ける。或いは、赤外線カメラ画像の画素の周辺を含む所定の大きさのパターンを３次元形状測定パターン上から探索し、一番類似度が高い部分と対応付けるようにしてもよい。この対応付けを容易化するために、３次元形状測定パターンは、その任意の一部分が、他のどの一部分とも異なるパターンとなるよう構成される。従ってパターンの一部分から、その一部分が全体におけるどの部分と類似しているかをパターンマッチングにより特定することができる。また、３次元形状測定パターンを手や指などの３次元形状へ投射する場合、それを撮影して得たパターンが大きく歪んでしまう場合がある。この場合、元のパターンとの対応付が困難になる可能性がある。そこで、平面に近似できるようなごく狭い範囲に投影されたパターンの一部からそのパターン全体における位置を特定できるよう、３次元形状測定パターンは、密度の高いパターンとしておくことが望ましい。
【００８１】
ステップＳ７４４では、コントローラ３１４は赤外線投射部３１５と赤外線カメラ３１６を結ぶ直線を基線として三角測量の原理を用いて計算を行うことにより、赤外線カメラ３１６からステップＳ７４３で抽出された各対応点までの距離を算出する。赤外線カメラ画像の画素のうち、ステップＳ７４３で対応点として抽出された画素については、赤外線カメラ３１６からの距離を算出して画素値として保存する。一方、対応点として抽出ができなかった画素については、距離の計測ができなかった部分として無効値（例えば−１など）を保存する。これを赤外線カメラ画像の全画素に対して行うことで、各画素に距離値が入った８ビット１チャネルの情報からなる距離画像を生成する。なお、赤外線カメラ３１６から各対応点までの距離を算出するためには、赤外線投射部３１５と赤外線カメラ３１６の位置関係及びそれぞれの内部パラメータがわかっている必要がある。これらは、事前のキャリブレーション処理により算出される。なお、ステップＳ７４４の処理はコントローラ３１４内に備えられた不図示のＡＳＩＣやＤＳＰ（Ｄｅｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）により実行される。
【００８２】
なお、本実施例ではデプスセンサ２０４として赤外線による３次元形状測定パターンを投射して対象物までの距離を検出する方式を採用しているが、他の方式を用いることも可能である。例えば、２つのＲＧＢカメラでステレオ立体視を行うステレオ方式や、赤外線の投射光と反射光の位相差から、赤外線が被写体により反射するまでの時間を算出し、被写体と距離を検出するＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式を用いることもできる。
【００８３】
図７（ｂ）の説明に戻り、ステップＳ７２２では、ＣＰＵ３０２は、ステップＳ７２１で取得した距離画像と事前に取得しておいた基準画像から物体画像を生成する。具体的には、物体画像は、距離画像と基準画像の画像値（赤外線カメラ３１６からの距離）の差が所定値以上である画素を黒（画素値２５５）、所定値未満である画素を白（画素値０）に二値化することにより生成される。尚、基準画像は、事前のキャリブレーション処理によって、ユーザの手やペンなどの物体が存在しない状態で取得した基準となる距離画像である。すなわち、生成された物体画像では、ユーザの手やペンなどの物体が存在する部分が黒の画素として表現される。
【００８４】
ステップＳ７２３では、ＣＰＵ３０２は、ステップＳ７２２で得られた物体画像に対して、ノイズ除去のための画像処理を行う。例えば、ＣＰＵ３０２は、注目画素の周辺に１画素でも白（画素値０）の画素があれば当該注目画素の値を０とする収縮処理や、注目画素の周辺に１画素でも黒（画素値２５５）の画素があれば当該注目画素の値を２５５とする膨張処理によりノイズを低減する。図８（ａ）は、以上のステップにより得られた物体画像の例を示す。物体画像８００には、連続した黒（画素値２５５）の画素群から形成される領域として、ふたつの物体が含まれている。すなわち、物体８０１は、投影領域１０４に投影された操作メニュー５００のキャプチャボタン５０３をタッチするユーザの手である。そして、物体８０２は、投影領域１０４に投影された電子資料１０５を指差すユーザの手である。
【００８５】
図７（ａ）の説明に戻り、ステップＳ７０２では、ＣＰＵ３０２は、ステップＳ７０１で得られた物体画像内の投影領域１０４に相当する領域の画像を、投影座標系に射影変換する。図８（ｂ）は、このステップＳ７０２における射影変換を説明する図である。破線８２１は、物体画像８００内の投影領域１０４に相当する領域を示す。また、物体画像８２０は、破線８２１を射影変換した画像である。物体画像８００と物体画像８２０の、各座標が次の対応となるように射影変換を行う。物体画像８００の座標（Ｌ８２１，Ｍ８２１）が物体画像８２０の座標（０，０）になる。物体画像８００の座標（Ｌ８２２，Ｍ８２２）が物体画像８２０の座標（０，ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ−１）になる。物体画像８００の座標（Ｌ８２３，Ｍ８２３）が物体画像８２０の座標（ｓｃｒｅｅｎ＿ｗｉｄｔｈ−１，ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ−１）になる。物体画像８００の座標（Ｌ８２４，Ｍ８２４）が物体画像８２０の座標（ｓｃｒｅｅｎ＿ｗｉｄｔｈ−１，０）になる。なお、この射影変換に必要となるパラメータは、事前のキャリブレーションで取得される。
【００８６】
ステップＳ７０３では、ＣＰＵ３０２は、キャプチャ操作指示を行った物体を特定する。ここで、図８（ｂ）の破線８２２は、投影領域１０４における操作メニュー５００の領域を示し、破線８２３はキャプチャボタン５０３の領域を示す。ステップＳ７０２で取得した物体画像８２０と投影領域１０４に投影されている画像とは座標系が一致している。よって、ＣＰＵ３０２は、物体画像８２０内において、キャプチャボタン５０３に相当する領域に重なっている物体（黒画素集合、本実施例では、物体８０１）をキャプチャ操作を行った物体として特定する。
【００８７】
尚、ステップＳ７０３におけるキャプチャ操作指示を行った物体の特定方法はこれに限定されない。例えば、ＣＰＵ３０２は、物体画像８２０に含まれる各物体の端部の座標を特定し、当該座標が破線８２３の領域に含まれるか否かを判定してもよい。この場合、物体の端部の座標は次のようにして特定する。物体の外接矩形の四辺の中から物体画像の端辺であり、かつ、非透明画素が最も多く内接する辺を決定する。そして当該辺の反対側の辺に内接している非透明画素を物体の端部として算出する（当該非透明画素が複数ある場合は、例えば、中央の画素を選択する）。図８（ｃ）に示すように、物体８０１の場合、端部の座標は（Ｕ１，Ｖ１）となる。
【００８８】
なお、ステップＳ７０１の物体検出処理により取得した物体画像８００と、ステップＳ７０３でキャプチャ操作指示を行った物体の特定結果とを、ＲＡＭ３０３に一時的に記憶しておく。ここで、キャプチャ操作指示を行った物体の特定結果とは、例えば、本実施例においては、キャプチャ操作指示を行った物体は物体画像８００に含まれる物体のうち最も左側の物体であるという情報を指す。
【００８９】
ステップＳ７０４では、ＣＰＵ３０２は、ステップＳ７０３で特定されたキャプチャ操作指示を行った物体が、キャプチャ領域４０１内（対象領域内）にあるか否かを判定する。ＣＰＵ３０２は、物体画像８００内のキャプチャ領域４０１に相当する領域内に、キャプチャ操作指示を行った物体が含まれるかを判定する。含まれると判定する場合には、処理をステップＳ７０５へ進める。含まれないと判定する場合には、処理をステップＳ７０７へ進める。なお、物体画像８００内でキャプチャ領域４０１に相当する領域は、事前のキャリブレーション処理によって算出されている。
【００９０】
ステップＳ７０５では、ＣＰＵ３０２は、再度、物体検出処理を行い、物体画像８００ａ（不図示）を取得する。本ステップはステップＳ７０１と同様である。
【００９１】
ステップＳ７０６では、ＣＰＵ３０２は、キャプチャ操作指示を行った物体を、ステップＳ７０５で取得した物体画像８００ａ内において追跡して特定する。ステップＳ７０１で物体画像８００を取得し、ステップＳ７０３で当該物体画像８００内においてキャプチャ操作指示を行った物体を特定した時点から一定の時間が経過している。よって、ステップＳ７０５で取得した物体画像８００ａにおいては、キャプチャ操作指示を行った物体が移動していることが想定される。よって、キャプチャ操作指示を行った後に移動した物体を、ステップＳ７０５で取得した物体画像８００ａ内において追跡して特定する必要がある。ＣＰＵ３０２は、ＲＡＭ３０３に一時的に記憶している物体画像８００とキャプチャ操作指示を行った物体の特定結果とを読み出す。そして、ステップＳ７０５で取得した物体画像８００ａ内の物体のそれぞれと、物体画像８００に含まれる前記特定結果により特定される以前にキャプチャ操作指示を行った物体との重なり具合を評価する。最も重なり具体の高い物体を、ステップＳ７０５で取得した物体画像８００ａにおいて追跡される、以前にキャプチャ操作指示を行った物体として特定する。また、ＲＡＭ３０３に一時的に記憶している物体画像８００を物体画像８００ａで更新すると共に、キャプチャ操作指示を行った物体の特定結果を上記追跡される物体の特定結果で更新する。そして、処理をステップＳ７０４へ戻すが、そこでは本ステップＳ７０６により追跡・特定されたキャプチャ操作指示を行った物体に対して、キャプチャ領域４０１内にあるか否かを判定する。
【００９２】
一方、ステップＳ７０４の判定の結果、キャプチャ操作指示を行った物体がキャプチャ領域４０１内にないと判定された場合、ステップＳ７０７に進む。ステップＳ７０７では、ＣＰＵ３０２は、ディスプレイコントローラ３０８及びプロジェクタ２０３を制御して、操作メニュー５００を一時的に非表示にする。これにより、次のステップＳ７０８における撮影の結果得られるキャプチャ画像８６０の内容に操作メニュー５００が含まれなくすることができる。
【００９３】
ステップＳ７０８において、ＣＰＵ３０２は、カメラ２０２を制御して、机上面を撮影し、撮影画像を取得する。
【００９４】
ステップＳ７０９において、ＣＰＵ３０２は、ステップＳ７０８で取得した撮影画像内におけるキャプチャ領域４０１に相当する領域の画像を射影変換してキャプチャ画像８６０を生成する。キャプチャ画像８６０のサイズとして、幅を「ｉｍａｇｅ＿ｗｉｄｔｈ」、高さを「ｉｍａｇｅ＿ｈｅｉｇｈｔ」とする。本実施例においては、キャプチャ画像８６０のサイズを、ｉｍａｇｅ＿ｗｉｄｔｈ＝１９２０ドット、ｉｍａｇｅ＿ｈｅｉｇｈｔ＝１０８０ドットとするが、これに限定されない。図８（ｄ）は、本ステップＳ７０９における射影変換を説明する図である。破線８４１は、撮影画像８４０内のキャプチャ領域４０１に相当する領域を示した物である。また、キャプチャ画像８６０は、撮影画像８４０を射影変換して得られた画像である。撮影画像８４０とキャプチャ画像８６０の、各座標が次の対応となるように射影変換を行う。撮影画像８４０の座標（Ｌ８４１，Ｍ８４１）がキャプチャ画像８６０の座標（０，０）になる。撮影画像８４０の座標（Ｌ８４２，Ｍ８４２）がキャプチャ画像８６０の座標（０，ｉｍａｇｅ＿ｈｅｉｇｈｔ  −  １）になる。撮影画像８４０の座標（Ｌ８４３，Ｍ８４３）がキャプチャ画像８６０の座標（ｉｍａｇｅ＿ｗｉｄｔｈ  −  １，ｉｍａｇｅ＿ｈｅｉｇｈｔ  −  １）になる。撮影画像８４０の座標（Ｌ８４４，Ｍ８４４）がキャプチャ画像８６０の座標（ｉｍａｇｅ＿ｗｉｄｔｈ  −  １，０）になる。なお、本ステップ７０９における射影変換に必要となるパラメータは、事前のキャリブレーションで取得されている。生成したキャプチャ画像８６０は、ＨＤＤ３０５ないし外部メモリ３１３に記録する。あるいは、ネットワークＩ／Ｆ３０６を介して、ファイルサーバ１０２に送信する。
【００９５】
ステップＳ７１０において、ＣＰＵ３０２は、ディスプレイコントローラ３０８及びプロジェクタ２０３を制御して、操作メニュー５００を再度表示する。
【００９６】
なお、ステップＳ７０１とステップＳ７０５の物体検出処理は、キャプチャの操作指示を行った物体が、キャプチャ領域４０１外に移動するまで複数回実行されると想定されるが、その処理間隔は人間の動作に対して十分に短い時間間隔となる。例えば、２４ＦＰＳ（Ｆｒａｍｅ  Ｐｅｒ  Ｓｅｃｏｎｄ）相当の処理間隔となる。
【００９７】
また、なお、本実施例では、撮影領域４０２の一部をキャプチャ領域４０１とする例を説明したが、撮影領域４０２とキャプチャ領域４０１を一致させてもよい。すなわち、撮影画像の全部をキャプチャ画像としてもよい。
【００９８】
また、本実施例では、ステップＳ７０４において、キャプチャ操作指示を行った物体がキャプチャ領域に含まれなくなったと判定された場合にステップＳ７０８で撮影を行ったが、これに限定されない。キャプチャ領域４０１は撮影領域４０２に内包されるため、例えば、ステップＳ７０４において、キャプチャ操作指示を行った物体が撮影領域４０２に含まれなくなったと判定された場合にステップＳ７０８で撮影を行ってもよい。
【００９９】
以上説明したように、本実施例によれば、キャプチャ領域４０１内に表示されたキャプチャボタン５０３へのタッチを行ったユーザの手などの物体が、キャプチャ画像に写り込むことを低減することができる。一方で、電子資料１０５の指差しや机上に置かれたサンプル品の把持などを行うユーザの手は、キャプチャ画像に含めることができる。
【０１００】
（実施例２）
本実施例では、会議システムの画面について、実施例１とは異なる構成の場合について説明する。実施例１との差分のみ説明する。
【０１０１】
まず、本実施例における会議システムに関して説明する。実施例１では、情報処理装置１０１にタッチマット２０５が接続されていたが、本実施例ではタッチマット２０５は接続されない。次の方法でユーザによるタッチ操作を受け付ける。
【０１０２】
実施例１において、ＣＰＵ３０２が、デプスセンサ２０４が図７（ｃ）の距離画像生成処理によって生成した距離画像を取得し、図８（ａ）に示す物体画像８００を生成する方法を説明した。また、図８（ｂ）を用いて、物体画像８００を投影座標系に射影変換する方法を説明した。さらに、物体画像８００に含まれる物体８０１について、図８（ｃ）を用いて説明したように、その端点を取得する方法を説明した。本実施例では、ＣＰＵ３０２は、図８（ｂ）を用いて説明したのと同様の方法により、デプスセンサ２０４から取得した距離画像についても投影座標系に射影変換する。そして、図８（ｃ）を用いて説明した方法によって取得した物体の端点について、距離画像内の該当する画素の値を参照する。この画素の値（距離値）が予め決定した閾値以下であるか、すなわちユーザの指先またはユーザが使用するペン先が机上近くに存在するか否かが判定される。この判定の結果が閾値以下であって、さらに、その物体の端点が図８（ｂ）のキャプチャボタン５０３の領域を示す破線８２３と重なっている場合、当該画素の座標位置に対してタッチが成されたとして判定する。
【０１０３】
情報処理装置１０１は、上述の方法で得たタッチ判定結果に基づいて、投影面に投影されているＧＵＩへの操作を検知することができる。
【０１０４】
次に、本実施例における、投影領域１０４と、キャプチャ領域９０１、カメラ２０２の撮影領域４０２、デプスセンサ２０４の３次元形状測定領域４０３の関係について説明する。図９は、本実施例におけるこれらの領域の関係を示す模式図である。
【０１０５】
実施例１とは異なり、図９に示すように、キャプチャ領域９０１は、投影領域１０４の部分領域である。
【０１０６】
次に、本実施例における、会議システムに用いられる机上にプロジェクタ２０３により投影される画像に含まれる操作メニュー１０００について説明する。
【０１０７】
図１０は、投影領域１０４に投影される画像に含まれる操作メニュー１０００を示す図である。
【０１０８】
操作メニュー１０００は、図１０に示すとおり、キャプチャ領域９０１の上部に常時表示されている。操作メニュー１０００は、開くボタン１００１、キャプチャボタン１００２、及び終了ボタン１００３を含む。
【０１０９】
開くボタン１００１、キャプチャボタン１００２、及び終了ボタン１００３へのタッチがあった場合、夫々図５の開くボタン５０２、キャプチャボタン５０３、終了ボタン５０４へのタッチがあった場合と同様の処理がＣＰＵ５０２により実行される。
【０１１０】
本実施例における、情報処理装置１０１の制御は、実施例１において、図６および図７を用いて説明した処理と同様である。尚、ステップＳ６０３では、ＣＰＵ３０２は、ユーザによりキャプチャ操作指示が成されたか否かを判定するが、キャプチャボタン５０３へのタッチ判定は、上述のようにデプスセンサ２０４を用いて取得した距離画像を用いて行う。そして、ステップＳ７２１では、ステップＳ６０３でタッチ判定に用いた距離画像を参照するようにしてもよい。また、実施例１では、ステップＳ７０７で操作メニュー５００を非表示としているが、本実施例では操作メニュー１０００は常時表示されるためステップＳ７０７の処理は行わずステップＳ７０４から直接ステップＳ７０８に進む。尚、実施例１においても、操作メニュー５００の代わりに操作メニュー１０００がステップＳ６０２の処理で表示されるようにしてもよい。この場合、実施例１においても同様にステップＳ７０７の処理は行わずステップＳ７０４から直接ステップＳ７０８に進む。
【０１１１】
以上説明したように、キャプチャの操作指示手段とユーザとの間にキャプチャ領域が存在する場合にも、キャプチャの操作指示手段に対して操作指示を行ったユーザの手などの物体が、キャプチャ画像に写り込むことを低減することができる。一方で、指し示しや物の把持などを行うユーザの手は、撮影画像に含めることができる。
【０１１２】
（実施例３）
本実施例では、キャプチャボタン５０３へのタッチを検出してから実際にカメラ２０２により撮影領域が撮影されキャプチャが実施されるまでの間の、会議システムの画面の表示制御について説明する。実施例１との差分のみ説明する。
【０１１３】
会議システムに用いられる机上にプロジェクタ２０３により投影される画像は、図５に示したとおりである。加えて、本実施例では、キャプチャボタン５０３へのタッチを検出し、キャプチャの操作指示が成されたと判定すると、キャプチャの操作指示を行ったユーザの手やペンなどの物体の位置に応じて画面の表示態様を変化させる。本実施例では、キャプチャの操作指示を行った物体がキャプチャボタン５０３から離れるに従って、徐々に透明に表示されるよう、操作メニュー５００の表示透過度を決定する。これによって、キャプチャの操作指示を行ったユーザの手やペンなどの物体が、キャプチャ領域４０１外へと移動することに伴ってキャプチャが実行されることを示唆する。当該表示透過度の決定方法の例を説明する。
【０１１４】
図１１は、本実施例に係る画面の表示態様の決定方法を説明する模式図である。ここでは、ユーザがキャプチャボタン５０３をタッチした後、手をキャプチャ領域４０１の外へ移動させている。
【０１１５】
投影座標系におけるキャプチャ操作指示を行った物体の端点座標は、実施例１において、図８（ｃ）を用いて説明した方法によって求めることができる。
【０１１６】
本実施例では、ユーザは、破線１１０１の線分に沿って手を移動させている。ここで、破線１１０１は、キャプチャボタン５０３の領域の中心点１１０２から始まり、キャプチャ操作指示を行った物体の端点１１０３を通り、キャプチャ領域４０１の端辺と交差する点１１０４までの線分である。ここで、中心点１１０２と端点１１０３までの距離をＤ１、点１１０３と点１１０４の距離をＤ２とすると、操作メニュー５００の表示透過度は以下の計算式により求められる。
【０１１７】
表示透過度Ａ＝Ｄ１／（Ｄ１＋Ｄ２）
これにより、操作メニュー５００は、キャプチャ操作指示を行った物体の端点がキャプチャボタン５０３の領域の中心点に近いほど不透明に表示され、離れるほど透明に表示される。
【０１１８】
なお、キャプチャ操作指示を行った物体がキャプチャ領域４０１外へと移動することに伴ってキャプチャが実行されることが示唆されるような他の方法によって表示透過度を算出してもよい。例えば、表示透過度Ａ１、Ａ２、Ａ３を定義する（Ａ１＜Ａ２＜Ａ３）。キャプチャボタン５０３がタッチされたら表示透過度をＡ１にする。そして、キャプチャ操作指示を行った物体の端点がキャプチャボタン５０３の領域外に至ったら、表示透過度をＡ２にする。さらに、キャプチャ操作指示を行った物体の端点が操作メニュー５００の領域外に至ったら、表示透過度をＡ３にする。
【０１１９】
次に、本実施例における、情報処理装置１０１の制御を説明する。実施例１との差分のみ説明する。
【０１２０】
図１２は、本実施例に係る図６のステップＳ６０４のキャプチャ処理の手順を示すフローチャートである。
【０１２１】
図１２において、ステップＳ７０１からステップＳ７１０は、図７（ａ）の同符号のステップと同様である。
【０１２２】
ステップＳ１２０１では、ＣＰＵ３０２は、操作メニュー５００の表示透過度を算出する。当該表示透過度は、ステップＳ７０５で取得した物体画像８００ａ内の物体であってステップＳ７０６で追跡・特定したキャプチャ操作指示を行った物体に対して、前述の方法を適用することで算出することができる。
【０１２３】
ステップＳ１２０２では、ＣＰＵ３０２は、ディスプレイコントローラ３０８及びプロジェクタ２０３を制御して、ステップＳ１２０１で計算した表示透過度となるよう、操作メニュー５００の表示を更新する。
【０１２４】
なお、本実施例では、実施例１の操作メニュー５００を例に説明したが、実施例２の操作メニュー１０００の形態においても適用することができる。この場合、ステップＳ１２０２では、ＣＰＵ３０２は、操作メニュー１０００の表示を更新する。
【０１２５】
また、本実施例では、キャプチャボタン５０３を含む操作メニュー５００の透過度を決定し会議システムの画面の表示を更新したが、キャプチャボタン５０３のみに適用してもよい。
【０１２６】
以上説明したように、本発明によれば、キャプチャの操作指示を行った物体が、キャプチャ対象の領域の外部に移動してから撮影を行う際に、当該物体の移動に伴い撮影が行われることを示唆するよう、画面を表示することができる。
【０１２７】
（実施例４）
本実施例では、キャプチャ操作指示手段が、情報処理装置１０１のハードウェアとして物理的に設けられる場合について説明する。実施例１との差分のみ説明する。
【０１２８】
図１３は、本実施例に係る情報処理装置１０１を含む会議システムの外観図である。図１３の情報処理装置１０１は、図１（ａ）と同様の構成を有するが、外装が装着されている。
【０１２９】
キャプチャボタン１３０１は、キャプチャ領域４０１外（対象領域外）に配される、情報処理装置１０１のハードウェアボタンであり、押下することにより、机上面の内容をキャプチャして画像として保存することができる。本実施例では、キャプチャボタン１３０１とキャプチャボタン５０３との両方からキャプチャの操作指示を行うことができる。
【０１３０】
次に、本実施例における情報処理装置１０１の制御について説明する。
【０１３１】
図１４は、本実施例における情報処理装置１０１の制御処理の手順を示すフローチャートである。ステップＳ６０１からステップＳ６０９は、図６の同符号のステップと同様である。
【０１３２】
ステップＳ１４０１では、ＣＰＵ３０２は、キャプチャボタン１３０１が押下されたか否かを判定する。ユーザがキャプチャボタン１３０１を押下していれば、処理をステップＳ１４０２へ進める。
【０１３３】
ステップＳ１４０２では、ＣＰＵ３０２は、キャプチャ処理を行う。本ステップはステップＳ６０４と同様である。
【０１３４】
次に、図１５のフローチャートを用いて、図１４のステップＳ６０４，Ｓ１４０２のキャプチャ処理について説明する。ステップＳ７０１からステップＳ７１０は、図７（ａ）の同符号のステップと同様である。
【０１３５】
ステップＳ１５０１では、ＣＰＵ３０２は、本処理がキャプチャボタン１３０１が押下されて実行されたのか否かを判定する。ユーザがキャプチャボタン１３０１を押下していれば、処理をステップＳ１５０２に進める。そうでなければ（すなわち、ユーザがキャプチャボタン５０３をタッチしていれば）、処理をステップＳ７０３に進める。
【０１３６】
ステップＳ１５０２では、ＣＰＵ３０２は、キャプチャボタン１３０１を押下して、キャプチャ操作指示を行った物体を推定して特定する。図１６は、ユーザがキャプチャボタン１３０１を押下した際に、デプスセンサ２０４により取得した距離画像１６００と、当該距離画像１６００の破線部分を射影変換した物体画像１６２０の例である。物体１６０１は、キャプチャボタン１３０１を押下するユーザの手である。また、物体１６０２は、投影領域１０４に投影された電子資料を指差すユーザの手である。情報処理装置１０１は、デプスセンサ２０４により机上面の３次元形状測定を行うことができるが、自機に具備されたキャプチャボタン１３０１近傍は画角に収まらず、計測することができない。このため、キャプチャボタン１３０１を押下した物体を推定する必要がある。ここでは、物体画像１６２０内の物体のうち、物体画像１６２０の上端辺（情報処理装置１０１の側の辺）と、上端辺以外の他の辺のうちの一辺とに交差する物体を、キャプチャボタン１３０１を押下した物体として推定する。
【０１３７】
以上説明したように、本発明は、キャプチャの操作指示手段が、情報処理装置のハードウェアとして物理的に設けられた場合にも適用することができる。
【０１３８】
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【０１３９】
１０１  情報処理装置
２０２  カメラ
２０３  プロジェクタ
２０４  デプスセンサ
２０５  タッチマット
３０１  制御部
４０１  キャプチャ領域
４０２  撮影領域
４０３  ３次元形状測定領域
５００  操作メニュー
【図１】
2018190144.tif 000003
【図２】
2018190144.tif 000004
【図３】
2018190144.tif 000005
【図４】
2018190144.tif 000006
【図５】
2018190144.tif 000007
【図６】
2018190144.tif 000008
【図７】
2018190144.tif 000009
【図８】
2018190144.tif 000010
【図９】
2018190144.tif 000011
【図１０】
2018190144.tif 000012
【図１１】
2018190144.tif 000013
【図１２】
2018190144.tif 000014
【図１３】
2018190144.tif 000015
【図１４】
2018190144.tif 000016
【図１５】
2018190144.tif 000017
【図１６】
2018190144.tif 000018