(57)【要約】【課題】変形可能な携帯型のスクリーンを用いた利便性の高い投影システムを提供する。【解決手段】投影システムは、変形可能な携帯型スクリーン４と、携帯型スクリーン４に向けて映像を投影する投影部２１と、検知対象領域における物体の各部分の位置を検知する物体検知部２２と、物体検知部２２において物体として検知された携帯型スクリーン４の検知結果に応じて、携帯型スクリーン４における映像の投影状態が一定に保たれるように投影部２１を制御する制御装置５とを有する。制御装置５は、物体検知部２２における携帯型スクリーン４の検知結果に基づいて、携帯型スクリーン４の変形の状態を判定し、判定した携帯型スクリーン４の変形の状態に応じて、携帯型スクリーン４における映像の投影状態を変更する。【選択図】図２
2019082650.tif 000002
【特許請求の範囲】
【請求項１】
携帯型のスクリーンと、
前記スクリーンに向けて映像を投影する投影部と、
検知対象領域における物体の各部分の位置を検知する物体検知部と、
前記物体検知部において前記物体として検知された前記スクリーンの検知結果に応じて、前記スクリーンにおける映像の投影状態が一定に保たれるように前記投影部を制御する制御部とを有し、
前記スクリーンは変形可能であり、
前記制御部は、
前記物体検知部における前記スクリーンの検知結果に基づいて、前記スクリーンの変形の状態を判定し、
前記判定した前記スクリーンの変形の状態に応じて、前記スクリーンにおける前記映像の投影状態を変更する、
投影システム。
【請求項２】
前記スクリーンにおける前記映像の投影状態は、
前記スクリーン上で映像が投影される範囲、及び、
前記スクリーンに対する映像の向き
の少なくとも一方を含む、
請求項１に記載の投影システム。
【請求項３】
前記スクリーンの表面には、前記変形の状態に応じて外見が異なる１つ以上のマークが設けられており、
前記制御部は、前記物体検知部において検知された前記１つ以上のマークに応じて前記変形の状態を判定する、
請求項１又は２に記載の投影システム。
【請求項４】
前記制御部は、
前記物体検知部の検知結果に基づいて前記スクリーンの輪郭を特定し、
前記特定した前記スクリーンの輪郭の内側に位置する前記１つ以上のマークを特定し、
前記特定した前記１つ以上のマークに基づいて前記変形の状態を判定する、
請求項３に記載の投影システム。
【請求項５】
前記スクリーンは、前記変形によって略面一に並んだ状態に展開可能な複数の投影面を含み、
前記複数の投影面の各々には、前記マークが少なくとも１つ設けられている、
請求項３又は４に記載の投影システム。
【請求項６】
前記スクリーンの表面に設けられた前記１つ以上のマークは、前記スクリーンの姿勢が異なる任意の２つの状態において比較した場合、少なくとも一部が不一致となるように形成されており、
前記制御部は、前記物体検知部において検知された前記１つ以上のマークが示す前記スクリーンの位置及び姿勢に応じて、前記スクリーンにおける前記映像の投影状態が一定に保たれるように前記投影部を制御する、
請求項３乃至５の何れか一項に記載の投影システム。
【請求項７】
前記スクリーンの表面には、回転対称でない多角形の頂点同士の位置関係に相当する相対的な位置関係を持った３以上の前記マークが設けられている、
請求項６に記載の投影システム。
【請求項８】
前記スクリーンは、前記変形によって略面一に並んだ状態に展開可能な複数の投影面を含み、
前記複数の投影面の各々には、前記３以上のマークが設けられている、
請求項７に記載の投影システム。
【請求項９】
少なくとも一部の前記マークは、回転対称でない形状を持つ、
請求項６乃至８の何れか一項に記載の投影システム。
【請求項１０】
前記制御部は、
前記物体検知部の検知結果に基づいて前記スクリーンの輪郭を特定し、
前記特定した前記スクリーンの輪郭の内側に位置する前記１つ以上のマークを特定し、
前記特定した前記１つ以上のマークが示す前記スクリーンの位置及び姿勢に応じて、前記スクリーンにおける前記映像の投影状態が一定に保たれるように前記投影部を制御する、
請求項６乃至９の何れか一項に記載の投影システム。
【請求項１１】
前記制御部は、
前記物体検知部の検知結果に基づいて前記スクリーンの輪郭を特定し、
前記特定した前記スクリーンの輪郭に基づいて前記変形の状態を判定する、
請求項１又は２に記載の投影システム。
【請求項１２】
前記制御部は、
前記物体検知部の検知結果に基づいて前記スクリーンの輪郭を特定し、
前記特定した前記スクリーンの輪郭が示す前記スクリーンの位置及び姿勢に応じて、前記スクリーンにおける前記映像の投影状態が一定に保たれるように前記投影部を制御する、
請求項１又は２に記載の投影システム。
【請求項１３】
投影先に存在する物体の各部分の位置を検知した結果に基づいて投影状態が一定となるように調整された映像が投影される携帯型のスクリーンであって、
略面一に並んだ状態に展開可能な複数の投影面を有し、
前記複数の投影面の各々には、前記スクリーンの姿勢が異なる任意の２つの状態において比較した場合、少なくとも一部が不一致となるように形成された少なくとも１つのマークが設けられている、
スクリーン。
【請求項１４】
前記スクリーンの表面には、回転対称でない多角形の頂点同士の位置関係に相当する相対的な位置関係を持った３以上の前記マークが設けられている、
請求項１３に記載のスクリーン。
【請求項１５】
少なくとも一部の前記マークは、回転対称でない形状を持つ、
請求項１３又は１４に記載のスクリーン。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、スクリーンに映像を投影する投影システムとそのスクリーンに関する。
【背景技術】
【０００２】
プロジェクタは、スクリーンを用いた簡易な設備で比較的大きな映像を表示できることから、プレゼンテーションや映画鑑賞などの様々な用途で広く活用されている。
【０００３】
またプロジェクタは、壁などに固定されたスクリーンに限らず、様々な対象物の上に映像を投影可能である。例えば、下記の特許文献には、カメラで撮像した画像に基づいて表示対象物とその位置を特定する機能、及び、投影可能エリア内における投影方向を任意に調整する機能を備えたプロジェクタ装置が記載されている。このプロジェクタ装置は、投影可能エリア内に電子ペーパーが置かれると、この電子ペーパーを表示対象物として特定するとともに、投影可能エリア内での電子ペーパーの位置を特定する。プロジェクタ装置は、表示可能エリアに置かれた電子ペーパーを特定すると、この電子ペーパーに対応付けられている所定の映像を、電子ペーパーの表面やその近傍に向けて投影する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１１０５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、携帯型のスクリーンに映像を投影させることを想定した場合、そのようなスクリーンは比較的小型であるため、例えば平面を折り畳む構造のように変形可能な構造にすることが容易である。従って、スクリーンの変形の状態に合わせて映像の投影状態（映像の大きさなど）を自動的に変更できれば、例えば会議で様々なサイズの資料を投影する場合などにおいて非常に便利である。しかしながら、上述した特許文献に記載される従来の装置では、表示対象物（電子ペーパー）に対応付けられた所定の映像を自動的に表示対象物へ投影することはできるものの、表示対象物の変形に応じて投影状態を変更することについては何も考慮されていない。
【０００６】
そこで、本開示は、変形可能な携帯型のスクリーンを用いた利便性の高い投影システムと、そのような投影システムに用いられるスクリーンを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の１つの側面に係る投影システムは、携帯型のスクリーンと、前記スクリーンに向けて映像を投影する投影部と、検知対象領域における物体の各部分の位置を検知する物体検知部と、前記物体検知部において前記物体として検知された前記スクリーンの検知結果に応じて、前記スクリーンにおける映像の投影状態が一定に保たれるように前記投影部を制御する制御部とを有する。前記スクリーンは変形可能である。前記制御部は、前記物体検知部における前記スクリーンの検知結果に基づいて、前記スクリーンの変形の状態を判定し、前記判定した前記スクリーンの変形の状態に応じて、前記スクリーンにおける前記映像の投影状態を変更する。
【０００８】
上記投影システムによれば、前記検知対象領域における前記スクリーンの各部分の位置が前記物体検知部により検知され、この検知結果に応じて、前記スクリーンにおける映像の投影状態が一定に保たれるように前記投影部が制御される。これにより、前記検知対象領域において前記スクリーンが動かされても、前記スクリーンにおける前記映像の投影状態が一定に保たれる。他方、前記スクリーンが変形された場合、その変形の状態が前記物体検知部の検知結果に基づいて判定され、判定された変形の状態に応じて、前記スクリーンにおける前記映像の投影状態が変更される。これにより、前記スクリーンの変形に合わせた前記映像の投影状態の変更を手動で行わずに済むため、利便性が向上する。
【０００９】
好適に、前記スクリーンにおける前記映像の投影状態は、前記スクリーン上で映像が投影される範囲、及び、前記スクリーンに対する映像の向きの少なくとも一方を含んでよい。
【００１０】
この構成によれば、前記スクリーンが変形された場合、その変形の状態に応じて、前記スクリーン上で映像が投影される範囲、及び、前記スクリーンに対する映像の向きの少なくとも一方が変更される。
【００１１】
好適に、前記スクリーンの表面には、前記変形の状態に応じて外見が異なる１つ以上のマークが設けられていてよい。前記制御部は、前記物体検知部において検知された前記１つ以上のマークに応じて前記変形の状態を判定してよい。
【００１２】
この構成によれば、前記スクリーンが変形された場合、前記スクリーンの表面に設けられた前記１つ以上のマークの外見が変化し、前記物体検知部における前記１つ以上のマークの検知結果が変化する。そのため、この検知結果の変化から、前記スクリーンの前記変形の状態が判定される。
【００１３】
好適に、前記制御部は、前記物体検知部の検知結果に基づいて前記スクリーンの輪郭を特定し、前記特定した前記スクリーンの輪郭の内側に位置する前記１つ以上のマークを特定し、前記特定した前記１つ以上のマークに基づいて前記変形の状態を判定してよい。
【００１４】
この構成によれば、前記物体検知部の検知結果に基づいて前記スクリーンの輪郭が特定され、前記特定された前記スクリーンの輪郭の内側に位置する前記１つ以上のマークが特定される。そのため、複数の前記スクリーンが存在する場合に、１つの前記スクリーンに設けられた前記マークが別の前記スクリーンに設けられたマークとして誤判定され難くなる。すなわち、個々の前記スクリーンに設けられた前記１つ以上のマークが正確に判別され易くなる。従って、複数の前記スクリーンが存在する場合でも、前記スクリーンの前記変形の状態が正確に判定され易くなる。
【００１５】
好適に、前記スクリーンは、前記変形によって略面一に並んだ状態に展開可能な複数の投影面を含んでよい。前記複数の投影面の各々には、前記マークが少なくとも１つ設けられていてよい。
【００１６】
この構成によれば、略面一に並んだ状態に展開可能な前記複数の投影面の各々に前記マークが設けられているため、前記投影面の展開状態に応じて、略面一に並んだ状態となる前記投影面の数が変化すると、前記物体検知部において検知される前記マークの数が変化する。従って、前記物体検知部において検知される前記マークの数に応じて、前記複数の投影面の展開状態を判別することが可能になる。
【００１７】
好適に、前記スクリーンの表面に設けられた前記１つ以上のマークは、前記スクリーンの姿勢が異なる任意の２つの状態において比較した場合、少なくとも一部が不一致となるように形成されていてよい。前記制御部は、前記物体検知部において検知された前記１つ以上のマークが示す前記スクリーンの位置及び姿勢に応じて、前記スクリーンにおける前記映像の投影状態が一定に保たれるように前記投影部を制御してよい。
【００１８】
この構成によれば、前記スクリーンの姿勢が異なる任意の２つの状態において比較した場合、前記スクリーンの表面に設けられた前記１つ以上のマークの少なくとも一部が不一致となり、重なり合わない。これにより、前記スクリーンの姿勢が変化すると、前記物体検知部において検知される前記１つ以上のマークの位置が少なくとも一部変化する。また、前記スクリーンの位置が変化した場合、前記物体検知部において検知される前記１つ以上のマークの位置が全て変化する。そのため、前記物体検知部における前記１つ以上のマークの検知結果から、前記スクリーンの位置及び姿勢を判別することが可能となる。
【００１９】
好適に、前記スクリーンの表面には、回転対称でない多角形の頂点同士の位置関係に相当する相対的な位置関係を持った３以上の前記マークが設けられていてよい。
【００２０】
この構成によれば、前記スクリーンの表面に設けられた前記３以上のマークが、回転対称でない多角形の頂点同士の位置関係に相当する相対的な位置関係を持つ。そのため、前記スクリーンの姿勢がどのように変化しても、前記３つ以上のマークの少なくとも一部が不一致となり、重なり合わない。
【００２１】
好適に、前記スクリーンは、前記変形によって略面一に並んだ状態に展開可能な複数の投影面を含んでよい。前記複数の投影面の各々には、前記３以上のマークが設けられていてよい。
【００２２】
この構成によれば、略面一に並んだ状態に展開可能な前記複数の投影面の各々に前記３以上のマークが設けられているため、前記投影面の展開状態に応じて、略面一に並んだ状態となる前記投影面の数が変化し、前記物体検知部において検知される前記マークの数が変化する。これにより、前記物体検知部において検知される前記マークの数に応じて、前記複数の投影面の展開状態を判別することが可能になる。また、前記複数の投影面の各々に前記３以上のマークが設けられているため、前記物体検知部の検知結果から、各投影面の位置及び姿勢を判別することが可能となる。これにより、略面一に並んだ複数の前記投影面の全体的な位置及び姿勢も判別可能となる。
【００２３】
好適に、少なくとも一部の前記マークは、回転対称でない形状を持ってよい。
【００２４】
この構成によれば、前記スクリーンの表面に設けられた少なくとも一部の前記マークが回転対称でない形状を持つため、前記スクリーンの姿勢がどのように変化しても、前記マークの少なくとも一部が不一致となり、重なり合わない。
【００２５】
好適に、前記制御部は、前記物体検知部の検知結果に基づいて前記スクリーンの輪郭を特定し、前記特定した前記スクリーンの輪郭の内側に位置する前記１つ以上のマークを特定し、前記特定した前記１つ以上のマークが示す前記スクリーンの位置及び姿勢に応じて、前記スクリーンにおける前記映像の投影状態が一定に保たれるように前記投影部を制御してよい。
【００２６】
この構成によれば、前記物体検知部の検知結果に基づいて前記スクリーンの輪郭が特定され、前記特定された前記スクリーンの輪郭の内側に位置する前記１つ以上のマークが特定される。そのため、複数の前記スクリーンが存在する場合に、１つの前記スクリーンに設けられた前記マークが別の前記スクリーンに設けられたマークとして誤判定され難くなる。すなわち、個々の前記スクリーンに設けられた前記１つ以上のマークが正確に判別され易くなる。従って、前記物体検知部における前記１つ以上のマークの検知結果から、前記スクリーンの位置及び姿勢が正確に判別され易くなり、前記スクリーンにおける前記映像の投影状態が一定に保たれ易くなる。
【００２７】
好適に、前記制御部は、前記物体検知部の検知結果に基づいて前記スクリーンの輪郭を特定し、前記特定した前記スクリーンの輪郭に基づいて前記変形の状態を判定してよい。
【００２８】
好適に、前記制御部は、前記物体検知部の検知結果に基づいて前記スクリーンの輪郭を特定し、前記特定した前記スクリーンの輪郭が示す前記スクリーンの位置及び姿勢に応じて、前記スクリーンにおける前記映像の投影状態が一定に保たれるように前記投影部を制御してよい。
【００２９】
本開示の他の１つの側面は、投影先に存在する物体の各部分の位置を検知した結果に基づいて投影状態が一定となるように調整された映像が投影される携帯型のスクリーンに関する。このスクリーンは、略面一に並んだ状態に展開可能な複数の投影面を有し、前記複数の投影面の各々には、前記スクリーンの姿勢が異なる任意の２つの状態において比較した場合、少なくとも一部が不一致となるように形成された少なくとも１つのマークが設けられている。
【００３０】
この構成によれば、前記スクリーンの姿勢が異なる任意の２つの状態において比較した場合、前記スクリーンの表面に設けられた少なくとも１つの前記マークの少なくとも一部が不一致となり、重なり合わない。これにより、前記スクリーンの姿勢が変化すると、検知される前記少なくとも１つのマークの位置が少なくとも一部変化する。また、前記スクリーンの位置が変化した場合、検知される前記少なくとも１つのマークの位置が全て変化する。そのため、前記少なくとも１つのマークの位置を検知した結果から、前記スクリーンの位置及び姿勢を判別することが可能となり、判別した位置及び姿勢に基づいて、投影状態が一定となるように調整された映像を投影することが可能となる。
【００３１】
また、略面一に並んだ状態に展開可能な前記複数の投影面の各々に前記少なくとも１つのマークが設けられているため、前記投影面の展開状態に応じて、略面一に並んだ状態となる前記投影面の数が変化し、検知される前記マークの数が変化する。これにより、検知される前記マークの数に応じて、前記複数の投影面の展開状態を判別することが可能になる。
【００３２】
好適に、前記スクリーンの表面には、回転対称でない多角形の頂点同士の位置関係に相当する相対的な位置関係を持った３以上の前記マークが設けられていてよい。また好適に、少なくとも一部の前記マークは、回転対称でない形状を持ってよい。
【発明の効果】
【００３３】
本開示によれば、変形可能な携帯型のスクリーンを用いた利便性の高い投影システムと、そのような投影システムに用いられるスクリーンを提供できる。
【図面の簡単な説明】
【００３４】
【図１】図１Ａは、本実施形態に係る投影システムの一例を示す図であり、卓上型スクリーンを用いた投影システムを示す。図１Ｂは、卓上型スクリーンの一例を示す図である。
【図２】図２Ａは、本実施形態に係る投影システムの一例を示す図であり、携帯型スクリーンを用いた投影システムを示す。図２Ｂ〜図２Ｃは、携帯型スクリーンの一例を示す図である。
【図３】図３は、本実施形態に係る投影システムの構成の一例を示す図である。
【図４】図４は、多機能プロジェクタの構成の一例を示す図である。
【図５】図５は、卓上型スクリーンの構成の一例を示す図である。
【図６】図６は、携帯型スクリーンの構成の一例を示す図である。
【図７】図７は、制御装置の構成の一例を示す図である。
【図８】図８は、スクリーンにおける映像の投影状態が一定に保たれることを説明するための図である。
【図９】図９Ａ〜図９Ｄは、複数のスクリーンに映像を投影する方法を説明するための図である。
【図１０】図１０Ａ〜図１０Ｂは、スクリーンに表示される映像の例を示す図であり、ページの切り替えに用いられる仮想的なタブの例を示す。
【図１１】図１１Ａは、手書き操作に応じて映像を更新する例を示す図である。図１１Ｂは、手書き操作の有無の判定に接触センサの検出結果を利用する例を示す図である。
【図１２】図１２Ａ〜図１２Ｃは、携帯型スクリーンの一例を示す図である。
【図１３】図１３Ａ〜図１３Ｄは、携帯型スクリーンの他の例を示す図である。
【図１４】図１４Ａ〜図１４Ｃは、携帯型スクリーンの他の例を示す図である。
【図１５】図１５Ａ〜図１５Ｄは、携帯型スクリーンの他の例を示す図である。
【図１６】図１６Ａ〜図１６Ｃは、携帯型スクリーンの他の例を示す図である。
【図１７】図１７は、映像の投影状態の制御に関する処理の第１の例を説明するためのフローチャートである。
【図１８】図１８Ａ〜図１８Ｄは、スクリーンに設けられるマークの例を示す図である。
【図１９】図１９は、映像の投影状態の制御に関する処理の第２の例を説明するためのフローチャートである。
【図２０】図２０は、映像の投影状態の制御に関する処理の第３の例を説明するためのフローチャートである。
【発明を実施するための形態】
【００３５】
以下、本実施形態に係る投影システムについて図面を参照して説明する。本実施形態に係る投影システムは、単に映像を投影するだけでなく、使用者のジェスチャーやスクリーンの移動などをセンサにより検知して、映像の投影を双方向的に制御する機能を持つ。この投影システムは、例えば会議や研修、授業などにおいて資料等の映像をスクリーンに投影する機能のほか、使用者ごとに閲覧可能な資料等を制限する機能、議事録を自動的に生成する機能などを備える。
【００３６】
図１Ａは、本実施形態に係る投影システムの一例を示す図であり、卓上型スクリーン３を用いた投影システムを示す。また図２Ａは、本実施形態に係る投影システムの他の一例を示す図であり、携帯型スクリーン４を用いた投影システムを示す。これらの例に示す投影システムは、会議室の天井などに設置された多機能プロジェクタ２と、映像が投影される卓上型スクリーン３若しくは携帯型スクリーン４とを有する。図の例では、多機能プロジェクタ２の下方に机１２が配置され、机１２の上に置かれた卓上型スクリーン３や携帯型スクリーン４に向けて多機能プロジェクタ２から映像が投影される。使用者は、机１２の周囲に配置された座席１１に着座して、これらのスクリーン（３，４）に投影される映像を見ながら会議等を行う。
【００３７】
なお、図１Ａ及び図２Ａの例では、卓上型スクリーン３のみ又は携帯型スクリーン４のみが使用されているが、これらのスクリーン（３，４）は机１２の上で両方同時に使用されてもよい。この場合、多機能プロジェクタ２は、各スクリーン（３，４）への映像の投影を並行して行う。
【００３８】
図１Ｂは、卓上型スクリーン３の一例を示す図である。図１Ｂに示す卓上型スクリーン３は、ほぼ矩形の平らな投影面３１１を持った平板状の部材である。投影面３１１には、例えば汎用のプロジェクタ用スクリーンや、反射効率が高いディンプル反射板による高効率スクリーンなどが用いられる。
【００３９】
卓上型スクリーン３の投影面３１１の対角の隅には、星形のマーク３０１及び３０２が設けられている。マーク３０１及び３０２は、後述する物体検知部２２によって検知され、卓上型スクリーン３の位置及び姿勢の判定に使用される。マーク３０１及び３０２は、例えば、特定の波長の光（不可視の赤外線や紫外線など）を受けて蛍光を発生する不可視インクで印刷されたマークでもよいし、一般的な可視のインクで印刷されたマークでもよい。また、マーク３０１及び３０２は、投影光を反射する反射板や、発光素子（発光ダイオード等）でもよい。なお、マーク３０１および３０２は、感熱性インクや電子ペーパー等を用いて書き換え可能に構成されても良い。
【００４０】
卓上型スクリーン３は、四辺の縁の近くに複数のマイク３１とスピーカ３２を備える。複数のマイク３１は、発話者の位置を特定する処理のために異なる場所で発話者の音声を集音する。また、一部のマイク３１は、ノイズ除去処理のために音声以外の環境音を集音する。スピーカ３２は、投影面３１１における使用者の所定のジェスチャーに対応した操作音（クリック音など）や、任意のオーディオデータによる音を発生する。なお、マイク３１やスピーカ３２は、卓上スクリーン３の外縁の端面（卓上スクリーン３の厚みの範囲内）に収容されていても良い。これにより、投影面３１１に対して多機能プロジェクタ２から映像が投影された際に、マイク３１やスピーカ３２に映像が重なることを防止できる。
【００４１】
図２Ｂ〜図２Ｃは、携帯型スクリーン４の一例を示す図である。この図の例において、携帯型スクリーン４はノートのように開閉（変形）可能である。図２Ｂは、閉じた状態における携帯型スクリーン４の表紙４５０を示す。図２Ｂの例において、携帯型スクリーン４の表紙４５０には、使用者の識別情報を含んだ２次元コード４５１と、使用者の顔の写真４５２とが印刷若しくは貼り付けられている。なお、使用者の識別情報を含んだ２次元コード４５１や、使用者の顔の写真４５２は、感熱性インクや電子ペーパー等を用いて書き換え可能に構成されても良い。
【００４２】
図２Ｃは、開いた状態における携帯型スクリーン４の投影面４１１−1，４１１−２を示す。図２Ｃの例において、携帯型スクリーン４は、折り畳み可能な２つの投影面４１１−1及び４１１−２を含む。投影面４１１−1及び４１１−２（以下、区別せずに「投影面４１１」と記す場合がある。）には、例えば汎用のプロジェクタ用スクリーンやディンプル反射板による高効率スクリーンなどが用いられる。
【００４３】
携帯型スクリーン４の２つの投影面４１１には、それぞれ３つのマーク４０１〜４０３が設けられている。マーク４０１〜４０３は、後述する物体検知部２２によって検知され、各投影面４１１の位置及び姿勢の判定や、携帯型スクリーン４の変形状態（開閉状態）の判定に使用される。マーク４０１〜４０３は、インク（不可視インクなど）で印刷されたマークでもよいし、反射板や発光素子でもよい。なお、マーク４０１〜４０３は、感熱性インクや電子ペーパー等を用いて書き換え可能に構成されても良い。
【００４４】
また２つの投影面４１１の端部には、複数のマイク４３とスピーカ４４が設けられている。複数のマイク４３は、発話者の音声やノイズ除去用の環境音を集音する。スピーカ４４は、２つの投影面４１１における使用者の所定のジェスチャーに対応した操作音や、任意のオーディオデータによる音を発生する。マイク４３やスピーカ４４は、投影面４１１−１，４１１−２の外縁の端面における厚みの範囲内に収容されていても良い。これにより、投影面４１１−１，４１１−２に対して多機能プロジェクタ２から映像が投影された際に、マイク４３やスピーカ４４に映像が重なることを防止できる。
【００４５】
図３は、本実施形態に係る投影システムの構成の一例を示す図である。本実施形態に係る投影システムは、全体的な動作を統括的に制御する制御装置５を有する。多機能プロジェクタ２、卓上型スクリーン３及び携帯型スクリーン４は、例えば図３に示すように、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線通信方式によって制御装置５とそれぞれ通信する。なお、制御装置５との通信は無線通信に限らず、有線の通信でもよい。また、制御装置５を構成する１以上のブロックの少なくとも一部が、他の１以上の装置（例えば多機能プロジェクタ２）に組み込まれていてもよい。
【００４６】
更に制御装置５は、ＬＡＮやその他のネットワークに接続されたサーバ６と通信を行う。制御装置５は、多機能プロジェクタ２が投影する映像のデータや、スクリーン（３，４）のスピーカ（３２，４４）が出力する音のデータ、使用者の識別情報を認証するための情報などをサーバ６から取得する。
【００４７】
図４は、多機能プロジェクタ２の構成の一例を示す図である。図４に示す多機能プロジェクタ２は、投影部２１と、物体検知部２２と、撮像部２３と、通信部２４と、制御部２５とを有する。
【００４８】
投影部２１は、映像を投影する装置である。例えば、投影部２１は、ＬＣＤパネルに光源からの光を通して、ピクセルごとに光を透過させるか遮断するかの制御を行ない、映像を表示させる液晶プロジェクタや、レーザー光源からのレーザー光をＭＥＭＳミラーで反射させ所定領域で走査させることで映像を表示させるレーザープロジェクタ等を含む。
【００４９】
本実施形態において、投影部２１は、制御部２５の制御に応じて投影方向を可変する機能や、投影先における光学像の歪みを補正する機能を備える。例えば投影部２１は、光学系をアクチュエータなどで駆動し、光軸の方向や光学像の形状を調節する。
【００５０】
物体検知部２２は、検知対象領域における物体の各部分の位置を検知する。検知対象領域は、例えば投影部２１の投影範囲を含む３次元の空間であり、物体検知部２２はこの３次元の空間に存在する物体の各部分の位置、すなわち、奥行きを持った３次元の形状を検知する。例えば物体検知部２２は、所定の位置から所定のパターンを持つ赤外光線を検知対象の空間に照射し、空間に存在する物体（携帯型スクリーン４や他の検知対象物１４）で反射された赤外光線の画像を別の位置のカメラで撮像する。物体検知部２２は、撮像した画像における赤外光線のパターンの歪みに基づいて、物体の３次元の形状に関する情報を取得する。あるいは、物体検知部２２は、レーザから照射した赤外光線が物体で反射されて光学センサで受光されるまでの時間を検知する方式や、異なる位置で撮像された画像のずれを検知する方式など、既に知られている種々の方式によって物体の３次元の情報を取得してもよい。
【００５１】
なお、検知対象領域が２次元の平面（例えば机１２の上の平面）であり、物体（例えば携帯型スクリーン４）の奥行の情報を無視しても物体の位置と姿勢（平面上での回転方向）を検知できる場合、物体検知部２２は２次元画像を撮像するカメラなどでもよい。
【００５２】
撮像部２３は、投影部２１が映像を投影可能な投影範囲と、その周囲を撮像する。撮像部２３が撮像した画像は、投影部２１の投影範囲に接近する使用者１３の検知や、投影範囲の周囲における使用者１３の位置の判定、使用者１３の顔の表情やしぐさなどに関する情報の取得などに用いられる。
【００５３】
通信部２４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線通信方式によって制御装置５と通信を行う装置であり、所定のベースバンド処理を行う回路や送受信回路を含む。
【００５４】
制御部２５は、多機能プロジェクタ２の各構成要素を制御する装置であり、例えばメモリに記憶されるプログラムの命令コードに従って処理を実行するコンピュータを含む。制御部２５は、制御装置５から送られてくるコマンドに応じて、投影部２１における投影方向の制御や光学像の形状の補正を行うとともに、制御装置５から受信した映像データを投影部２１に入力して、映像データに応じた映像を投影する処理を行う。また制御部２５は、物体検知部２２における物体の検知結果や撮像部２３における撮像画像を取得し、制御装置５へ送信する処理を行う。
【００５５】
なお、図４の例では多機能プロジェクタ２の中に物体検知部２２と撮像部２３が含まれているが、これらの装置はそれぞれ独立に設けられていてもよい。
【００５６】
図５は、卓上型スクリーン３の構成の一例を示す図である。図５に示す卓上型スクリーン３は、複数のマイク３１と、複数のスピーカ３２と、入力部３３と、通信部３４と、制御部３５とを有する。また卓上型スクリーン３は、内部の電子回路に電源を供給するためのバッテリ（不図示）を搭載する。
【００５７】
複数のマイク３１（図１Ｂの例では６個）は、発話者の音声やノイズ除去用の環境音をそれぞれ集音する。
【００５８】
複数のスピーカ３２（図１Ｂの例では２個）は、使用者の所定のジェスチャーに応じた操作音や、任意のオーディオデータによる音をそれぞれ発生する。
【００５９】
入力部３３は、使用者の指示を入力するための装置であり、図１Ｂの例では、投影面３１１の側縁部に設けられた回転式のダイヤルを含む。入力部３３は、このダイヤルの回転に応じた信号を制御部３５に入力する。入力部３３から入力された信号は、使用者の指示を表す情報として通信部３４から制御装置５に送信され、映像中の文書のページを送る処理などに使用される。
【００６０】
通信部３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線通信方式によって制御装置５と通信を行う装置であり、所定のベースバンド処理を行う回路や送受信回路を含む。
【００６１】
制御部３５は、卓上型スクリーン３の各構成要素を制御する装置であり、例えばメモリに記憶されるプログラムの命令コードに従って処理を実行するコンピュータを含む。制御部３５は、複数のマイク３１で集音された音のデータを制御装置５へ送信する処理や、制御装置５から受信したオーディオデータに基づいてスピーカ３２から音を出力する処理、入力部３３で得られた使用者の指示に関する情報を制御装置５へ送信する処理などを行う。
【００６２】
図６は、携帯型スクリーン４の構成の一例を示す図である。図６に示す携帯型スクリーン４は、接触センサ４１と、振動発生器４２と、複数のマイク４３と、スピーカ４４と、入力部４５及び４６と、通信部４７と、制御部４８とを有する。また携帯型スクリーン４は、内部の電子回路に電源を供給するためのバッテリ（不図示）を搭載する。
【００６３】
接触センサ４１は、投影面４１１における指などの物体の接触を検知するセンサであり、例えば物体の接触に伴う圧力の変化を検知する圧電素子を含む。あるいは接触センサ４１は、物体の接触に伴う種々の物理量（静電容量、抵抗、温度など）の変化を検知するセンサを含んでもよい。
【００６４】
振動発生器４２は、投影面４１１に接触する指などへ振動を伝える装置であり、例えば圧電振動子やモーターなど、振動を発生可能な種々のアクチュエータを含む。
【００６５】
なお、接触センサ４１や振動発生器４２と同様なセンサやアクチュエータは、上述した卓上型スクリーン３にも搭載可能である。
【００６６】
複数のマイク４３（図２Ｂの例では２個）は、それぞれ発話者の音声やノイズ除去用の環境音を集音する。
【００６７】
スピーカ４４は、使用者の所定のジェスチャーに応じた操作音や、任意のオーディオデータによる音を発生する。
【００６８】
入力部４５及び４６は、使用者の指示を入力するための装置である。図２Ｂの例において、入力部４５及び４６はそれぞれ回転式のダイヤルを含む。入力部４５のダイヤルは２つの投影面４１１の折り畳み位置に近い側縁部に設けられており、入力部４６のダイヤルは折り畳み位置から離れた投影面４１１の側縁部の中央付近に設けられている。入力部４５及び４６は、ダイヤルの回転に応じた信号をそれぞれ制御部４８に入力する。入力部４５及び４６から入力された信号は、使用者の指示を表す情報として通信部４７から制御装置５に送信され、映像中の文書のページを送る処理などに使用される。
【００６９】
通信部４７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線通信方式によって制御装置５と通信を行う装置であり、所定のベースバンド処理を行う回路や送受信回路を含む。
【００７０】
制御部４８は、携帯型スクリーン４の各構成要素を制御する装置であり、例えばメモリに記憶されるプログラムの命令コードに従って処理を実行するコンピュータを含む。制御部４８は、投影面４１１への接触を検知する接触センサ４１の検知結果を制御装置５へ送信する処理や、制御装置５から送られてきたコマンドに応じて振動発生器４２を振動させ、投影面４１１に触れた指等に振動を触知させる処理を行う。また、制御部４８は、複数のマイク４３で集音された音のデータを制御装置５へ送信する処理や、制御装置５から受信したオーディオデータに基づいてスピーカ４４から音を出力する処理、入力部４５及び４６で得られた使用者の指示に関する情報を制御装置５へ送信する処理なども行う。
【００７１】
図７は、制御装置５の構成の一例を示す図である。図７に示す制御装置５は、表示部５１と、入力部５２と、通信部５３及び５４と、制御部５５とを有する。
【００７２】
表示部５１は、画像を表示する装置であり、例えば液晶ディスプレイや有機ＥＬディスプレイなどを含む。
【００７３】
入力部５２は、投影システムの管理者が指示を入力するための装置であり、例えばキーボードやマウス、タッチパッドなどを含む。
【００７４】
通信部５３は、投影システムにおける各構成要素（多機能プロジェクタ２、卓上型スクリーン３、携帯型スクリーン４）と無線通信を行う装置であり、例えばＢｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの所定の無線通信方式により通信を行う。通信部５３は、所定の無線通信方式に適合したベースバンド処理回路や送受信回路を含む。
【００７５】
通信部５４は、ＬＡＮやその他のネットワークに接続されたサーバ６と通信を行う装置であり、例えばイーサネット（登録商標）などの所定の通信方式に適合したベースバンド処理回路や送受信回路を含む。
【００７６】
制御部５５は、制御装置５による投影システムの全体的な制御を司る装置であり、図７の例では、処理部５６と記憶部５７を含む。処理部５６は、記憶部５７に格納されたプログラムの命令コードに従って処理を実行するコンピュータを含む。記憶部５７は、例えばＲＡＭやフラッシュＲＯＭ、ハードディスク、光ディスクなどの記憶装置を含む。処理部５６における全ての処理は、コンピュータにおいてプログラムに従って実行させてもよいし、少なくとも一部を専用のハードウェア（ロジック回路）で実行させてもよい。処理部５６のコンピュータが実行するプログラムは、記憶部５７に全て記憶されていてもよいし、少なくとも一部をサーバ６や他の外部の装置から適宜ダウンロードしてもよい。
【００７７】
次に、上述した構成を有する投影システムの動作を説明する。
【００７８】
＜開始時の動作＞
制御装置５は、投影部２１の投影範囲の周囲を撮像した撮像部２３の画像に基づいて、投影範囲への使用者の接近を監視する。例えば制御装置５は、サーバ６に予め登録されたミーティングに関する情報（ミーティング情報）を参照し、ミーティング情報に含まれるミーティングの開始時刻の情報に基づいて、開始時刻の所定時間前から使用者の接近を監視する。制御装置５は、投影範囲へ使用者が接近したことを判定すると（例えば会議室の入り口付近の画像で人物の動きを捉えると）、投影部２１を起動させる。
【００７９】
制御装置５は、投影部２１の投影範囲へ使用者が接近したことを判定した場合、使用者が投影範囲を容易に認識できるようにするため、投影範囲を光学像や照明光で指示するように投影部２１を制御する。この場合、制御装置５は、上述したミーティング情報に登録されている席次の情報を参照して、各使用者を決められた座席１１に誘導してもよい。例えば、制御装置５は、各座席１１に着席する使用者の情報をミーティング情報から取得し、この取得した情報に基づいて、着席する使用者の氏名等を各座席１１の近くに表示させてもよい。
【００８０】
＜携帯型スクリーン４を所有する使用者の認証＞
制御装置５は、物体検知部２２の検知結果に基づいて、投影部２１の投影範囲に位置する物体から携帯型スクリーン４を特定する。投影部２１の投影範囲内で新たな携帯型スクリーン４が特定され、その表紙４５０が物体検知部２２の検知可能な方向（図２Ａの例では上側）に向けられている場合、制御装置５は、物体検知部２２により得られた表紙４５０の画像から２次元コード４５１を特定し、２次元コード４５１に含まれる使用者の識別情報を抽出する。制御装置５は、２次元コード４５１から抽出した識別情報とサーバ６に予め登録された情報とを照合することにより、この携帯型スクリーン４が正規の使用者のものであることを認証する。
【００８１】
なお、携帯型スクリーン４の使用者を認証する場合、制御装置５は、２次元コード４５１などから得られる識別情報に加えて、この識別情報に関連付けられたパスワードや署名などの認証情報の入力を使用者に要求してもよい。例えば制御装置５は、パスワードや署名などの認証情報の入力を促す映像を投影部２１から携帯型スクリーン４に投影し、所定のジェスチャー（数字キーによるパスワードの入力操作、署名の記入操作など）を使用者に実施させる。制御装置５は、物体検知部２２により所定のジェスチャーを検知し、所定のジェスチャーが表す認証情報を取得する。制御装置５は、使用者の所定のジェスチャーにより入力された認証情報と、予め識別情報に関連付けてサーバ６等に記憶された認証情報とを照合することにより、使用者が入力した認証情報が正規のものであるか否かを判定する。認証情報が正規のものであると判定した場合、制御装置５は、投影部２１の投影範囲に置かれた携帯型スクリーン４が正規の使用者のものであることを認証する。
【００８２】
携帯型スクリーン４が正規の使用者のものであることを認証すると、制御装置５は、この携帯型スクリーン４との間で無線通信を確立する。制御装置５は、マイク４３で集音された音のデータを携帯型スクリーン４から受信する処理や、スピーカ４４で音を出力させるためのオーディオデータを携帯型スクリーン４へ送信する処理を開始する。
【００８３】
また制御装置５は、携帯型スクリーン４へ投影する映像の内容を、その携帯型スクリーン４の所有者として認証した使用者の識別情報に応じて制限する。例えば、制御装置５は、閲覧権限が設定された機密文書等を携帯型スクリーン４へ投影するように使用者がジェスチャー等で指示した場合、携帯型スクリーン４の所有者として認証した使用者の識別情報に基づいて、閲覧の可否を判定する。制御装置５は、例えば使用者の識別情報に基づいて、その使用者の閲覧権限に関する情報をサーバ６から取得し、使用者が機密文書等の閲覧権限を持つか否か判定する。使用者が閲覧権限を持たないと判定した場合、制御装置５は、その使用者が所有する携帯型スクリーン４への機密文書等の投影を制限する。
【００８４】
＜スクリーンに映像を投影する動作＞
認証された携帯型スクリーン４が投影範囲に置かれると、制御装置５は、物体検知部２２で検知される物体の中から、携帯型スクリーン４の各投影面４１１に設けられたマーク４０１〜４０３を特定する。制御装置５は、携帯型スクリーン４のマーク４０１〜４０３を特定すると、特定したマーク４０１〜４０３が存在する３次元の空間での位置に基づいて、携帯型スクリーン４の投影面４１１の位置及び姿勢を判定する。
【００８５】
仮に、検知対象物が存在する空間の基準となる３次元の直交座標系を「基準座標系」とし、検知対象物（投影面４１１など）に対して固定される３次元の直交座標系を「対象物座標系」とする。この場合、制御装置５は、基準座標系からみた対象物座標系の原点の位置を、検知対象物の位置として判定してもよい。また、制御装置５は、基準座標系の各座標軸を基準とした対象物座標系の各座標軸の回転角を、検知対象物の姿勢として判定してもよい。
【００８６】
制御装置５は、物体検知部２２の検知結果に基づいて投影面４１１の位置及び姿勢を判定すると、この判定結果に応じて、投影面４１１における映像の投影状態が一定に保たれるように投影部２１を制御する。例えば制御装置５は、映像の投影状態として、投影面４１１において映像が投影される範囲や、投影面４１１に対する映像の向きを一定に保つ。
【００８７】
図８は、携帯型スクリーン４における映像の投影状態が一定に保たれることを説明するための図である。図８では、携帯型スクリーン４が１つの投影面４１１に簡略化されている。投影面４１１の形状は、平面視において矩形であり、矩形の３つの角にマーク４０１，４０２，４０３がこの順番で左回りに配置されている。投影面４１１において映像が投影される範囲は、投影面４１１の形状と概ね相似な矩形の範囲である。投影面４１１に対する映像の向きは、マーク４０１及び４０２が設けられた側縁部を下側、マーク４０２及び４０３が設けられた側縁部を右側とする向きである。図８では、投影面４１１（携帯型スクリーン４）の３つの状態が示されており、それぞれの状態で投影面４１１の位置や姿勢は異なっている。しかしながら、投影面４１１において映像が投影される矩形の範囲と、投影面４１１に対する映像の向きは、３つの状態において全て同じである。この図８に示すように、制御装置５は、携帯型スクリーン４の位置や姿勢が様々に変化する場合でも、映像の投影状態（映像の範囲、映像の向き等）が一定に保たれるように投影部２１を制御する。
【００８８】
なお制御装置５は、卓上型スクリーン３についても、上述した携帯型スクリーン４の場合と同様の制御を行う。すなわち、制御装置５は、物体検知部２２が検知したマーク３０１及び３０２の位置に基づいて投影面３１１の位置及び姿勢を判定し、その判定結果に基づいて、投影面３１１における映像の投影状態が所定の状態となるように投影部２１を制御する。
【００８９】
また制御装置５は、変形可能な携帯型スクリーン４については、物体検知部２２の検知結果に基づいて、変形の状態を判定する。例えば制御装置５は、携帯型スクリーン４において各投影面４１１のマーク４０１〜４０３が特定された場合、携帯型スクリーン４が図２Ｃに示す開いた状態になっていることを判定する。
【００９０】
＜複数のスクリーンが存在する場合の動作＞
制御装置５は、投影部２１の投影範囲に複数のスクリーン（卓上型スクリーン３、携帯型スクリーン４）が存在する場合、各々のスクリーンに対する映像の投影を並行に行う。
【００９１】
図９Ａ〜図９Ｄは、複数のスクリーンに映像を投影する方法を説明するための図であり、ここでは例として、４つの携帯型スクリーン４−１〜４−４に並行して映像を投影する場合を説明する。
【００９２】
図９Ａの例では、４つの携帯型スクリーン４−１〜４−４を含む１つの範囲が、１つの映像を投影する範囲となっている。この１つの映像には、４つのスクリーン（４−１〜４−４）に対応した４つの描画部分が含まれている。４つの描画部分は、それぞれ対応するスクリーン（４−１〜４−４）が置かれた場所と重なるように、１つの映像の中に配置されている。４つの描画部分以外の部分（目の細かい斜線の部分）は、例えば輝度の低い影の部分であり、４つの描画部分はこの影の部分によって互いに分離されている。このように、制御部５は、投影部２１の投影範囲内に複数のスクリーンが存在する場合、複数のスクリーンと重なる場所にそれぞれ描画部分が配置された映像を生成し、複数のスクリーンが存在する範囲に向けてこの映像を投影する。
【００９３】
図９Ｂの例では、４つの携帯型スクリーン４−１〜４−４の各々へ順次に映像が投影される。図９Ｂにおいて目の粗い斜線が施された部分は、映像が投影されていない状態のスクリーン表面を示す。４つの携帯型スクリーン４−１〜４−４の各々は、一時的に映像が投影されない状態となるが、順次の映像の投影が短い周期で繰り返されることにより、使用者には連続的に映像が表示されているように見える。このように、制御部５は、投影部２１の投影範囲内に存在する複数のスクリーンの各々へ順次に映像を投影する処理を反復してもよい。
【００９４】
図９Ｃの例では、多機能プロジェクタ２に４つの投影部２１−１〜２１−４が搭載されており、４つの携帯型スクリーン４−１〜４−４に向けて４つの投影部２１−１〜２１−４から個別に映像が投影される。このように、制御装置５は、複数の投影部２１の各々に映像の投影先として１つのスクリーンを割り当ててもよい。これにより、複数のスクリーンが存在する場合には、その各々に向けて個別に映像が投影される。
【００９５】
図９Ｄの例では、多機能プロジェクタ２に２つの投影部２１−１及び２１−２が搭載されており、投影部２１−１から２つの携帯型スクリーン４−１及び４−２に向けて１つの映像が投影され、投影部２１−２から２つの携帯型スクリーン４−３及び４−４に向けて別の１つの映像が投影される。このように、制御部５は、複数の投影部２１の各々に映像の投影先として１つ又は複数のスクリーンを割り当ててもよい。そして、制御装置５は、１つの投影部２１に複数のスクリーンを割り当てた場合には、当該複数のスクリーンと重なる場所にそれぞれ描画部分が配置された映像を生成し、当該複数のスクリーンが存在する範囲に向けて当該１つの投影部２１から当該生成した映像を投影してもよい。
【００９６】
なお、制御装置５は、複数の投影部２１における１つの投影部２１に複数のスクリーンを割り当てた場合、図９Ｂに示す例のように、当該１つの投影部２１から当該複数のスクリーンの各々に向けて順次に映像を投影する処理を反復してもよい。
【００９７】
＜スクリーン以外への映像の投影＞
制御装置５は、ジェスチャーなどによって使用者から与えられる指示に応じて、投影範囲内のスクリーン（卓上型スクリーン３、携帯型スクリーン４）以外の場所にも映像を投影するように投影部２１を制御する。これにより、例えばスクリーン以外の場所に置かれた物品に関する詳細情報を、その物品の近くに投影することが可能である。
【００９８】
なお、制御装置５は、スクリーン以外の場所に映像を投影する場合、障害物によって遮られない場所を映像の投影先として自動的に選択してもよい。例えば、制御装置５は、物体検知部２２の検知結果に基づいて、障害物により映像の投影を遮られる範囲を特定し、映像の投影先の候補として選択した場所が当該特定した範囲と重なる場合は、当該特定した範囲の外側へ映像の投影先を移動させる。
【００９９】
また、投影部２１は、映像の投影だけでなく、照明光の照射にも使用可能である。制御装置５は、ジェスチャーなどによって使用者から与えられる指示に応じて、投影範囲内の特定の場所（若しくは投影範囲の全体）に照明光を照射してもよい。
【０１００】
＜使用者の操作の認識＞
制御装置５は、物体検知部２２において検知される物体の中から、使用者の手や指、使用者が持つペンなどの物体（以下、「操作体」と記す場合がある。）を特定し、特定した操作体の運動が所定のジェスチャーであるか否かを判定する。制御装置５は、操作体（指など）の運動が所定のジェスチャーであると判定した場合、そのジェスチャーに対応した処理を行う。例えば、制御装置５は、使用者の指やペンなどによるジェスチャーに応じて、映像の拡大や縮小、回転、移動を行ったり、映像の色合いの変更、映像に含まれる線の太さの変更などを行う。
【０１０１】
また制御装置５は、上述したジェスチャーによる操作を案内して、使用者が目的の操作を容易に行えるようにするためのユーザインターフェース映像を生成する。図１０Ａ〜図１０Ｂは、そのようなユーザインターフェース映像の例を示す図であり、ページの切り替えに用いられる仮想的なタブの例を示す。この図の例において、制御装置５は、文書の端部に複数の仮想タブ１１０−１〜１１０−７（以下、区別せずに「仮想タブ１１０」と記す場合がある。）が配置された映像を生成する。使用者がこれらの仮想タブ１１０の１つを指示するジェスチャー（例えば指で仮想タブ１１０に触れるジェスチャー）を行うと、制御装置５は、映像に含まれる文書のページを、ジェスチャーにより指示された仮想タブ１１０に対応するページへ切り替える（図１０Ｂ）。仮想タブ１１０に対応しないページへ移動する操作には、例えば卓上型スクリーン３の入力部３３のダイヤル（図１Ｂ）や、携帯型スクリーン４の入力部４５，４６のダイヤル（図２Ｃ）が用いられる。制御装置５は、これらの入力部の操作に応じて、映像に含まれる文書のページを前後へ順番に切り替える。
【０１０２】
更に制御装置５は、物体検知部２２において検知される操作体の運動に基づいて、手書き操作により筆記された線の軌跡を特定する。制御装置５は、手書き操作による線の軌跡を特定した場合、例えば図１１Ａに示すように、特定した線の軌跡が現在の映像と重なって表示されるように、投影する映像を更新する。また制御装置５は、手書き操作の有無を判定するにあたり、例えば図１１Ｂに示すように、接触センサ４１の検出結果を利用してもよい。これにより、投影面４１１へ操作体（指、ペンなど）が接触した状態での操作体の動きを正確に捕捉できるため、手書き操作による線の軌跡の特定を正確に行うことができる。
【０１０３】
制御装置５は、手書き操作による線の軌跡を特定した場合、特定した線の軌跡から文字や図形を認識してもよい。例えば、制御装置５は、線の軌跡から認識した文字や図形を現在の映像に重ねて表示してもよいし、この認識した文字や図形を現在の映像に対応する文書等のデータファイルに追加してもよい。
【０１０４】
＜３次元イメージの取得＞
制御装置５は、ジェスチャーなどによって使用者から与えられる指示に応じて、物体検知部２２の検知対象領域に位置する物体の３次元イメージを取得する。例えば、制御装置５は、スクリーン（卓上型スクリーン３、携帯型スクリーン４）の上に物体が置かれたことを物体検知部２２の検知結果に基づいて判定した場合、その物体の３次元イメージを取得する。この場合、制御装置５は、物体が置かれたスクリーンにおいて投影中の映像に関わるデータファイルに、この３次元イメージのデータを追加してもよい。また、制御装置５は、物体の３次元イメージを取得した場合、取得した３次元イメージを新たな映像としてスクリーンや別の場所に投影してもよい。
【０１０５】
＜議事録データの作成＞
制御装置５は、卓上型スクリーン３のマイク３１や携帯型スクリーン４のマイク４３で集音された音のデータを記録（録音）する。卓上型スクリーン３の複数のマイク３１で音を集音する場合、例えば制御装置５は、複数のマイク３１で集音された音にそれぞれ遅延を与えて合成した合成音を生成し、合成音に含まれる発話の音声の感度が最も高くなるように（発話者の方向へ指向性を持つように）、複数のマイク３１で集音された音にそれぞれ与える遅延の設定を調節する。これにより、発話者の音声が明瞭化される。
【０１０６】
また、制御装置５は、合成音に含まれる発話の音声の感度が最も高くなるように調節した遅延の設定から、発話者の方向を推定する。制御装置５は、発話者の方向を推定すると、この推定した方向と異なる方向から到来する音（環境音）をノイズとして除去する。例えば制御装置５は、複数のマイク３１の一部で集音された音の成分を用いて、上述した合成音に含まれたノイズを除去する処理を行う。これにより、発話者の音声がより明瞭化される。
【０１０７】
更に、制御装置５は、発話者の方向を推定する場合、撮像部２３において撮像された画像を用いてもよい。例えば、制御装置５は、撮像部２３において撮像された画像に基づいて、投影部２１の投影範囲の周囲における人物の位置を特定する。制御装置５は、画像から特定した人物の位置に基づいて、発話者が存在し得る方向の範囲を特定し、この特定した範囲の中で、合成音に含まれる音声の感度が最も高くなる遅延の設定を探索する。これにより、発話者の方向が正確に推定され易くなる。
【０１０８】
制御装置５は、音のデータから発話者の方向を推定した場合、その推定した方向に基づいて、発話者を特定する。例えば、制御装置５は、ミーティング情報に含まれる各使用者の席次の情報と、音のデータから推定した発話者の方向とに基づいて、発話者がどの使用者であるかを特定する。
【０１０９】
なお、複数の携帯型スクリーン４の各々に搭載されたマイク４３から音声を集音する場合、例えば制御装置５は、同一の発話について複数の携帯型スクリーン４で集音された音声を比較する。制御装置５は、この比較の結果に基づいて、同一の発話について最も大きな音声が集音された携帯型スクリーン４の使用者を、その発話の発話者として特定する。
【０１１０】
制御装置５は、録音された音声のデータにおいて発話が記録された時間と、その発話の発話者として特定された使用者の情報（例えば使用者の識別情報）とを関連付けて記録する。また制御装置５は、上述した処理によって明瞭化された音声のデータに基づいて音声認識処理を行い、発話の内容をテキストに変換する。制御装置５は、音声認識処理による音声からテキストへの変換を、例えばリアルタイムで実行する。
【０１１１】
制御装置５は、音声認識処理によってテキストに変換された発話内容のデータと、その発話者として特定された使用者の情報とが、発話の時間に従って時系列化された議事録データを生成する。なお、制御装置５は、発話内容だけでなく、スクリーンに投影された映像の内容に関する情報を時系列化して議事録データに含めてもよい。また、制御装置５は、撮像部２３において撮像された各参加者の表情の画像に基づいて、会話の状況に関する指標（盛り上がりの度合い、和みの度合い、反発の度合い、活発性の度合いなど）を算出し、算出した指標を時系列化して議事録データに含めてもよい。
【０１１２】
＜終了時の動作＞
制御装置５は、ジェスチャーなどによって使用者から与えられる指示に応じて、使用者のミーティングへの参加を終了させる。
【０１１３】
図１２Ａ〜図１２Ｃは、携帯型スクリーン４の一例を示す図であり、図１２Ａは表紙側、図１２Ｂは内側、図１２Ｃは裏表紙側を示す。図１２Ｃに示すように、携帯型スクリーン４の裏表紙４６０には、ミーティングからの離脱の意図を表す２次元コード４６１が印刷若しくは貼り付けられている。２次元コード４６１には、例えば、特定の識別情報の使用者がミーティングから離脱することを示す情報が含まれる。制御装置５は、物体検知部２２において携帯型スクリーン４の裏表紙側の２次元コード４６１が検知されると、この２次元コード４６１に含まれる識別情報に対応した携帯型スクリーン４を、映像の投影対象から除外する。また、制御装置５は、２次元コード４６１に含まれる識別情報と、この２次元コード４６１が検知された時刻とを関連づけて、上述した議事録データに記録してもよい。これにより、特定の使用者がミーティングから離脱した時刻が議事録に記録される。
【０１１４】
次に、携帯型スクリーン４の他の例について、図１３〜図１７を参照して説明する。
【０１１５】
＜携帯型スクリーン４の他の例＞
図１３Ａ〜図１３Ｄは、携帯型スクリーン４の他の例を示す図であり、図１２Ａ〜図１２Ｃに示す開閉可能な携帯型スクリーン４に板状の中間部材４１０を追加したものである。ただし、２つのマイク４３とスピーカ４４は、裏表紙４６０の側縁部にそれぞれ配置されている。
【０１１６】
中間部材４１０は、一方の面に投影面４１１−３を持ち、他方の面に投影面４１１−４を持つ。図１３Ｂ及び図１３Ｃの例において、投影面４１１−１，４１１−２，４１１−３及び４１１−４はそれぞれ矩形の形状を持ち、互いに略合同である。中間部材４１０の１つの側縁部が、投影面４１１−１及び４１１−２の境界部分に接続されている。携帯型スクリーン４を閉じた場合、中間部材４１０は、投影面４１１−１及び４１１−２の間に挟まれた状態となる。携帯型スクリーン４を開いた場合、中間部材４１０は、ノートのページのようにめくることができる。図１３Ｂは投影面４１１−３を表側に向けて開いた状態を示し、図１３Ｂは投影面４１１−４を表側に向けて開いた状態を示す。
【０１１７】
図１３Ａ〜図１３Ｄに示す携帯型スクリーン４では、図１３Ｂの展開状態と図１３Ｃの展開状態とで投影面全体のサイズと形状がほぼ同じとなる。そのため、投影面４１１−１及び４１１−２と同一のマーク（４０１〜４０３）が投影面４１１−３及び４１１−４の両方に設けられていると、図１３Ｂの展開状態と図１３Ｃの展開状態との区別がつかなくなる。そこで、複数の投影面を持つ携帯型スクリーン４の場合、各展開状態において投影面全体に設けられた１以上のマークの外見が、他の展開状態と異なるように、個々の投影面におけるマークの数や配置、形状、サイズなどが設定される。図１３Ｂ及び図１３Ｃの例では、図１３Ｂの展開状態と図１３Ｃの展開状態との区別がつくように、投影面４１１−３と投影面４１１−４とでマークの一部が異なっている。すなわち、投影面４１１−３は、投影面４１１−１及び４１１−２と同じ３つのマーク（４０１，４０２，４０３）を持つ一方、投影面４１１−４は、投影面４１１−１及び４１１−２と同じ２つのマーク（４０２，４０３）に十字型のマーク４０１Ａを加えた３つのマーク（４０１Ａ、４０２，４０３）を持つ。制御装置５は、物体検知部２２において検知されるマーク４０１とマーク４０１Ａとの形状の違いから、図１３Ｂの展開状態と図１３Ｃの展開状態とを判別する。
【０１１８】
図１４Ａ〜図１４Ｃは、携帯型スクリーン４の他の例を示す図であり、投影面のサイズが３段階に変化する折り畳み可能な携帯型スクリーン４の例を示す。投影面のサイズは、図１４Ｃの状態で最大、図１４Ｂの状態で中間、図１４Ａの状態で最小となっている。図１４Ｃの状態では、携帯型スクリーン４の４つの投影面４１２−１〜４１２−４（以下、区別せずに「投影面４１２」と記す場合がある。）が面一に並んでいる。４つの投影面４１２は互いに合同な矩形の形状を持ち、４つの投影面４１２が面一に並んだ全体の形状も矩形となっている。また、図１４Ｃの状態では、投影面４１２−１，４１２−２，４１２−３，４１２−４がこの順番で右回りに並んでいる。なお、投影面４１２−１，４１２−２，４１２−３，４１２−４における「Ａ」，「Ｂ」，「Ｃ」，「Ｄ」の記号は、これらの投影面４１２を区別し易くするために付している。
【０１１９】
図１４Ｂの状態は、図１４Ｃの状態において投影面４１２−１と投影面４１２−４との境界、及び、投影面４１２−２と投影面４１２−３との境界をそれぞれ山折りにしたものである。図１４Ｂの状態では、表側で２つの投影面４１２−１及び４１２−２が面一に並んでおり、裏側で２つの投影面４１２−３及び４１２−４が面一に並んでいる。
【０１２０】
図１４Ａの状態は、図１４Ｂの状態において投影面４１２−１と投影面４１２−２との境界を山折りにしたものである。図１４Ａの状態では、表側が投影面４１２−１のみ、裏側が投影面４１２−２のみとなっている。
【０１２１】
図１４Ａ〜図１４Ｃに示す携帯型スクリーン４の各投影面４１２には、図１２Ｂに示す携帯型スクリーン４の各投影面４１１と同様に、３つのマーク４０１〜４０３が設けられている。
【０１２２】
図１５Ａ〜図１５Ｄは、折り畳み可能な携帯型スクリーン４の更に他の例を示す図であり、図１４Ａ〜図１４Ｃに示す携帯型スクリーン４と同様に、投影面のサイズが３段階に変化する。投影面のサイズは、図１５Ｄの状態で最大、図１５Ｃの状態で中間、図１５Ａ及び図１５Ｂの状態で最小となっている。図１５Ｄの状態では、携帯型スクリーン４の４つの投影面４１３−１〜４１３−４（以下、区別せずに「投影面４１３」と記す場合がある。）が面一に並んでいる。４つの投影面４１３は互いに合同な矩形の形状を持ち、４つの投影面４１３が面一に並んだ全体の形状も矩形となっている。また、図１５Ｄの状態では、投影面４１３−１，４１３−２，４１３−３，４１３−４がこの順番で右回りに並んでいる。なお、投影面４１３−１，４１３−２，４１３−３，４１３−４における「Ａ」，「Ｂ」，「Ｃ」，「Ｄ」の記号は、これらの投影面４１３を区別し易くするために付している。
【０１２３】
図１５Ｃの状態は、図１５Ｄの状態において投影面４１３−１と投影面４１３−４との境界、及び、投影面４１３−２と投影面４１３−３との境界をそれぞれ谷折りにしたものである。図１５Ｃの状態では、表側で２つの投影面４１３−５及び４１３−６が面一に並んでおり、裏側では後述する投影面４１３−７と表紙４５０とが面一に並んでいる。投影面４１３−５は投影面４１３−３の裏面であり、投影面４１３−６は投影面４１３−４の裏面である。なお、投影面４１３−５，４１３−６に付した「Ｃ’」，「Ｄ’」の記号は、「Ｃ」，「Ｄ」の記号を付した投影面４１３−３，４１３−４の裏面であることを表している。
【０１２４】
図１５Ａ及び図１５Ｂの状態は、図１５Ｃの状態において投影面４１２−５と投影面４１２−６との境界を谷折りにしたものである。図１５Ａ及び図１５Ｂの状態では、表側が表紙４５０のみ、裏側が投影面４１３−７のみとなっている。投影面４１３−７は、投影面４１３−１の裏面である。なお、投影面４１３−７に付した「Ａ’」の記号は、「Ａ」の記号を付した投影面４１３−１の裏面であることを表している。
【０１２５】
図１５Ｂ〜図１５Ｄに示す携帯型スクリーン４の各投影面４１３には、図１２Ｂに示す携帯型スクリーン４の各投影面４１１と同様に、３つのマーク４０１〜４０３が設けられている。
【０１２６】
図１６Ａ〜図１６Ｃは、変形可能な携帯型スクリーン４の他の例を示す図であり、投影面が形成された部材をケースに出し入れ可能に収容する構造を持った携帯型スクリーン４の例を示す。図１６Ａ〜図１６Ｃの各々における中央の図は正面図であり、その左側、右側及び上側の図は、正面図を基準としてそれぞれ矢印の方向から見た図である。
【０１２７】
図１６Ａ〜図１６Ｃに示す携帯型スクリーン４は、３つのケース部材４７０−１〜４７０−３（以下、区別せずに「ケース部材４７０」と記す場合がある。）と、板部材４７０とを有する。ケース部材４７０は、矩形の平面を持った扁平形状の箱体であり、被収容物を出し入れ可能な開口部を有する。この開口部は、矩形の平面における２つの隣接する辺に沿った側縁部に形成されている。
【０１２８】
ケース部材４７０−１の一方の面には矩形の投影面４１４−１が形成され、ケース部材４７０−２の一方の面には矩形の投影面４１４−２が形成され、ケース部材４７０−３の一方の面には矩形の投影面４１４−３が形成され、板部材４７０の一方の面には投影面４１４−４が形成される（以下、投影面４１４−１〜４１４−４を区別せずに「投影面４１４」と記す場合がある。）。各投影面４１４には、既に説明した投影面４１１〜４１３と同様な３つのマーク４０１〜４０３が設けられている。
【０１２９】
なお、ケース部材４７０−１〜４７０−３及び板部材４７０の他方の面にも、一方の面と同様な投影面が形成されてよい。この場合、他方の面の各投影面には、一方の面の各投影面に設けられたマーク４０１〜４０３と外見で区別可能な１以上のマークが設けられる。
【０１３０】
板部材４７０はケース部材４７０−３に出し入れ可能であり、ケース部材４７０−３はケース部材４７０−２に出し入れ可能であり、ケース部材４７０−２はケース部材４７０−１に出し入れ可能である。これらのケース部材において被収容物を出し入れする機構は、被収容物が外れることを防止するための抜け止め手段をそれぞれ備えている。
【０１３１】
図１６Ａの状態では、ケース部材４７０−１の中にケース部材４７０−２が収容されており、映像を投影可能な投影面はケース部材４７０−１の投影面４１４−１のみとなっている。図１６Ａの状態において、ケース部材４７０−１の開口部の一部とケース部材４７０−２の開口部の一部とが重なっている。
【０１３２】
図１６Ｂの状態では、ケース部材４７０−１の中からケース部材４７０−２が引き出される。これにより、ケース部材４７０−１の投影面４１４−１とケース部材４７０−２の投影面４１４−２とが略面一に並んだ状態となり、これらの投影面に映像を投影可能となる。図１６Ａの状態で重なっていたケース部材４７０−１及び４７０−２の開口部は、図１６Ａの状態において１つの横長の開口部を形成する。
【０１３３】
図１６Ｃの状態では、図１６Ｂの状態において形成された横長の開口部から、板部材４７０及びケース部材４７０−３が引き出される。これにより、各部材の投影面（４１４−１〜４１４−４）が略面一に並んだ状態となり、これらの投影面に映像を投影可能となる。
【０１３４】
次に、図１３Ａ〜図１３Ｄ、図１４Ａ〜図１４Ｃ、図１５Ａ〜図１５Ｄ、図１６Ａ〜図１６Ｃに示すような変形可能な構造を持つ携帯型スクリーン４に対する映像の投影状態の制御について説明する。
【０１３５】
＜映像の投影状態の制御＞
図１７は、映像の投影状態の制御に関する処理の例を説明するためのフローチャートである。
制御装置５は、物体検知部２２において検知される物体の中から、携帯型スクリーン４のマーク４０１〜４０３を特定する（ＳＴ１１０）。次に制御装置５は、マーク４０１〜４０３を特定した結果に基づいて、携帯型スクリーン４の変形の状態を判定する（ＳＴ１１５）。図１４Ａ〜図１４Ｃ、図１５Ａ〜図１５Ｄ、図１６Ａ〜図１６Ｃに示す携帯型スクリーン４では、投影面（４１２，４１３）の各々に３つのマーク４０１〜４０３が設けられており、変形状態ごとに投影面全体のサイズや形状が異なるため、ステップＳＴ１１０で特定したマークの数に基づいて、変形の状態を判定することができる。例えば図１４Ａ〜図１４Ｃに示す携帯型スクリーン４の場合、制御装置５は、マークの数が３であれば図１４Ａの状態と判定し、マークの数が６であれば図１４Ｂの状態と判定し、マークの数が１２であれば図１４Ｃの状態と判定する。図１３Ａ〜図１３Ｄに示す携帯型スクリーン４では、一部のマークの違い（マーク４０１とマーク４０１Ａとの形状の違い）に基づいて、２つの変形状態（図１３Ｂと図１３Ｃ）を判別することができる。
【０１３６】
更に制御装置５は、ステップＳＴ１１０で特定した３つのマーク４０１〜４０３に基づいて、物体検知部２２の検知対象の空間における投影面（４１２，４１３）の位置及び姿勢を判定する（ＳＴ１２５）。
【０１３７】
投影面（４１２，４１３）に設けられたマーク（４０１〜４０３）に基づいて投影面（４１２，４１３）の姿勢を判定するためには、姿勢が異なる状態において、マーク（４０１〜４０３）の少なくとも一部が空間上でずれており、その違いを物体検知部２２の検知結果から判別できることが必要である。すなわち、投影面（４１２，４１３）に設けられた１以上のマーク（４０１〜４０３）は、投影面（４１２，４１３）の姿勢が異なる任意の２つの状態において比較した場合、少なくとも一部が不一致となるように形成されている必要がある。
【０１３８】
上述した携帯型スクリーン４（図１２Ａ〜図１２Ｃ，図１３Ａ〜図１３Ｄ，図１４Ａ〜図１４Ｃ，図１５Ａ〜図１５Ｄ，図１６Ａ〜図１６Ｃ）において、投影面（４１１，４１２，４１３）に設けられた３つのマーク４０１〜４０３は、回転対称でない三角形の頂点同士の位置関係に相当する相対的な位置関係を持っている。そのため、投影面（４１１，４１２，４１３）の姿勢が異なる状態では、３つのマーク４０１〜４０３の少なくとも一部が不一致となり、その違いを物体検知部２２の検知結果から判別できる。
【０１３９】
図１８Ａ〜図１８Ｄは、スクリーンの投影面に設けられるマークの他の例を示す図である。図１８Ａ〜図１８Ｄにおいて、投影面４１５はそれぞれ矩形の形状を持つ。
図１８Ａの例では、投影面４１５に設けられた３つのマーク４０４〜４０６が全て正方形であり、投影面４１５の３つの角に配置されている。
図１８Ｂの例では、図１８Ａと同様な３つのマーク４０４〜４０６に加えて、識別情報などが含まれた２次元コード４０９が投影面４１５の角（マーク４０４〜４０６が配置されていない角）の近くに配置されている。
図１８Ｃの例では、回転対称でない形状（矩形形状の辺の１つに凹部が形成された形状）を持つ１つのマーク４０７が投影面４１５の中央付近に設けられている。
図１８Ｄの例では、投影面４１５の１つの角にＬ字型のマーク４０８が配置され、当該１つの角と対向する角に正方形のマーク４０４が配置されている。
図１８Ａ〜図１８Ｄの何れの例においても、投影面４１５に設けられた１以上のマーク（４０４〜４０８）は、投影面４１５の姿勢が異なる任意の２つの状態において比較した場合、少なくとも一部が不一致となるように形成されている。そのため、制御装置５は、物体検知部２２によるこれらのマークの検知結果に基づいて、投影面４１５の姿勢を判定することができる。
【０１４０】
図１７に戻る。
制御装置５は、ステップＳＴ１１５において判定した携帯型スクリーン４の変形の状態が前回の判定結果と異なっている場合（ＳＴ１４０のＹｅｓ）、今回判定した変形の状態に合わせて映像の投影状態を変更するように投影部２１を制御する（ＳＴ１４５）。例えば制御装置５は、投影面のサイズが大きくなった場合には、映像が投影される範囲もこれに合わせて大きくする。また、制御装置５は、映像のアスペクト比が維持されるように、投影面に対する映像の向きを変更する。携帯型スクリーン４の変形の状態が前回の判定結果と同じ場合（ＳＴ１４０のＮｏ）、制御装置５は、携帯型スクリーン４における映像の投影状態が一定となるように投影部２１を制御する（ＳＴ１５０，図８）。
【０１４１】
制御装置５は、ステップＳＴ１４５又はＳＴ１５０の後、映像の投影を継続する場合は（ＳＴ１５５のＮｏ）、再びステップＳＴ１１０以降の処理を繰り返す。
【０１４２】
＜まとめ＞
本実施形態によれば、検知対象領域における携帯型スクリーン４の各部分の位置が物体検知部２２により検知され、この検知結果に応じて、携帯型スクリーン４における映像の投影状態が一定に保たれるように投影部２１が制御される。これにより、検知対象領域において携帯型スクリーン４が動かされても、携帯型スクリーン４における映像の投影状態を一定に保つことができる。他方、携帯型スクリーン４が変形された場合、その変形の状態が物体検知部２２の検知結果に基づいて判定され、判定された変形の状態に応じて、携帯型スクリーン４における映像の投影状態が変更される。これにより、携帯型スクリーン４の変形に合わせた映像の投影状態の変更を手動で行わずに済むため、利便性を向上できる。
【０１４３】
本実施形態によれば、変形の状態に応じて外見が異なる１つ以上のマーク（４０１〜４０３）が携帯型スクリーン４の表面に設けられているため、携帯型スクリーン４が変形された場合、携帯型スクリーン４の表面に設けられた１つ以上のマーク（４０１〜４０３）の外見が変化し、物体検知部２２における１つ以上のマーク（４０１〜４０３）の検知結果が変化する。そのため、この検知結果の変化から、携帯型スクリーン４の変形の状態を判定できる。
【０１４４】
本実施形態によれば、略面一に並んだ状態に展開可能な複数の投影面（４１２〜４１４）の各々にマーク（４０１〜４０３）が設けられているため、投影面（４１２〜４１４）の展開状態に応じて、略面一に並んだ状態となる投影面（４１２〜４１４）の数が変化すると、物体検知部において検知されるマーク（４０１〜４０３）の数が変化する。従って、物体検知部２２において検知されるマーク（４０１〜４０３）の数に応じて、投影面（４１２〜４１４）の展開状態を判別できる。
【０１４５】
本実施形態によれば、携帯型スクリーン４の姿勢が異なる任意の２つの状態において比較した場合、携帯型スクリーン４の表面に設けられた１つ以上のマーク（４０１〜４０３）の少なくとも一部が不一致となり、重なり合わない。これにより、携帯型スクリーン４の姿勢が変化すると、物体検知部２２において検知される１つ以上のマーク（４０１〜４０３）の位置が少なくとも一部変化する。また、携帯型スクリーン４の位置が変化した場合、物体検知部２２において検知される１つ以上のマーク（４０１〜４０３）の位置が全て変化する。そのため、物体検知部２２における１つ以上のマーク（４０１〜４０３）の検知結果から、携帯型スクリーン４の位置及び姿勢を判別することが可能となる。
【０１４６】
次に、変形可能な構造を持つ携帯型スクリーン４に対する映像の投影状態を制御する動作の変形例について、図１９及び図２０のフローチャートを参照して説明する。
【０１４７】
図１９は、映像の投影状態の制御に関する処理の変形例を説明するためのフローチャートである。図１９に示すフローチャートは、図１７に示すフローチャートにおけるステップＳＴ１１０をステップＳＴ１００及びＳＴ１０５に置き換えたものである。ここでは、図１７に示すフローチャートとの相違点を中心に説明する。
【０１４８】
まず制御装置５は、物体検知部２２の検知結果に基づいて、携帯型スクリーン４の投影面（４１２，４１３）の輪郭を特定する（ＳＴ１００）。次に制御装置５は、ステップＳＴ１００で特定した投影面（４１２，４１３）の輪郭の内側に位置するマーク４０１〜４０３を特定する（ＳＴ１０５）。そして、制御装置５は、マーク４０１〜４０３を特定した結果に基づいて、携帯型スクリーン４の変形の状態を判定する（ＳＴ１１５）。
【０１４９】
この図１９に示す変形例によれば、物体検知部２２の検知結果に基づいて投影面（４１２，４１３）の輪郭が特定され、特定された輪郭の内側に位置するマーク（４０１〜４０３）が特定される。そのため、複数の携帯型スクリーン４が存在する場合に、１つの携帯型スクリーン４に設けられたマーク（４０１〜４０３）が別の携帯型スクリーン４に設けられたマーク（４０１〜４０３）として誤判定され難くなる。すなわち、個々の携帯型スクリーン４に設けられたマーク（４０１〜４０３）が正確に判別され易くなる。従って、複数の携帯型スクリーン４が存在する場合でも、携帯型スクリーン４の変形状態の判定や携帯型スクリーン４の位置及び姿勢の判定を正確に行うことができる。
【０１５０】
図２０は、映像の投影状態の制御に関する処理の変形例を説明するためのフローチャートである。図２０に示すフローチャートは、図１７に示すフローチャートにおけるステップＳＴ１１０，ＳＴ１１５，ＳＴ１２５をステップＳＴ１００，ＳＴ１２０，ＳＴ１３０に置き換えたものである。ここでは、図１７に示すフローチャートとの相違点を中心に説明する。
【０１５１】
まず制御装置５は、物体検知部２２の検知結果に基づいて、携帯型スクリーン４の投影面（４１２，４１３）の輪郭を特定する（ＳＴ１００）。次に制御装置５は、ステップＳＴ１００で特定した携帯型スクリーン４の輪郭に基づいて、携帯型スクリーン４の変形の状態を判定する（ＳＴ１２０）。また、制御装置５は、ステップＳＴ１００で特定した携帯型スクリーン４の輪郭に基づいて、携帯型スクリーン４の位置及び姿勢を判定する（ＳＴ１３０）。
【０１５２】
この図２０に示す変形例によれば、投影面（４１２，４１３）にマーク（４０１〜４０３）を設けなくても、携帯型スクリーン４の変形状態の判定や携帯型スクリーン４の位置及び姿勢の判定を判定できる。これにより、マーク（４０１〜４０３）を使用する場合に比べて判定の正確性は低くなるものの、投影面（４１２，４１３）を効率的に使用し易くなる。
【０１５３】
なお、本実施形態は上述した例にのみ限定されるものではなく、当業者にとって自明な種々のバリエーションも本実施形態に含まれる。
【０１５４】
例えば、本実施形態の１つの側面として、変形可能な携帯型のスクリーンに向けて投影装置が映像を投影する映像投影方法を挙げることができる。この映像投影方法は、検知対象領域における物体の各部分の位置を検知する物体検知装置が物体として検知したスクリーンの検知結果に応じて、スクリーンにおける映像の投影状態が一定に保たれるように投影装置を制御することと、物体検知装置におけるスクリーンの検知結果に基づいて、スクリーンの変形の状態を判定することと、判定したスクリーンの変形の状態に応じて、スクリーンにおける映像の投影状態を変更することとを有する。
【０１５５】
本実施形態の他の１つの側面として、変形可能な携帯型のスクリーンに向けて映像を投影する投影装置をコンピュータによって制御するためのプログラムを挙げることができる。このプログラムは、検知対象領域における物体の各部分の位置を検知する物体検知装置が物体として検知したスクリーンの検知結果に応じて、スクリーンにおける映像の投影状態が一定に保たれるように投影装置を制御することと、物体検知装置におけるスクリーンの検知結果に基づいて、スクリーンの変形の状態を判定することと、判定したスクリーンの変形の状態に応じて、スクリーンにおける映像の投影状態を変更することとを含んだ処理をコンピュータに実行させる。
【符号の説明】
【０１５６】
２…多機能プロジェクタ、２１…投影部、２２…物体検知部、２３…撮像部、２４…通信部、２５…制御部、３…卓上型スクリーン、３１，４３…マイク、３２，４４…スピーカ、３３…入力部、３４…通信部、３５…制御部、３０１，３０２，４０１〜４０８…マーク、３１１，４１１〜４１５…投影面、４…携帯型スクリーン、４１…接触センサ、４２…振動発生器、４５…入力部、４６…入力部、４７…通信部、４８…制御部、４０９，４１０…板部材、４５１，４６１…２次元コード、４５０…表紙、４５２…写真、４６０…裏表紙、４７０…ケース部材、４７１…板部材、５…制御装置、５１…表示部、５２…入力部、５３…通信部、５４…通信部、５５…制御部、５６…処理部、５７…記憶部、６…サーバ、１１…座席、１２…机、１３…使用者、１４…検知対象物、１０１〜１０３…映像、１１０…仮想タブ
【図１】
2019082650.tif 000003
【図２】
2019082650.tif 000004
【図３】
2019082650.tif 000005
【図４】
2019082650.tif 000006
【図５】
2019082650.tif 000007
【図６】
2019082650.tif 000008
【図７】
2019082650.tif 000009
【図８】
2019082650.tif 000010
【図９】
2019082650.tif 000011
【図１０】
2019082650.tif 000012
【図１１】
2019082650.tif 000013
【図１２】
2019082650.tif 000014
【図１３】
2019082650.tif 000015
【図１４】
2019082650.tif 000016
【図１５】
2019082650.tif 000017
【図１６】
2019082650.tif 000018
【図１７】
2019082650.tif 000019
【図１８】
2019082650.tif 000020
【図１９】
2019082650.tif 000021
【図２０】
2019082650.tif 000022