(57)【要約】【課題】複数のスクリーンを用いた利便性の高い映像表示システムを提供する。【解決手段】映像表示システムは、複数の携帯型のスクリーン４における映像の表示を制御する制御装置５と、２以上の携帯型スクリーン４の近接を検知する物体検知部２２とを有する。制御装置５は、物体検知部２２の検知結果に基づいて、近接した状態にある２以上の携帯型スクリーン４を特定し、近接した状態にある２以上の携帯型スクリーン４を特定した場合、当該２以上の携帯型スクリーン４の少なくとも一部を含む仮想的なスクリーンを決定し、仮想的なスクリーンにおいて映像を表示させる。【選択図】図２
2019082649.tif 000002
【特許請求の範囲】
【請求項１】
複数のスクリーンにおける映像の表示を制御する制御部と、
２以上の前記スクリーンの近接を検知する検知部とを有し、
前記制御部は、
前記検知部の検知結果に基づいて、近接した状態にある２以上の前記スクリーンを特定し、
近接した状態にある２以上の前記スクリーンを特定した場合、当該２以上のスクリーンの少なくとも一部を含む仮想的なスクリーンを決定し、
前記仮想的なスクリーンにおいて映像を表示させる、
映像表示システム。
【請求項２】
前記検知部は、検知対象領域における物体の各部分の位置を検知し、
前記制御部は、
前記検知部において前記物体として検知された前記スクリーンの検知結果に応じて、前記複数のスクリーンの各々の位置及び姿勢を判定し、
２つの前記スクリーンについて判定した位置及び姿勢に基づいて、一方の前記スクリーンと接触する若しくは所定の距離以内に近接する他方の前記スクリーンの外縁部分を特定し、前記特定した外縁部分の両端の距離に基づいて、前記２つのスクリーンが近接した状態にあるか否かを判定する、
請求項１に記載の映像表示システム。
【請求項３】
前記制御部は、近接した状態にある２以上の前記スクリーンを特定した場合、当該２以上のスクリーンの全体を前記仮想的なスクリーンとして決定する、
請求項２に記載の映像表示システム。
【請求項４】
前記制御部は、
近接した状態にある２以上の前記スクリーンを特定した場合、当該２以上のスクリーンの全体が含まれた近接スクリーン領域を決定し、
前記近接スクリーン領域に含まれ、かつ、所定の形状を持った領域を前記仮想的なスクリーンとして決定する、
請求項２に記載の映像表示システム。
【請求項５】
前記所定の形状は、円形、楕円形、多角形、又はこれらの形状の少なくとも一部が組み合わされた形状である、
請求項４に記載の映像表示システム。
【請求項６】
前記制御部は、前記近接スクリーン領域に含まれ、前記所定の形状を持ち、かつ面積が最大となる領域を前記仮想的なスクリーンとして決定する、
請求項４又は５に記載の映像表示システム。
【請求項７】
前記制御部は、
前記検知部において逐次得られる各スクリーンの検知結果に基づいて、近接した状態にある２以上の前記スクリーンの特定を繰り返し、
近接した状態にある２以上の前記スクリーンを特定する度に、前記近接スクリーン領域を新たに決定し、
前記新たに決定した近接スクリーン領域に応じて、前記仮想的なスクリーンを新たに決定する、
請求項４乃至６の何れか一項に記載の映像表示システム。
【請求項８】
前記制御部は、
前記近接スクリーン領域に含まれた複数の前記仮想的なスクリーンを決定し、
前記複数の仮想的なスクリーンの各々において映像を表示させる、
請求項４乃至７の何れか一項に記載の映像表示システム。
【請求項９】
前記制御部は、
前記近接スクリーン領域に含まれた複数の前記仮想的なスクリーンの候補を決定し、
複数の前記候補の各々を表す映像を前記近接スクリーン領域に表示させ、
前記複数の候補の映像が表示されたことに対する応答として、前記スクリーンの使用者が与えた指示が入力された場合、当該入力された指示に応じて、前記複数の候補の中から前記仮想的なスクリーンを決定する、
請求項４乃至８の何れか一項に記載の映像表示システム。
【請求項１０】
前記制御部は、
近接した状態にある２以上の前記スクリーンについて前記仮想的なスクリーンを決定した場合、当該２以上のスクリーンの各々の面積と前記仮想的なスクリーンの面積とを比較し、
当該２以上のスクリーンの各々に比べて前記仮想的なスクリーンの面積が小さい場合、前記仮想的なスクリーンの決定を撤回する、
請求項４乃至９の何れか一項に記載の映像表示システム。
【請求項１１】
前記制御部は、２以上の前記スクリーンが離れた状態から近接した状態へ変化したことを判定した場合、当該２以上のスクリーンに含まれる特定のスクリーンにおいて表示させた映像を、当該２以上のスクリーンについて決定した前記仮想的なスクリーンにおいて継続して表示させる、
請求項１乃至１０の何れか一項に記載の映像表示システム。
【請求項１２】
前記制御部は、前記特定のスクリーンにおいて表示させた映像を前記仮想的なスクリーンにおいて継続して表示させる場合、前記特定のスクリーンの映像に対する相似関係が保たれるように、前記仮想的なスクリーンにおいて映像を表示させる、
請求項１１に記載の映像表示システム。
【請求項１３】
前記制御部は、
前記複数のスクリーンの各々に対応した識別情報を取得し、
近接した状態にある２以上の前記スクリーンについて前記仮想的なスクリーンを決定した場合、当該２以上のスクリーンの各々に対応する前記識別情報に応じて、前記仮想的なスクリーンにおける映像の向きを決定する、
請求項１乃至１２の何れか一項に記載の映像表示システム。
【請求項１４】
前記制御部は、
前記識別情報に関連付けられた前記スクリーンの使用者の情報を取得し、
近接した状態にある２以上の前記スクリーンについて前記仮想的なスクリーンを決定した場合、当該２以上のスクリーンの各々に対応する前記識別情報に関連付けられた前記使用者の情報に応じて、前記仮想的なスクリーンにおける映像の向きを決定する、
請求項１３に記載の映像表示システム。
【請求項１５】
前記制御部は、
２以上の前記スクリーンが離れた状態から近接した状態へ変化したことを判定した場合、当該２以上のスクリーンに含まれる特定のスクリーンにおいて表示させた映像を、当該２以上のスクリーンについて決定した前記仮想的なスクリーンにおいて継続して表示させ、
前記特定のスクリーンにおいて表示させた映像を前記仮想的なスクリーンにおいて継続して表示させる場合、前記特定のスクリーンにおける映像の向きと前記仮想的なスクリーンにおける映像の向きとを一致させる、
請求項１乃至１２の何れか一項に記載の映像表示システム。
【請求項１６】
複数のマイクを有し、
前記制御部は、
前記複数のマイクで集音された音のデータに基づいて、発話者の位置を特定し、
近接した状態にある２以上の前記スクリーンについて前記仮想的なスクリーンを決定した場合、前記特定した発話者の位置に応じて、前記仮想的なスクリーンにおける映像の向きを決定する、
請求項１乃至１２の何れか一項に記載の映像表示システム。
【請求項１７】
前記複数のスクリーンの使用者をそれぞれ撮像する撮像部と
複数のマイクとを有し、
前記制御部は、近接した状態にある２以上の前記スクリーンについて前記仮想的なスクリーンを決定した場合、前記撮像部によって撮像された各使用者の画像、及び、前記複数のマイクによって収音された各使用者の音声の少なくとも一方を、機械学習に基づく人工知能アルゴリズムにより分析し、当該分析の結果から推定される各使用者の属性に基づいて、前記仮想的なスクリーンにおける映像の向きを決定する、
請求項１乃至１２の何れか一項に記載の映像表示システム。
【請求項１８】
前記複数のスクリーンの少なくとも一部が携帯型のスクリーンである、
請求項１乃至１７の何れか一項に記載の映像表示システム。
【請求項１９】
前記検知部は、検知対象領域における物体の各部分の位置を検知し、
前記制御部は、前記検知部において前記物体として検知された２つの前記スクリーンの検知結果に基づいて、当該２つのスクリーンが近接した状態にあるか否かを判定する、
請求項１乃至１８の何れか一項に記載の映像表示システム。
【請求項２０】
前記複数のスクリーンに向けて映像を投影する投影部を有し、
前記制御部は、前記投影部による各スクリーンへの映像の投影を制御する、
請求項１乃至１９の何れか一項に記載の映像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数のスクリーンに映像を表示可能な映像表示システムに関する。
【背景技術】
【０００２】
プロジェクタは、スクリーンを用いた簡易な設備で比較的大きな映像を表示できることから、プレゼンテーションや映画鑑賞などの様々な用途で広く活用されている。
【０００３】
またプロジェクタは、壁などに固定されたスクリーンに限らず、様々な対象物の上に映像を投影可能である。例えば、下記の特許文献には、カメラで撮像した画像に基づいて表示対象物とその位置を特定する機能、及び、投影可能エリア内における投影方向を任意に調整する機能を備えたプロジェクタ装置が記載されている。このプロジェクタ装置は、投影可能エリア内に電子ペーパーが置かれると、この電子ペーパーを表示対象物として特定するとともに、投影可能エリア内での電子ペーパーの位置を特定する。プロジェクタ装置は、表示可能エリアに置かれた電子ペーパーを特定すると、この電子ペーパーに対応付けられている所定の映像を、電子ペーパーの表面やその近傍に向けて投影する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１１０５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、複数の携帯型のスクリーンが１つの場所で使用されることを想定した場合、スクリーン同士を接近させて仮想的にサイズの大きなスクリーンを形成させることができれば、例えば会議で様々なサイズの資料を投影する場合や、複数人で１つのスクリーンを共有する場合などにおいて非常に便利である。しかしながら、上述した特許文献に記載される従来の装置では、表示対象物（電子ペーパー）に対応付けられた所定の映像を自動的に表示対象物へ投影することはできるものの、複数の表示対象物を接近させて仮想的なスクリーンを形成することについては何も考慮されていない。
【０００６】
そこで、本開示は、複数のスクリーンを用いた利便性の高い映像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の１つの側面に係る映像表示システムは、複数のスクリーンにおける映像の表示を制御する制御部と、２以上の前記スクリーンの近接を検知する検知部とを有する。前記制御部は、前記検知部の検知結果に基づいて、近接した状態にある２以上の前記スクリーンを特定し、近接した状態にある２以上の前記スクリーンを特定した場合、当該２以上のスクリーンの少なくとも一部を含む仮想的なスクリーンを決定し、前記仮想的なスクリーンにおいて映像を表示させる。
【０００８】
上記映像表示システムでは、複数の前記スクリーンにおいて映像が表示される一方、２以上の前記スクリーンの近接が前記検知部により検知され、その検知結果に基づいて、近接した状態にある２以上の前記スクリーンが特定される。近接した状態にある２以上の前記スクリーンが特定された場合、当該２以上のスクリーンの少なくとも一部を含む仮想的なスクリーンが決定され、前記仮想的なスクリーンにおいて映像が表示される。これにより、サイズや形状などが通常と異なる前記仮想的なスクリーンを簡単に形成することが可能となり、利便性が向上する。
【０００９】
好適に、前記検知部は、検知対象領域における物体の各部分の位置を検知してよい。前記制御部は、前記検知部において前記物体として検知された前記スクリーンの検知結果に応じて、前記複数のスクリーンの各々の位置及び姿勢を判定し、２つの前記スクリーンについて判定した位置及び姿勢に基づいて、一方の前記スクリーンと接触する若しくは所定の距離以内に近接する他方の前記スクリーンの外縁部分を特定し、前記特定した外縁部分の両端の距離に基づいて、前記２つのスクリーンが近接した状態にあるか否かを判定してよい。
【００１０】
この構成によれば、前記検知部により、前記検知対象領域における前記スクリーンの各部分の位置が検知される。前記複数のスクリーンの各々について得られた前記検知部の検知結果に応じて、前記複数のスクリーンの各々の位置及び姿勢が判定される。２つの前記スクリーンが近接した状態にあるか否かを判定する場合には、当該２つのスクリーンについて判定された位置及び姿勢に基づいて、一方の前記スクリーンと接触する若しくは所定の距離以内に近接する他方の前記スクリーンの外縁部分が特定される。そして、特定された前記外縁部分の両端の距離に基づいて、当該２つのスクリーンが近接した状態にあるか否かが判定される。前記外縁部分の両端の距離が長くなるように２つの前記スクリーンを近づける簡単な動作によって、当該２つのスクリーンが近接した状態にあると判定され易くなる。
【００１１】
好適に、前記制御部は、近接した状態にある２以上の前記スクリーンを特定した場合、当該２以上のスクリーンの全体を前記仮想的なスクリーンとして決定してよい。
【００１２】
この構成によれば、２以上の前記スクリーンを近接させる簡単な動作によって、当該２以上のスクリーンの全体が前記仮想的なスクリーンとなる。
【００１３】
好適に、前記制御部は、近接した状態にある２以上の前記スクリーンを特定した場合、当該２以上のスクリーンの全体が含まれた近接スクリーン領域を決定し、前記近接スクリーン領域に含まれ、かつ、所定の形状を持った領域を前記仮想的なスクリーンとして決定してよい。前記所定の形状は、例えば、円形、楕円形、多角形、又はこれらの形状の少なくとも一部が組み合わされた形状であってよい。
【００１４】
この構成によれば、２以上の前記スクリーンを近接させる簡単な動作によって、当該２以上のスクリーンの全体が含まれた前記近接スクリーン領域の中に、前記所定の形状を持った前記仮想的なスクリーンが形成される。
【００１５】
好適に、前記制御部は、前記近接スクリーン領域に含まれ、前記所定の形状を持ち、かつ面積が最大となる領域を前記仮想的なスクリーンとして決定してよい。
【００１６】
この構成によれば、前記近接スクリーン領域の中で、前記所定の形状を持った面積最大の領域が前記仮想的なスクリーンとなるため、面積の大きい前記仮想的なスクリーンが形成され易くなる。
【００１７】
好適に、前記制御部は、前記検知部において逐次得られる各スクリーンの検知結果に基づいて、近接した状態にある２以上の前記スクリーンの特定を繰り返し、近接した状態にある２以上の前記スクリーンを特定する度に、前記近接スクリーン領域を新たに決定し、前記新たに決定した近接スクリーン領域に応じて、前記仮想的なスクリーンを新たに決定してよい。
【００１８】
この構成によれば、近接した状態にある２以上の前記スクリーンを特定する処理が繰り返し行われ、その特定の結果に応じて、前記近接スクリーン領域を決定する処理や、前記仮想的なスクリーンを決定する処理が行われる。そのため、１以上の前記スクリーンにおいて位置や姿勢が変化しても、その変化後の状態に応じて、前記仮想的なスクリーンが決定される。
【００１９】
好適に、前記制御部は、前記近接スクリーン領域に含まれた複数の前記仮想的なスクリーンを決定し、前記複数の仮想的なスクリーンの各々において映像を表示させてよい。
【００２０】
この構成によれば、２以上の前記スクリーンを近接させる簡単な動作によって、前記近接スクリーン領域の中に前記仮想的なスクリーンが複数形成される。
【００２１】
好適に、前記制御部は、前記近接スクリーン領域に含まれた複数の前記仮想的なスクリーンの候補を決定し、複数の前記候補の各々を表す映像を前記近接スクリーン領域に表示させ、前記複数の候補の映像が表示されたことに対する応答として、前記スクリーンの使用者が与えた指示が入力された場合、当該入力された指示に応じて、前記複数の候補の中から前記仮想的なスクリーンを決定してよい。
【００２２】
この構成によれば、複数の前記仮想的なスクリーンの候補が前記近接スクリーン領域に映像としてそれぞれ表示され、前記スクリーンの使用者が与える指示に応じた前記仮想的なスクリーンが、表示された複数の前記候補の中から決定される。従って、前記スクリーンの使用者による前記仮想的なスクリーンの選択が可能になる。
【００２３】
好適に、前記制御部は、近接した状態にある２以上の前記スクリーンについて前記仮想的なスクリーンを決定した場合、当該２以上のスクリーンの各々の面積と前記仮想的なスクリーンの面積とを比較し、当該２以上のスクリーンの各々に比べて前記仮想的なスクリーンの面積が小さい場合、前記仮想的なスクリーンの決定を撤回してよい。
【００２４】
この構成によれば、２以上の前記スクリーンを近接させた場合でも、当該２以上のスクリーンの各々に比べて前記仮想的なスクリーンの面積が小さい場合は、前記仮想的なスクリーンの決定が撤回され、前記仮想的なスクリーンが形成されない。従って、面積の小さい前記仮想的なスクリーンが形成されることによって映像が小さく見え難くなるケースが回避される。
【００２５】
好適に、前記制御部は、２以上の前記スクリーンが離れた状態から近接した状態へ変化したことを判定した場合、当該２以上のスクリーンに含まれる特定のスクリーンにおいて表示させた映像を、当該２以上のスクリーンについて決定した前記仮想的なスクリーンにおいて継続して表示させてよい。
【００２６】
この構成によれば、２以上の前記スクリーンを離れた状態から近接させる簡単な動作によって、前記特定のスクリーンに表示された映像が、当該２以上のスクリーンについて決定した前記仮想的なスクリーンにおいて継続して表示される。これにより、それぞれ前記スクリーンを所有する複数の使用者の間における映像を共有が簡単になる。
【００２７】
好適に、前記制御部は、前記特定のスクリーンにおいて表示させた映像を前記仮想的なスクリーンにおいて継続して表示させる場合、前記特定のスクリーンの映像に対する相似関係が保たれるように、前記仮想的なスクリーンにおいて映像を表示させてよい。
【００２８】
この構成によれば、前記特定のスクリーンの映像と前記仮想的なスクリーンの映像との相似関係が保たれるため、映像の表示が前記特定のスクリーンから前記仮想的なスクリーンへ引き継がれることに伴う視覚的な違和感や映像の見難さが軽減され易くなる。
【００２９】
好適に、前記制御部は、前記複数のスクリーンの各々に対応した識別情報を取得し、近接した状態にある２以上の前記スクリーンについて前記仮想的なスクリーンを決定した場合、当該２以上のスクリーンの各々に対応する前記識別情報に応じて、前記仮想的なスクリーンにおける映像の向きを決定してよい。
【００３０】
この構成によれば、近接した状態にある２以上の前記スクリーンの各々に対応した前記識別情報に応じて、前記仮想的なスクリーンにおける映像の向きが決定される。これにより、各スクリーンの前記識別情報に応じて前記映像の向きが決定されるため、前記映像の向きを手動で設定する手間が生じない。
【００３１】
好適に、前記制御部は、前記識別情報に関連付けられた前記スクリーンの使用者の情報を取得し、近接した状態にある２以上の前記スクリーンについて前記仮想的なスクリーンを決定した場合、当該２以上のスクリーンの各々に対応する前記識別情報に関連付けられた前記使用者の情報に応じて、前記仮想的なスクリーンにおける映像の向きを決定してよい。
【００３２】
この構成によれば、近接した状態にある２以上の前記スクリーンの各々に対応した前記使用者の情報に応じて、前記仮想的なスクリーンにおける映像の向きが決定される。これにより、各スクリーンの前記使用者の情報に応じて前記映像の向きが決定されるため、例えば前記使用者の特定の役割などに応じた適切な前記映像の向きが決定され易くなる。
【００３３】
好適に、前記制御部は、２以上の前記スクリーンが離れた状態から近接した状態へ変化したことを判定した場合、当該２以上のスクリーンに含まれる特定のスクリーンにおいて表示させた映像を、当該２以上のスクリーンについて決定した前記仮想的なスクリーンにおいて継続して表示させ、前記特定のスクリーンにおいて表示させた映像を前記仮想的なスクリーンにおいて継続して表示させる場合、前記特定のスクリーンにおける映像の向きと前記仮想的なスクリーンにおける映像の向きとを一致させてよい。
【００３４】
この構成によれば、２以上の前記スクリーンを離れた状態から近接させる簡単な動作によって、前記特定のスクリーンに表示された映像が、当該２以上のスクリーンについて決定した前記仮想的なスクリーンにおいて継続して表示される。これにより、それぞれ前記スクリーンを所有する複数の使用者の間における映像を共有が簡単になる。また、前記特定のスクリーンにおける映像の向きと前記仮想的なスクリーンにおける映像の向きとが一致しているため、映像の表示が前記特定のスクリーンから前記仮想的なスクリーンへ引き継がれる際の視覚的な違和感や映像の見難さが軽減され易くなる。
【００３５】
上記映像表示システムは、複数のマイクを有してよい。前記制御部は、前記複数のマイクで集音された音のデータに基づいて、発話者の位置を特定し、近接した状態にある２以上の前記スクリーンについて前記仮想的なスクリーンを決定した場合、前記特定した発話者の位置に応じて、前記仮想的なスクリーンにおける映像の向きを決定してよい。
【００３６】
この構成によれば、前記複数のマイクで集音された音のデータに基づいて特定される発話者の位置に応じて、前記仮想的なスクリーンにおける映像の向きが決定される。これにより、前記発話者の位置と前記仮想的なスクリーンにおける映像の向きとの関連性が高くなるため、前記発話者の発話と前記仮想的なスクリーンの映像との両方に注意を向けやすくなる。
【００３７】
好適に、上記映像表示システムは、前記複数のスクリーンの使用者をそれぞれ撮像する撮像部と複数のマイクとを有してよい。前記制御部は、近接した状態にある２以上の前記スクリーンについて前記仮想的なスクリーンを決定した場合、前記撮像部によって撮像された各使用者の画像、及び、前記複数のマイクによって収音された各使用者の音声の少なくとも一方を、機械学習に基づく人工知能アルゴリズムにより分析し、当該分析の結果から推定される各使用者の属性に基づいて、前記仮想的なスクリーンにおける映像の向きを決定してよい。
【００３８】
この構成によれば、各使用者の画像や音声が前記人工知能アルゴリズムにより分析され、当該分析の結果から推定される各使用者の属性に基づいて、前記仮想的なスクリーンにおける映像の向きが決定される。これにより、前記仮想的なスクリーンにおける映像の向きが、各使用者の属性に応じた適切な向きに設定される。
【００３９】
好適に、前記複数のスクリーンの少なくとも一部が携帯型のスクリーンであってよい。
【００４０】
好適に、前記検知部は、検知対象領域における物体の各部分の位置を検知し、前記制御部は、前記検知部において前記物体として検知された２つの前記スクリーンの検知結果に基づいて、当該２つのスクリーンが近接した状態にあるか否かを判定してよい。
【００４１】
好適に、前記複数のスクリーンに向けて映像を投影する投影部を有してよい。前記制御部は、前記投影部による各スクリーンへの映像の投影を制御してよい。
【発明の効果】
【００４２】
本開示によれば、複数のスクリーンを用いた利便性の高い映像表示システムを提供できる。
【図面の簡単な説明】
【００４３】
【図１】図１Ａは、本実施形態に係る映像表示システムの一例を示す図であり、卓上型スクリーンを用いた映像表示システムを示す。図１Ｂは、卓上型スクリーンの一例を示す図である。
【図２】図２Ａは、本実施形態に係る映像表示システムの一例を示す図であり、携帯型スクリーンを用いた映像表示システムを示す。図２Ｂ〜図２Ｃは、携帯型スクリーンの一例を示す図である。
【図３】図３は、本実施形態に係る映像表示システムの構成の一例を示す図である。
【図４】図４は、多機能プロジェクタの構成の一例を示す図である。
【図５】図５は、卓上型スクリーンの構成の一例を示す図である。
【図６】図６は、携帯型スクリーンの構成の一例を示す図である。
【図７】図７は、制御装置の構成の一例を示す図である。
【図８】図８は、スクリーンにおける映像の投影状態が一定に保たれることを説明するための図である。
【図９】図９Ａ〜図９Ｄは、複数のスクリーンに映像を投影する方法を説明するための図である。
【図１０】図１０Ａ〜図１０Ｂは、スクリーンに表示される映像の例を示す図であり、ページの切り替えに用いられる仮想的なタブの例を示す。
【図１１】図１１Ａは、手書き操作に応じて映像を更新する例を示す図である。図１１Ｂは、手書き操作の有無の判定に接触センサの検出結果を利用する例を示す図である。
【図１２】図１２Ａ〜図１２Ｃは、携帯型スクリーンの一例を示す図である。
【図１３】図１３Ａ〜図１３Ｄは、携帯型スクリーンの他の例を示す図である。
【図１４】図１４は、複数のスクリーンの近接状態に応じて映像の表示を制御する処理の第１の例を説明するためのフローチャートである。
【図１５】図１５Ａ〜図１５Ｆは、２つのスクリーンの近接状態を判定する第１の例を示す図である。
【図１６】図１６Ａ〜図１６Ｆは、２つのスクリーンの近接状態を判定する第２の例を示す図である。
【図１７】図１７は、仮想的なスクリーンを決定する処理の第１の例を説明するためのフローチャートである。
【図１８】図１８Ａ〜図１８Ｄは、近接スクリーン領域の第１の例を示す図である。
【図１９】図１９Ａ〜図１９Ｄは、近接スクリーン領域の第１の例を示す図である。
【図２０】図２０Ａ〜図２０Ｆは、近接スクリーン領域に含まれた仮想的なスクリーンの第１の例を示す図である。
【図２１】図２１Ａ〜図２１Ｃは、近接スクリーン領域に含まれた仮想的なスクリーンの第２の例を示す図である。
【図２２】図２２は、仮想的なスクリーンを決定する処理の第２の例を説明するためのフローチャートである。
【図２３】図２３Ａ〜図２３Ｃは、近接スクリーン領域に含まれた仮想的なスクリーンの第２の例を示す図である。
【図２４】図２４は、仮想的なスクリーンを決定する処理の第３の例を説明するためのフローチャートである。
【図２５】図２５Ａ〜図２５Ｃは、近接スクリーン領域に表示される仮想的なスクリーンの候補の例を示す図である。
【図２６】図２６は、仮想的なスクリーンに表示する映像とその向きを決定する処理の第１の例を説明するためのフローチャートである。
【図２７】図２７Ａ〜図２７Ｂは、仮想的なスクリーンに対する映像の向きの例を示す図である。
【図２８】図２８は、仮想的なスクリーンに表示する映像とその向きを決定する処理の第２の例を説明するためのフローチャートである。
【図２９】図２９は、複数のスクリーンの近接状態に応じて映像の表示を制御する処理の他の例を説明するためのフローチャートである。
【図３０】図３０Ａ〜図３０Ｂは、仮想的なスクリーンの他の例を示す図である。
【発明を実施するための形態】
【００４４】
以下、本実施形態に係る映像表示システムについて図面を参照して説明する。本実施形態に係る映像表示システムは、単に映像を投影するだけでなく、使用者のジェスチャーやスクリーンの移動などをセンサにより検知して、映像の投影を双方向的に制御する機能を持つ。この映像表示システムは、例えば会議や研修、授業などにおいて資料等の映像をスクリーンに投影する機能のほか、使用者ごとに閲覧可能な資料等を制限する機能、議事録を自動的に生成する機能などを備える。
【００４５】
図１Ａは、本実施形態に係る映像表示システムの一例を示す図であり、卓上型スクリーン３を用いた映像表示システムを示す。また図２Ａは、本実施形態に係る映像表示システムの他の一例を示す図であり、携帯型スクリーン４を用いた映像表示システムを示す。これらの例に示す映像表示システムは、会議室の天井などに設置された多機能プロジェクタ２と、映像が投影される卓上型スクリーン３若しくは携帯型スクリーン４とを有する。図の例では、多機能プロジェクタ２の下方に机１２が配置され、机１２の上に置かれた卓上型スクリーン３や携帯型スクリーン４に向けて多機能プロジェクタ２から映像が投影される。使用者は、机１２の周囲に配置された座席１１に着座して、これらのスクリーン（３，４）に投影される映像を見ながら会議等を行う。
【００４６】
なお、図１Ａ及び図２Ａの例では、卓上型スクリーン３のみ又は携帯型スクリーン４のみが使用されているが、これらのスクリーン（３，４）は机１２の上で両方同時に使用されてもよい。この場合、多機能プロジェクタ２は、各スクリーン（３，４）への映像の投影を並行して行う。
【００４７】
図１Ｂは、卓上型スクリーン３の一例を示す図である。図１Ｂに示す卓上型スクリーン３は、ほぼ矩形の平らな投影面３１１を持った平板状の部材である。投影面３１１には、例えば汎用のプロジェクタ用スクリーンや、反射効率が高いディンプル反射板による高効率スクリーンなどが用いられる。
【００４８】
卓上型スクリーン３の投影面３１１の対角の隅には、星形のマーク３０１及び３０２が設けられている。マーク３０１及び３０２は、後述する物体検知部２２によって検知され、卓上型スクリーン３の位置及び姿勢の判定に使用される。マーク３０１及び３０２は、例えば、特定の波長の光（不可視の赤外線や紫外線など）を受けて蛍光を発生する不可視インクで印刷されたマークでもよいし、一般的な可視のインクで印刷されたマークでもよい。また、マーク３０１及び３０２は、投影光を反射する反射板や、発光素子（発光ダイオード等）でもよい。なお、マーク３０１および３０２は、感熱性インクや電子ペーパー等を用いて書き換え可能に構成されても良い。
【００４９】
卓上型スクリーン３は、四辺の縁の近くに複数のマイク３１とスピーカ３２を備える。複数のマイク３１は、発話者の位置を特定する処理のために異なる場所で発話者の音声を集音する。また、一部のマイク３１は、ノイズ除去処理のために音声以外の環境音を集音する。スピーカ３２は、投影面３１１における使用者の所定のジェスチャーに対応した操作音（クリック音など）や、任意のオーディオデータによる音を発生する。なお、マイク３１やスピーカ３２は、卓上スクリーン３の外縁の端面（卓上スクリーン３の厚みの範囲内）に収容されていても良い。これにより、投影面３１１に対して多機能プロジェクタ２から映像が投影された際に、マイク３１やスピーカ３２に映像が重なることを防止できる。
【００５０】
図２Ｂ〜図２Ｃは、携帯型スクリーン４の一例を示す図である。この図の例において、携帯型スクリーン４はノートのように開閉（変形）可能である。図２Ｂは、閉じた状態における携帯型スクリーン４の表紙４５０を示す。図２Ｂの例において、携帯型スクリーン４の表紙４５０には、使用者の識別情報を含んだ２次元コード４５１と、使用者の顔の写真４５２とが印刷若しくは貼り付けられている。なお、使用者の識別情報を含んだ２次元コード４５１や、使用者の顔の写真４５２は、感熱性インクや電子ペーパー等を用いて書き換え可能に構成されても良い。
【００５１】
図２Ｃは、開いた状態における携帯型スクリーン４の投影面４１１−1，４１１−２を示す。図２Ｃの例において、携帯型スクリーン４は、折り畳み可能な２つの投影面４１１−1及び４１１−２を含む。投影面４１１−1及び４１１−２（以下、区別せずに「投影面４１１」と記す場合がある。）には、例えば汎用のプロジェクタ用スクリーンやディンプル反射板による高効率スクリーンなどが用いられる。
【００５２】
携帯型スクリーン４の２つの投影面４１１には、それぞれ３つのマーク４０１〜４０３が設けられている。マーク４０１〜４０３は、後述する物体検知部２２によって検知され、各投影面４１１の位置及び姿勢の判定や、携帯型スクリーン４の変形状態（開閉状態）の判定に使用される。マーク４０１〜４０３は、インク（不可視インクなど）で印刷されたマークでもよいし、反射板や発光素子でもよい。なお、マーク４０１〜４０３は、感熱性インクや電子ペーパー等を用いて書き換え可能に構成されても良い。
【００５３】
また２つの投影面４１１の端部には、複数のマイク４３とスピーカ４４が設けられている。複数のマイク４３は、発話者の音声やノイズ除去用の環境音を集音する。スピーカ４４は、２つの投影面４１１における使用者の所定のジェスチャーに対応した操作音や、任意のオーディオデータによる音を発生する。マイク４３やスピーカ４４は、投影面４１１−１，４１１−２の外縁の端面における厚みの範囲内に収容されていても良い。これにより、投影面４１１−１，４１１−２に対して多機能プロジェクタ２から映像が投影された際に、マイク４３やスピーカ４４に映像が重なることを防止できる。
【００５４】
図３は、本実施形態に係る映像表示システムの構成の一例を示す図である。本実施形態に係る映像表示システムは、全体的な動作を統括的に制御する制御装置５を有する。多機能プロジェクタ２、卓上型スクリーン３及び携帯型スクリーン４は、例えば図３に示すように、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線通信方式によって制御装置５とそれぞれ通信する。なお、制御装置５との通信は無線通信に限らず、有線の通信でもよい。また、制御装置５を構成する１以上のブロックの少なくとも一部が、他の１以上の装置（例えば多機能プロジェクタ２）に組み込まれていてもよい。
【００５５】
更に制御装置５は、ＬＡＮやその他のネットワークに接続されたサーバ６と通信を行う。制御装置５は、多機能プロジェクタ２が投影する映像のデータや、スクリーン（３，４）のスピーカ（３２，４４）が出力する音のデータ、使用者の識別情報を認証するための情報などをサーバ６から取得する。
【００５６】
図４は、多機能プロジェクタ２の構成の一例を示す図である。図４に示す多機能プロジェクタ２は、投影部２１と、物体検知部２２と、撮像部２３と、通信部２４と、制御部２５とを有する。
【００５７】
投影部２１は、映像を投影する装置である。例えば、投影部２１は、ＬＣＤパネルに光源からの光を通して、ピクセルごとに光を透過させるか遮断するかの制御を行ない、映像を表示させる液晶プロジェクタや、レーザー光源からのレーザー光をＭＥＭＳミラーで反射させ所定領域で走査させることで映像を表示させるレーザープロジェクタ等を含む。
【００５８】
本実施形態において、投影部２１は、制御部２５の制御に応じて投影方向を可変する機能や、投影先における光学像の歪みを補正する機能を備える。例えば投影部２１は、光学系をアクチュエータなどで駆動し、光軸の方向や光学像の形状を調節する。
【００５９】
物体検知部２２は、検知対象領域における物体の各部分の位置を検知する。検知対象領域は、例えば投影部２１の投影範囲を含む３次元の空間であり、物体検知部２２はこの３次元の空間に存在する物体の各部分の位置、すなわち、奥行きを持った３次元の形状を検知する。例えば物体検知部２２は、所定の位置から所定のパターンを持つ赤外光線を検知対象の空間に照射し、空間に存在する物体（携帯型スクリーン４や他の検知対象物１４）で反射された赤外光線の画像を別の位置のカメラで撮像する。物体検知部２２は、撮像した画像における赤外光線のパターンの歪みに基づいて、物体の３次元の形状に関する情報を取得する。あるいは、物体検知部２２は、レーザーから照射した赤外光線が物体で反射されて光学センサで受光されるまでの時間を検知する方式や、異なる位置で撮像された画像のずれを検知する方式など、既に知られている種々の方式によって物体の３次元の情報を取得してもよい。
【００６０】
なお、検知対象領域が２次元の平面（例えば机１２の上の平面）であり、物体（例えば携帯型スクリーン４）の奥行の情報を無視しても物体の位置と姿勢（平面上での回転方向）を検知できる場合、物体検知部２２は２次元画像を撮像するカメラなどでもよい。
【００６１】
撮像部２３は、投影部２１が映像を投影可能な投影範囲と、その周囲を撮像する。撮像部２３が撮像した画像は、投影部２１の投影範囲に接近する使用者１３の検知や、投影範囲の周囲における使用者１３の位置の判定、使用者１３の顔の表情やしぐさなどに関する情報の取得などに用いられる。
【００６２】
通信部２４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線通信方式によって制御装置５と通信を行う装置であり、所定のベースバンド処理を行う回路や送受信回路を含む。
【００６３】
制御部２５は、多機能プロジェクタ２の各構成要素を制御する装置であり、例えばメモリに記憶されるプログラムの命令コードに従って処理を実行するコンピュータを含む。制御部２５は、制御装置５から送られてくるコマンドに応じて、投影部２１における投影方向の制御や光学像の形状の補正を行うとともに、制御装置５から受信した映像データを投影部２１に入力して、映像データに応じた映像を投影する処理を行う。また制御部２５は、物体検知部２２における物体の検知結果や撮像部２３における撮像画像を取得し、制御装置５へ送信する処理を行う。
【００６４】
なお、図４の例では多機能プロジェクタ２の中に物体検知部２２と撮像部２３が含まれているが、これらの装置はそれぞれ独立に設けられていてもよい。
【００６５】
図５は、卓上型スクリーン３の構成の一例を示す図である。図５に示す卓上型スクリーン３は、複数のマイク３１と、複数のスピーカ３２と、入力部３３と、通信部３４と、制御部３５とを有する。また卓上型スクリーン３は、内部の電子回路に電源を供給するためのバッテリ（不図示）を搭載する。
【００６６】
複数のマイク３１（図１Ｂの例では６個）は、発話者の音声やノイズ除去用の環境音をそれぞれ集音する。
【００６７】
複数のスピーカ３２（図１Ｂの例では２個）は、使用者の所定のジェスチャーに応じた操作音や、任意のオーディオデータによる音をそれぞれ発生する。
【００６８】
入力部３３は、使用者の指示を入力するための装置であり、図１Ｂの例では、投影面３１１の側縁部に設けられた回転式のダイヤルを含む。入力部３３は、このダイヤルの回転に応じた信号を制御部３５に入力する。入力部３３から入力された信号は、使用者の指示を表す情報として通信部３４から制御装置５に送信され、映像中の文書のページを送る処理などに使用される。
【００６９】
通信部３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線通信方式によって制御装置５と通信を行う装置であり、所定のベースバンド処理を行う回路や送受信回路を含む。
【００７０】
制御部３５は、卓上型スクリーン３の各構成要素を制御する装置であり、例えばメモリに記憶されるプログラムの命令コードに従って処理を実行するコンピュータを含む。制御部３５は、複数のマイク３１で集音された音のデータを制御装置５へ送信する処理や、制御装置５から受信したオーディオデータに基づいてスピーカ３２から音を出力する処理、入力部３３で得られた使用者の指示に関する情報を制御装置５へ送信する処理などを行う。
【００７１】
図６は、携帯型スクリーン４の構成の一例を示す図である。図６に示す携帯型スクリーン４は、接触センサ４１と、振動発生器４２と、複数のマイク４３と、スピーカ４４と、入力部４５及び４６と、通信部４７と、制御部４８とを有する。また携帯型スクリーン４は、内部の電子回路に電源を供給するためのバッテリ（不図示）を搭載する。
【００７２】
接触センサ４１は、投影面４１１における指などの物体の接触を検知するセンサであり、例えば物体の接触に伴う圧力の変化を検知する圧電素子を含む。あるいは接触センサ４１は、物体の接触に伴う種々の物理量（静電容量、抵抗、温度など）の変化を検知するセンサを含んでもよい。
【００７３】
振動発生器４２は、投影面４１１に接触する指などへ振動を伝える装置であり、例えば圧電振動子やモーターなど、振動を発生可能な種々のアクチュエータを含む。
【００７４】
なお、接触センサ４１や振動発生器４２と同様なセンサやアクチュエータは、上述した卓上型スクリーン３にも搭載可能である。
【００７５】
複数のマイク４３（図２Ｂの例では２個）は、それぞれ発話者の音声やノイズ除去用の環境音を集音する。
【００７６】
スピーカ４４は、使用者の所定のジェスチャーに応じた操作音や、任意のオーディオデータによる音を発生する。
【００７７】
入力部４５及び４６は、使用者の指示を入力するための装置である。図２Ｂの例において、入力部４５及び４６はそれぞれ回転式のダイヤルを含む。入力部４５のダイヤルは２つの投影面４１１の折り畳み位置に近い側縁部に設けられており、入力部４６のダイヤルは折り畳み位置から離れた投影面４１１の側縁部の中央付近に設けられている。入力部４５及び４６は、ダイヤルの回転に応じた信号をそれぞれ制御部４８に入力する。入力部４５及び４６から入力された信号は、使用者の指示を表す情報として通信部４７から制御装置５に送信され、映像中の文書のページを送る処理などに使用される。
【００７８】
通信部４７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線通信方式によって制御装置５と通信を行う装置であり、所定のベースバンド処理を行う回路や送受信回路を含む。
【００７９】
制御部４８は、携帯型スクリーン４の各構成要素を制御する装置であり、例えばメモリに記憶されるプログラムの命令コードに従って処理を実行するコンピュータを含む。制御部４８は、投影面４１１への接触を検知する接触センサ４１の検知結果を制御装置５へ送信する処理や、制御装置５から送られてきたコマンドに応じて振動発生器４２を振動させ、投影面４１１に触れた指等に振動を触知させる処理を行う。また、制御部４８は、複数のマイク４３で集音された音のデータを制御装置５へ送信する処理や、制御装置５から受信したオーディオデータに基づいてスピーカ４４から音を出力する処理、入力部４５及び４６で得られた使用者の指示に関する情報を制御装置５へ送信する処理なども行う。
【００８０】
図７は、制御装置５の構成の一例を示す図である。図７に示す制御装置５は、表示部５１と、入力部５２と、通信部５３及び５４と、制御部５５とを有する。
【００８１】
表示部５１は、画像を表示する装置であり、例えば液晶ディスプレイや有機ＥＬディスプレイなどを含む。
【００８２】
入力部５２は、映像表示システムの管理者が指示を入力するための装置であり、例えばキーボードやマウス、タッチパッドなどを含む。
【００８３】
通信部５３は、映像表示システムにおける各構成要素（多機能プロジェクタ２、卓上型スクリーン３、携帯型スクリーン４）と無線通信を行う装置であり、例えばＢｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの所定の無線通信方式により通信を行う。通信部５３は、所定の無線通信方式に適合したベースバンド処理回路や送受信回路を含む。
【００８４】
通信部５４は、ＬＡＮやその他のネットワークに接続されたサーバ６と通信を行う装置であり、例えばイーサネット（登録商標）などの所定の通信方式に適合したベースバンド処理回路や送受信回路を含む。
【００８５】
制御部５５は、制御装置５による映像表示システムの全体的な制御を司る装置であり、図７の例では、処理部５６と記憶部５７を含む。処理部５６は、記憶部５７に格納されたプログラムの命令コードに従って処理を実行するコンピュータを含む。記憶部５７は、例えばＲＡＭやフラッシュＲＯＭ、ハードディスク、光ディスクなどの記憶装置を含む。処理部５６における全ての処理は、コンピュータにおいてプログラムに従って実行させてもよいし、少なくとも一部を専用のハードウェア（ロジック回路）で実行させてもよい。処理部５６のコンピュータが実行するプログラムは、記憶部５７に全て記憶されていてもよいし、少なくとも一部をサーバ６や他の外部の装置から適宜ダウンロードしてもよい。
【００８６】
次に、上述した構成を有する映像表示システムの動作を説明する。
【００８７】
＜開始時の動作＞
制御装置５は、投影部２１の投影範囲の周囲を撮像した撮像部２３の画像に基づいて、投影範囲への使用者の接近を監視する。例えば制御装置５は、サーバ６に予め登録されたミーティングに関する情報（ミーティング情報）を参照し、ミーティング情報に含まれるミーティングの開始時刻の情報に基づいて、開始時刻の所定時間前から使用者の接近を監視する。制御装置５は、投影範囲へ使用者が接近したことを判定すると（例えば会議室の入り口付近の画像で人物の動きを捉えると）、投影部２１を起動させる。
【００８８】
制御装置５は、投影部２１の投影範囲へ使用者が接近したことを判定した場合、使用者が投影範囲を容易に認識できるようにするため、投影範囲を光学像や照明光で指示するように投影部２１を制御する。この場合、制御装置５は、上述したミーティング情報に登録されている席次の情報を参照して、各使用者を決められた座席１１に誘導してもよい。例えば、制御装置５は、各座席１１に着席する使用者の情報をミーティング情報から取得し、この取得した情報に基づいて、着席する使用者の氏名等を各座席１１の近くに表示させてもよい。
【００８９】
＜携帯型スクリーン４を所有する使用者の認証＞
制御装置５は、物体検知部２２の検知結果に基づいて、投影部２１の投影範囲に位置する物体から携帯型スクリーン４を特定する。投影部２１の投影範囲内で新たな携帯型スクリーン４が特定され、その表紙４５０が物体検知部２２の検知可能な方向（図２Ａの例では上側）に向けられている場合、制御装置５は、物体検知部２２により得られた表紙４５０の画像から２次元コード４５１を特定し、２次元コード４５１に含まれる使用者の識別情報を抽出する。制御装置５は、２次元コード４５１から抽出した識別情報とサーバ６に予め登録された情報とを照合することにより、この携帯型スクリーン４が正規の使用者のものであることを認証する。
【００９０】
なお、携帯型スクリーン４の使用者を認証する場合、制御装置５は、２次元コード４５１などから得られる識別情報に加えて、この識別情報に関連付けられたパスワードや署名などの認証情報の入力を使用者に要求してもよい。例えば制御装置５は、パスワードや署名などの認証情報の入力を促す映像を投影部２１から携帯型スクリーン４に投影し、所定のジェスチャー（数字キーによるパスワードの入力操作、署名の記入操作など）を使用者に実施させる。制御装置５は、物体検知部２２により所定のジェスチャーを検知し、所定のジェスチャーが表す認証情報を取得する。制御装置５は、使用者の所定のジェスチャーにより入力された認証情報と、予め識別情報に関連付けてサーバ６等に記憶された認証情報とを照合することにより、使用者が入力した認証情報が正規のものであるか否かを判定する。認証情報が正規のものであると判定した場合、制御装置５は、投影部２１の投影範囲に置かれた携帯型スクリーン４が正規の使用者のものであることを認証する。
【００９１】
携帯型スクリーン４が正規の使用者のものであることを認証すると、制御装置５は、この携帯型スクリーン４との間で無線通信を確立する。制御装置５は、マイク４３で集音された音のデータを携帯型スクリーン４から受信する処理や、スピーカ４４で音を出力させるためのオーディオデータを携帯型スクリーン４へ送信する処理を開始する。
【００９２】
また制御装置５は、携帯型スクリーン４へ投影する映像の内容を、その携帯型スクリーン４の所有者として認証した使用者の識別情報に応じて制限する。例えば、制御装置５は、閲覧権限が設定された機密文書等を携帯型スクリーン４へ投影するように使用者がジェスチャー等で指示した場合、携帯型スクリーン４の所有者として認証した使用者の識別情報に基づいて、閲覧の可否を判定する。制御装置５は、例えば使用者の識別情報に基づいて、その使用者の閲覧権限に関する情報をサーバ６から取得し、使用者が機密文書等の閲覧権限を持つか否か判定する。使用者が閲覧権限を持たないと判定した場合、制御装置５は、その使用者が所有する携帯型スクリーン４への機密文書等の投影を制限する。
【００９３】
＜スクリーンに映像を投影する動作＞
認証された携帯型スクリーン４が投影範囲に置かれると、制御装置５は、物体検知部２２で検知される物体の中から、携帯型スクリーン４の各投影面４１１に設けられたマーク４０１〜４０３を特定する。制御装置５は、携帯型スクリーン４のマーク４０１〜４０３を特定すると、特定したマーク４０１〜４０３が存在する３次元の空間での位置に基づいて、携帯型スクリーン４の投影面４１１の位置及び姿勢を判定する。
【００９４】
仮に、検知対象物が存在する空間の基準となる３次元の直交座標系を「基準座標系」とし、検知対象物（投影面４１１など）に対して固定される３次元の直交座標系を「対象物座標系」とする。この場合、制御装置５は、基準座標系からみた対象物座標系の原点の位置を、検知対象物の位置として判定してもよい。また、制御装置５は、基準座標系の各座標軸を基準とした対象物座標系の各座標軸の回転角を、検知対象物の姿勢として判定してもよい。
【００９５】
制御装置５は、物体検知部２２の検知結果に基づいて投影面４１１の位置及び姿勢を判定すると、この判定結果に応じて、投影面４１１における映像の投影状態が一定に保たれるように投影部２１を制御する。例えば制御装置５は、映像の投影状態として、投影面４１１において映像が投影される範囲や、投影面４１１に対する映像の向きを一定に保つ。
【００９６】
図８は、携帯型スクリーン４における映像の投影状態が一定に保たれることを説明するための図である。図８では、携帯型スクリーン４が１つの投影面４１１に簡略化されている。投影面４１１の形状は、平面視において矩形であり、矩形の３つの角にマーク４０１，４０２，４０３がこの順番で左回りに配置されている。投影面４１１において映像が投影される範囲は、投影面４１１の形状と概ね相似な矩形の範囲である。投影面４１１に対する映像の向きは、マーク４０１及び４０２が設けられた側縁部を下側、マーク４０２及び４０３が設けられた側縁部を右側とする向きである。図８では、投影面４１１（携帯型スクリーン４）の３つの状態が示されており、それぞれの状態で投影面４１１の位置や姿勢は異なっている。しかしながら、投影面４１１において映像が投影される矩形の範囲と、投影面４１１に対する映像の向きは、３つの状態において全て同じである。この図８に示すように、制御装置５は、携帯型スクリーン４の位置や姿勢が様々に変化する場合でも、映像の投影状態（映像の範囲、映像の向き等）が一定に保たれるように投影部２１を制御する。
【００９７】
なお制御装置５は、卓上型スクリーン３についても、上述した携帯型スクリーン４の場合と同様の制御を行う。すなわち、制御装置５は、物体検知部２２が検知したマーク３０１及び３０２の位置に基づいて投影面３１１の位置及び姿勢を判定し、その判定結果に基づいて、投影面３１１における映像の投影状態が所定の状態となるように投影部２１を制御する。
【００９８】
また制御装置５は、変形可能な携帯型スクリーン４については、物体検知部２２の検知結果に基づいて、変形の状態を判定する。例えば制御装置５は、携帯型スクリーン４において各投影面４１１のマーク４０１〜４０３が特定された場合、携帯型スクリーン４が図２Ｃに示す開いた状態になっていることを判定する。
【００９９】
＜複数のスクリーンが存在する場合の動作＞
制御装置５は、投影部２１の投影範囲に複数のスクリーン（卓上型スクリーン３、携帯型スクリーン４）が存在する場合、各々のスクリーンに対する映像の投影を並行に行う。
【０１００】
図９Ａ〜図９Ｄは、複数のスクリーンに映像を投影する方法を説明するための図であり、ここでは例として、４つの携帯型スクリーン４−１〜４−４に並行して映像を投影する場合を説明する。
【０１０１】
図９Ａの例では、４つの携帯型スクリーン４−１〜４−４を含む１つの範囲が、１つの映像を投影する範囲となっている。この１つの映像には、４つのスクリーン（４−１〜４−４）に対応した４つの描画部分が含まれている。４つの描画部分は、それぞれ対応するスクリーン（４−１〜４−４）が置かれた場所と重なるように、１つの映像の中に配置されている。４つの描画部分以外の部分（目の細かい斜線の部分）は、例えば輝度の低い影の部分であり、４つの描画部分はこの影の部分によって互いに分離されている。このように、制御部５は、投影部２１の投影範囲内に複数のスクリーンが存在する場合、複数のスクリーンと重なる場所にそれぞれ描画部分が配置された映像を生成し、複数のスクリーンが存在する範囲に向けてこの映像を投影する。
【０１０２】
図９Ｂの例では、４つの携帯型スクリーン４−１〜４−４の各々へ順次に映像が投影される。図９Ｂにおいて目の粗い斜線が施された部分は、映像が投影されていない状態のスクリーン表面を示す。４つの携帯型スクリーン４−１〜４−４の各々は、一時的に映像が投影されない状態となるが、順次の映像の投影が短い周期で繰り返されることにより、使用者には連続的に映像が表示されているように見える。このように、制御部５は、投影部２１の投影範囲内に存在する複数のスクリーンの各々へ順次に映像を投影する処理を反復してもよい。
【０１０３】
図９Ｃの例では、多機能プロジェクタ２に４つの投影部２１−１〜２１−４が搭載されており、４つの携帯型スクリーン４−１〜４−４に向けて４つの投影部２１−１〜２１−４から個別に映像が投影される。このように、制御装置５は、複数の投影部２１の各々に映像の投影先として１つのスクリーンを割り当ててもよい。これにより、複数のスクリーンが存在する場合には、その各々に向けて個別に映像が投影される。
【０１０４】
図９Ｄの例では、多機能プロジェクタ２に２つの投影部２１−１及び２１−２が搭載されており、投影部２１−１から２つの携帯型スクリーン４−１及び４−２に向けて１つの映像が投影され、投影部２１−２から２つの携帯型スクリーン４−３及び４−４に向けて別の１つの映像が投影される。このように、制御部５は、複数の投影部２１の各々に映像の投影先として１つ又は複数のスクリーンを割り当ててもよい。そして、制御装置５は、１つの投影部２１に複数のスクリーンを割り当てた場合には、当該複数のスクリーンと重なる場所にそれぞれ描画部分が配置された映像を生成し、当該複数のスクリーンが存在する範囲に向けて当該１つの投影部２１から当該生成した映像を投影してもよい。
【０１０５】
なお、制御装置５は、複数の投影部２１における１つの投影部２１に複数のスクリーンを割り当てた場合、図９Ｂに示す例のように、当該１つの投影部２１から当該複数のスクリーンの各々に向けて順次に映像を投影する処理を反復してもよい。
【０１０６】
＜スクリーン以外への映像の投影＞
制御装置５は、ジェスチャーなどによって使用者から与えられる指示に応じて、投影範囲内のスクリーン（卓上型スクリーン３、携帯型スクリーン４）以外の場所にも映像を投影するように投影部２１を制御する。これにより、例えばスクリーン以外の場所に置かれた物品に関する詳細情報を、その物品の近くに投影することが可能である。
【０１０７】
なお、制御装置５は、スクリーン以外の場所に映像を投影する場合、障害物によって遮られない場所を映像の投影先として自動的に選択してもよい。例えば、制御装置５は、物体検知部２２の検知結果に基づいて、障害物により映像の投影を遮られる範囲を特定し、映像の投影先の候補として選択した場所が当該特定した範囲と重なる場合は、当該特定した範囲の外側へ映像の投影先を移動させる。
【０１０８】
また、投影部２１は、映像の投影だけでなく、照明光の照射にも使用可能である。制御装置５は、ジェスチャーなどによって使用者から与えられる指示に応じて、投影範囲内の特定の場所（若しくは投影範囲の全体）に照明光を照射してもよい。
【０１０９】
＜使用者の操作の認識＞
制御装置５は、物体検知部２２において検知される物体の中から、使用者の手や指、使用者が持つペンなどの物体（以下、「操作体」と記す場合がある。）を特定し、特定した操作体の運動が所定のジェスチャーであるか否かを判定する。制御装置５は、操作体（指など）の運動が所定のジェスチャーであると判定した場合、そのジェスチャーに対応した処理を行う。例えば、制御装置５は、使用者の指やペンなどによるジェスチャーに応じて、映像の拡大や縮小、回転、移動を行ったり、映像の色合いの変更、映像に含まれる線の太さの変更などを行う。
【０１１０】
また制御装置５は、上述したジェスチャーによる操作を案内して、使用者が目的の操作を容易に行えるようにするためのユーザインターフェース映像を生成する。図１０Ａ〜図１０Ｂは、そのようなユーザインターフェース映像の例を示す図であり、ページの切り替えに用いられる仮想的なタブの例を示す。この図の例において、制御装置５は、文書の端部に複数の仮想タブ１１０−１〜１１０−７（以下、区別せずに「仮想タブ１１０」と記す場合がある。）が配置された映像を生成する。使用者がこれらの仮想タブ１１０の１つを指示するジェスチャー（例えば指で仮想タブ１１０に触れるジェスチャー）を行うと、制御装置５は、映像に含まれる文書のページを、ジェスチャーにより指示された仮想タブ１１０に対応するページへ切り替える（図１０Ｂ）。仮想タブ１１０に対応しないページへ移動する操作には、例えば卓上型スクリーン３の入力部３３のダイヤル（図１Ｂ）や、携帯型スクリーン４の入力部４５，４６のダイヤル（図２Ｃ）が用いられる。制御装置５は、これらの入力部の操作に応じて、映像に含まれる文書のページを前後へ順番に切り替える。
【０１１１】
更に制御装置５は、物体検知部２２において検知される操作体の運動に基づいて、手書き操作により筆記された線の軌跡を特定する。制御装置５は、手書き操作による線の軌跡を特定した場合、例えば図１１Ａに示すように、特定した線の軌跡が現在の映像と重なって表示されるように、投影する映像を更新する。また制御装置５は、手書き操作の有無を判定するにあたり、例えば図１１Ｂに示すように、接触センサ４１の検出結果を利用してもよい。これにより、投影面４１１へ操作体（指、ペンなど）が接触した状態での操作体の動きを正確に捕捉できるため、手書き操作による線の軌跡の特定を正確に行うことができる。
【０１１２】
制御装置５は、手書き操作による線の軌跡を特定した場合、特定した線の軌跡から文字や図形を認識してもよい。例えば、制御装置５は、線の軌跡から認識した文字や図形を現在の映像に重ねて表示してもよいし、この認識した文字や図形を現在の映像に対応する文書等のデータファイルに追加してもよい。
【０１１３】
＜３次元イメージの取得＞
制御装置５は、ジェスチャーなどによって使用者から与えられる指示に応じて、物体検知部２２の検知対象領域に位置する物体の３次元イメージを取得する。例えば、制御装置５は、スクリーン（卓上型スクリーン３、携帯型スクリーン４）の上に物体が置かれたことを物体検知部２２の検知結果に基づいて判定した場合、その物体の３次元イメージを取得する。この場合、制御装置５は、物体が置かれたスクリーンにおいて投影中の映像に関わるデータファイルに、この３次元イメージのデータを追加してもよい。また、制御装置５は、物体の３次元イメージを取得した場合、取得した３次元イメージを新たな映像としてスクリーンや別の場所に投影してもよい。
【０１１４】
＜議事録データの作成＞
制御装置５は、卓上型スクリーン３のマイク３１や携帯型スクリーン４のマイク４３で集音された音のデータを記録（録音）する。卓上型スクリーン３の複数のマイク３１で音を集音する場合、例えば制御装置５は、複数のマイク３１で集音された音にそれぞれ遅延を与えて合成した合成音を生成し、合成音に含まれる発話の音声の感度が最も高くなるように（発話者の方向へ指向性を持つように）、複数のマイク３１で集音された音にそれぞれ与える遅延の設定を調節する。これにより、発話者の音声が明瞭化される。
【０１１５】
また、制御装置５は、合成音に含まれる発話の音声の感度が最も高くなるように調節した遅延の設定から、発話者の方向を推定する。制御装置５は、発話者の方向を推定すると、この推定した方向と異なる方向から到来する音（環境音）をノイズとして除去する。例えば制御装置５は、複数のマイク３１の一部で集音された音の成分を用いて、上述した合成音に含まれたノイズを除去する処理を行う。これにより、発話者の音声がより明瞭化される。
【０１１６】
更に、制御装置５は、発話者の方向を推定する場合、撮像部２３において撮像された画像を用いてもよい。例えば、制御装置５は、撮像部２３において撮像された画像に基づいて、投影部２１の投影範囲の周囲における人物の位置を特定する。制御装置５は、画像から特定した人物の位置に基づいて、発話者が存在し得る方向の範囲を特定し、この特定した範囲の中で、合成音に含まれる音声の感度が最も高くなる遅延の設定を探索する。これにより、発話者の方向が正確に推定され易くなる。
【０１１７】
制御装置５は、音のデータから発話者の方向を推定した場合、その推定した方向に基づいて、発話者を特定する。例えば、制御装置５は、ミーティング情報に含まれる各使用者の席次の情報と、音のデータから推定した発話者の方向とに基づいて、発話者がどの使用者であるかを特定する。
【０１１８】
なお、複数の携帯型スクリーン４の各々に搭載されたマイク４３から音声を集音する場合、例えば制御装置５は、同一の発話について複数の携帯型スクリーン４で集音された音声を比較する。制御装置５は、この比較の結果に基づいて、同一の発話について最も大きな音声が集音された携帯型スクリーン４の使用者を、その発話の発話者として特定する。
【０１１９】
制御装置５は、録音された音声のデータにおいて発話が記録された時間と、その発話の発話者として特定された使用者の情報（例えば使用者の識別情報）とを関連付けて記録する。また制御装置５は、上述した処理によって明瞭化された音声のデータに基づいて音声認識処理を行い、発話の内容をテキストに変換する。制御装置５は、音声認識処理による音声からテキストへの変換を、例えばリアルタイムで実行する。
【０１２０】
制御装置５は、音声認識処理によってテキストに変換された発話内容のデータと、その発話者として特定された使用者の情報とが、発話の時間に従って時系列化された議事録データを生成する。なお、制御装置５は、発話内容だけでなく、スクリーンに投影された映像の内容に関する情報を時系列化して議事録データに含めてもよい。また、制御装置５は、撮像部２３において撮像された各参加者の表情の画像に基づいて、会話の状況に関する指標（盛り上がりの度合い、和みの度合い、反発の度合い、活発性の度合いなど）を算出し、算出した指標を時系列化して議事録データに含めてもよい。
【０１２１】
＜終了時の動作＞
制御装置５は、ジェスチャーなどによって使用者から与えられる指示に応じて、使用者のミーティングへの参加を終了させる。
【０１２２】
図１２Ａ〜図１２Ｃは、携帯型スクリーン４の一例を示す図であり、図１２Ａは表紙側、図１２Ｂは内側、図１２Ｃは裏表紙側を示す。図１２Ｃに示すように、携帯型スクリーン４の裏表紙４６０には、ミーティングからの離脱の意図を表す２次元コード４６１が印刷若しくは貼り付けられている。２次元コード４６１には、例えば、特定の識別情報の使用者がミーティングから離脱することを示す情報が含まれる。制御装置５は、物体検知部２２において携帯型スクリーン４の裏表紙側の２次元コード４６１が検知されると、この２次元コード４６１に含まれる識別情報に対応した携帯型スクリーン４を、映像の投影対象から除外する。また、制御装置５は、２次元コード４６１に含まれる識別情報と、この２次元コード４６１が検知された時刻とを関連づけて、上述した議事録データに記録してもよい。これにより、特定の使用者がミーティングから離脱した時刻が議事録に記録される。
【０１２３】
＜携帯型スクリーン４の他の例＞
図１３Ａ〜図１３Ｄは、携帯型スクリーン４の他の例を示す図であり、図１２Ａ〜図１２Ｃに示す開閉可能な携帯型スクリーン４に板状の中間部材４１０を追加したものである。ただし、２つのマイク４３とスピーカ４４は、裏表紙４６０の側縁部にそれぞれ配置されている。
【０１２４】
中間部材４１０は、一方の面に投影面４１１−３を持ち、他方の面に投影面４１１−４を持つ。図１３Ｂ及び図１３Ｃの例において、投影面４１１−１，４１１−２，４１１−３及び４１１−４はそれぞれ矩形の形状を持ち、互いに略合同である。中間部材４１０の１つの側縁部が、投影面４１１−１及び４１１−２の境界部分に接続されている。携帯型スクリーン４を閉じた場合、中間部材４１０は、投影面４１１−１及び４１１−２の間に挟まれた状態となる。携帯型スクリーン４を開いた場合、中間部材４１０は、ノートのページのようにめくることができる。図１３Ｂは投影面４１１−３を表側に向けて開いた状態を示し、図１３Ｂは投影面４１１−４を表側に向けて開いた状態を示す。
【０１２５】
図１３Ａ〜図１３Ｄに示す携帯型スクリーン４では、図１３Ｂの展開状態と図１３Ｃの展開状態とで投影面全体のサイズと形状がほぼ同じとなる。そのため、投影面４１１−１及び４１１−２と同一のマーク（４０１〜４０３）が投影面４１１−３及び４１１−４の両方に設けられていると、図１３Ｂの展開状態と図１３Ｃの展開状態との区別がつかなくなる。そこで、複数の投影面を持つ携帯型スクリーン４の場合、各展開状態において投影面全体に設けられた１以上のマークの外見が、他の展開状態と異なるように、個々の投影面におけるマークの数や配置、形状、サイズなどが設定される。図１３Ｂ及び図１３Ｃの例では、図１３Ｂの展開状態と図１３Ｃの展開状態との区別がつくように、投影面４１１−３と投影面４１１−４とでマークの一部が異なっている。すなわち、投影面４１１−３は、投影面４１１−１及び４１１−２と同じ３つのマーク（４０１，４０２，４０３）を持つ一方、投影面４１１−４は、投影面４１１−１及び４１１−２と同じ２つのマーク（４０２，４０３）に十字型のマーク４０１Ａを加えた３つのマーク（４０１Ａ、４０２，４０３）を持つ。制御装置５は、物体検知部２２において検知されるマーク４０１とマーク４０１Ａとの形状の違いから、図１３Ｂの展開状態と図１３Ｃの展開状態とを判別する。
【０１２６】
次に、複数の携帯型スクリーン４が近接した状態にある場合に映像の表示を制御する処理について説明する。
【０１２７】
＜携帯型スクリーン４の近接状態に応じた映像の表示の制御＞
図１４は、複数の携帯型スクリーン４の近接状態に応じて映像の表示を制御する処理の例を説明するためのフローチャートである。
【０１２８】
制御装置５は、物体検知部２２の検知結果に基づいて、携帯型スクリーン４同士の近接の状態を判定する（ＳＴ１００）。例えば制御装置５は、物体検知部２２により検知された複数の携帯型スクリーン４における２つの携帯型スクリーン４の組み合わせ全てについて、近接状態の判定を行う。制御装置５は、物体検知部２２の検知結果に基づいて、近接した状態にある２以上の携帯型スクリーン４を特定する。
【０１２９】
近接した状態にあると判定した２以上の携帯型スクリーン４を特定した場合（ＳＴ１０５のＹｅｓ）、制御装置５は、この２以上の携帯型スクリーン４の少なくとも一部を含む仮想的なスクリーン（以下、「仮想スクリーン」と記載する場合がある。）を決定する（ＳＴ１１０）。また制御装置５は、仮想スクリーンにおいて表示させる映像と、仮想スクリーンにおける映像の向きを決定し（ＳＴ１３０）、この決定に基づいて仮想スクリーンに映像を表示させる（ＳＴ１３５）。制御装置５は、ステップＳＴ１０５〜ＳＴ１３５の後、映像の表示を継続する場合は（ＳＴ１４０のＮｏ）、再びステップＳＴ１００以降の処理を繰り返す。
【０１３０】
このように、近接した状態にある２以上の携帯型スクリーン４が特定された場合、特定された２以上の携帯型スクリーン４の少なくとも一部を含む仮想スクリーンが決定され、決定された仮想スクリーンにおいて映像が表示される。これにより、サイズや形状などが個々の携帯型スクリーン４とは異なる仮想スクリーンを簡単に形成することができる。そのため、様々な種類の資料など見やすく表示させることや、複数人で共通の資料などを閲覧することなどが容易になり、利便性が高くなる。
【０１３１】
上述した図１４のフローチャートの各処理（ＳＴ１００，ＳＴ１１０，ＳＴ１３０）について、更に詳しく説明する。
【０１３２】
（ＳＴ１００：スクリーンの近接状態の判定）
制御装置５は、物体検知部２２の検知結果に基づいて、複数の携帯型スクリーン４の位置及び姿勢をそれぞれ判定する。制御装置５は、２つの携帯型スクリーン４の近接状態を判定する場合、その２つの携帯型スクリーン４について判定した位置及び姿勢に基づいて、一方の携帯型スクリーン４と接触する若しくは所定の距離以内に近接する他方の携帯型スクリーン４の外縁部分を特定する。そして、制御装置５は、特定した外縁部分の両端の距離に基づいて、２つの携帯型スクリーン４が近接した状態にあるか否かを判定する。
なお、物体検知部２２は、本発明における検知部の一例である。
【０１３３】
図１５Ａ〜図１５Ｆは、２つの携帯型スクリーン４−１及び４−２の近接状態を判定する第１の例を示す図である。図１５Ａ〜図１５Ｆの例において、制御装置５は、一方の携帯型スクリーン４−１と接触する他方の携帯型スクリーン４−２の外縁部分４２１を特定する。
【０１３４】
図１５Ａ〜図１５Ｄの例において、携帯型スクリーン４−１及び４−２は矩形の形状を持ち、図１５Ｅ〜図１５Ｆの例において、携帯型スクリーン４−１及び４−２は楕円に近い形状を持つ。
【０１３５】
図１５Ａ及び図１５Ｅの例において、携帯型スクリーン４−１及び４−２は互いの外縁部で接しており、図１５Ｂ、図１５Ｄ及び図１５Ｆの例において、携帯型スクリーン４−１及び４−２は重なり合っている。この図１５Ａ〜図１５Ｂ及び図１５Ｄ〜図１５Ｆの例において、携帯型スクリーン４−２の外縁部分４２１は、携帯型スクリーン４−１の外縁部分や外縁部分より内側の部分に接触している。制御装置５は、このような携帯型スクリーン４−２の外縁部分４２１を特定する。
【０１３６】
制御装置５は、特定した外縁部分４２１の一方の端点４２２から他方の端点４２３までの距離Ｌ（すなわち外縁部分４２１の両端の距離Ｌ）を算出し、距離Ｌが所定のしきい値より大きい場合、携帯型スクリーン４−１及び４−２が近接した状態にあると判定する。例えば、図１５Ｄの状態は、外縁部分４２１の距離Ｌがしきい値より小さいため、制御装置５は近接した状態ではないと判定する。また図１５Ｃの状態は、携帯型スクリーン４−１及び４−２が接触しておらず、距離Ｌを算出できないため、制御装置５は近接した状態ではないと判定する。
【０１３７】
図１６Ａ〜図１６Ｆは、２つのスクリーンの近接状態を判定する第２の例を示す図である。図１６Ａ〜図１６Ｆの例において、制御装置５は、一方の携帯型スクリーン４−１と所定の距離ｄ以内に近接する他方の携帯型スクリーン４−２の外縁部分４２１を特定する。
【０１３８】
携帯型スクリーン４−１及び４−２の形状と近接状態は、図１５Ａ〜図１５Ｆと図１６Ａ〜図１６Ｆとで同一である。制御装置５は、図１６Ａ〜図１６Ｆの例において、図１５Ａ〜図１５Ｆとは異なる方法により近接状態の判定を行う。
【０１３９】
図１６Ａ〜図１６Ｆにおいて点線で示した境界線４３０は、携帯型スクリーン４−１に対して距離ｄ以内の範囲を示す。図１６Ａ〜図１６Ｆの例において、携帯型スクリーン４−２の外縁部分４２１は、携帯型スクリーン４−１の境界線４３０の内側に含まれており、携帯型スクリーン４−１と距離ｄ以内に近接している。制御装置５は、このような携帯型スクリーン４−２の外縁部分４２１を特定する。
【０１４０】
制御装置５は、図１５Ａ〜図１５Ｆの例と同様に、特定した外縁部分４２１の一方の端点４２２から他方の端点４２３までの距離Ｌを算出し、距離Ｌが所定のしきい値より大きい場合、携帯型スクリーン４−１及び４−２が近接した状態にあると判定する。例えば、制御装置５は、図１６Ａ〜図１６Ｆの全てについて、携帯型スクリーン４−１及び４−２が近接した状態にあると判定する。
【０１４１】
（ＳＴ１１０：仮想スクリーンの決定）
図１７は、仮想スクリーンを決定する処理の第１の例を説明するためのフローチャートである。
【０１４２】
近接した状態にあると判定した２以上の携帯型スクリーン４を特定した場合（ＳＴ１０５）、制御装置５は、この２以上の携帯型スクリーン４の全体が含まれた近接スクリーン領域を決定する（ＳＴ２００）。そして制御装置５は、この近接スクリーン領域に含まれ、所定の形状を持ち、かつ、面積が最大となる領域を仮想スクリーンとして決定する（ＳＴ２１５）。仮想スクリーンの形状は、例えば矩形であってもよいし、他の形状（多角形、円、楕円、これらの形状の少なくとも一部が組み合わされた形状など）でもよい。
【０１４３】
図１８Ａ〜図１８Ｄは、ステップＳＴ２００（図１７）において決定される近接スクリーン領域の第１の例を示す図である。図１８Ｂは、図１８Ａに示す２つの携帯型スクリーン４−１及び４−２について決定された近接スクリーン領域４２０の例を示す。図１８Ｄは、図１８Ｃに示す２つの携帯型スクリーン４−１及び４−２について決定された近接スクリーン領域４２０の例を示す。
【０１４４】
この図１８Ａ〜図１８Ｄの例において、制御装置５は、近接した２以上の携帯型スクリーン４のそれぞれ一部の外縁部により囲まれた領域を、近接スクリーン領域４２０として決定する。例えば、制御装置５は、図１５Ａ〜図１５Ｄに示す方法により近接した状態にあると判定した２以上の携帯型スクリーン４に対して、例えばこの方法により近接スクリーン領域を決定する。
【０１４５】
図１９Ａ〜図１９Ｄは、ステップＳＴ２００（図１７）において決定される近接スクリーン領域の第２の例を示す図である。図１９Ｂは、図１９Ａに示す２つの携帯型スクリーン４−１及び４−２について決定された近接スクリーン領域４２０の例を示す。図１９Ｄは、図１９Ｃに示す２つの携帯型スクリーン４−１及び４−２について決定された近接スクリーン領域４２０の例を示す。
【０１４６】
この図１９Ａ〜図１９Ｄの例において、制御装置５は、近接した２以上の携帯型スクリーン４のそれぞれ一部の外縁部と、外縁部の間を接続する所定の長さｄの中間線とにより囲まれた領域を、近接スクリーン領域４２０として決定する。２つの外縁部の間を接続する中間線は、例えば、一方の外縁部の接線に対して垂直である。制御装置５は、図１６Ａ〜図１６Ｄに示す方法により近接にあると状態にあると判定した２以上の携帯型スクリーン４に対して、例えばこの方法により近接スクリーン領域を決定する。
【０１４７】
図２０Ａ〜図２０Ｆ及び図２１Ａ〜図２１Ｃは、近接スクリーン領域に含まれた仮想スクリーン４００の第１の例を示す図である。
図２０Ａ〜図２０Ｆは、それぞれ矩形の形状を持つ２つの携帯型スクリーン４−１及び４−２について決定された仮想スクリーン４００の例を示す。図２１Ａは、それぞれ矩形の形状を持つ３つの携帯型スクリーン４−１〜４−３について決定された仮想スクリーン４００の例を示す。これらの例において、仮想スクリーン４００の形状は長方形である。また、仮想スクリーン４００は、各携帯型スクリーン４の一部を含み、面積が最大となるように決定されている。
【０１４８】
他方、図２１Ｂ及び図２１Ｃは、それぞれ半円形の形状を持つ２つの携帯型スクリーン４−１及び４−２について決定された仮想スクリーン４００の例を示す。図２１Ｂの例において仮想スクリーン４００の形状は長方形であり、図２１Ｃの例において仮想スクリーン４００の形状は楕円である。この２つの例において、仮想スクリーン４００は、各携帯型スクリーン４の一部を含み、面積が最大となるように決定されている。
【０１４９】
図２２は、仮想スクリーンを決定する処理の第２の例を説明するためのフローチャートである。図２２に示すフローチャートは、上述した図１７に示すフローチャートにステップＳＴ２０５及びＳＴ２１０を追加したものである。
【０１５０】
図２２のフローチャートにおいて、制御装置５は、仮想スクリーンを決定するステップＳＴ２１５の前に、その仮想スクリーンを新規に決定するのか否かを判定する（ＳＴ２０５）。既に仮想スクリーンを形成していても、新たに別の携帯型スクリーン４が近接したことによって近接スクリーン領域を更新した場合、制御装置５は、仮想スクリーンを新規に決定すると判定する。
【０１５１】
仮想スクリーンを新規に決定すると判定した場合、制御装置５は、ステップＳＴ２００で決定した近接スクリーン領域に含まれる複数の携帯型スクリーン４の識別情報（携帯型スクリーン４を所有する使用者の識別情報）に基づいて、仮想スクリーンの形状を決定する（ＳＴ２１０）。例えば、制御装置５は、近接スクリーン領域に含まれる複数の携帯型スクリーン４の識別情報に基づいて、当該複数の携帯型スクリーン４の中から特定の携帯型スクリーン４を選択する。特定の携帯型スクリーン４とは、例えば、特定の役割を与えられた使用者（プレゼンテーションの発表者など）の識別情報が割り当てられた携帯型スクリーン４である。使用者に関するこのような情報は、例えばミーティング情報などにおいて使用者の識別情報と関連づけられている。例えば制御装置５は、識別情報に関連付けられた使用者の情報に基づいて、特定の携帯型スクリーン４を選択する。このようにして、識別情報に応じた特定の携帯型スクリーン４を選択すると、制御装置５は、特定の携帯型スクリーン４の映像に対する相似関係が保たれるように、仮想スクリーンの形状を決定する。
【０１５２】
例えば、制御装置５は、選択した特定の携帯型スクリーン４において所定のアスペクト比の矩形画像を表示していた場合、これと同じアスペクト比を持つ矩形形状を仮想スクリーンの形状として決定する。
【０１５３】
図２３Ａ〜図２３Ｃは、近接スクリーン領域に含まれた仮想スクリーンの第２の例を示す図であり、図２２のフローチャートの処理によって決定される仮想スクリーンの例を示す。
図２３Ａ及び図２３Ｂの例では、近接スクリーン領域４２０に含まれる２つの携帯型スクリーン４−１及び４−２が異なる形状を持っている。また、図２３Ｃの例では、近接スクリーン領域４２０に含まれる３つの携帯型スクリーン４−１〜４−３のうち、携帯型スクリーン４−１が他の２つと異なる形状を持っている。制御装置５は、これらの例において、携帯型スクリーン４−１を特定のスクリーンとして選択する。そのため、制御装置５が決定した仮想スクリーン４００は、何れの例においても、携帯型スクリーン４−１と相似な形状となっている。
【０１５４】
なお後述するように、ここで選択された特定の携帯型スクリーン４の映像は、仮想スクリーンにおいて継続して表示される（ＳＴ３１０、図２６）。この場合、特定の携帯型スクリーン４の映像と仮想スクリーンの映像との相似関係が保たれることによって、映像の表示が特定の携帯型スクリーン４から仮想スクリーンへ引き継がれることに伴う視覚的な違和感や映像の見難さを軽減できる。
【０１５５】
図２４は、仮想スクリーンを決定する処理の第３の例を説明するためのフローチャートである。図２４に示すフローチャートは、上述した図１７に示すフローチャートにステップＳＴ２２０、ＳＴ２２５及びＳＴ２３０を追加したものである。
【０１５６】
図２４のフローチャートにおいて、制御装置５は、近接スクリーン領域内で面積が最大となる所定形状の領域を特定すると（ＳＴ２１５）、その領域を仮想スクリーンの１つの候補とし、更に別の仮想スクリーンの候補となる領域を特定する。例えば、制御装置５は、ステップＳＴ２１５において特定した領域の面積に対して複数段階の割合（例えば９０％、８０％、７０％の３段階の割合）に相当する面積を持った所定形状の領域を近接スクリーン領域内で特定し、それぞれを仮想スクリーンの候補とする。制御装置５は、特定した複数の候補の各々を表す映像を近接スクリーン領域に表示させる（ＳＴ２２０）。
【０１５７】
図２５Ａ〜図２５Ｃは、このステップＳＴ２２０において近接スクリーン領域に表示される仮想スクリーンの候補の例を示す図である。これらの図において、「４００−１」〜「４００−４」はそれぞれ仮想スクリーンの候補を示しており、太い実線で表した「４００−１」は面積が最大の候補を示す。
【０１５８】
仮想スクリーンの候補の映像を近接スクリーン領域に表示させると、制御装置５は、複数の候補の中から１つを選択する使用者の指示をジェスチャー等により入力する（ＳＴ２２５）。制御装置５は、入力した使用者の指示に従って、複数の候補の１つを仮想スクリーンに決定する（ＳＴ２３０）。
【０１５９】
（ＳＴ１３０：表示する映像とその向きの決定）
図２６は、仮想スクリーンに表示する映像とその向きを決定する処理の第１の例を説明するためのフローチャートである。
【０１６０】
制御装置５は、ステップＳＴ１１０（図１４）において仮想スクリーンを新規に決定したか否かを判定する（ＳＴ３００）。既に仮想スクリーンを形成していても、新たに別の携帯型スクリーン４が近接したことによって仮想スクリーンを決定した場合、制御装置５は、仮想スクリーンを新規に決定したと判定する。仮想スクリーンを新規に決定していないと判定した場合（ＳＴ３００のＮｏ）、制御装置５は、現在の映像とその方向を維持する（ＳＴ３０５）
【０１６１】
仮想スクリーンを新規に決定したと判定した場合（ＳＴ３００のＹｅｓ）、制御装置５は、近接スクリーン領域に含まれる複数の携帯型スクリーン４の識別情報（携帯型スクリーン４を所有する使用者の識別情報）に基づいて、仮想スクリーンに表示する映像を決定する（ＳＴ３１０）。例えば、制御装置５は、ステップＳＴ２１０（図２２）において識別情報に応じて選択した特定の携帯型スクリーン４の映像を、仮想スクリーンにおいて継続して表示する映像として決定する。
【０１６２】
また、制御装置５は、近接スクリーン領域に含まれる複数の携帯型スクリーン４の識別情報に基づいて、仮想スクリーンにおける映像の向きを決定する（ＳＴ３１５）。例えば、制御装置５は、ステップＳＴ２１０（図２２）において識別情報に応じて選択した特定の携帯型スクリーン４における映像の向きに応じて、仮想スクリーンにおける映像の向きを決定する。
【０１６３】
図２７Ａ〜図２７Ｂは、仮想スクリーンに対する映像の向きの例を示す図である。この例では、近接する４つの携帯型スクリーン４−１〜４−４について１つの仮想スクリーン４００が決定されており、図２７Ａと図２７Ｂとで映像の向きが１８０度回転している。例えば、図２７Ａにおける映像の向きは携帯型スクリーン４−１と同じ向きとなるように決定されたものであり、図２７Ｂにおける映像の向きは携帯型スクリーン４−４と同じ向きになるように決定されたものである。
【０１６４】
このように、図２６のフローチャートの処理によれば、２以上の携帯型スクリーン４を離れた状態から近接させる簡単な動作によって、特定の携帯型スクリーン４に表示された映像が、当該２以上のスクリーンについて決定された仮想スクリーンにおいて継続して表示される。これにより、それぞれ携帯型スクリーン４を所有する複数の使用者の間で、映像を簡単に共有できる。
【０１６５】
また、各携帯型スクリーン４の識別情報に応じて、仮想スクリーンにおける映像の向きが決定されるため、識別情報に応じて映像の向きを手動で設定する手間が生じない。
【０１６６】
更に、各携帯型スクリーン４の使用者の情報に応じて映像の向きが決定されるため、例えば使用者の特定の役割（プレゼンテーションの発表者）や使用者の職位などに応じた適切な映像の向きが決定され易くなり、利便性が向上する。
【０１６７】
しかも、特定の携帯型スクリーン４における映像の向きと仮想スクリーンにおける映像の向きとを一致させることによって、映像の表示が特定の携帯型スクリーン４から仮想スクリーンへ引き継がれる際の視覚的な違和感や映像の見難さを軽減できる。
【０１６８】
図２８は、仮想スクリーンに表示する映像とその向きを決定する処理の第２の例を説明するためのフローチャートである。図２８に示すフローチャートは、上述した図２６に示すフローチャートにおけるステップＳＴ３１０及びＳＴ３１５をステップＳＴ３２０，ＳＴ３２５及びＳＴ３３０に置き換えたものである。
【０１６９】
図２８のフローチャートにおいて、制御装置５は、複数の携帯型スクリーン４にそれぞれ搭載されたマイク４３や、卓上型スクリーン３に搭載され複数のマイク３１で集音される音のデータに基づいて、発話者の位置を特定する（ＳＴ３２０）。そして、制御装置５は、特定した発話者の位置に応じて、仮想スクリーンに表示する映像や、その映像の向きを決定する（ＳＴ３２５，ＳＴ３３０）。
【０１７０】
例えば、制御装置５は、発話者の位置に基づいて使用者を特定し、特定した使用者が所有する携帯型スクリーン４の映像を、仮想スクリーンに表示する映像として決定する。また、制御装置５は、映像の上側が発話者の位置へ近づくように仮想スクリーンでの映像の向きを決定する。これにより、発話者が用意した映像を、発話者以外の人が見やすくなる。
【０１７１】
このように、図２８のフローチャートの処理によれば、複数のマイク（４３，３１）で集音された音のデータに基づいて特定される発話者の位置に応じて、仮想スクリーンにおける映像の向きが決定される。これにより、発話者の位置と仮想スクリーンにおける映像の向きとの関連性が高くなるため、発話者の発話と仮想スクリーンの映像との両方に注意を向けやすくなる。特に、映像の上側が発話者の位置へ近づくように仮想スクリーンでの映像の向きを決定することによって、例えばプレゼンテーションなどの場合に発話者以外の人が仮想スクリーンの映像を見やすくなる。
【０１７２】
なお、制御装置５は、仮想スクリーンにおける映像の向きを決定するにあたり、上述した各携帯型スクリーン４の識別情報や発話者の位置に加えて、撮像部２３によって撮像された画像から得られる参加者の顔、服装、しぐさや、上述のマイク（４３、３１）の１つ又は複数から集音された参加者の音声、言葉遣いといった、他のセンサ等から得られる情報を用いてもよい。例えば、制御装置５は、多層構造のニューラルネットワークを用いたディープラーニング（深層学習）や、その他機械学習に基づく人工知能アルゴリズムによりこれらの情報を分析し、その分析によって各使用者の属性（顧客か否か、プレゼンターか否か、職位、上下関係など）を推定し、推定した属性に基づいて映像の方向を決定してもよい。
【０１７３】
次に、複数の携帯型スクリーン４の近接状態に応じて映像の表示を制御する処理に関する他の例について説明する。
【０１７４】
図２９は、複数の携帯型スクリーン４の近接状態に応じて映像の表示を制御する処理の他の例を説明するためのフローチャートである。図２９に示すフローチャートは、図１４に示すフローチャートにステップＳＴ１１５，ＳＴ１２０及びＳＴ１２５を追加したものである。
【０１７５】
制御装置５は、近接した状態にある２以上の携帯型スクリーン４について仮想スクリーンを決定した場合（ＳＴ１１０）、当該２以上の携帯型スクリーン４の各々の面積と仮想スクリーンの面積とを比較する（ＳＴ１１５）。当該２以上の携帯型スクリーン４の各々に比べて仮想スクリーンの面積が大きい場合（ＳＴ１２０のＮｏ）、制御装置５はステップＳＴ１３０以降の処理を実行する。他方、当該２以上の携帯型スクリーン４の各々に比べて仮想スクリーンの面積が小さい場合（ＳＴ１２０のＹｅｓ）、制御装置５はステップＳＴ１１０における仮想スクリーンの決定を撤回し（ＳＴ１２５）、ステップＳＴ１００の処理へ戻る。
【０１７６】
このように、図２９のフローチャートの処理によれば、２以上の携帯型スクリーン４を近接させた場合でも、当該２以上の携帯型スクリーン４の各々に比べて仮想スクリーンの面積が小さい場合は、仮想スクリーンの決定が撤回されて、仮想スクリーンが形成されない。従って、面積の小さい仮想スクリーンが形成されることによって映像が小さく見え難くなるケースを回避できる。
【０１７７】
図３０Ａ〜図３０Ｂは、仮想スクリーンの他の例を示す図である。
図３０Ａの例では、近接した状態にある５つの携帯型スクリーン４−１〜４−５の全体が仮想スクリーン４００となっている。このように、制御装置５は、近接した状態にあると判定した２以上の携帯型スクリーン４の全体を仮想スクリーンとしてもよい。これにより、仮想スクリーンは複雑な形状になるものの、面積が大きくなる。
【０１７８】
図３０Ｂの例では、近接した状態にある５つの携帯型スクリーン４−１〜４−５について決定された１つの近接スクリーン領域４２０の中に２つの仮想スクリーン４００−１及び４００−２が形成される。このように、制御装置５は、近接スクリーン領域の内側に複数の仮想スクリーンを形成してもよい。これにより、近接スクリーン領域を有効に利用できる。
【０１７９】
なお、本実施形態は上述した例にのみ限定されるものではなく、当業者にとって自明な種々のバリエーションも本実施形態に含まれる。
【０１８０】
例えば、上述した実施形態では、複数の携帯型のスクリーンに基づいて仮想スクリーンが形成される例を挙げたが、仮想スクリーンの元となるスクリーンは携帯型に限定されない。本実施形態の他の例では、近接した状態にある携帯型のスクリーンと非携帯型のスクリーン（例えば卓上型のスクリーン）とに基づいて仮想スクリーンが形成されてもよいし、複数の非携帯型のスクリーンに基づいて仮想スクリーンが形成されてもよい。
【０１８１】
例えば、上述した実施形態では、プロジェクタからスクリーンへ映像を投影することによりスクリーン上に映像を表示させる例を挙げたが、本実施形態はこの例に限定されない。本実施形態の他の例において、携帯型のスクリーンは、タブレットなどのディスプレイ装置のスクリーンであってもよい。
【０１８２】
本実施形態の１つの側面として、複数のスクリーンにおける映像の表示を制御する映像表示制御方法を挙げることができる。この映像表示制御方法は、２以上のスクリーンの近接を検知する検知装置の検知結果に基づいて、近接した状態にある２以上のスクリーンを特定することと、近接した状態にある２以上のスクリーンを特定した場合、当該２以上のスクリーンの少なくとも一部を含む仮想的なスクリーンを決定することと、仮想的なスクリーンにおいて映像を表示させることとを有する。
【０１８３】
本実施形態の他の１つの側面として、複数のスクリーンにおける映像の表示をコンピュータによって制御するためのプログラムを挙げることができる。このプログラムは、２以上のスクリーンの近接を検知する検知装置の検知結果に基づいて、近接した状態にある２以上のスクリーンを特定することと、近接した状態にある２以上のスクリーンを特定した場合、当該２以上のスクリーンの少なくとも一部を含む仮想的なスクリーンを決定することと、仮想的なスクリーンにおいて映像を表示させることとを含んだ処理をコンピュータに実行させる。
【符号の説明】
【０１８４】
２…多機能プロジェクタ、２１…投影部、２２…物体検知部、２３…撮像部、２４…通信部、２５…制御部、３…卓上型スクリーン、３１，４３…マイク、３２，４４…スピーカ、３３…入力部、３４…通信部、３５…制御部、３０１，３０２，４０１〜４０３…マーク、３１１，４１１…投影面、４…携帯型スクリーン、４１…接触センサ、４２…振動発生器、４５…入力部、４６…入力部、４７…通信部、４８…制御部、４００…仮想スクリーン、４２０…近接スクリーン領域、４２１…外縁部、４２２，４２３…端点、４０９，４５１，４６１…２次元コード、４５０…表紙、４５２…写真、４６０…裏表紙、５…制御装置、５１…表示部、５２…入力部、５３…通信部、５４…通信部、５５…制御部、５６…処理部、５７…記憶部、６…サーバ、１１…座席、１２…机、１３…使用者、１４…検知対象物、１１０…仮想タブ
【図１】
2019082649.tif 000003
【図２】
2019082649.tif 000004
【図３】
2019082649.tif 000005
【図４】
2019082649.tif 000006
【図５】
2019082649.tif 000007
【図６】
2019082649.tif 000008
【図７】
2019082649.tif 000009
【図８】
2019082649.tif 000010
【図９】
2019082649.tif 000011
【図１０】
2019082649.tif 000012
【図１１】
2019082649.tif 000013
【図１２】
2019082649.tif 000014
【図１３】
2019082649.tif 000015
【図１４】
2019082649.tif 000016
【図１５】
2019082649.tif 000017
【図１６】
2019082649.tif 000018
【図１７】
2019082649.tif 000019
【図１８】
2019082649.tif 000020
【図１９】
2019082649.tif 000021
【図２０】
2019082649.tif 000022
【図２１】
2019082649.tif 000023
【図２２】
2019082649.tif 000024
【図２３】
2019082649.tif 000025
【図２４】
2019082649.tif 000026
【図２５】
2019082649.tif 000027
【図２６】
2019082649.tif 000028
【図２７】
2019082649.tif 000029
【図２８】
2019082649.tif 000030
【図２９】
2019082649.tif 000031
【図３０】
2019082649.tif 000032