(57)【要約】  本技術は、映像を投影することによって入力情報を提示する場合に、投影面の周りにいる人の注意を自然な形で惹くことができるようにする制御装置、制御方法、プログラム、および投影システムに関する。本技術の一側面の制御装置は、入力情報の入力に追従させた入力情報を表す映像を、投影面の種別に応じた効果を付加して、投影面に投影させる。投影面として例えば壁面に取り付けられた薄板材が用意される。薄板材の表面の色は例えば暗色調の色であり、手書きの文字や絵を表す映像の投影に合わせて、黒板にチョークで文字や絵を描いているときに鳴る音が投影面の裏側に設けられたスピーカから出力される。本技術は、プロジェクタから映像を投影させて情報を提示するシステムに適用することができる。
2018155234.tif 000002
【特許請求の範囲】
【請求項１】
入力情報の入力に追従させた前記入力情報を表す映像を、投影面の種別に応じた効果を付加して、前記投影面に投影させる処理部
を備える制御装置。
【請求項２】
前記投影面の種別に応じた効果として、前記入力情報を表す前記映像に同期した効果音を出力させる効果音制御部をさらに備える
請求項１に記載の制御装置。
【請求項３】
前記効果音制御部は、前記投影面の裏側に設けられたスピーカから前記効果音を出力させる
請求項２に記載の制御装置。
【請求項４】
前記効果音制御部は、前記入力情報の入力開始からの経過時間に応じて変化する前記効果音を出力させる
請求項２に記載の制御装置。
【請求項５】
前記効果音制御部は、前記投影面の種別に応じて異なる前記効果音を出力させる
請求項２に記載の制御装置。
【請求項６】
前記処理部は、前記投影面に対するセンシング処理を行うことにより取得された投影面に関する情報に基づき前記投影面の種別を決定する
請求項２に記載の制御装置。
【請求項７】
前記投影面に関する情報は、前記投影面の材質を示す情報を含み、
前記効果は、前記投影面の材質を示す情報に対応する効果である
請求項６に記載の制御装置。
【請求項８】
前記入力情報は、携帯端末から送信された、ユーザの手入力によって入力された情報であり、
前記処理部は、前記手入力の軌跡を表す前記映像を投影させる
請求項１に記載の制御装置。
【請求項９】
前記入力情報に基づいて、前記ユーザにより入力された文字を認識する認識部をさらに備え、
前記処理部は、前記文字の認識結果を表す絵が動く前記映像を投影させる
請求項８に記載の制御装置。
【請求項１０】
入力情報の入力に追従させた前記入力情報を表す映像を、投影面の種別に応じた効果を付加して、前記投影面に投影させる
ステップを含む制御方法。
【請求項１１】
コンピュータに、
入力情報の入力に追従させた前記入力情報を表す映像を、投影面の種別に応じた効果を付加して、前記投影面に投影させる
ステップを含む処理を実行させるプログラム。
【請求項１２】
入力情報を表す映像を、前記入力情報の入力に追従させて投影させる映像制御部と、
前記映像の投影面の種別に応じた効果音を、前記入力情報を表す前記映像に同期して出力させる効果音制御部と
を備える制御装置と、
前記制御装置から供給された、前記入力情報を表す前記映像を前記投影面に投影する投影装置と、
前記制御装置から供給された所定の映像を前記投影面とは異なる投影面に投影する他の投影装置と
を含む投影システム。
【請求項１３】
前記入力情報を表す前記映像が投影される前記投影面の裏側に設けられたスピーカをさらに含む
請求項１２に記載の投影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、制御装置、制御方法、プログラム、および投影システムに関し、特に、映像を投影することによって入力情報を提示する場合に、投影面の周りにいる人の注意を自然な形で惹くことができるようにした制御装置、制御方法、プログラム、および投影システムに関する。
【背景技術】
【０００２】
近年、プロジェクタを用いた空間演出が多く行われている。建物だけでなく、家具、日用品などのあらゆる物を投影面としてCG映像を映し出すことにより、非日常的な演出を行うことが可能になる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１６２１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし映像が投影される空間は様々であり、単に映像を投影することのみでは投影面の周りにいる人の注意を自然な形で惹くことが難しい場合があった。【０００５】
本技術はこのような状況に鑑みてなされたものであり、映像を投影することによって入力情報を提示する場合に、投影面の周りにいる人の注意を自然な形で惹くことができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の制御装置は、入力情報の入力に追従させた前記入力情報を表す映像を、投影面の種別に応じた効果を付加して、前記投影面に投影させる処理部を備える。【０００７】
前記投影面の種別に応じた効果として、前記入力情報を表す前記映像に同期した効果音を出力させる効果音制御部をさらに設けることができる。【０００８】
前記効果音制御部には、前記投影面の裏側に設けられたスピーカから前記効果音を出力させることができる。【０００９】
前記効果音制御部には、前記入力情報の入力開始からの経過時間に応じて変化する前記効果音を出力させることができる。【００１０】
前記効果音制御部には、前記投影面の種別に応じて異なる前記効果音を出力させることができる。【００１１】
前記処理部には、前記投影面に対するセンシング処理を行うことにより取得された投影面に関する情報に基づき前記投影面の種別を決定させることができる。【００１２】
前記投影面に関する情報は、前記投影面の材質を示す情報を含み、前記効果は、前記投影面の材質を示す情報に対応する効果であるようにすることができる。【００１３】
前記入力情報は、携帯端末から送信された、ユーザの手入力によって入力された情報であり、前記処理部には、前記手入力の軌跡を表す前記映像を投影させることができる。【００１４】
前記入力情報に基づいて、前記ユーザにより入力された文字を認識する認識部をさらに設けることができる。この場合、前記処理部には、前記文字の認識結果を表す絵が動く前記映像を投影させることができる。【００１５】
本技術の他の側面の投影システムは、入力情報を表す映像を、前記入力情報の入力に追従させて投影させる映像制御部と、前記映像の投影面の種別に応じた効果音を、前記入力情報を表す前記映像に同期して出力させる効果音制御部とを備える制御装置と、前記制御装置から供給された、前記入力情報を表す前記映像を前記投影面に投影する投影装置と、前記制御装置から供給された所定の映像を前記投影面とは異なる投影面に投影する他の投影装置とを含む。【００１６】
前記入力情報を表す前記映像が投影される前記投影面の裏側に設けられたスピーカをさらに含めることができる。【００１７】
本技術においては、入力情報の入力に追従させた前記入力情報を表す映像が、投影面の種別に応じた効果を付加して、前記投影面に投影される。
【発明の効果】
【００１８】
本技術によれば、映像を投影することによって入力情報を提示する場合に、投影面の周りにいる人の注意を自然な形で惹くことができる。【００１９】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２０】
【図１】本技術の一実施形態に係る投影システムの使用状態の例を示す図である。
【図２】投影システムの構成例を示すブロック図である。
【図３】筆跡映像と効果音の例を示す図である。
【図４】筆跡映像と効果音の他の例を示す図である。
【図５】魚のイラストの動きの例を示す図である。
【図６】イラストの例を示す図である。
【図７】制御装置のハードウェア構成例を示すブロック図である。
【図８】制御装置の機能構成例を示すブロック図である。
【図９】投影面の種別と効果音の例を示す図である。
【図１０】制御装置の制御処理について説明するフローチャートである。
【図１１】投影システムの機能構成例を示す図である。
【図１２】投影システムの機能構成例を示す図である。
【図１３】タブレット端末の構成例を示すブロック図である。
【図１４】投影システムの他の使用状態の例を示す図である。
【図１５】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．投影システムの構成例
２．筆跡映像と効果音の例
２−１．第１の例
２−２．第２の例
３．制御装置の構成例と動作
３−１．制御装置の構成
３−２．制御装置の動作
４．変形例
【００２２】
＜＜投影システムの構成例＞＞
図１は、本技術の一実施形態に係る投影システムの使用状態の例を示す図である。
【００２３】
図１の投影システムは、例えば公共機関の建物や店舗の中で用いられるものであって、壁面Ｗに取り付けられた薄板材よりなる投影盤２１に映像を投影するものである。投影盤２１の表面の色は暗色調の色となっており、投影盤２１は、あたかも小型の黒板が壁面Ｗに掛けられているような状況を演出する。
【００２４】
投影盤２１の上方には、光の照射方向を投影盤２１に向けたプロジェクタ１１が設置される。プロジェクタ１１の照射範囲（投影範囲）は、投影盤２１の範囲と略一致するように調整されている。なお、プロジェクタ１１の照射範囲が投影盤２１と一致しない態様とすることも可能である。例えば、照射範囲は、投影盤２１のサイズよりも小さな範囲であってもよく、又投影盤２１のサイズよりも大きな範囲（すなわち照射範囲に投影盤２１とその他の領域が含まれる）であってもよい。
【００２５】
破線で示すように、投影盤２１の裏側にはスピーカ１２が設けられる。スピーカ１２は、投影盤２１の表側からは見えない位置に設けられている。
【００２６】
図１の投影システムが屋外で用いられるようにしてもよい。また、プロジェクタ１１の投影面として、壁面Ｗに取り付けられた投影盤２１ではなく、壁面Ｗそのものであってもよいし、床面、テーブルの天板などの各種の平面が用いられるようにしてもよい。平面ではなく、自動車の表面、椅子の表面などの各種の面を投影面とするようにしてもよい。投影面の位置に応じて、プロジェクタ１１とスピーカ１２の設置位置は適宜変更される。
【００２７】
図１の投影システムにおいて、プロジェクタ１１による投影内容はタブレット端末１を用いて入力される。タブレット端末１の筐体にはタッチセンサを有するタッチパネルを積層したディスプレイが設けられている。図１の右下に示すように、タブレット端末１のユーザは、ディスプレイ表面に指で直接触れることによって文字や絵などを入力することができる。
【００２８】
ユーザの手入力による入力位置を表す情報は、所定の位置に設けられた制御装置に送信され、その制御装置により、ユーザの入力内容を表す映像がプロジェクタ１１によって投影される。プロジェクタ１１が投影する映像は、筆跡を描画した映像であり、ユーザが入力操作を行うことに追従してほぼリアルタイムで更新して表示される。なお、ここでいう筆跡は、指またはタッチペンなどを用いた手入力による入力位置の軌跡を表す。
【００２９】
以下、適宜、ユーザの入力に応じてプロジェクタ１１が投影する映像を筆跡映像という。
【００３０】
また、スピーカ１２からは、制御装置により、プロジェクタ１１が投影する筆跡映像に同期した効果音が出力される。
【００３１】
すなわち、図２に示すように、図１の投影システムである投影システム２は、プロジェクタ１１、スピーカ１２、および制御装置１３から構成され、ユーザが、タブレット端末１を用いて遠隔から情報を入力することができるシステムである。プロジェクタ１１と制御装置１３間、スピーカ１２と制御装置１３間の情報の送受信は、有線の通信により、または、無線LAN(Local Area Network)、Bluetooth（登録商標）などの所定の規格の無線による通信を介して行われる。
【００３２】
このように、投影システム２においては、入力された情報が離れた位置にリアルタイムに投影され、それに合わせた効果音が投影面の裏側から出力される。これにより、投影面の周囲にいる人は、音に反応して、その音が鳴っている方向に目を向けることによって、筆跡映像の投影が行われていることに気付くことになる。
【００３３】
タブレット端末１を用いて情報を入力しているユーザは、情報の提示が行われていることを投影面の周囲にいる人に自然な形で気付かせることができる。投影システム２は、主に、手書きで入力した情報を投影面の周囲にいる人に提示するために用いられる。
【００３４】
＜＜筆跡映像と効果音の例＞＞
＜第１の例＞
図３は、投影システム２において出力される筆跡映像と効果音の例を示す図である。
【００３５】
図３の上段は、タブレット端末１における各時刻の入力状態を表し、中段は、各時刻の筆跡映像を表す。下段は、筆跡映像に同期して出力される効果音を表す。
【００３６】
時刻ｔ１において、ユーザが指でタブレット端末１のディスプレイ上の位置ｐ１にタッチした場合（触れた場合）、投影盤２１の状態は、位置Ｐ１を入力開始位置とする筆跡映像が投影された状態になる。投影盤２１上の位置Ｐ１は、タブレット端末１のディスプレイ上の位置ｐ１に対応する位置である。
【００３７】
また、この筆跡映像に同期して、黒板にチョークを当てたことを表現するアタック音が効果音としてスピーカ１２から出力される。アタック音の再生は一時的に行われる。
【００３８】
アタック音に反応して振り向くことにより、それ以降、投影盤２１の周囲にいる人は、更新される筆跡映像を見ることになる。タブレット端末１のユーザは、ディスプレイ表面に指を当てたまま移動させることで入力を続ける。
【００３９】
時刻ｔ２において、ユーザがタブレット端末１のディスプレイ上の位置ｐ２まで指を移動させた場合、投影盤２１の状態は、矢印＃１１の先に示すように、位置Ｐ１から位置Ｐ２まで曲線を延ばした筆跡映像が投影された状態になる。投影盤２１上の位置Ｐ２は、タブレット端末１のディスプレイ上の位置ｐ２に対応する位置である。位置Ｐ１から位置Ｐ２まで曲線が延びる筆跡映像に同期して、黒板にチョークが擦れるときに鳴る音を表現した描画音が効果音としてスピーカ１２から出力され続ける。
【００４０】
時刻ｔ３において、ユーザがタブレット端末１のディスプレイ上の位置ｐ３まで指を移動させた場合、投影盤２１の状態は、矢印＃１２の先に示すように、位置Ｐ２から位置Ｐ３まで曲線をさらに延ばした筆跡映像が投影された状態になる。投影盤２１上の位置Ｐ３は、タブレット端末１のディスプレイ上の位置ｐ３に対応する位置である。位置Ｐ２から位置Ｐ３まで曲線が延びる筆跡映像に同期して、描画音が効果音としてスピーカ１２から出力され続ける。
【００４１】
時刻ｔ４において、ユーザがタブレット端末１のディスプレイ上の位置ｐ３で指を離した場合、投影盤２１の状態は、矢印＃１３の先に示すように、入力開始位置を位置Ｐ１とし、入力終了位置を位置Ｐ３とする波線の筆跡映像が投影された状態になる。位置Ｐ３まで筆跡が延びたとき、効果音の再生も停止される。
【００４２】
筆跡は、例えば、チョークで黒板に描いた線のように、部分的にかすれた線によって表現される。上述したような効果音が投影面から鳴ることとも相俟って、あたかも、透明の人がチョークで黒板に線を描いているような演出が実現される。
【００４３】
投影システム２が公共の場所などに設置されていて、それによって情報を提示する場合、周囲の人の視線を投影面に集めることが重要になる。投影面を発生源として効果音が鳴るようにすることにより、周囲の人の視線を投影面に自然に向けさせることができる。
【００４４】
また、筆跡映像に同期して効果音が出力されるため、情報の更新が連続的に行われていることを周囲の人に自然な形で伝えることが可能になる。情報の更新を知らせる方法として例えばスマートフォンやタブレット端末等で行われているようにアラート音を再生するような方法がある。この方法は人の注意を一時的に惹くものであり、注意を連続的に惹くものになっていないが、上述したようにして効果音を出力することにより、情報の更新が連続的に行われていることを伝えることが可能になる。
【００４５】
＜第２の例＞
図４は、筆跡映像と効果音の他の例を示す図である。
【００４６】
図４を参照して、手書きの文字を入力する場合の筆跡映像と効果音について説明する。図３の説明と重複する説明については適宜省略する。
【００４７】
時刻ｔ１１において、ユーザが指でタブレット端末１のディスプレイ上の位置ｐ１１にタッチした場合、投影盤２１の状態は、位置Ｐ１１を入力開始位置とする筆跡映像が投影された状態になる。投影盤２１上の位置Ｐ１１は、タブレット端末１のディスプレイ上の位置ｐ１１に対応する位置である。また、この筆跡映像に同期して、アタック音が効果音としてスピーカ１２から出力される。
【００４８】
時刻ｔ１２において、ユーザがタブレット端末１のディスプレイ上の位置ｐ１２まで指を移動させ、アルファベットの「ｆ」の文字を書き終えた場合、投影盤２１の状態は、矢印＃２１の先に示すように、アルファベットの「ｆ」の文字の筆跡映像が投影された状態になる。また、「ｆ」の文字が現れる筆跡映像に同期して、描画音が効果音としてスピーカ１２から出力され続ける。
【００４９】
時刻ｔ１３において、ユーザがアルファベットの「ｆ」、「ｉ」、「ｓ」に続けて、タブレット端末１のディスプレイ上の位置ｐ１３まで指を移動させることによって「ｈ」の文字を書き終えた場合、投影盤２１の状態は、矢印＃２２の先に示すように、アルファベットの「ｆ」、「ｉ」、「ｓ」の文字の隣に「ｈ」の文字の筆跡映像が投影された状態になる。また、「ｈ」の文字が現れる筆跡映像に同期して、描画音が効果音としてスピーカ１２から出力され続ける。
【００５０】
時刻ｔ１４において、ユーザがタブレット端末１のディスプレイ上の位置ｐ１３で指を離した場合、投影盤２１の状態は、矢印＃２３の先に示すように、手書きの「ｆｉｓｈ」の文字の筆跡映像が投影された状態になる。「ｈ」の文字の描画が終わったとき、効果音の再生も停止される。
【００５１】
「ｈ」の文字の描画が終わったとき、制御装置１３においては、手入力によって入力された「ｆｉｓｈ」の文字認識が行われ、「ｆｉｓｈ」の文字の近傍に魚のイラストＩ１が出現する。イラストＩ１の映像は、ユーザが手書きで入力した情報ではなく、制御装置１３により自動的に生成された映像である。このように、描画される筆跡は、ユーザが手入力で入力した筆跡に限られるものではない。
【００５２】
制御装置１３においては、各種の文字と対応付けて、イラストのデータが管理されている。魚のイラストＩ１は、チョークで黒板に描いた線により表現される画像である。
【００５３】
このように、制御装置１３は、ユーザの筆跡に付加して、ユーザの入力内容に関連する文字や絵などの各種の付加情報の映像を自動的に生成して投影することができる。「ｆｉｓｈ」の文字の近傍にイラストＩ１が出現した後、魚のイラストＩ１が動く映像が投影される。
【００５４】
図５は、魚のイラストＩ１の動きの例を示す図である。
【００５５】
図５の左端に示すように、投影盤２１上の位置Ｐ２１に出現したイラストＩ１は、矢印＃３１の先に示すように、位置Ｐ２１から位置Ｐ２２まで所定の時間をかけて移動する。また、イラストＩ１は、矢印＃３２の先に示すように、位置Ｐ２２から位置Ｐ２３まで所定の時間をかけて移動する。このようにイラストが動くアニメーションを投影するようにしてもよい。
【００５６】
図６は、手書きの文字が入力されることに応じて出現するイラストの例を示す図である。
【００５７】
図６のＡに示すように「Ｏｌｉｖｅ」の文字が入力された場合、オリーブのイラストＩ２が出現する筆跡映像が投影される。また、図６のＢに示すように「Ｓｅａ」の文字が入力された場合、船のイラストＩ３が出現する筆跡映像が投影される。出現後、適宜、これらのイラストが動く筆跡映像が投影される。
【００５８】
このように、投影システム２においては、透明の人が黒板にチョークで絵や文字を描いているような演出が実現される。以上のような演出を行う制御装置１３の処理についてはフローチャートを参照して後述する。
【００５９】
＜＜制御装置の構成例と動作＞＞
＜制御装置の構成＞
図７は、制御装置１３のハードウェア構成例を示すブロック図である。
【００６０】
図７に示すように、制御装置１３は、CPU５１、ROM５２、RAM５３、入力部５５、出力部５６、記憶部５７、および通信部５８が、バス５４を介して接続されることによって構成される。
【００６１】
CPU(Central Processing Unit)５１は、例えばROM(Read Only Memory)５２に格納されているプログラムをRAM(Random Access Memory)５３上で実行し、制御装置１３の全体の動作を制御する。
【００６２】
入力部５５は、キーボード、マウスなどよりなり、投影システムの管理者による操作を受け付ける。
【００６３】
出力部５６は、図示せぬディスプレイやスピーカなどより構成される。プロジェクタ１１から投影する筆跡映像の信号やスピーカ１２から出力する効果音の信号が、通信部５８からではなく出力部５６から出力されるようにしてもよい。この場合、出力部５６は、筆跡映像のビデオ信号や効果音のオーディオ信号を出力するインタフェースとして機能する。
【００６４】
記憶部５７は、ハードディスクやフラッシュメモリなどにより構成される。記憶部５７は、CPU５１により実行されるプログラム、筆跡映像の投影に用いるデータ、効果音のデータなどの各種の情報を記憶する。
【００６５】
通信部５８は、有線または無線による通信によって、プロジェクタ１１に対して筆跡映像のデータを送信し、スピーカ１２に対して効果音のデータを送信する。また、通信部５８は、適宜、インターネットを介して外部の機器と通信を行う。
【００６６】
なお、タブレット端末１も、図７に示す制御装置１３の構成と基本的に同様の構成を有している。
【００６７】
図８は、制御装置１３の機能構成例を示すブロック図である。図８に示す制御装置１３の機能部のうちの少なくとも一部は、図７のCPU５１により所定のプログラムが実行されることによって実現される。図８においては、タブレット端末１、プロジェクタ１１、およびスピーカ１２の一部の構成も示されている。
【００６８】
タブレット端末１の筆跡入力部１０１は、タッチパネルに対するユーザの入力を検出する。筆跡入力部１０１は、ユーザの入力を検出することに応じて、筆跡情報を制御装置１３にタブレット端末１の通信部（後述する図１３の通信部１０３）を介して送信する。例えば、各時刻における入力位置の座標を表す情報が筆跡情報として送信される。筆跡入力部１０１による筆跡情報の送信は、ユーザによる入力が開始してから終了するまで繰り返される。
【００６９】
制御装置１３においては、筆跡情報取得部１１１、筆跡処理部１１２、映像・音声処理部１１３、映像制御部１１４、および効果音制御部１１５が実現される。
【００７０】
筆跡情報取得部１１１は、通信部５８を制御し、タブレット端末１から送信されてきた筆跡情報を受信する等の処理を行うことで取得する。筆跡情報取得部１１１は、取得した筆跡情報を筆跡処理部１１２に出力する。
【００７１】
筆跡処理部１１２は、筆跡情報取得部１１１から供給された筆跡情報に基づいて、投影盤２１における、入力開始から入力終了までの各タイミングにおける筆跡の座標情報を算出し、映像・音声処理部１１３に出力する。
【００７２】
また、筆跡処理部１１２は、ユーザにより文字が入力された場合、入力された文字を筆跡情報に基づいて認識する。筆跡処理部１１２は、ユーザにより入力された文字を認識する認識部として機能することになる。
【００７３】
筆跡処理部１１２は、文字認識を行った場合、認識した文字に応じたイラストの情報を取得し、イラストの表示位置を表す座標情報を映像・音声処理部１１３に出力する。筆跡処理部１１２から映像・音声処理部１１３に対しては、イラスト以外にも、タブレット端末１のユーザにより入力された情報に付加して提示する各種の付加情報の座標情報が出力される。
【００７４】
このように、筆跡処理部１１２は、文字認識用の情報を有するとともに、文字の認識結果と対応付けて、イラストなどの各種の付加情報を管理している。付加情報が、インターネットを介して接続される外部の装置から取得されるようにしてもよい。
【００７５】
映像・音声処理部１１３は、筆跡処理部１１２から供給された座標情報を解析することによって筆跡映像を生成する。また、映像・音声処理部１１３は、筆跡映像と同期した効果音を、投影面となる投影盤２１の種別に応じて生成する。
【００７６】
図９は、投影面の種別の例を示す図である。
【００７７】
図９の例においては、投影面の種別として黒板、板、紙が示されており、それぞれの種別に対応する効果音として効果音Ａ，Ｂ，Ｃが示されている。
【００７８】
効果音Ａは、黒板にチョークで線を書いたときに鳴る音を表現した効果音（アタック音と描画音）のデータである。効果音Ｂは、板面にペンキ等で線を書いたときに鳴る音を表現した効果音のデータである。効果音Ｃは、紙に鉛筆や筆で線を書いたときに鳴る音を表現した効果音のデータである。
【００７９】
このように、映像・音声処理部１１３は、各種の投影面の種別（材質）に応じた効果音のデータを管理している。例えばタブレット端末１のユーザは、筆跡映像の投影開始前、投影面の種別を予め選択する。映像・音声処理部１１３による効果音の生成は、タブレット端末１のユーザにより選択された投影面の種別に応じたデータを用いて行われる。
【００８０】
また、図９の例においては、投影面の種別と対応付けて、筆跡の情報が示されている。筆跡の情報は、筆跡映像に描画する筆跡の線の種別の選択に用いられる。黒板、板、紙のそれぞれの種別に対応する筆跡の情報としてチョーク、ペンキ等、鉛筆又は筆が示されている。
【００８１】
このように、映像・音声処理部１１３は、各種の投影面の種別（材質）に応じた筆跡の情報をも管理している。筆跡映像の生成も、投影面の種別に応じたデータを用いて行われる。投影面の種別の設定が、タブレット端末１のユーザにより行われるのではなく、プロジェクタ１１に設けられたカメラにより撮影された画像を解析することによって、制御装置１３により自動的に行われるようにしてもよい。図９の内容は、例えば投影面の種別、効果音、筆跡等のそれぞれの情報を関連付けたデータベースとして記憶部５７により所定の記録媒体等に記録される。
【００８２】
映像・音声処理部１１３は、筆跡映像のデータを映像制御部１１４に出力し、投影盤２１の種別に応じて生成した効果音のデータを効果音制御部１１５に出力する。
【００８３】
映像制御部１１４は、映像・音声処理部１１３から供給されたデータを再生する。映像制御部１１４は、筆跡映像のデータを通信部５８を制御してプロジェクタ１１に送信し、筆跡映像の投影を行わせる。
【００８４】
効果音制御部１１５は、映像・音声処理部１１３から供給されたデータを再生する。効果音制御部１１５は、効果音のデータを通信部５８を制御してスピーカ１２に送信し、効果音の出力を行わせる。
【００８５】
入力情報としての筆跡情報の入力に追従させた映像を、投影面の種別に応じた効果音を付加して投影させる処理部が、筆跡情報取得部１１１、筆跡処理部１１２、映像・音声処理部１１３、映像制御部１１４、および効果音制御部１１５により構成される。
【００８６】
プロジェクタ１１の映像出力部１２１は、筆跡映像のデータの更新の有無を判別し、制御装置１３から送信されてきた筆跡映像のデータを受信する。映像出力部１２１は、受信したデータに基づいて、筆跡映像を投影盤２１に投影する。
【００８７】
スピーカ１２の効果音出力部１３１は、効果音のデータの更新の有無を判別し、制御装置１３から送信されてきた効果音のデータを受信する。効果音出力部１３１は、受信したデータに基づいて、効果音をスピーカ１２から出力させる。
【００８８】
＜制御装置の動作＞
ここで、図１０のフローチャートを参照して、筆跡映像の投影と効果音の出力を制御する制御装置１３の制御処理について説明する。図１０の処理は、タブレット端末１が操作され、筆跡情報がタブレット端末１から送信されてきたときに開始される。
【００８９】
ステップＳ１において、筆跡情報取得部１１１は、タブレット端末１から送信されてきた筆跡情報を取得する。
【００９０】
ステップＳ２において、筆跡処理部１１２は、筆跡情報取得部１１１により取得された筆跡情報に基づいて、入力開始から入力終了までの各タイミングにおける筆跡の座標情報を算出する。
【００９１】
ステップＳ３において、映像・音声処理部１１３は、投影面の種別を決定する。例えば、映像・音声処理部１１３は、ユーザが予め設定した情報を読み込むことによって投影面の種別を決定する。
【００９２】
また、映像・音声処理部１１３は、プロジェクタ１１に設けられたカメラにより撮影された画像を解析することによって投影面の種別を決定する。すなわち、この場合、投影面に対するセンシング処理が映像・音声処理部１１３により行われることによって、投影面に関する情報が取得され、その投影面に関する情報に基づいて投影面の種別が決定されることになる。ここでいう投影面に関する情報には投影面の材質を示す情報が含まれる。
【００９３】
なお、投影範囲に投影盤２１以外の領域（すなわち複数の種別・材質の領域）が含まれる場合、その領域ごとに投影面の種別が決定されるようにしてもよい。この場合、筆跡情報がいずれの領域に対しての筆跡であるのかが特定され、筆跡の入力対象の領域に対応する種別に応じた効果が付加されるようにしてもよい。
【００９４】
ステップＳ４において、映像・音声処理部１１３は、筆跡処理部１１２から供給された情報を解析することによって筆跡映像を生成し、投影面の種別に応じた効果音を生成する。
【００９５】
ステップＳ５において、映像制御部１１４は、映像・音声処理部１１３により生成された筆跡映像のデータをプロジェクタ１１に送信し、筆跡映像の投影を行わせる。
【００９６】
ステップＳ６において、効果音制御部１１５は、映像・音声処理部１１３により生成された効果音のデータをスピーカ１２に送信し、効果音の出力を行わせる。
【００９７】
ステップＳ７において、筆跡情報取得部１１１は、タブレット端末１から送信されてくる情報を監視し、ユーザによる入力が終了した否かを判定する。筆跡情報の送信が続いていることから、ユーザによる入力が終了していないと判定された場合、ステップＳ１に戻り、以上の処理が繰り返し行われる。
【００９８】
ユーザによる入力が終了したとステップＳ７において判定された場合、処理は終了される。
【００９９】
以上の処理により、タブレット端末１のユーザは、文字や絵を手書きで入力し、入力内容を表す映像を、投影面の種別に応じた効果を付加した形で投影させることができる。
【０１００】
＜＜変形例＞＞
＜投影システムの構成の変形例＞
図８の各構成がどの装置において実現されるようにするのかは適宜変更可能である。
【０１０１】
図１１は、投影システム２の他の機能構成例を示す図である。
【０１０２】
図１１の例においては、筆跡情報取得部１１１、筆跡処理部１１２、映像・音声処理部１１３、映像制御部１１４、および効果音制御部１１５が、タブレット端末１において実現される。このように、制御装置１３の機能がタブレット端末１に搭載されるようにすることが可能である。
【０１０３】
図１２は、投影システム２のさらに他の機能構成例を示す図である。
【０１０４】
図１２の例においては、筆跡情報取得部１１１、筆跡処理部１１２、映像・音声処理部１１３、映像制御部１１４、および効果音制御部１１５が、プロジェクタ１１において実現される。このように、制御装置１３の機能がプロジェクタ１１に搭載されるようにすることが可能である。
【０１０５】
投影システム２が図１１、図１２に示す構成を有する場合、制御装置１３は不要となる。
【０１０６】
なお、図８に示す制御装置１３の構成が複数の装置上で実現されるようにしてもよい。この場合、図８に示す制御装置１３の構成を分担して実現する複数の装置はネットワークを介して接続される。
【０１０７】
制御装置１３がインターネット上に設けられ、タブレット端末１と制御装置１３の間の通信、プロジェクタ１１と制御装置１３の間の通信、および、スピーカ１２と制御装置１３の間の通信がインターネットを介して行われるようにしてもよい。
【０１０８】
図１３は、上述したような筆跡入力部１０１を有するタブレット端末１の構成例を示すブロック図である。
【０１０９】
図１３に示すように、タブレット端末１は、筆跡入力部１０１を有する処理部１０１Ａ、表示部１０２、および通信部１０３により構成される。
【０１１０】
処理部１０１Ａは、タブレット端末１の全体の動作を制御する。例えば、処理部１０１Ａは、タッチパネルに対するユーザの入力を検出し、筆跡入力部１０１により、筆跡情報を制御装置１３に送信する。また、処理部１０１Ａは、筆跡情報に対応する画像を生成し表示部１０２に表示させる。
【０１１１】
上述したディスプレイとしての表示部１０２は、処理部１０１Ａから供給された筆跡情報に対応する画像を表示する。
【０１１２】
通信部１０３は、処理部１０１Ａの筆跡入力部１０１による制御に従って、筆跡情報を制御装置１３に送信する。
【０１１３】
図１４は、投影システムの他の使用状態の例を示す図である。
【０１１４】
図１４の例においては、タブレット端末１における入力内容を投影するプロジェクタとして、プロジェクタ１１−１乃至１１−３の３台のプロジェクタが壁面Ｗに設けられている。
【０１１５】
プロジェクタ１１−１は上述したプロジェクタ１１と同様に投影盤２１に映像を投影するプロジェクタである。プロジェクタ１１−１を挟んで左右に設けられるプロジェクタ１１−２とプロジェクタ１１−３は、壁面Ｗに映像を投影するプロジェクタである。各プロジェクタは、投影面が隣接するように壁面Ｗに設置される。
【０１１６】
制御装置１３は、プロジェクタ１１−１乃至１１−３を連動させて１つの映像を投影することができる。例えば、制御装置１３は、プロジェクタ１１−１乃至１１−３を通信により制御することで連動させることにより、上述したようにして文字認識によって投影盤２１に出現させた魚のイラストＩ１を、プロジェクタ１１−３の投影面上の位置にまで移動するような映像を投影することができる。
【０１１７】
この場合、タブレット端末１において入力された情報を表す筆跡映像がプロジェクタ１１−１により投影され、プロジェクタ１１−２，１１−３により、プロジェクタ１１−１の投影内容に連動した所定の映像が投影される。
【０１１８】
複数の投影面に跨がって魚のイラストが移動する映像を投影する場合、移動する魚のイラストが投影される領域に応じて、イラストの筆跡がリアルタイムで変更されるようにしてもよい。例えば、魚のイラストを黒板内に投影する場合には、チョークの筆跡を用いた描画が行われ、白い壁面上に投影する場合には、黒いマジックペンの筆跡を用いた描画が行われる。
【０１１９】
プロジェクタ１１−２，１１−３の投影面の裏側にもスピーカを設け、映像に同期させて、それぞれの投影面の裏側にあるスピーカから効果音を出力させるようにすることも可能である。この場合、プロジェクタ１１−１が投影する筆跡映像に合わせた効果音の出力と、プロジェクタ１１−２，１１−３が投影する映像に合わせた効果音の出力は、投影面の材質が異なるため、異なる種別の効果音のデータを用いて行われる。
【０１２０】
このように、投影システムに複数のプロジェクタが設けられるようにすることも可能である。
【０１２１】
＜その他の例＞
プロジェクタ１１により投影する情報の入力がタブレット端末１を用いて行われるものとしたが、PC、スマートフォンなどの他の装置を用いて行われるようにしてもよい。
【０１２２】
また、手入力によって入力された情報を投影する場合について主に説明したが、キーボードによって入力したり、音声によって入力したりするなど、投影する情報の入力の仕方は任意である。
【０１２３】
文字が表す絵が付加情報として投影されるものとしたが、付加情報として投影される内容は適宜変更可能である。例えば、入力された文字に関連する写真（画像）、動画、Webサイトの画面、広告が付加情報として投影されるようにしてもよい。
【０１２４】
タブレット端末１における筆跡の表示にも、投影面の種別に応じた効果が反映されるようにしてもよい。この場合、例えば、制御装置１３からタブレット端末１に対して、制御装置１３において決定された投影面の種別の情報が送信される。タブレット端末１の処理部１０１Ａは、制御装置１３から送信されてきた種別情報に基づいて、投影面の種別に応じた効果を加えた筆跡画像を表示し、効果音を出力する。制御装置１３からタブレット端末１に対して直接的に、効果を加えた筆跡画像や効果音そのもののデータが送信されるようにしてもよい。
【０１２５】
投影範囲にユーザが直接入力した情報が投影されるようにしてもよい。この場合、投影システム２には、投影範囲を含む領域をセンシングするRGBカメラやデプスセンサが設置される。RGBカメラやデプスセンサなどのセンシング結果に基づいて、ユーザの指や手が投影範囲のどの部分をタッチしたかなどの操作に関する情報が取得され、取得された情報を用いて、タブレット端末１から送信されてきた筆跡情報を用いた場合と同様の処理が行われる。タブレット端末１を用いた入力と、投影範囲に対する直接入力の同時使用が可能とされるようにしてもよい。
【０１２６】
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１２７】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１２８】
CPU１００１、ROM１００２、RAM１００３は、バス１００４により相互に接続される。
【０１２９】
バス１００４には、さらに、入出力インタフェース１００５が接続される。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
【０１３０】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１３１】
CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
【０１３２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１３３】
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１３４】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３５】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１３６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３８】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０１３９】
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
【０１４０】
（１）
入力情報の入力に追従させた前記入力情報を表す映像を、投影面の種別に応じた効果を付加して、前記投影面に投影させる処理部
を備える制御装置。
（２）
前記投影面の種別に応じた効果として、前記入力情報を表す前記映像に同期した効果音を出力させる効果音制御部をさらに備える
前記（１）に記載の制御装置。
（３）
前記効果音制御部は、前記投影面の裏側に設けられたスピーカから前記効果音を出力させる
前記（２）に記載の制御装置。
（４）
前記効果音制御部は、前記入力情報の入力開始からの経過時間に応じて変化する前記効果音を出力させる
前記（２）または（３）に記載の制御装置。
（５）
前記効果音制御部は、前記投影面の種別に応じて異なる前記効果音を出力させる
前記（２）乃至（４）のいずれかに記載の制御装置。
（６）
前記処理部は、前記投影面に対するセンシング処理を行うことにより取得された投影面に関する情報に基づき前記投影面の種別を決定する
前記（１）乃至（５）のいずれかに記載の制御装置。
（７）
前記投影面に関する情報は、前記投影面の材質を示す情報を含み、
前記効果は、前記投影面の材質を示す情報に対応する効果である
前記（６）に記載の制御装置。
（８）
前記入力情報は、携帯端末から送信された、ユーザの手入力によって入力された情報であり、
前記処理部は、前記手入力の軌跡を表す前記映像を投影させる
前記（１）乃至（７）のいずれかに記載の制御装置。
（９）
前記入力情報に基づいて、前記ユーザにより入力された文字を認識する認識部をさらに備え、
前記処理部は、前記文字の認識結果を表す絵が動く前記映像を投影させる
前記（８）に記載の制御装置。
（１０）
入力情報の入力に追従させた前記入力情報を表す映像を、投影面の種別に応じた効果を付加して、前記投影面に投影させる
ステップを含む制御方法。
（１１）
コンピュータに、
入力情報の入力に追従させた前記入力情報を表す映像を、投影面の種別に応じた効果を付加して、前記投影面に投影させる
ステップを含む処理を実行させるプログラム。
（１２）
入力情報を表す映像を、前記入力情報の入力に追従させて投影させる映像制御部と、
前記映像の投影面の種別に応じた効果音を、前記入力情報を表す前記映像に同期して出力させる効果音制御部と
を備える制御装置と、
前記制御装置から供給された、前記入力情報を表す前記映像を前記投影面に投影する投影装置と、
前記制御装置から供給された所定の映像を前記投影面とは異なる投影面に投影する他の投影装置と
を含む投影システム。
（１３）
前記入力情報を表す前記映像が投影される前記投影面の裏側に設けられたスピーカをさらに含む
前記（１２）に記載の投影システム。
【符号の説明】
【０１４１】
１  タブレット端末，  １１  プロジェクタ，  １２  スピーカ，  １３  制御装置，  １０１  筆跡入力部，  １１１  筆跡情報取得部，  １１２  筆跡処理部，  １１３  映像・音声処理部，  １１４  映像制御部，  １１５  効果音制御部，  １２１  映像出力部，  １３１  効果音出力部
【図１】
2018155234.tif 000003
【図２】
2018155234.tif 000004
【図３】
2018155234.tif 000005
【図４】
2018155234.tif 000006
【図５】
2018155234.tif 000007
【図６】
2018155234.tif 000008
【図７】
2018155234.tif 000009
【図８】
2018155234.tif 000010
【図９】
2018155234.tif 000011
【図１０】
2018155234.tif 000012
【図１１】
2018155234.tif 000013
【図１２】
2018155234.tif 000014
【図１３】
2018155234.tif 000015
【図１４】
2018155234.tif 000016
【図１５】
2018155234.tif 000017
【国際調査報告】
2018155234.tif 000018
2018155234.tif 000019
2018155234.tif 000020