(57)【要約】【課題】操作部と描画対象との間に位置する物体に適応した画像を描画対象に対して描画させることが可能な、画像処理装置、画像処理方法、およびプログラムを提案する。【解決手段】操作部の位置に基づいて、描画対象に描画される描画画像を生成する画像生成部を備え、前記画像生成部は、前記操作部と前記描画対象との間に位置するステンシル対象の検出情報に基づいて、前記描画画像を生成する、画像処理装置。【選択図】図１
2017068058.tif 000002
【特許請求の範囲】
【請求項１】
操作部の位置に基づいて、描画対象に描画される描画画像を生成する画像生成部を備え、
前記画像生成部は、前記操作部と前記描画対象との間に位置するステンシル対象の検出情報に基づいて、前記描画画像を生成する、画像処理装置。
【請求項２】
前記画像生成部は、さらに、前記描画対象の検出情報に基づいて、前記描画画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記画像生成部は、前記操作部と前記描画対象と前記ステンシル対象との位置関係の検出結果に基づいて前記描画画像を生成する、請求項２に記載の画像処理装置。
【請求項４】
前記ステンシル対象の検出情報は、前記ステンシル対象の形状の検出情報を含む、請求項３に記載の画像処理装置。
【請求項５】
前記描画対象の検出情報は、前記描画対象の位置および姿勢の検出情報を含み、
前記ステンシル対象の検出情報は、前記ステンシル対象の位置および姿勢の検出情報をさらに含む、請求項４に記載の画像処理装置。
【請求項６】
前記画像生成部は、さらに、前記操作部の姿勢の検出情報に基づいて、前記描画画像を生成する、請求項４に記載の画像処理装置。
【請求項７】
前記画像生成部は、前記ステンシル対象の形状の検出情報に基づいて、前記ステンシル対象の形状を示す表示を前記描画画像内に配置する、請求項４に記載の画像処理装置。
【請求項８】
前記ステンシル対象の形状を示す表示は、前記描画対象における前記ステンシル対象の影を示す表示である、請求項７に記載の画像処理装置。
【請求項９】
前記操作部は、投影部を含み、
前記画像処理装置は、前記画像生成部により生成された前記描画画像を前記描画対象に対して前記投影部に投影させる投影制御部をさらに備える、請求項７に記載の画像処理装置。
【請求項１０】
前記投影制御部は、さらに、前記ステンシル対象の形状を示す表示の投影位置をユーザが指定するためのガイド表示を前記描画対象に対して前記投影部に投影させ、
前記画像生成部は、投影された前記ガイド表示の投影位置を移動させるためのユーザの操作の検出に基づいて、前記描画画像における、前記ステンシル対象の形状を示す表示の配置位置を決定する、請求項９に記載の画像処理装置。
【請求項１１】
前記画像処理装置は、前記描画対象において前記投影部がポインティングするポインティング位置の検出結果をユーザによる描画位置とし、前記描画位置を検出順に記憶部に記録する描画位置記録部をさらに備え、
前記画像生成部は、さらに、前記記憶部に記録されている複数の前記描画位置を示す表示を含むように前記描画画像を生成する、請求項９に記載の画像処理装置。
【請求項１２】
前記描画位置を示す表示は、前記投影部により前記描画位置に射出される仮想的な物体を示す表示である、請求項１１に記載の画像処理装置。
【請求項１３】
前記画像生成部は、前記操作部と前記描画対象との位置関係の検出結果に基づいて、前記描画位置に射出される仮想的な物体を示す表示のサイズまたは形状を決定する、請求項１２に記載の画像処理装置。
【請求項１４】
前記描画位置記録部は、前記操作部に対するユーザによる所定の描画操作時に検出されたポインティング位置を前記描画位置として前記記憶部に記録する、請求項１１に記載の画像処理装置。
【請求項１５】
前記描画位置記録部は、前記描画位置の検出時における前記操作部に対するユーザの操作内容と前記描画位置とを対応付けて前記記憶部に記録し、
前記画像生成部は、前記描画位置に対応付けて前記記憶部に記録されている前記ユーザの操作内容に基づいて、前記描画位置を示す表示の表示態様を決定する、請求項１４に記載の画像処理装置。
【請求項１６】
前記描画画像は、さらに、前記投影部による前記描画対象における投影範囲を示す投影領域表示を含む、請求項１１に記載の画像処理装置。
【請求項１７】
前記複数の前記描画位置を示す表示は、前記記憶部に記録された前記複数の描画位置のうち前記投影領域表示の範囲内に位置する複数の描画位置を示す表示である、請求項１６に記載の画像処理装置。
【請求項１８】
前記画像生成部は、前記操作部と前記描画対象との位置関係の検出結果に基づいて、前記投影領域表示のサイズまたは形状を決定する、請求項１６に記載の画像処理装置。
【請求項１９】
操作部の位置、および、前記操作部と描画対象との間に位置するステンシル対象の検出情報に基づいて、前記描画対象に描画される描画画像を生成すること、
を備える、画像処理方法。
【請求項２０】
コンピュータを、
操作部の位置に基づいて、描画対象に描画される描画画像を生成する画像生成部、
として機能させるための、プログラムであって、
前記画像生成部は、前記操作部と前記描画対象との間に位置するステンシル対象の検出情報に基づいて、前記描画画像を生成する、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、例えばプロジェクタを用いて、スクリーンなどの描画対象に対して画像を投影する技術が各種開発されている。
【０００３】
例えば、特許文献１には、半透明な投影面の前面側に位置するユーザの動きの検出結果に応じた画像を、当該投影面の背面側に位置するプロジェクタに当該投影面に対して投影させる技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−３８９４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、投影面とプロジェクタとの間に物体が配置されることが想定されていない。このため、特許文献１に記載の技術では、例えば、投影面とプロジェクタとの間に位置する物体によって、投影面に描画される画像を変化させることができない。
【０００６】
そこで、本開示では、操作部と描画対象との間に位置する物体に適応した画像を描画対象に対して描画させることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、操作部の位置に基づいて、描画対象に描画される描画画像を生成する画像生成部を備え、前記画像生成部は、前記操作部と前記描画対象との間に位置するステンシル対象の検出情報に基づいて、前記描画画像を生成する、画像処理装置が提供される。
【０００８】
また、本開示によれば、操作部の位置、および、前記操作部と描画対象との間に位置するステンシル対象の検出情報に基づいて、前記描画対象に描画される描画画像を生成すること、を備える、画像処理方法が提供される。
【０００９】
また、本開示によれば、コンピュータを、操作部の位置に基づいて、描画対象に描画される描画画像を生成する画像生成部、として機能させるための、プログラムであって、前記画像生成部は、前記操作部と前記描画対象との間に位置するステンシル対象の検出情報に基づいて、前記描画画像を生成する、プログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、操作部と描画対象との間に位置する物体に適応した画像を描画対象に対して描画させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施形態による画像処理システムの構成例を示した説明図である。
【図２】同実施形態による投影装置２０の構成例を示した機能ブロック図である。
【図３】同実施形態によるステンシル画像の構成例を示した説明図である。
【図４】同実施形態によるサーバ１０の構成例を示した機能ブロック図である。
【図５】サーバ１０により生成された描画画像が描画対象３０に投影される一例を示した説明図である。
【図６】サーバ１０により生成された描画画像が描画対象３０に投影される一例を示した説明図である。
【図７】サーバ１０により生成された描画画像が描画対象３０に投影される一例を示した説明図である。
【図８】同実施形態によるステンシル対象４０の形状表示の配置位置を指定するためのガイド表示の投影例を示した説明図である。
【図９】同実施形態によるステンシル対象４０の影の表示の投影例を示した説明図である。
【図１０】同実施形態による投影光におけるステンシル対象４０の形状の穴抜け表示の投影例を示した説明図である。
【図１１】同実施形態による透明度を保持したステンシル対象４０の影の表示の投影例を示した説明図である。
【図１２】同実施形態による時間差による、ステンシル対象４０の形状の合わせ絵の表示の投影例を示した説明図である。
【図１３】同実施形態によるステンシル対象４０の形状の変化に基づいた合成アニメーションの投影例を示した説明図である。
【図１４】同実施形態によるステンシル対象４０の移動に基づいたベタ面積表示の投影例を示した説明図である。
【図１５】同実施形態による複数の投影装置２０によるステンシル対象４０の影の複製表示の投影例を示した説明図である。
【図１６】同実施形態によるモードの手動切り替え設定時の動作を示したフローチャートである。
【図１７】同実施形態によるモードの自動切り替え設定時の動作を示したフローチャートである。
【図１８】同実施形態によるサーバ１０のハードウェア構成を示した説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて投影装置２０ａおよび投影装置２０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、投影装置２０ａおよび投影装置２０ｂを特に区別する必要が無い場合には、単に投影装置２０と称する。
【００１４】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．画像処理システムの基本構成
２．実施形態の詳細な説明
３．ハードウェア構成
４．変形例
【００１５】
＜＜１．画像処理システムの基本構成＞＞
まず、本実施形態による画像処理システムの基本構成について、図１を参照して説明する。図１に示したように、本実施形態による画像処理システムは、サーバ１０、投影装置２０、描画対象３０、ステンシル対象４０、および、通信網４２を有する。
【００１６】
＜１−１．サーバ１０＞
サーバ１０は、本開示における画像処理装置の一例である。サーバ１０は、例えば、投影装置２０の投影を制御するための装置である。例えば、サーバ１０は、投影装置２０と描画対象３０とステンシル対象４０との位置関係の検出結果に基づいて描画画像を生成し、そして、生成した描画画像を描画対象３０に対して投影装置２０に投影させる。一例として、サーバ１０は、描画対象３０またはステンシル対象４０に関する検出結果を投影装置２０から受信し、受信された検出結果に基づいて描画画像を生成し、そして、生成した描画画像の投影を制御する、といった一連のプロセスをリアルタイムで繰り返す。
【００１７】
なお、サーバ１０は、後述する通信網４２を介して、投影装置２０との間で情報の送受信を行うことが可能である。
【００１８】
＜１−２．投影装置２０＞
投影装置２０は、発光により画像を投影する装置である。例えば、投影装置２０は、ピコプロジェクタである。また、投影装置２０は、ジャイロスコープ、および、デプスセンサなどを有してもよい。
【００１９】
また、投影装置２０は、例えば携帯型の装置である。例えば、ユーザは、投影装置２０を片手で持ち、そして、描画対象３０における所望の位置に対して投影装置２０を向けることにより、該当の位置に画像を投影することが可能である。但し、かかる例に限定されず、投影装置２０は、机や台の上に設置されたり、または、床や天井などに固定されることにより使用されてもよい。
【００２０】
また、詳細については後述するが、投影装置２０は、例えば、スプレー缶、ダブルアクションエアブラシ、または、シングルアクションエアブラシといった器具を用いた描画を電子的に実現するための構成を含み得る。一例として、スプレー缶を用いた描画を電子的に実現するように投影装置２０が構成される場合には、例えば、投影装置２０に含まれる所定のボタンが押下されている間だけ、サーバ１０は、仮想的なインクが射出される表示と、スポットライトのような白色光の表示とを投影装置２０に投影させる。
【００２１】
また、ダブルアクションエアブラシを用いた描画を電子的に実現するように投影装置２０が構成される場合には、例えば、一番目のアクションとして、投影装置２０の所定のボタンが押下されると、サーバ１０は、上記の白色光の表示を投影装置２０に投影させる。そして、二番目のアクションとして、投影装置２０の所定のレバーが操作されると、サーバ１０は、仮想的なインクが射出される表示を投影装置２０に投影させる。なお、この際、レバーの操作量に応じて、射出されるインクの流量を変化させてもよい。
【００２２】
また、シングルアクションエアブラシを用いた描画を電子的に実現するように投影装置２０が構成される場合には、例えば、投影装置２０の例えばボタンやレバーなどの操作部に対してユーザの操作がなされている間だけ、サーバ１０は、仮想的なインクが射出される表示と上記の白色光の表示とを投影装置２０に投影させる。なお、この際、操作部に対する操作の力の強さや操作量の大きさに応じて、射出されるインクの流量を変化させる。
【００２３】
なお、投影装置２０は、上記のいずれかの器具のみを電子的に実現可能であってもよいし、あるいは、上記の二以上の器具を電子的に実現可能であってもよい。例えば、後者の場合、投影装置２０には、スプレー缶モード、ダブルアクションエアブラシモード、および、シングルアクションエアブラシモードのような、各器具に対応する操作モードが実装されていてもよい。
【００２４】
ここで、図２を参照して、投影装置２０の内部構成の一例について説明する。図２に示したように、投影装置２０は、例えば、制御部２００、投影部２２０、ステンシル対象検出部２２２、描画対象検出部２２４、描画用入力部２２６、および、通信部２２８を有する。
【００２５】
［１−２−１．制御部２００］
制御部２００は、投影装置２０に内蔵される、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのハードウェアを用いて、投影装置２０の動作を全般的に制御する。
【００２６】
［１−２−２．投影部２２０］
投影部２２０は、制御部２００による制御に従って、発光により画像を投影する。例えば、投影部２２０は、制御部２００による制御に従って、描画対象３０に対して画像をプロジェクションマッピングする。
【００２７】
［１−２−３．ステンシル対象検出部２２２］
ステンシル対象検出部２２２は、投影装置２０と描画対象３０との間に位置する物体であるステンシル対象４０を検出することが可能である。例えば、ステンシル対象検出部２２２は、ＴｏＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）によりステンシル対象４０の形状を検出する。または、ステンシル対象検出部２２２は、複数のカメラ（図示省略）による撮影画像に基づいてデプス画像を取得することにより、ステンシル対象４０の形状を検出する。なお、この複数のカメラは、投影装置２０に備えられていてもよいし、または、投影装置２０の外部に設置されており、かつ、投影装置２０と通信可能であってもよい。
【００２８】
または、ステンシル対象検出部２２２は、フレーム間の差分の算出に基づいて輝度差分画像を取得することによりステンシル対象４０の形状を検出する。または、ステンシル対象検出部２２２は、描画対象３０に射影されたステンシル対象４０の実際の影がカメラにより撮影された撮影画像に基づいてステンシル対象４０の形状を検出する。
【００２９】
（１−２−３−１．変形例）
なお、変形例として、例えば二次元バーコードやインビジブルマーカーなどの所定のマーカーがステンシル対象４０に貼られている場合には、ステンシル対象検出部２２２は、ステンシル対象４０の形状を検出する代わりに、ステンシル対象４０に貼られている所定のマーカーを検出してもよい。さらに、ステンシル対象検出部２２２は、検出した所定のマーカーから例えばステンシル対象４０のＩＤなどの所定の情報を読み出し、そして、読み出した情報に基づいて例えばデータベースサーバ（図示省略）に対して問い合わせすることにより、ステンシル対象４０に対応する形状の情報を取得することも可能である。なお、この変形例の場合、ステンシル対象４０自体の形状と、データベースサーバから取得される情報が示す形状とは異なっていてもよい。また、ステンシル対象検出部２２２は、ステンシル対象４０に対応する形状の情報を取得する代わりに、あるいは加えて、ステンシル対象４０の属性の情報をデータベースサーバから取得してもよい。
【００３０】
（１−２−３−２．ステンシル画像）
また、ステンシル対象検出部２２２は、検出したステンシル対象４０の形状に基づいてステンシル画像を生成することが可能である。図３は、ステンシル画像の生成例（ステンシル画像５０）を示した説明図である。なお、図３では、図１に示したようにユーザの片手がステンシル対象４０として検出された際に生成されたステンシル画像５０の構成例を示している。図３に示したように、ステンシル画像５０は、例えば、検出されたステンシル対象４０の形状を示す二値の画像データである。
【００３１】
［１−２−４．描画対象検出部２２４］
描画対象検出部２２４は、描画対象３０を検出することが可能である。例えば、描画対象検出部２２４は、描画対象３０の属性を検出する。一例として、描画対象検出部２２４は、描画対象３０の位置、例えば描画対象３０が向いている方向などの姿勢、形状、または、表面の粗さなどを検出する。
【００３２】
また、描画対象検出部２２４は、投影装置２０と描画対象３０との位置関係（例えば距離および相対的な方向）を検出する。一例として、例えば二次元バーコードやインビジブルマーカーなどの所定のマーカーが描画対象３０に貼られている場合には、描画対象検出部２２４は、カメラによる当該所定のマーカーの撮影結果に基づいて、投影装置２０と描画対象３０との位置関係を検出する。または、描画対象検出部２２４は、赤外線ビーコンを用いて、投影装置２０と描画対象３０との位置関係を検出する。または、描画対象検出部２２４は、ＴｏＦと平面認識とを組み合わせることにより、投影装置２０と描画対象３０との位置関係を検出する。または、描画対象検出部２２４は、描画対象３０に照射された赤外線のボロノイパターンを認識することにより、投影装置２０と描画対象３０との位置関係を検出する。
【００３３】
さらに、描画対象検出部２２４は、描画対象３０において投影装置２０が画像を投影している領域や、投影装置２０がポインティングしている位置なども検出可能である。
【００３４】
（１−２−４−１．変形例）
なお、変形例として、描画対象検出部２２４は、さらに、描画対象３０のＩＤを特定可能であってもよい。例えば、描画対象３０のＩＤが格納されている所定のマーカーが描画対象３０に貼られている場合には、描画対象検出部２２４は、当該所定のマーカーを検出し、そして、検出したマーカーから描画対象３０のＩＤを読み出してもよい。または、描画対象３０のＩＤ自体が描画対象３０に記載されている場合には、描画対象検出部２２４は、例えばカメラによる撮影結果に基づいて、描画対象３０のＩＤを特定してもよい。
【００３５】
この変形例の場合、描画対象検出部２２４は、さらに、特定したＩＤに基づいて例えばデータベースサーバに対して問い合わせを行うことにより、描画対象３０の属性の情報を取得することも可能である。
【００３６】
［１−２−５．描画用入力部２２６］
描画用入力部２２６は、本開示における操作部の一例である。描画用入力部２２６は、ユーザによる描画対象３０に対する描画操作を受け付ける。例えば、描画用入力部２２６は、描画の開始・終了の入力操作、描画対象３０におけるポインティング位置の指定操作、または、描画モードの切り替えの操作などを受け付ける。この描画用入力部２２６は、例えば、ボタン、スイッチ、または、レバーなどを含む。
【００３７】
例えば、描画用入力部２２６は、スプレー缶、ダブルアクションエアブラシ、または、シングルアクションエアブラシに含まれる操作部と類似した操作部を有してもよい。これにより、ユーザは、実際のスプレー缶やエアブラシと同様の操作方法で、描画用入力部２２６を操作することができる。
【００３８】
［１−２−６．通信部２２８］
通信部２２８は、例えば通信網４２を介して他の装置との間で通信を行う。例えば、通信部２２８は、制御部２００による制御に従って、ステンシル対象検出部２２２による検出情報、描画対象検出部２２４による検出情報、および、描画用入力部２２６に対する入力情報をサーバ１０へ送信する。また、通信部２２８は、描画画像をサーバ１０から受信する。
【００３９】
＜１−３．描画対象３０＞
描画対象３０は、投影装置２０による投影対象の物体である。例えば、描画対象３０は、壁、スクリーン、床、天井などに含まれる平面である。但し、かかる例に限定されず、描画対象３０は、立体であってもよいし、水などの流体であってもよい。
【００４０】
＜１−４．ステンシル対象４０＞
ステンシル対象４０は、投影装置２０と描画対象３０との間の空間に位置する物体である。例えば、図１では、ステンシル対象４０が、投影装置２０と描画対象３０との間に配置されたユーザの手である例を示している。なお、詳細については後述するが、本実施形態によれば、図１に示したように、例えば、ステンシル対象４０の影を示す表示が投影装置２０により描画対象３０に投影される。
【００４１】
＜１−５．通信網４２＞
通信網４２は、通信網４２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網４２は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網４２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００４２】
以上、本実施形態による画像処理システムの構成について説明した。本実施形態によるサーバ１０は、投影装置２０、描画対象３０、および、ステンシル対象４０の位置関係に適応的に描画画像を生成し、そして、生成した描画画像を描画対象３０に対して投影装置２０に投影させることが可能である。
【００４３】
＜＜２．実施形態の詳細な説明＞＞
＜２−１．構成＞
次に、本実施形態によるサーバ１０の構成について詳細に説明する。図４は、本実施形態によるサーバ１０の構成を示した機能ブロック図である。図４に示したように、サーバ１０は、制御部１００、通信部１２０、および記憶部１２２を有する。
【００４４】
［２−１−１．制御部１００］
制御部１００は、サーバ１０に内蔵される、後述するＣＰＵ１５０やＲＡＭ１５４などのハードウェアを用いて、サーバ１０の動作を全般的に制御する。また、図４に示したように、制御部１００は、検出結果取得部１０２、描画位置記録部１０４、画像生成部１０６、および、投影制御部１０８を有する。
【００４５】
［２−１−２．検出結果取得部１０２］
検出結果取得部１０２は、例えば投影装置２０から受信される情報に基づいて、投影装置２０、描画対象３０、および、ステンシル対象４０に関する検出結果を取得する。例えば、検出結果取得部１０２は、投影装置２０と描画対象３０とステンシル対象４０との位置関係の検出結果を取得する。
【００４６】
また、検出結果取得部１０２は、投影装置２０に関して、例えば位置、姿勢、ひねり、移動速度、移動方向、描画対象３０におけるポインティング位置、ユーザによる描画操作の内容などの検出結果や、投影装置２０に対するユーザの入力情報を取得する。また、検出結果取得部１０２は、描画対象３０に関して、例えば位置、姿勢、形状、表面の粗さ、および、色などの検出結果を取得する。また、検出結果取得部１０２は、ステンシル対象４０に関して、例えば位置、姿勢、および、形状などの検出結果を取得する。
【００４７】
［２−１−３．描画位置記録部１０４］
描画位置記録部１０４は、例えば検出結果取得部１０２により検出された検出結果に基づいて、描画対象３０における投影装置２０のポインティング位置の検出結果を、ユーザによる描画位置として記憶部１２２に記録する。例えば、描画位置記録部１０４は、投影装置２０を用いた所定の描画操作中に検出されたポインティング位置の軌跡を、ユーザによる描画位置の軌跡として記憶部１２２に記録する。一例として、描画位置記録部１０４は、ユーザの描画操作の内容と、描画対象３０における描画位置の情報とを対応付けて記憶部１２２に記録する。
【００４８】
［２−１−４．画像生成部１０６］
（２−１−４−１．生成例１）
画像生成部１０６は、検出結果取得部１０２により取得された検出結果および記憶部１２２に記憶されている描画位置に基づいて、描画画像を生成する。例えば、画像生成部１０６は、記憶部１２２に記憶されている複数の描画位置を示す表示を含むように描画画像を生成する。ここで、描画位置を示す表示は、例えば、投影装置２０から描画位置に向けて射出される仮想的な物体を示す表示である。また、この仮想的な物体は、例えば、スプレーまたはエアブラシから射出される霧状のインクである。但し、かかる例に限定されず、描画位置を示す表示は、所定の画像であってもよいし、また、仮想的な物体は、インク以外の所定のオブジェクトであってもよい。なお、以下では、仮想的な物体が霧状のインクである例を中心として説明を行う。
【００４９】
なお、（投影装置２０から射出される）インクの射出形状および射出サイズは、投影装置２０に関する情報に応じて定められてもよい。例えば、インクの射出形状は、投影装置２０の設定情報または投影装置２０の種類に応じて、円錐の形状または楕円錐の形状などに定められ得る。また、射出サイズは、例えば投影装置２０と描画対象３０との間の距離の検出結果に応じて変化させてもよいし、または、所定のサイズであってもよい。例えば、前者の場合、投影装置２０と描画対象３０との間の距離の検出値が大きいほど、射出サイズを大きくしてもよい。
【００５０】
さらに、画像生成部１０６は、描画対象３０における、投影装置２０による投影範囲を示す表示を含むように描画画像を生成する。ここで、投影範囲を示す表示は、例えば、投影装置２０から描画対象３０に向けてスポットライトのように照射される白色光の投影範囲を示す表示（以下、白色光表示と称する）である。この白色光表示は、例えば、円形または楕円形である。また、白色光表示は、例えば投影装置２０によるポインティング位置からの距離が大きくなるほど輝度を低下させるようなエフェクトである。
【００５１】
‐インクの表示
ここで、図５および図６を参照して、上記の機能についてより詳細に説明する。図５は、画像生成部１０６により生成された描画画像が描画対象３０に投影される例を示した説明図である。図５に示したように、画像生成部１０６は、投影装置２０と描画対象３０との位置関係の検出結果に基づいて、記憶部１２２に記憶されている複数の描画位置に関して、当該複数の描画位置に仮想的に射出されたインクを示す表示３０２を描画画像内に配置する。例えば、画像生成部１０６は、記憶部１２２に記憶されている複数の描画位置のうち白色光表示３００の表示範囲内に位置する複数の描画位置に関してのみ、当該複数の描画位置に射出されたインクの表示３０２を描画画像内に配置する。
【００５２】
なお、画像生成部１０６は、検出結果取得部１０２により取得された検出結果に基づいて、射出されたインクの表示３０２に関するインクの流量を変化させてもよい。例えば、ポインティング位置が同一である状態では、画像生成部１０６は、インクを射出するための所定の操作の継続時間が長いほど射出されるインクの流量が多くなるように、該当のポインティング位置に射出されるインクの表示３０２を決定する。また、例えば投影装置２０がダブルアクションエアブラシまたはシングルアクションエアブラシのモードに設定されており、かつ、例えば投影装置２０に含まれるレバーを引く操作が検出された場合には、画像生成部１０６は、レバーを引く操作の操作量が大きいほどインクの流量が多くなるように、該当のポインティング位置に射出されるインクの表示３０２を決定する。
【００５３】
なお、変形例として、インクを射出するための所定の操作の継続時間が所定の時間以上に達した場合には、画像生成部１０６は、射出されるインクの流量が減少するように、射出されるインクの表示３０２を決定してもよい。さらに、その後、例えば投影装置２０を振る操作が検出された場合には、画像生成部１０６は、射出されるインクの流量を初期状態に戻してもよい。この制御例によれば、実際のスプレー缶におけるインクの残存量が低下した場合と同様の現象を実現することができ、あたかも実際のスプレー缶を使用しているような感覚でユーザは描画を行うことができる。
【００５４】
‐白色光の表示
また、図５に示したように、画像生成部１０６は、例えば現在のポインティング位置を基準として、白色光表示３００を描画画像内に配置する。なお、画像生成部１０６は、例えば、射出されたインクの表示３０２に関して設定されている表示色、投影装置２０の形状、投影装置２０と描画対象３０との間の距離の検出結果、または、射出されるインクの流量の設定パラメータに基づいて、ポインティング位置を示す表示３１０の表示態様を変化させてもよい。この制御例によれば、インクを射出するための操作を仮にユーザが行った場合にインクの表示３０２がどのように表示されるかをプレビューすることができる。従って、ユーザは、意図した通りに、インクの表示３０２を描画することができる。
【００５５】
また、図６は、画像生成部１０６により生成される描画画像の別の生成例、および描画画像が描画対象３０に投影される例を示した説明図である。図６に示したように、画像生成部１０６は、検出結果取得部１０２により取得された検出結果に基づいて、射出されたインクの表示３０２に関して、インクの垂れの表示３０４をさらに描画画像内に配置することが可能である。
【００５６】
例えば、画像生成部１０６は、インクを射出するための所定の操作の開始時のポインティング位置、または終了時のポインティング位置において、インクの垂れの表示３０４を配置する。または、画像生成部１０６は、例えばインクを射出するための所定の操作が所定の時間以上継続された場合など、一つのポインティング位置に射出されたインクの流量の積算値が所定の値以上となった場合に限り、当該ポインティング位置にインクの垂れの表示３０４を配置してもよい。さらに、画像生成部１０６は、インクを射出するための所定の操作の継続時間が長いほどインクが垂れる量が増加するように、インクの垂れの表示３０４を決定してもよい。
【００５７】
また、画像生成部１０６は、検出された描画対象３０の表面が滑らかであるほどより多くの量のインクが垂れるように、インクの垂れの表示３０４を決定してもよい。また、画像生成部１０６は、インクを射出するための所定の操作時における投影装置２０の移動速度や移動方向に応じて垂れるインクの量が変化するように、インクの垂れの表示３０４を決定してもよい。さらに、画像生成部１０６は、描画対象３０の表面の粗さの検出結果に基づいて、垂れるインクの量やインクの流れ方が変化するように、インクの垂れの表示３０４を決定してもよい。
【００５８】
これらの決定例によれば、実際のスプレー缶またはエアブラシの使用時においてインクが垂れる現象を擬似的に表現することができる。従って、あたかも実際のスプレー缶またはエアブラシを使用しているような感覚でユーザは描画を行うことができる。
【００５９】
（２−１−４−２．生成例２）
また、ステンシル対象４０が検出された場合には、画像生成部１０６は、さらに、検出されたステンシル対象４０の形状表示を含むように描画画像を生成する。ここで、ステンシル対象４０の形状表示は、例えば、描画対象３０におけるステンシル対象４０の影を示す表示であってもよい。なお、ステンシル対象４０の影を示す表示とは、例えば、仮に投影装置２０と描画対象３０との間にステンシル対象４０が位置している場合に、投影装置２０から照射される光がステンシル対象４０により遮られることにより描画対象３０に射影される（仮想の）影を示す表示である。
【００６０】
例えば、画像生成部１０６は、まず、投影装置２０と描画対象３０との位置関係の検出結果、および、ステンシル対象４０の形状の検出結果に基づいて、ステンシル対象４０の影が描画対象３０に射影された場合における影の形状を算出する。そして、画像生成部１０６は、算出した形状の影の表示３２０を描画画像内に配置する。
【００６１】
図７は、ステンシル対象４０の影を示す表示３２０を含む描画画像の生成例、および当該描画画像が描画対象３０に投影される例を示した説明図である。なお、図７では、図１に示したようにユーザの片手がステンシル対象４０として検出された際に、ステンシル対象４０の影の表示３２０が描画画像内に配置される例を示している。
【００６２】
なお、ステンシル対象４０の影の表示３２０の表示色は、例えば黒色など所定の色に設定されてもよいし、または、ユーザにより指定された色であってもよい。また、例えば当該表示色を変更するための操作が検出された場合には、サーバ１０は、一旦設定された表示色を変更可能であってもよい。
【００６３】
（２−１−４−３．ガイド表示）
また、詳細については後述するが、ステンシル対象４０の形状表示の配置位置をユーザが指定するためのガイド表示が描画対象３０に対して投影装置２０により投影され得る。この場合、画像生成部１０６は、当該ガイド表示の投影位置を移動させるためのユーザの操作の検出に基づいて、生成対象の描画画像における、ステンシル対象４０の形状表示の配置位置を決定することも可能である。
【００６４】
（２−１−４−４．変形例）
なお、一般的に、例えば投影装置２０をユーザが手で持っており、かつ、ステンシル対象４０がユーザの近くに位置する場合では、投影装置２０により投影されている白色光がステンシル対象４０に当たると、ユーザは、ステンシル対象４０に投影された白色光の反射光を眩しく感じ得る。そこで、変形例として、画像生成部１０６は、検出されたステンシル対象４０の形状の領域または当該ステンシル対象４０の形状よりも少し小さい領域を、白色光表示の表示領域から繰り抜いて描画画像を生成してもよい。この変形例によれば、仮にステンシル対象４０がユーザの近くに位置する場合であっても、ステンシル対象４０にほとんど白色光が投影されないので、ステンシル対象４０における反射光をユーザが眩しく感じることを回避することができる。
【００６５】
また、別の変形例として、画像生成部１０６は、例えばユーザの設定に応じて、上記の白色光表示を描画画像内に配置するか否かを切り替え可能であってもよい。なお、白色光表示が描画画像内に配置されない場合には、投影装置２０の装置自体の投影可能範囲に含まれるオブジェクト（例えばインクの表示３０２など）が描画対象３０において可視表示されることになる。
【００６６】
［２−１−５．投影制御部１０８］
（２−１−５−１．制御例１）
投影制御部１０８は、投影装置２０に対する投影の制御を行う。例えば、投影制御部１０８は、図５〜図７に示したように、画像生成部１０６により生成された描画画像を描画対象３０に対して投影装置２０に投影させる。
【００６７】
（２−１−５−２．制御例２）
また、ステンシル対象４０の形状が検出された場合には、投影制御部１０８は、上述したガイド表示を描画対象３０における目標領域に投影装置２０に投影させる。なお、目標領域は、例えばユースケースに応じて定められ得る。例えば、目標領域は、描画対象３０における所定の位置の領域であってもよいし、描画対象３０におけるポインティング位置を基準とした領域であってもよい。または、目標位置は、投影装置２０と描画対象３０とステンシル対象４０との位置関係の検出結果に応じて算出される、描画対象３０におけるステンシル対象４０の影の算出領域であってもよい。
【００６８】
ここで、図８を参照して、上記の機能についてより詳細に説明する。例えば、図８の（Ａ）に示したように、投影装置２０のステンシル対象検出部２２２は、投影装置２０と描画対象３０との間に位置するステンシル対象４０の形状を検出する。なお、図８では、ステンシル対象４０が星形の物体である例を示している。
【００６９】
次に、図８の（Ｂ）に示したように、投影制御部１０８は、検出されたステンシル対象４０の形状を示すガイド表示３４０を、例えば描画対象３０における所定の位置に投影装置２０に投影させる。そして、ユーザは、例えば投影装置２０を操作することにより、図８の（Ｂ）に示した矢印のようにガイド表示３４０を移動させる。
【００７０】
そして、画像生成部１０６は、生成対象の描画画像におけるステンシル対象４０の形状表示の配置位置を、図８の（Ｃ）に示したような、移動後のガイド表示３４０ｂの位置に決定することにより描画画像を生成する。その後、投影制御部１０８は、生成された描画画像を描画対象３０に対して投影装置２０に投影させる。
【００７１】
（２−１−５−３．変形例）
なお、変形例として、投影装置２０と描画対象３０との間の距離の検出結果に基づいて、投影制御部１０８は、描画画像を投影する際の光量を変化させてもよい。例えば、投影装置２０と描画対象３０との間の距離が大きくなった場合には、投影制御部１０８は、描画画像を投影する際の光量を大きくし、また、投影装置２０と描画対象３０との間の距離が小さくなった場合には、投影制御部１０８は、描画画像を投影する際の光量を小さくしてもよい。この制御例によれば、投影装置２０と描画対象３０との間の距離によらずに、描画画像が一定の光量で投影されることになる。このため、仮に描画対象３０に対して投影装置２０が近づけられた場合であっても、描画対象３０に対する投影光の反射光をユーザが眩しく感じることを回避することができる。
【００７２】
［２−１−６．通信部１２０］
通信部１２０は、サーバ１０と通信可能な他の装置との間で情報の送受信を行う。例えば、通信部１２０は、投影制御部１０８の制御に従って、画像生成部１０６により生成された描画画像を投影装置２０に送信する。また、通信部１２０は、例えば投影装置２０による検出情報や投影装置２０に対する入力情報を投影装置２０から受信する。
【００７３】
［２−１−７．記憶部１２２］
記憶部１２２は、各種のデータや各種のソフトウェアを記憶する。例えば、記憶部１２２は、投影装置２０に対するユーザの描画操作の検出日時、ユーザの描画操作の内容、および、描画対象３０における描画位置を対応付けて記憶する。
【００７４】
＜２−２．適用例＞
以上、本実施形態による構成について説明した。ここで、本実施形態による適用例について「２−２−１．ステンシル対象４０の影の表示」〜「２−２−７．複数の投影装置２０による同時複製」において説明する。なお、以下では、ステンシル対象４０の形状表示の様々な投影例について説明する。
【００７５】
［２−２−１．ステンシル対象４０の影の表示］
まず、図９を参照して、ステンシル対象４０の影の表示３２０の投影例について説明する。例えば、図９の（Ａ）に示したように、まず、投影装置２０のステンシル対象検出部２２２は、ステンシル対象４０の形状を検出する。次に、画像生成部１０６は、投影装置２０と描画対象３０との位置関係の検出結果に基づいて白色光表示３００を決定する。そして、画像生成部１０６は、投影装置２０と描画対象３０とステンシル対象４０との位置関係の検出結果、および、ステンシル対象４０の形状の検出結果に基づいて、ステンシル対象４０の影の表示３２０を決定する。そして、画像生成部１０６は、決定した白色光表示３００、および、ステンシル対象４０の影の表示３２０を含む描画画像を生成する。その後、図９の（Ｂ）に示したように、投影制御部１０８は、生成された描画画像を描画対象３０に対して投影装置２０に投影させる。
【００７６】
［２−２−２．投影光におけるステンシル対象４０の形状の穴抜け表示］
次に、図１０を参照して、投影光におけるステンシル対象４０の形状の穴抜け表示３２２の投影例について、図１０を参照して説明する。図１０の（Ａ）に示したように、まず、投影装置２０は、（図９の（Ａ）に示した例と同様に）ステンシル対象４０の形状を検出する。次に、画像生成部１０６は、投影装置２０と描画対象３０との位置関係の検出結果に基づいて、白色光表示３００を決定する。そして、画像生成部１０６は、投影装置２０と描画対象３０とステンシル対象４０との位置関係の検出結果、および、ステンシル対象４０の形状の検出結果に基づいて、例えば図１０の（Ｂ）に示したような、投影装置２０から描画対象３０へ向けて照射される、白色以外の色の光の照射領域においてステンシル対象４０の形状の穴が開いたような穴抜け表示３２２を決定する。そして、画像生成部１０６は、決定した白色光表示３００、および、投影光におけるステンシル対象４０の形状の穴抜け表示３２２を含む描画画像を生成する。その後、投影制御部１０８は、生成された描画画像を描画対象３０に対して投影装置２０に投影させる。
【００７７】
［２−２−３．透明度を保持したステンシルの形状の表示］
次に、図１１を参照して、透明度を保持したステンシル対象４０の形状表示３２０の投影例について説明する。例えば、図１１の（Ａ）に示したように、まず、投影装置２０のステンシル対象検出部２２２は、ステンシル対象４０の形状および透明度を検出する。
【００７８】
次に、画像生成部１０６は、投影装置２０と描画対象３０との位置関係の検出結果に基づいて白色光表示３００を決定する。また、画像生成部１０６は、投影装置２０と描画対象３０とステンシル対象４０との位置関係の検出結果、および、ステンシル対象４０の形状および透明度の検出結果に基づいて、透明度を保持したステンシル対象４０の形状表示３２０を決定する。そして、画像生成部１０６は、決定した白色光表示３００、および、透明度を保持したステンシル対象４０の形状表示３２０を含む描画画像を生成する。その後、図１１の（Ｂ）に示したように、投影制御部１０８は、生成された描画画像を描画対象３０に対して投影装置２０に投影させる。
【００７９】
［２−２−４．時間差による合わせ絵の表示］
次に、図１２を参照して、時間差による、ステンシル対象４０の形状の合わせ絵の表示３２０の投影例について説明する。例えば、図１２の（Ａ）に示したように、まず、投影装置２０のステンシル対象検出部２２２は、ステンシル対象である右手４０ａを検出する。次に、画像生成部１０６は、投影装置２０と描画対象３０と右手４０ａとの位置関係の検出結果、および、右手４０ａの形状の検出結果に基づいて、右手４０ａの影の表示３２０ａを決定し、そして、決定した右手４０ａの影の表示３２０ａを含む描画画像を生成する。そして、投影制御部１０８は、生成された描画画像を描画対象３０に対して投影装置２０に投影させる。
【００８０】
その後、図１２の（Ｂ）に示したように、右手４０ａがステンシル対象４０の検出範囲外へ移動され、かつ、別のステンシル対象である左手４０ｂがステンシル対象４０の検出範囲内に配置された場合には、ステンシル対象検出部２２２は、左手４０ｂを新たに検出する。そして、画像生成部１０６は、投影装置２０と描画対象３０と左手４０ｂとの位置関係の検出結果、および、左手４０ｂの形状の検出結果に基づいて、左手４０ｂの影の表示３２０ｂを決定する。そして、画像生成部１０６は、決定した左手４０ｂの影の表示３２０ｂを、生成済みの描画画像内に追加して配置する。
【００８１】
その後、投影制御部１０８は、生成された描画画像を描画対象３０に対して投影装置２０に投影させる。これにより、図１２の（Ｃ）に示したように、右手４０ａの影の表示３２０ａおよび左手４０ｂの影の表示３２０ｂがともに描画対象３０に投影されることになる。
【００８２】
［２−２−５．合成アニメーションの表示］
次に、図１３を参照して、ステンシル対象４０の形状の変化の検出に基づいた合成アニメーションの投影例について説明する。例えば、図１３の（Ａ）に示したように、まず、投影装置２０のステンシル対象検出部２２２は、（ステンシル対象４０である）右手の一番目のポーズ４０ａを検出する。そして、画像生成部１０６は、投影装置２０と描画対象３０と右手の一番目のポーズ４０ａとの位置関係の検出結果、および、右手の一番目のポーズ４０ａの形状の検出結果に基づいて、右手の一番目のポーズ４０ａの影の表示３２０ａを決定する。そして、画像生成部１０６は、決定した右手の一番目のポーズ４０ａの影の表示３２０ａを含む第１の描画画像を生成する。
【００８３】
その後、図１３の（Ｂ）に示したように、右手のポーズが一番目のポーズ４０ａから二番目のポーズ４０ｂに変更されたことが検出された場合には、ステンシル対象検出部２２２は、右手の二番目のポーズ４０ｂを検出する。そして、画像生成部１０６は、投影装置２０と描画対象３０と右手の二番目のポーズ４０ｂとの位置関係の検出結果、および、右手の二番目のポーズ４０ｂの形状の検出結果に基づいて、右手の二番目のポーズ４０ｂの影の表示３２０ｂを決定する。そして、画像生成部１０６は、決定した右手の二番目のポーズ４０ｂの影の表示３２０ｂを含む第２の描画画像を生成する。その後、図１３の（Ｃ）に示したように、投影制御部１０８は、生成された第１の描画画像、第２の描画画像の順に表示されるアニメーションを描画対象３０に対して投影装置２０に投影させる。
【００８４】
なお、このアニメーション表示は、右手の一番目のポーズの影の表示３２０ａと右手の二番目のポーズの影の表示３２０ｂとが順々に表示されるアニメーションであってもよいし、または、右手の一番目のポーズの影の表示３２０ａから右手の二番目のポーズの影の表示３２０ｂへ連続的に表示が変化するアニメーションであってもよい。なお、後者の場合、例えば、一番目のポーズの影の表示３２０ａの投影タイミングと二番目のポーズの影の表示３２０ｂの投影タイミングとの間において、一番目のポーズの影の表示３２０ａと二番目のポーズの影の表示３２０ｂとを例えば経過時間に基づいて線形補間した影の表示が投影されてもよい。
【００８５】
［２−２−６．ステンシル対象の移動によるベタ面積表示］
次に、図１４を参照して、ステンシル対象４０の移動の検出に基づいたベタ面積表示の投影例について説明する。例えば、図１４の（Ａ）に示したように、ユーザが、細長い長方形のステンシル対象４０を描画対象３０と平行な方向に往復移動させたとする。この場合、まず、投影装置２０のステンシル対象検出部２２２は、ステンシル対象４０の形状および移動範囲を検出する。次に、画像生成部１０６は、投影装置２０と描画対象３０との位置関係の検出結果、および、ステンシル対象４０の形状および移動範囲の検出結果に基づいて、ステンシル対象４０の移動範囲全体の影を示すべた面積表示３２０を決定し、そして、決定したべた面積表示３２０を含む描画画像を生成する。
【００８６】
その後、図１４の（Ｂ）に示したように、投影制御部１０８は、生成された描画画像を描画対象３０に対して投影装置２０に投影させる。なお、図１４に示した例において、べた面積表示３２０の表示色は、ステンシル対象４０のうち移動量が小さい部分（例えば図１４に示した、ユーザが右手で把持している部分）から移動量が大きい部分へ向かってグラデーション状に変化するように定められてもよいし、または、べた面積表示３２０の全体の表示色が一色に定められてもよい。
【００８７】
［２−２−７．複数の投影装置２０による同時複製表示］
次に、図１５を参照して、複数の投影装置２０によりステンシル対象４０が同時に検出されることによる複製表示の投影例について説明する。例えば、図１５の（Ａ）に示したように、まず、二個の投影装置２０の各々のステンシル対象検出部２２２は、ステンシル対象４０を同時に検出する。次に、画像生成部１０６は、投影装置２０ａと描画対象３０との位置関係の検出結果に基づいて、白色光表示３００ａを決定する。そして、画像生成部１０６は、投影装置２０ａと描画対象３０とステンシル対象４０との位置関係の検出結果、および、（投影装置２０ａによる）ステンシル対象４０の形状の検出結果に基づいて、ステンシル対象４０の影の表示３２０ａを決定する。そして、画像生成部１０６は、決定したステンシル対象４０の影の表示３２０ａと白色光表示３００ａとを含む第１の描画画像を生成する。
【００８８】
また、画像生成部１０６は、投影装置２０ｂと描画対象３０との位置関係の検出結果に基づいて、白色光表示３００ｂを決定する。そして、画像生成部１０６は、投影装置２０ｂと描画対象３０とステンシル対象４０との位置関係の検出結果、および、（投影装置２０ｂによる）ステンシル対象４０の形状の検出結果に基づいて、ステンシル対象４０の影の表示３２０ｂを決定する。そして、画像生成部１０６は、決定したステンシル対象４０の影の表示３２０ｂと白色光表示３００ｂとを含む第２の描画画像を生成する。
【００８９】
その後、図１５の（Ｂ）に示したように、投影制御部１０８は、生成された第１の描画画像を描画対象３０に対して投影装置２０ａに投影させ、かつ、生成された第２の描画画像を描画対象３０に対して投影装置２０ｂに投影させる。
【００９０】
＜２−３．動作＞
以上、本実施形態による適用例について説明した。次に、本実施形態による動作について、「２−３−１．モードの手動切り替え設定時の動作」〜「２−３−２．モードの自動切り替え設定時の動作」において説明する。なお、基本的には、サーバ１０は、以下で述べるモードの手動切り替え設定、もしくはモードの自動切り替え設定に予め設定されているものとする。
【００９１】
［２−３−１．モードの手動切り替え設定時の動作］
図１６は、本実施形態によるモードの手動切り替え設定時の動作を示したフローチャートである。図１６に示したように、例えば投影装置２０に対する所定の入力操作などの検出結果に基づいて、サーバ１０の制御部１００は、最初に、描画／コンテンツモードを起動する（Ｓ１０１）。この描画／コンテンツモードでは、まず、画像生成部１０６が、投影装置２０と描画対象３０との位置関係の検出結果に基づいて描画画像を生成する。そして、投影制御部１０８が、生成された描画画像を描画対象３０に対して投影装置２０に投影させる。
【００９２】
その後、例えば、ユーザによる何らかのモード切り替え操作が検出された場合、あるいは、ステンシル対象検出部２２２によりステンシル対象４０の介入が検出された場合には、制御部１００は、ライティング／ステンシル検出準備モードに状態を遷移させる（Ｓ１０３）。このライティング／ステンシル検出準備モードでは、投影制御部１０８は、スポットライトのように一面白色光を描画対象３０に対して投影装置２０に投影させる。これにより、投影装置２０と描画対象３０との間にステンシル対象４０が位置する場合には、ステンシル対象４０の本物の影が描画対象３０に投影されることになる。
【００９３】
その後、ユーザによる何らかのモード切り替え操作が検出された場合には、制御部１００は、ステンシル形状記録モードに状態を遷移させる（Ｓ１０５）。このステンシル形状記録モードでは、まず、投影装置２０のステンシル対象検出部２２２は、ステンシル対象４０の形状などを検出し、そして、検出結果をサーバ１０へ送信する。そして、サーバ１０の検出結果取得部１０２は、ステンシル対象４０の形状の検出結果を記憶部１２２に記録する。
【００９４】
その後、何らかのモード切り替え操作が検出された場合には、制御部１００は、ステンシル転写／調整モードに状態を遷移させる（Ｓ１０７）。このステンシル転写／調整モードでは、サーバ１０の投影制御部１０８は、上記のガイド表示を描画対象３０に対して投影装置２０に投影させる。そして、ステンシル対象４０の形状表示の配置位置を決定するための所定の操作の検出に基づいて、画像生成部１０６は、ステンシル対象４０の形状表示を、ユーザにより指定された配置位置に配置する。これにより、ユーザは、生成対象の描画画像におけるステンシル対象４０の形状表示の配置位置を任意に調整することができる。
【００９５】
その後、何らかのモード切り替え操作が検出された場合には、制御部１００は、再びＳ１０１の動作を行う。なお、この際、画像生成部１０６は、新たな生成対象の描画画像において、ステンシル対象４０の形状表示をＳ１０７で決定された配置位置に配置する。
【００９６】
［２−３−２．モードの自動切り替え時の動作］
次に、図１７を参照して、本実施形態によるモードの自動切り替え設定時の動作の動作例について説明する。図１７に示したように、まず、サーバ１０の制御部１００は、例えば投影装置２０に対する所定の入力操作などに基づいて、描画／コンテンツモードを起動する（Ｓ２０１）。
【００９７】
その後、投影装置２０の描画対象検出部２２４は、描画対象３０の位置、姿勢、および形状などを検出する。そして、通信部２２８は、制御部２００の制御に従って、検出された情報をサーバ１０へ送信する（Ｓ２０３）。
【００９８】
その後、サーバ１０の画像生成部１０６は、例えば投影装置２０と描画対象３０との位置関係の検出結果などに基づいて、描画画像を生成する（Ｓ２０５）。なお、この際、後述するＳ２１７の処理がすでに実行済みである場合には、画像生成部１０６は、記憶部１２２に記録されているステンシル対象４０の形状を示す表示を含むように描画画像を生成する。
【００９９】
続いて、投影制御部１０８は、生成された描画画像を描画対象３０に対して投影装置２０に投影させる（Ｓ２０７）。
【０１００】
その後、制御部１００は、投影装置２０から受信される検出情報に基づいて、投影装置２０と描画対象３０との間においてステンシル対象４０が位置するか否かを判定する（Ｓ２０９）。ステンシル対象４０が検出されていない場合には（Ｓ２０９：Ｎｏ）、制御部１００は、再びＳ２０３の動作を行う。
【０１０１】
一方、ステンシル対象４０が検出された場合には（Ｓ２０９：Ｙｅｓ）、制御部１００は、ステンシル記録モードに状態を遷移させる（Ｓ２１１）。
【０１０２】
続いて、ステンシル対象検出部２２２は、ステンシル対象４０の位置、および形状を検出する。そして、通信部２２８は、制御部２００の制御に従って、ステンシル対象検出部２２２により検出された情報をサーバ１０へ送信する（Ｓ２１３）。
【０１０３】
その後、サーバ１０の検出結果取得部１０２は、受信された情報に基づいて、検出されたステンシル対象４０の形状情報などを記憶部１２２に記録する（Ｓ２１５）。
【０１０４】
その後、制御部１００は、投影装置２０から受信される検出情報に基づいて、ステンシル対象４０が検出範囲外へ移動したか否かを判定する（Ｓ２１７）。ステンシル対象４０が検出範囲内に位置する場合には（Ｓ２１７：Ｎｏ）、制御部１００は、再びＳ２１３の動作を行う。
【０１０５】
一方、ステンシル対象４０が検出範囲外に移動した場合には（Ｓ２１７：Ｙｅｓ）、制御部１００は、再びＳ２０１の動作を行う。
【０１０６】
＜２−４．効果＞
［２−４−１．効果１］
以上説明したように、本実施形態によるサーバ１０は、投影装置２０と描画対象３０とステンシル対象４０との位置関係の検出結果に基づいて描画画像を生成し、そして、生成した描画画像を描画対象３０に対して投影装置２０に投影させる。例えば、サーバ１０は、投影装置２０と描画対象３０とステンシル対象４０との位置関係の検出結果、および、ステンシル対象４０の形状の検出結果に基づいて、ステンシル対象４０の影の表示の表示態様を決定し、そして、決定したステンシル対象４０の影の表示を含む描画画像を生成する。
【０１０７】
このため、サーバ１０は、投影装置２０と描画対象３０とステンシル対象４０との位置関係に適応した描画画像を描画対象３０に投影させることができる。例えば、仮に投影装置２０と描画対象３０との間にステンシル対象４０が位置している場合に、投影装置２０から照射される光がステンシル対象４０により遮られることにより描画対象３０に射影される影を示す表示を、サーバ１０は、描画対象３０に対して投影させることができる。
【０１０８】
［２−４−２．効果２］
また、サーバ１０は、投影装置２０に対する操作やポインティング位置の検出結果、描画対象３０の属性の検出結果、および、投影装置２０と描画対象３０との位置関係の検出結果などに基づいて、射出されるインクの表示の表示態様を決定し、そして、決定したインクの表示を含む描画画像を生成する。従って、投影装置２０に対する操作の検出結果に基づいて、実際のスプレー缶やエアブラシを用いた描画を電子的に実現することができる。そして、あたかも実際のスプレー缶またはエアブラシを使用しているような感覚でユーザは描画を行うことができる。また、ユーザが描画した情報を記録しておくことにより、ユーザは、過去に描画した情報をいつでも描画対象３０に対して投影させたり、または、例えばＬＣＤやＯＬＥＤなどの表示装置に表示させることができる。
【０１０９】
さらに、例えば複数のユーザが各自投影装置２０を使用することにより、複数のユーザが同時に描画対象３０に対して描画を行うことができる。また、過去に描画された画像に対してユーザはいつでも追加の描画を行うことができる。また、描画後の映像を複数のユーザが一緒に閲覧することもできる。このため、描画活動を通した複数のユーザによるコミュニケーションを支援することができる。
【０１１０】
また、本実施形態によれば、例えば水のような、スプレー缶やエアブラシを用いて描画を行うことが不可能な描画対象３０に対して仮想的な描画を行うことが可能であり、また、例えば建物の壁のような、描画が禁止されている描画対象３０に対して仮想的な描画を行うことも可能である。このため、例えばデザイナーによる多様な描画活動を支援することができる。
【０１１１】
＜＜３．ハードウェア構成＞＞
次に、本実施形態によるサーバ１０のハードウェア構成について、図１８を参照して説明する。図１８に示したように、サーバ１０は、ＣＰＵ１５０、ＲＯＭ１５２、ＲＡＭ１５４、内部バス１５６、インターフェース１５８、ストレージ装置１６０、および通信装置１６２を備える。
【０１１２】
ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ１０内の動作全般を制御する。また、ＣＰＵ１５０は、サーバ１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
【０１１３】
ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
【０１１４】
ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【０１１５】
内部バス１５６は、ＣＰＵバスなどから構成される。この内部バス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４を相互に接続する。
【０１１６】
インターフェース１５８は、ストレージ装置１６０、および通信装置１６２を、内部バス１５６と接続する。例えばストレージ装置１６０は、このインターフェース１５８および内部バス１５６を介して、ＣＰＵ１５０との間でデータをやり取りする。
【０１１７】
ストレージ装置１６０は、記憶部１２２として機能する、データ格納用の装置である。ストレージ装置１６０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
【０１１８】
通信装置１６２は、例えば公衆網やインターネットなどの通信網に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６２は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６２は、通信部１２０として機能する。
【０１１９】
＜＜４．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２０】
例えば、本実施形態による画像処理システムの構成は、上述した構成に限定されない。例えば、上述したステンシル対象検出部２２２、描画対象検出部２２４、描画用入力部２２６のうちいずれか一以上は別の装置に含まれてもよい。一例として、投影装置２０は投影部２２０を含む固定型の装置として構成される場合には、ステンシル対象検出部２２２、描画対象検出部２２４、および、描画用入力部２２６を含む携帯型の装置が別途設けられてもよい。
【０１２１】
また、上述した実施形態では、本開示における画像処理装置がサーバ１０である例について説明したが、かかる例に限定されない。例えば、当該画像処理装置は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレット端末、または、ゲーム機などであってもよい。
【０１２２】
また、上述した制御部１００に含まれる全ての構成要素を投影装置２０が有する場合には、本開示における画像処理装置は、投影装置２０であってもよい。そして、この変形例の場合、サーバ１０は設けられなくてもよい。
【０１２３】
また、上述した実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した実施形態によるサーバ１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
【０１２４】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１２５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
操作部の位置に基づいて、描画対象に描画される描画画像を生成する画像生成部を備え、
前記画像生成部は、前記操作部と前記描画対象との間に位置するステンシル対象の検出情報に基づいて、前記描画画像を生成する、画像処理装置。
（２）
前記画像生成部は、さらに、前記描画対象の検出情報に基づいて、前記描画画像を生成する、前記（１）に記載の画像処理装置。
（３）
前記画像生成部は、前記操作部と前記描画対象と前記ステンシル対象との位置関係の検出結果に基づいて前記描画画像を生成する、前記（２）に記載の画像処理装置。
（４）
前記ステンシル対象の検出情報は、前記ステンシル対象の形状の検出情報を含む、前記（３）に記載の画像処理装置。
（５）
前記描画対象の検出情報は、前記描画対象の位置および姿勢の検出情報を含み、
前記ステンシル対象の検出情報は、前記ステンシル対象の位置および姿勢の検出情報をさらに含む、前記（４）に記載の画像処理装置。
（６）
前記画像生成部は、さらに、前記操作部の姿勢の検出情報に基づいて、前記描画画像を生成する、前記（４）または（５）に記載の画像処理装置。
（７）
前記画像生成部は、前記ステンシル対象の形状の検出情報に基づいて、前記ステンシル対象の形状を示す表示を前記描画画像内に配置する、前記（４）〜（６）のいずれか一項に記載の画像処理装置。
（８）
前記ステンシル対象の形状を示す表示は、前記描画対象における前記ステンシル対象の影を示す表示である、前記（７）に記載の画像処理装置。
（９）
前記操作部は、投影部を含み、
前記画像処理装置は、前記画像生成部により生成された前記描画画像を前記描画対象に対して前記投影部に投影させる投影制御部をさらに備える、前記（７）または（８）に記載の画像処理装置。
（１０）
前記投影制御部は、さらに、前記ステンシル対象の形状を示す表示の投影位置をユーザが指定するためのガイド表示を前記描画対象に対して前記投影部に投影させ、
前記画像生成部は、投影された前記ガイド表示の投影位置を移動させるためのユーザの操作の検出に基づいて、前記描画画像における、前記ステンシル対象の形状を示す表示の配置位置を決定する、前記（９）に記載の画像処理装置。
（１１）
前記画像処理装置は、前記描画対象において前記投影部がポインティングするポインティング位置の検出結果をユーザによる描画位置とし、前記描画位置を検出順に記憶部に記録する描画位置記録部をさらに備え、
前記画像生成部は、さらに、前記記憶部に記録されている複数の前記描画位置を示す表示を含むように前記描画画像を生成する、前記（９）または（１０）に記載の画像処理装置。
（１２）
前記描画位置を示す表示は、前記投影部により前記描画位置に射出される仮想的な物体を示す表示である、前記（１１）に記載の画像処理装置。
（１３）
前記画像生成部は、前記操作部と前記描画対象との位置関係の検出結果に基づいて、前記描画位置に射出される仮想的な物体を示す表示のサイズまたは形状を決定する、前記（１２）に記載の画像処理装置。
（１４）
前記描画位置記録部は、前記操作部に対するユーザによる所定の描画操作時に検出されたポインティング位置を前記描画位置として前記記憶部に記録する、前記（１１）〜（１３）のいずれか一項に記載の画像処理装置。
（１５）
前記描画位置記録部は、前記描画位置の検出時における前記操作部に対するユーザの操作内容と前記描画位置とを対応付けて前記記憶部に記録し、
前記画像生成部は、前記描画位置に対応付けて前記記憶部に記録されている前記ユーザの操作内容に基づいて、前記描画位置を示す表示の表示態様を決定する、前記（１４）に記載の画像処理装置。
（１６）
前記描画画像は、さらに、前記投影部による前記描画対象における投影範囲を示す投影領域表示を含む、前記（１１）〜（１５）のいずれか一項に記載の画像処理装置。
（１７）
前記複数の前記描画位置を示す表示は、前記記憶部に記録された前記複数の描画位置のうち前記投影領域表示の範囲内に位置する複数の描画位置を示す表示である、前記（１６）に記載の画像処理装置。
（１８）
前記画像生成部は、前記操作部と前記描画対象との位置関係の検出結果に基づいて、前記投影領域表示のサイズまたは形状を決定する、前記（１６）または（１７）に記載の画像処理装置。
（１９）
操作部の位置、および、前記操作部と描画対象との間に位置するステンシル対象の検出情報に基づいて、前記描画対象に描画される描画画像を生成すること、
を備える、画像処理方法。
（２０）
コンピュータを、
操作部の位置に基づいて、描画対象に描画される描画画像を生成する画像生成部、
として機能させるための、プログラムであって、
前記画像生成部は、前記操作部と前記描画対象との間に位置するステンシル対象の検出情報に基づいて、前記描画画像を生成する、プログラム。
【符号の説明】
【０１２６】
１０  サーバ
２０  投影装置
３０  描画対象
４０  ステンシル対象
４２  通信網
１００、２００  制御部
１０２  検出結果取得部
１０４  描画位置記録部
１０６  画像生成部
１０８  投影制御部
１２０、２２８  通信部
１２２  記憶部
２２０  投影部
２２２  ステンシル対象検出部
２２４  描画対象検出部
２２６  描画用入力部
【図１】
2017068058.tif 000003
【図２】
2017068058.tif 000004
【図３】
2017068058.tif 000005
【図４】
2017068058.tif 000006
【図５】
2017068058.tif 000007
【図６】
2017068058.tif 000008
【図７】
2017068058.tif 000009
【図８】
2017068058.tif 000010
【図９】
2017068058.tif 000011
【図１０】
2017068058.tif 000012
【図１１】
2017068058.tif 000013
【図１２】
2017068058.tif 000014
【図１３】
2017068058.tif 000015
【図１４】
2017068058.tif 000016
【図１５】
2017068058.tif 000017
【図１６】
2017068058.tif 000018
【図１７】
2017068058.tif 000019
【図１８】
2017068058.tif 000020