(57)【要約】      （修正有）【課題】ユーザの興趣を向上させることができる映像処理システムを提供する。【解決手段】映像処理システム１は、Ｘ軸及びＹ軸の座標面とＺ軸の深さ位置とによって構成される三次元の投影対象物１０、投影対象物１０に映像を投影する投影装置１１及び投影対象物１０にユーザが接触した際に接触した座標面上の位置及び深さ位置を検出する接触検出センサ１２を備える。投影対象物１０の任意の座標面上の位置における任意の深さ位置となる埋設位置にオブジェクトＯが設定され、ユーザが投影対象物１０に接触する座標面上の位置及び深さ位置を、接触検出センサ１２が検出することによって、オブジェクトＯが設定された埋設位置が検出された際に、オブジェクトＯを投影対象物１０の上に投影する。【選択図】図１
2020194277.tif 000002
【特許請求の範囲】
【請求項１】
Ｘ軸及びＹ軸の座標面とＺ軸の深さ位置とによって構成される三次元の投影対象物、該投影対象物に映像を投影する投影装置、及び前記投影対象物にユーザが接触した際に接触した座標面上の位置及び深さ位置を検出する接触検出センサを備える映像処理システムにおいて、
前記投影対象物の任意の座標面上の位置における任意の深さ位置となる埋設位置にオブジェクトが設定され、
前記ユーザが前記投影対象物に接触する座標面上の位置及び深さ位置を前記接触検出センサが検出することによって前記オブジェクトが設定された前記埋設位置が検出された際に前記オブジェクトが前記投影対象物の上に投影されることを特徴とする映像処理システム。
【請求項２】
前記オブジェクトが前記投影対象物の上に表示された後に新たなオブジェクトが前記埋設位置とは異なる前記投影対象物の任意の座標面上の位置における任意の深さ位置となる新たな埋設位置に設定されることを特徴とする請求項１に記載の映像処理システム。
【請求項３】
識別マーカを有して該識別マーカに対応する任意の形状の第１コンテンツを前記投影対象物に投影するコンテンツ投影ツールを備え、
該コンテンツ投影ツールによって前記第１コンテンツが投影された前記投影対象物の任意の座標面上の位置と重複する座標面上の位置における任意の深さ位置に前記オブジェクトあるいは新たな前記オブジェクトが設定されている場合に前記オブジェクトあるいは新たな前記オブジェクトが設定されている前記投影対象物の任意の座標面上の位置に第２コンテンツが投影されることを特徴とする請求項２に記載の映像処理システム。
【請求項４】
前記第１コンテンツは、波紋状に広がる同心円上の輪であることを特徴とする請求項３に記載の映像処理システム。
【請求項５】
前記第２コンテンツは、発光体であることを特徴とする請求項３または４に記載の映像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理システム、特に、Ｘ軸及びＹ軸の座標面とＺ軸の深さ位置とによって構成される三次元の投影対象物、投影対象物に映像を投影する投影装置、及び投影対象物にユーザが接触した際に接触した座標面上の位置及び深さ位置を検出する接触検出センサを備える映像処理システムに関する。
【背景技術】
【０００２】
例えば、コンピュータグラフィックスによる映像を建築物の壁面や路面といった投影対象物に投影し、この投影対象物と映像との調和を楽しむ、いわゆるプロジェクションマッピングとも称される投影技術が普及している。
【０００３】
特許文献１には、投影対象物における投影領域を抽出し、抽出した投影領域に対応する映像をその投影領域にマッピングする画像処理装置が開示されている。
【０００４】
この特許文献１の画像処理装置によれば、移動するような物体が投影対象物であったとしても、投影対象物における投影領域が抽出されることから、投影対象物の移動に追従して映像をマッピングすることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１９２１８９公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、投影対象物に投影される映像に基づいて、ユーザが投影対象物上で投影対象物に投影される映像に任意の操作を行った際に、その操作に基づいて投影される映像が変化すれば、投影される映像とユーザとのインタラクションが実現され、ユーザの興趣が向上する。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、ユーザの興趣を向上させることができる映像処理システムを提供することを課題とするものである。
【課題を解決するための手段】
【０００８】
上記課題を達成するための、本発明に係る映像処理システムは、Ｘ軸及びＹ軸の座標面とＺ軸の深さ位置とによって構成される三次元の投影対象物、投影対象物に映像を投影する投影装置、及び投影対象物にユーザが接触した際に接触した座標面上の位置及び深さ位置を検出する接触検出センサを備える映像処理システムにおいて、投影対象物の任意の座標面上の位置における任意の深さ位置となる埋設位置にオブジェクトが設定され、ユーザが投影対象物に接触する座標面上の位置及び深さ位置を接触検出センサが検出することによってオブジェクトが設定された埋設位置が検出された際にオブジェクトが投影対象物の上に投影されることを特徴としている。
【０００９】
この映像処理システムによれば、映像が投影される投影対象物の任意の座標面上の位置における任意の深さ位置となる埋設位置にオブジェクトが設定され、ユーザが投影対象物に接触する座標面上の位置及び深さ位置を接触検出センサが検出して、オブジェクトが設定された埋設位置が検出されると、オブジェクトが投影対象物の上に投影される。
【００１０】
このように、投影対象物に接触するというユーザの動作に応じてオブジェクトが投影対象物に投影されることから、投影対象物に投影されるオブジェクトとユーザとのインタラクションが実現され、ユーザの興趣が向上する。
【００１１】
さらに、映像処理システムは、オブジェクトが投影対象物の上に表示された後に新たなオブジェクトが埋設位置とは異なる投影対象物の任意の座標面上の位置における任意の深さ位置となる新たな埋設位置に設定されることを特徴としていることから、ユーザの興趣が持続する。
【００１２】
しかも、映像処理システムは、識別マーカを有して識別マーカに対応する任意の形状の第１コンテンツを投影対象物に投影するコンテンツ投影ツールを備え、コンテンツ投影ツールによって第１コンテンツが投影された投影対象物の任意の座標面上の位置と重複する座標面上の位置における任意の深さ位置にオブジェクトあるいは新たなオブジェクトが設定されている場合にオブジェクトあるいは新たなオブジェクトが設定されている投影対象物の任意の座標面上の位置に第２コンテンツが投影されることを特徴としている。
【００１３】
これによれば、映像処理システムは、コンテンツ投影ツールによって投影対象物に第１コンテンツが投影され、この第１コンテンツが投影された投影対象物の座標面上の位置にオブジェクトが設定されている場合は第２コンテンツが投影されることから、ユーザは、オブジェクトが設定されている投影対象物の任意の埋設位置を把握することができる。したがって、ユーザの興趣が更に向上する。
【００１４】
一方、映像処理システムのコンテンツ投影ツールで投影される第１コンテンツは、波紋状に広がる同心円上の輪であってもよく、第２コンテンツは、発光体であってもよい。
【発明の効果】
【００１５】
この発明によれば、投影対象物に投影されるオブジェクトとユーザとのインタラクションが実現され、ユーザの興趣が向上する。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態に係る映像処理システムの概略を説明する図である。
【図２】同じく、本実施の形態に係る映像表処理システムのコンテンツ投影ツール及びカメラの概略を説明する図である。
【図３】同じく、本実施の形態に係る映像処理システムの制御部の構成の概略を説明するブロック図である。
【図４】同じく、本実施の形態に係る映像処理システムの制御部のストレージの構成の概略を説明するブロック図である。
【図５】同じく、本実施の形態に係る映像処理システムの制御部のストレージに格納される映像処理プログラムの映像処理モジュールの処理の概略を説明するブロック図である。
【図６】同じく、本実施の形態に係る映像処理システムの制御部のストレージに格納される映像処理プログラムの映像処理モジュールの処理の概略を説明するブロック図である。
【図７】同じく、本実施の形態に係る映像処理システムの制御部のストレージに格納される映像処理プログラムの映像処理モジュールの処理の概略を説明するブロック図である。
【図８】同じく、本実施の形態に係る映像処理システムの制御部のストレージに格納される映像処理プログラムの映像処理モジュールの処理の概略を説明するブロック図である。
【発明を実施するための形態】
【００１７】
次に、図１〜図８に基づいて、本発明の実施の形態に係る映像処理システムについて説明する。
【００１８】
なお、本実施の形態では、映像処理システムが、例えばユーザが宝探しを行う宝探しゲームといったゲームをユーザに提供するシステムとして実装される場合を例として説明する。
【００１９】
図１は、本実施の形態に係る映像処理システムの概略を説明する図である。図示のように、映像処理システム１は、投影対象物である砂場１０、砂場１０に映像Ｍを投影する投影装置であるプロジェクタ１１、接触検出センサ１２、コンテンツ投影ツールであるレーダツール２０、カメラ２１及びこれらを制御する制御部３０を備える。
【００２０】
砂場１０は、Ｘ軸及びＹ軸の座標面とＺ軸の深さ位置とによって構成される三次元構造であって、本実施の形態では、例えば箱状の基台に白砂が充填されることによって形成され、砂場１０の任意の埋設位置Ｂ１に、例えば宝箱に見立てられたオブジェクトＯが設定される。
【００２１】
プロジェクタ１１は、砂場１０の上方に配置されて砂場１０に映像Ｍを投影するものであって、この映像Ｍは、本実施の形態では、例えば砂場１０の隆起を山と見立てたり、砂場１０の窪みを水域と見立てたりといったような地形の映像によって構成される。
【００２２】
さらにプロジェクタ１１は、オブジェクトＯの埋設位置が後述のように検出された際に、オブジェクトＯを砂場１０の上に投影する。
【００２３】
接触検出センサ１２は、砂場１０の上方に配置されて砂場１０の全面に亘って放射状にレーザを照射する汎用のものであり、深度を検知するセンサを用いている。詳しくは、接触検出センサ１２は、砂場１０の表面までの深度（距離）を測定することにより、砂場表面の山や穴といった起伏の状態を把握することができる。これにより、例えば、ユーザが一定の深さの穴を掘ったことや、一定の高さの山を作った、といった動作を検知することが可能となる。なお、副次的に、接触検出センサ１２と砂場１０の間に存在するユーザの手や、操作用ガジェット（レーダーツール２０等）を検知することもできるためこれらの位置に基づく演出も可能となる。
【００２４】
ユーザが砂場１０に接触した位置は、Ｘ軸及びＹ軸の座標点がプロットされた座標面データ（例えば、ｘ：１００，ｙ：１５０）、及びＺ軸の座標点がプロットされた深さ位置データ（例えば、ｚ：５０）として検出される。
【００２５】
図２は、レーダツール２０及びカメラ２１の概略を説明する図である。図示のように、レーダツール２０は、表示部２０ａ、表示部２０ａに設けられてユーザが把持する把持部２０ｂ及び表示部２０ａと把持部２０ｂとの間に配置される識別マーカ２０ｃを備える虫眼鏡状に形成される。
【００２６】
カメラ２１は、砂場１０の上方に配置されてレーダツール２０の識別マーカ２０ｃを撮像して識別マーカデータを取得するものである。カメラ２１が識別マーカ２０ｃを撮像すると、次述する制御部３０の映像処理プログラムでの処理によって識別マーカデータを認識して、レーダツール２０が、砂場１０に第１コンテンツであるレーダＲを投影する。
【００２７】
レーダＲは、本実施の形態では、波紋状に広がる同心円上の光の輪であって、レーダツール２０を砂場１０の上にかざすと、光の輪が同心円上で波紋状に広がって砂場１０に投影される。
【００２８】
このレーダツール２０の砂場１０の上での動作は、接触検出センサ１２によって、Ｘ軸及びＹ軸の座標点がプロットされた座標面データ及びＺ軸の座標点がプロットされた深さ位置データとして検出される。
【００２９】
図３は、制御部３０の構成の概略を説明するブロック図である。制御部３０は、本実施の形態ではコンピュータによって実装され、図示のように、プロセッサ３１、メモリ３２、ストレージ３３、送受信部３４、及び入出力部３５を主要構成として備え、これらが互いにバス３６を介して電気的に接続される。
【００３０】
プロセッサ３１は、制御部３０の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。
【００３１】
このプロセッサ３１は、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、後述するストレージ３３に格納されてメモリ３２に展開されたアプリケーションプログラムを実行して各処理を行う。
【００３２】
メモリ３２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。
【００３３】
このメモリ３２は、プロセッサ３１の作業領域として使用される一方、制御部３０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種の設定情報等が格納される。
【００３４】
ストレージ３３は、プログラムや各種の処理に用いられる情報等が格納されている。このストレージ３３の構成については、後述する。
【００３５】
送受信部３４は、制御部３０をインターネット網等のネットワークに接続する。この送受信部３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。
【００３６】
入出力部３５には、必要に応じて、キーボードやマウスといった情報入力機器やディスプレイ等の出力機器が接続される。
【００３７】
バス３６は、接続したプロセッサ３１、メモリ３２、ストレージ３３、送受信部３４及び入出力部３５の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。
【００３８】
図４は、ストレージ３３の構成の概略を説明するブロック図である。図示のように、ストレージ３３は、ストレージ３３の提供する記憶領域として実現される記憶部４０、及び映像処理プログラム４１を備える。
【００３９】
記憶部４０には、本実施の形態では、プロジェクタ１１によって砂場１０に投影される映像Ｍが格納される。
【００４０】
映像処理プログラム４１は、本実施の形態では、入力モジュール４１ａ及び映像処理モジュール４１ｂを備える。
【００４１】
入力モジュール４１ａは、例えば制御部３０の入出力部３５に接続される情報入力機器から入力される映像投影指令、接触検出センサ１２で検出される座標面データ及び深さ位置データ、及びカメラ２１で取得される識別マーカデータが入力されるモジュールである。
【００４２】
映像処理モジュール４１ｂは、入力モジュール４１ａに入力された各種の指令やデータに基づいて映像Ｍの処理を実行したり、予め設定された条件に基づいて映像Ｍの処理を実行したりするモジュールである。
【００４３】
図５は、映像処理モジュール４１ｂの処理の概略を説明するブロック図である。図示のように、映像処理モジュール４１ｂは、オブジェクトの設定Ｓ１、映像処理Ｓ２、オブジェクトの削除Ｓ３及び新たなオブジェクトの設定Ｓ４を実行するモジュールである。
【００４４】
オブジェクトの設定Ｓ１では、図１で示すように、砂場１０の任意の座標面上の位置（例えば、ｘ：３０，ｙ：５０）における任意の深さ位置（例えば、ｚ：５）が埋設位置Ｂ１としてランダムに設定され、この埋設位置Ｂ１にオブジェクトＯが設定される。
【００４５】
映像処理Ｓ２では、図５で示すように、座標面データに基づく処理、深さ位置データに基づく処理、識別マーカデータに基づく処理及び後述する発光体生成データに基づく処理といった処理が実行される。
【００４６】
例えば、ユーザが砂場１０の任意の座標面上の位置において砂を掘っていくと、接触検出センサ１２で検出した座標面データ及び深さ位置データに基づいて、砂場１０に投影する映像Ｍの処理が実行される。
【００４７】
具体的には、例えば、山に見立てられた砂場１０の隆起をユーザが掘っていくと溶岩流が流れ出たり、水域に見立てられた砂場１０の窪みをユーザが掘っていくと水流が発生したりといった映像Ｍの処理が実行される。
【００４８】
本実施の形態では、図６で示すように、ユーザが砂場１０の座標面上の位置（ｘ：３０，ｙ：５０）において、深さ位置（ｚ：５）まで掘っていくと、埋設位置Ｂ１に設定されたオブジェクトＯが砂場１０に投影されるといった映像Ｍの処理が実行される。
【００４９】
投影されたオブジェクトＯは、本実施の形態では、任意の時間の経過後（例えば投影されてから１秒後）に消滅するように映像Ｍの処理が実行される。
【００５０】
一方、ユーザがレーダツール２０を砂場１０の上にかざすと、図２で示すように、カメラ２１で取得した識別マーカデータに基づいて、レーダツール２０によって砂場１０にレーダＲが投影される。
【００５１】
このとき、図７（ａ）で示すように、レーダＲが投影された砂場１０の座標面上の位置（例えばｘ：３０，ｙ：５０）と重複する座標面上の位置（ｘ：３０，ｙ：５０）における深さ位置（例えばｚ：５）にオブジェクトＯが設定されている場合は、接触検出センサ１２によって検出されたレーダツール２０（レーダＲ）の座標面データ及び深さ位置データと設定されたオブジェクトＯとが相関せしめられて、発光体生成データが生成される。
【００５２】
発光体生成データが生成されると、映像処理Ｓ２では、図７（ｂ）で示すように、オブジェクトＯが設定されている砂場１０の座標面の位置（ｘ：３０，ｙ：５０）に、第２コンテンツであるオブジェクトＬがプロジェクタ１１によって投影される。オブジェクトは、例えば、何らかのシルエットやアイコン等であってもよいし、発光やサイズの変化、ハイライト等のエフェクトが施されていてもよい。
【００５３】
この発光体Ｌは、一定時間に亘って発光した後に消滅したり、点滅した後に消滅したりといったように、各種の効果を伴って投影される。
【００５４】
オブジェクトの削除Ｓ３では、埋設位置Ｂ１あるいは次述する埋設位置Ｂ２に設定されたオブジェクトＯが砂場１０に投影されて任意の時間の経過後に消滅した後、その設定が削除される。
【００５５】
新たなオブジェクトの設定Ｓ４では、図８で示すように、埋設位置Ｂ１とは異なる砂場１０の任意の座標面上の位置（例えば、ｘ：５０，ｙ：９０）における任意の深さ位置（例えば、ｚ：４）が埋設位置Ｂ２としてランダムに設定され、この埋設位置Ｂ２に新たなオブジェクトＯが設定される。
【００５６】
本実施の形態では、新たなオブジェクトの設定Ｓ４において、新たなオブジェクトＯは、埋設位置Ｂ１と重複する座標面上の位置（ｘ：３０，ｙ：５０）において、埋設位置Ｂ１の深さ位置（ｚ：５）よりも深い深さ位置（例えばｚ：８）には設定されないように構成される。
【００５７】
さらに、本実施の形態では、新たなオブジェクトの設定Ｓ４において、新たなオブジェクトＯは、水域と見立てた砂場１０の窪みにも設定されないように構成される。
【００５８】
次に、本実施の形態に係る映像処理システム１の作動概略について説明する。
【００５９】
まず、砂場１０の任意の埋設位置Ｂ１に、宝箱に見立てられたオブジェクトＯが設定される。この埋設位置Ｂ１は、本実施の形態では砂場１０において複数に亘って設定され、複数の埋設位置Ｂ１のそれぞれにオブジェクトＯが設定される。
【００６０】
続いて、ユーザ（複数であってもよい）が砂場１０の砂を掘って、宝箱に見立てられたオブジェクトＯを探す。
【００６１】
例えば、砂場１０の任意の座標面上の位置（ｘ：３０，ｙ：５０）において、任意の深さ位置（ｚ：５）に埋設位置Ｂ１が設定され、この埋設位置Ｂ１にオブジェクトＯが設定されている場合において、ユーザが砂場１０の座標面上の位置（ｘ：３０，ｙ：５０）において深さ位置（ｚ：５）まで掘っていくと、埋設位置Ｂ１に設定されたオブジェクトＯが砂場１０に投影される。
【００６２】
砂場１０に投影されたオブジェクトＯは、本実施の形態では任意の時間の経過後（例えば投影されてから１秒後）に消滅し、その設定が削除される。
【００６３】
その後、埋設位置Ｂ１とは異なる埋設位置Ｂ２が設定され、この埋設位置Ｂ２にオブジェクトＯが設定される。埋設位置Ｂ２に設定されたオブジェクトＯがユーザの動作によって砂場１０に投影されると、上記と同様の処理が実行され、埋設位置Ｂ２とは異なる新たな埋設位置に新たなオブジェクトＯが設定され、これが繰り返し実行される。
【００６４】
一方、ユーザがレーダツール２０を砂場１０の上にかざすと、レーダツール２０によって砂場１０にレーダＲが投影される。このレーダツール２０を砂場１０の上で動かして、レーダＲが投影された砂場１０の座標面上の位置にオブジェクトＯが設定されている場合は、オブジェクトＯが設定されている砂場１０の座標面の位置に、発光体Ｌがプロジェクタ１１によって投影される。
【００６５】
これにより、ユーザは、オブジェクトＯが設定されている砂場１０の任意の埋設位置を把握することができ、その座標面上の位置において砂を掘れば、宝箱に見立てられたオブジェクトＯを見つけることができる。
【００６６】
このように、本実施の形態によれば、映像Ｍが投影される砂場１０の任意の座標面上の位置における任意の深さ位置となる埋設位置Ｂ１に、宝箱に見立てられたオブジェクトＯが設定され、ユーザが砂場１０を掘る座標面上の位置及び深さ位置を接触検出センサ１２が検出して、オブジェクトＯが設定された埋設位置Ｂ１が検出されると、オブジェクトＯが砂場１０に投影される。
【００６７】
このように、砂場１０を掘るというユーザの動作に応じてオブジェクトＯが砂場１０に投影されることから、砂場１０に投影されるオブジェクトＯや映像Ｍとユーザとのインタラクションが実現され、ユーザの興趣が向上する。
【００６８】
しかも、本実施の形態では、埋設位置Ｂ１とは異なる埋設位置Ｂ２に新たなオブジェクトＯが設定されることから、ユーザの興趣が持続する。
【００６９】
さらに、本実施の形態では、レーダツール２０によって砂場１０にレーダＲが投影され、レーダＲが投影された砂場１０の座標面上の位置にオブジェクトＯが設定されている場合は、発光体Ｌが投影されることから、ユーザは、オブジェクトＯが設定されている砂場１０の任意の埋設位置を把握することができる。したがって、ユーザの興趣が更に向上する。
【００７０】
なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。上記実施の形態では、第２コンテンツが発光体Ｌである場合を説明したが、例えば任意の動作を行う物体等のように、ユーザの注意や関心を引きつけることができるコンテンツであればよい。
【００７１】
上記実施の形態では、発光体Ｌがプロジェクタ１１によって投影される場合を説明したが、レーダツール２０によって砂場１０に投影されるように構成することもできる。
【符号の説明】
【００７２】
１    映像処理システム
１０    砂場（投影対象物）
１１    プロジェクタ（投影装置）
１２    接触検出センサ
２０    レーダツール（コンテンツ投影ツール）
２１    カメラ
３０    制御部
４１    映像処理プログラム
４１ｂ    映像処理モジュール
Ｌ    発光体（第２コンテンツ）
Ｏ    オブジェクト
Ｒ    レーダ（第１コンテンツ）
【図１】
2020194277.tif 000003
【図２】
2020194277.tif 000004
【図３】
2020194277.tif 000005
【図４】
2020194277.tif 000006
【図５】
2020194277.tif 000007
【図６】
2020194277.tif 000008
【図７】
2020194277.tif 000009
【図８】
2020194277.tif 000010