(57)【要約】【課題】特にセキュリティ上のリスクを低減するとともにユーザから得られるデータの有効活用を行う技術を提供すること。【解決手段】本発明は、カメラ部と、前記カメラ部により取得した映像を表示するための表示部と、ユーザからの操作を受け付ける操作部とを備える端末で実行されるアバター制御プログラムである。当該プログラムは、端末をアバターイメージを格納する記憶手段、映像内の対象領域を特定する特定手段、対象領域にアバターイメージを少なくとも部分的に重畳させる重畳手段、及び操作に応じて、アバターイメージの一部を制御する制御手段として機能させる。【選択図】図２
2019164614.tif 000002
【特許請求の範囲】
【請求項１】
カメラ部と、前記カメラ部により取得した映像を表示するための表示部と、ユーザからの操作を受け付ける操作部とを備える端末を、
アバターイメージを格納する記憶手段、
前記映像内の対象領域を特定する特定手段、
前記対象領域に前記アバターイメージを少なくとも部分的に重畳させる重畳手段、及び
前記操作に応じて、前記アバターイメージの一部を制御する制御手段として機能させる、
アバター制御プログラム。
【請求項２】
請求項１に記載のアバター制御プログラムであって、
前記端末は、前記表示部と前記操作部を含むタッチパネルを有しており、
前記ユーザによる前記操作を受け付けるための操作オブジェクトを前記タッチパネル上に表示する操作オブジェクト表示手段、として前記端末更に機能させる、
アバター制御プログラム。
【請求項３】
請求項1又は請求項２に記載のアバター制御プログラムであって、
前記制御手段は、前記アバターイメージの一部を変位させる制御である、
アバター制御プログラム。
【請求項４】
請求項１乃至請求項３のいずれかに記載のアバター制御プログラムであって、
前記アバターイメージは、顔オブジェクトと腕オブジェクトを少なくとも含んでおり、
前記特定手段は、前記映像に含まれる撮影対象者の顔を特定し、
前記重畳手段は、前記顔領域に前記顔オブジェクトを重畳させ、
前記制御手段は、前記操作に応じて前記腕オブジェクトを動かす、
アバター制御プログラム。
【請求項５】
請求項１乃至請求項４のいずれかに記載のアバター制御プログラムであって、
前記顔オブジェクトは、目オブジェクトと腕オブジェクトとを少なくとも含んでおり、
前記特定手段は、前記撮影対象者の少なくとも目及び口のいずれかの動きを特定し、
前記制御手段は、前記目及び前記口の動きに応じて前記目オブジェクト又は前記口オブジェクトを少なくとも変形又は変位させる、
アバター制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アバター制御プログラムに関し、特にＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：拡張現実）技術を用いてアバターを表示し制御するプログラムに関する。
【背景技術】
【０００２】
カメラで撮影された実空間の画像内に所定のキャラクタを表示する技術が提案されている（例えば、特許文献１参照）。特許文献１に記載の技術は、画像内のＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：拡張現実）マーカを検出し、検出したＡＲマーカに対応付けられているＡＲオブジェクトを、撮影された画像内に合成表示させて拡張現実を体験させる技術である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１８２５７９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に開示されている技術は、ＡＲマーカ上にキャラクタを重畳させるものであり、その制御は予め記憶された動作となる（図１０参照）。
【０００５】
本発明は、ＡＲ技術を利用してキャラクタを自由に制御する新たな思想に基づくものである。
【０００６】
即ち、本発明は、ＡＲ技術を利用してよりインタラクティブにキャラクタ（アバター）を制御する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明によれば
カメラ部と、前記カメラ部により取得した映像を表示するための表示部と、ユーザからの操作を受け付ける操作部とを備える端末を、
アバターイメージを格納する記憶手段、
前記映像内の対象領域を特定する特定手段、
前記対象領域にアバターイメージを少なくとも部分的に重畳させる重畳手段、及び
前記操作に応じて、前記アバターイメージの一部を制御する制御手段として機能させる、
アバター制御プログラムが得られる。
【発明の効果】
【０００８】
本発明によれば、ＡＲ技術を利用してよりインタラクティブにアバターを制御することができる。
【０００９】
また、本発明によれば、カメラによって自分の映像にアバターを重畳させることができるため、匿名性を高めつつ、アバターによりリアルな動作をさせることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態によるアバター制御プログラムの使用状態を示すイメージ図である。
【図２】図１のユーザ端末にアバターを重畳させた状態を示す図である。
【図３】図１のユーザ端末の機能ブロック図を示す図である。
【図４】本発明のアバター制御プログラムの処理のおおまかな内容を示す図である。
【図５】ユーザとユーザ端末との距離が近づいたときのアバターの表示の変化を示す図である。
【図６】本発明による制御プログラムの操作アイコンを表示させた状態を示す図である。
【図７】本発明による制御プログラムの操作アイコンを操作した状態を示す図である。
【図８】本発明による制御プログラムの操作アイコンとアバターの動作との関係を示すイメージ図である。
【図９】本発明による制御プログラムの実際の画面例を示す図である。
【図１０】従来の技術を示す図である。
【発明を実施するための形態】
【００１１】
本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるアバター制御プログラムは、以下のような構成を備える。
［項目１］
カメラ部と、前記カメラ部により取得した映像を表示するための表示部と、ユーザからの操作を受け付ける操作部とを備える端末を、
アバターイメージを格納する記憶手段、
前記映像内の対象領域を特定する特定手段、
前記対象領域にアバターイメージを少なくとも部分的に重畳させる重畳手段、及び
前記操作に応じて、前記アバターイメージの一部を制御する制御手段として機能させる、
アバター制御プログラム。
［項目２］
項目１に記載のアバター制御プログラムであって、
前記端末は、前記表示部と前記操作部を含むタッチパネルを有しており、
前記ユーザによる前記操作を受け付けるための操作オブジェクトを前記タッチパネル上に表示する操作オブジェクト表示手段、として前記端末更に機能させる、
アバター制御プログラム。
［項目３］
項目1又は項目２に記載のアバター制御プログラムであって、
前記制御手段は、前記アバターイメージの一部を変位させる制御である、
アバター制御プログラム。
［項目４］
項目１乃至項目３のいずれかに記載のアバター制御プログラムであって、
前記アバターイメージは、顔オブジェクトと腕オブジェクトを少なくとも含んでおり、
前記特定手段は、前記映像に含まれる撮影対象者の顔を特定し、
前記重畳手段は、前記顔領域に前記顔オブジェクトを重畳させ、
前記制御手段は、前記操作に応じて前記腕オブジェクトを動かす、
アバター制御プログラム。
［項目５］
項目１乃至項目４のいずれかに記載のアバター制御プログラムであって、
前記顔オブジェクトは、目オブジェクトと腕オブジェクトとを少なくとも含んでおり、
前記特定手段は、前記撮影対象者の少なくとも目及び口のいずれかの動きを特定し、
前記制御手段は、前記目及び前記口の動きに応じて前記目オブジェクト又は前記口オブジェクトを少なくとも変形又は変位させる、
アバター制御プログラム。
【００１２】
＜構成＞
図１に示されるように、本発明は、ユーザ１による操作を受け付けるユーザ端末２により構成される。アバター制御プログラムがユーザ端末上で実行されることにより、ソフトウエアによる情報処理が、ハードウエア資源を用いて具体的に実現される。
【００１３】
より具体的には、図１及び図２に示されるように、ユーザ端末２のカメラ（内側カメラ：インカメラ）３を利用してディスプレイに表示されたユーザ１の身体１００にアバター（キャラクタ・イメージ２００を重畳させるものである。
【００１４】
＜ユーザ端末２＞
図３は、ユーザ端末２の機能ブロック図の例を示す図である。なお、図示される構成は一例であり、これら以外の機能が付加されていてもよい。
【００１５】
ユーザ端末２は、例えばスマートフォン端末やタブレット端末等の携帯通信機器等が挙げられるが、パーソナルコンピュータのような汎用コンピュータであってもよい。
【００１６】
図示されるように、ユーザ端末２は、少なくとも、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。
【００１７】
プロセッサ２０は、ユーザ端末２全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアバター制御プログラム等のアプリケーションの実行に必要な情報処理等を行う演算装置である。例えばプロセッサ２０はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ストレージ２２に格納されメモリ２１に展開されたプログラム等を実行して各情報処理を実施する。
【００１８】
メモリ２１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ２１は、プロセッサ２０のワークエリア等として使用され、また、ユーザ端末２の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
【００１９】
ストレージ２２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ２２に構築されていてもよい。
【００２０】
送受信部２３は、ユーザ端末２をネットワークに接続する。なお、送受信部２３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）の近距離通信インタフェースを備えていてもよい。送受信部２３は、企業端末より依頼を受けて、生成されたミッション情報をユーザ端末２に送信する。
【００２１】
入出力部２４は、例えば、タッチパネル等の情報入力機器、及びディスプレイ等の出力機器である。また、本実施の形態におけるユーザ端末２は、入力部としてカメラ部２４２と、タッチディスプレイ部２４２とを備えてい
【００２２】
バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【００２３】
＜処理の流れ＞
図４に示されるように、本実施の形態においては、カメラ部によって、ユーザ１の顔の情報が取得される。取得された情報のうち顔に関する情報をユーザ端末２は分析する。顔に関する情報とは、例えば、顔の向き、カメラ部から顔までの距離、目の動き、口の動き等が考えられる。なお、ユーザ端末とユーザとの距離については、例えばステレオカメラやＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）などの技術を採用することができる。
【００２４】
本実施の形態においては、顔に関する情報の分析結果に応じて、アバターが制御される。アバターの制御には、アバターの表情、顔・身体の動きや向き、画面内における距離（すなわち、アバターイメージの拡大縮小）、手や足の動き、髪の動きなどがあるがこれに限られない。
【００２５】
なお、本実施の形態における顔情報の分析は、例えば、画像認識モデルを利用することにより実現することができる。画像認識モデルは、処理対象となる画像を当該モデルに入力すると、入力された画像から認識対象となる領域を抽出する。例えば、認識対象となるのが、対象情報に関する物（人）である場合、供給された画像から、それらと判断される領域が抽出される。１つの画像から複数の領域が抽出されてもよい。
【００２６】
その後、抽出された領域（その領域の画像）内から、特徴量を抽出する。抽出された特徴量は、認識処理によってその内容（人の顔か否か）が特定される。
【００２７】
認識処理（画像認識モデル）としては、例えば、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）やＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）など、認識対象に適した方式が用いられる。そして、その用いられる方式に適した特徴量が抽出され、パラメータが保持される。
【００２８】
＜処理の流れ＞
本実施の形態によるアバター制御プログラムの処理の流れについて、図５乃至図８わ参照して説明する。図５に示されるように、カメラ３とユーザ１との距離が近づくとタッチディスプレイ内のユーザの身体１００も大きく表示されることに伴い、アバター２００もそれに合わせて大きく表示される。かかる構成により、ユーザ１がユーザ端末２に近づくとアバター２００も近づいたかのような表現を行うことができる。
【００２９】
本実施の形態においては、タッチディスプレイ上の左右に操作アイコンＣＲ、ＣＬが表示される。ユーザ１は、タッチディスプレイ上で操作アイコンＣＲ、ＣＬを操作することにより、アバター２００を操作することができる。
【００３０】
アバター２００の操作は、操作アイコンＣＲ、ＣＬをタッチディスプレイ上でスライド操作することにより、当該スライド操作の距離と方向、速さに応じて、アバター２００の手を動かすことなどが挙げられるが、これに限られない。
【００３１】
図６及び図７を比較して理解されるように、操作アイコンＣＲを情報にスライド操作するとアバターは左手を上げる動作を行うように制御される。この時、スライド操作の向きや速さによって異なる動作を行うように制御することとしてもよい。
【００３２】
図８に示されるように、アバター２００は、アバターの動きを表現する関節パーツＰ０、Ｐ１、Ｐ２とそれらを接続するボーンパーツとで構成される。これらのパーツの上にはテクスチャが貼り付けられることにより、あたかも手が動いているかのような演出が可能となる。図においては、関節パーツＰ０は肩の部分に対応し、関節パーツＰ１はひじの部分に対応し、関節パーツＰ２は手の部分に対応している。
【００３３】
本実施の形態においては、操作アイコンのに対する操作によって直接的には、アバター２００の「手」の部分の位置が制御される。図８に示されるように、操作アイコンＣＲが操作された場合、その中心点Ｃは中心点Ｃ’に移動する。この場合、当該変位は、アバター２００の腕２０２部分を構成する関節パーツＰ０、Ｐ１及びＰ２のうち関節パーツＰ２の動きに連動するものとして表現される。関節パーツＰ２の変位量は、操作アイコンの操作量（スライド量）に所定の係数を乗じた量となる。
【００３４】
＜実施例＞
図９は、実際の画面表示例を示す図である。図９（ａ）乃至（ｃ）に示されるように、ユーザの顔の向きに連動してアバターの顔の向きが変わっていることがわかる。図９（ｂ）及び図９（ｃ）とを比較してわかるように、ユーザの表情がかわると、アバターの表情（目及び口）も変わる。
【００３５】
以上説明したように、本実施の形態によれば、ユーザの簡単な操作・入力や身体の動作に応じて、リアルタイムで動きの反映されるようにアバターを制御することができる。
【００３６】
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
【産業上の利用可能性】
【００３７】
本発明は、スマートフォン端末やタブレット端末のようにインカメラが実装されている端末に特に好適である。また、例えば、匿名性を生かして、テレビ電話、電話会議、不特定多数への公衆送信（動画配信プラットフォームを利用した映像の配信等）に利用することができる。
【符号の説明】
【００３８】
１        ユーザ
２        ユーザ端末（スマートフォン・タブレット）
３        カメラ（インカメラ）
１００        身体
２００        アバター
【図１】
2019164614.tif 000003
【図２】
2019164614.tif 000004
【図３】
2019164614.tif 000005
【図４】
2019164614.tif 000006
【図５】
2019164614.tif 000007
【図６】
2019164614.tif 000008
【図７】
2019164614.tif 000009
【図８】
2019164614.tif 000010
【図９】
2019164614.tif 000011
【図１０】
2019164614.tif 000012