(57)【要約】【課題】遠隔地において利用者の姿を表示する際のデータ処理量および送受信するデータ量を削減する。【解決手段】他の拠点の、複数方向から撮影した映像に基づいて検出した利用者の骨格位置を受信し、骨格位置に基づいて利用者の３Ｄリアルアバタの姿勢を変更し、３Ｄリアルアバタを実風景に重畳させて表示する。利用者の骨格位置は利用者を撮影した映像から検出し、複数の映像から検出した骨格位置から三角法を用いて骨格位置の３次元座標を得られる。利用者を３Ｄスキャンして３Ｄスキャンデータを取得し、リグ付きベースモデルを変形させて３Ｄスキャンデータの形状に合わせて３Ｄリアルアバタを生成する。利用者の他の拠点での座標系の座標を受信し、他の拠点での座標系を実風景に対応させた空間共有座標系に変換して、変換後の座標に３Ｄリアルアバタを配置する。【選択図】図１２
2020065229.tif 000002
【特許請求の範囲】
【請求項１】
複数方向から撮影した映像に基づいて検出した通信相手の骨格位置情報を受信するステップと、
前記骨格位置情報に基づいて前記通信相手の外見を有するリグ付き３次元モデルの姿勢を変更するステップと、
前記３次元モデルを実風景に重畳させて表示するステップと、
を有することを特徴とする映像通信方法。
【請求項２】
前記通信相手の外見を３次元スキャンして外見モデルを取得するステップと、
リグ付きベースモデルを前記外見モデルに合わせて変形させて前記リグ付き３次元モデルを生成するステップと、
を有することを特徴とする請求項１に記載の映像通信方法。
【請求項３】
前記骨格位置情報は、前記複数の映像上で検出した骨格位置に基づいて三角法により求めた骨格位置の３次元座標であることを特徴とする請求項１または２に記載の映像通信方法。
【請求項４】
前記通信相手のローカル座標を受信するステップと、
前記ローカル座標を実風景の座標系に変換するステップと、を有し、
前記表示するステップでは、変換後の座標に対応する位置に前記３次元モデルを配置すること
を特徴とする請求項１乃至３のいずれかに記載の映像通信方法。
【請求項５】
複数方向から撮影した映像に基づいて検出した通信相手の骨格位置情報を受信する受信部と、
前記骨格位置情報に基づいて前記通信相手の外見を有するリグ付き３次元モデルの姿勢を変更するモデル制御部と、
前記３次元モデルを実風景に重畳させて表示する表示部と、
を有することを特徴とする映像通信装置。
【請求項６】
請求項１乃至４のいずれかに記載の映像通信方法をコンピュータに実行させることを特徴とする映像通信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔地間の映像通信技術に関し、特に３次元映像を送受信する技術に関する。
【背景技術】
【０００２】
我が国では、後期高齢化社会の進展に伴い、伝統工芸を含むあらゆる産業において後継者不足の問題、医療や教育においては地域格差の拡大が社会問題となっている。
【０００３】
一方、人々の遠隔コミュニケーション形態は技術革新に伴い、電話、テレビ電話、仮想世界での３Ｄアバタを用いた通信へと発展している。また、デバイスにおいてもパーソナルコンピュータ（ＰＣ）からスマートフォン、さらに拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：ＡＲ）デバイスや仮想現実（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ：ＶＲ）デバイスが登場している。
【０００４】
従来の３Ｄキャラクタによる３Ｄ遠隔コミュニケーションは、デフォルメした３Ｄキャラクタを用い、３Ｄ仮想空間を共有する３Ｄキャラクタを、ユーザの手元のコントローラで操作しながら、その３Ｄキャラクタの視点で対話をするものが知られている（非特許文献１）。
【０００５】
また、実際の人間の姿を用いた３Ｄ遠隔コミュニケーションとして、深度センサつきカメラを用いて生成した、発信者自身の姿を表す膨大な３Ｄデータを毎フレーム対話者と送受信し、互いのデバイスに表示させるというものが知られている（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】“VRChat”、［online］、VRChat Inc.、［平成30年7月17日検索］、インターネット〈 URL：https://www.vrchat.net/ 〉
【非特許文献２】“Holoportation”、［online］、Microsoft、［平成30年7月11日検索］、インターネット〈 URL：https://www.microsoft.com/en-us/research/project/holoportation-3/ 〉
【発明の概要】
【発明が解決しようとする課題】
【０００７】
遠隔技術指導や遠隔診療では、非特許文献１のようなデフォルメした３Ｄキャラクタを用いる方法よりも、非特許文献２のような発信者自身の姿を用いる方法のほうが、より正確に指導・診療を行う観点からよいと考えられる。
【０００８】
非特許文献２では、発信者を遠隔地に出現させるために、発信者を表現するための膨大な３Ｄの点群データを生成後、その大量の３Ｄデータを毎フレーム送受信する必要があった。３Ｄデータの生成には高スペックなコンピュータが必要であり、さらに、大量の３Ｄデータを送受信する高速な回線も必要であった。
【０００９】
本発明は、上記に鑑みてなされたものであり、遠隔地において利用者の姿を表示する際のデータ処理量および送受信するデータ量を削減することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る映像通信方法は、複数方向から撮影した映像に基づいて検出した通信相手の骨格位置情報を受信するステップと、前記骨格位置情報に基づいて前記通信相手の外見を有するリグ付き３次元モデルの姿勢を変更するステップと、前記３次元モデルを実風景に重畳させて表示するステップと、を有することを特徴とする。
【００１１】
本発明に係る映像通信装置は、複数方向から撮影した映像に基づいて検出した通信相手の骨格位置情報を受信する受信部と、前記骨格位置情報に基づいて前記通信相手の外見を有するリグ付き３次元モデルの姿勢を変更するモデル制御部と、前記３次元モデルを実風景に重畳させて表示する表示部と、を有することを特徴とする。
【００１２】
本発明に係る映像通信プログラムは、上記の映像通信方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、遠隔地において利用者の姿を表示する際のデータ処理量および送受信するデータ量を削減することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態の映像通信システムのうち、３Ｄリアルアバタの生成するための構成を示す図である。
【図２】３Ｄリアルアバタを生成する処理を示すシーケンス図である。
【図３】図３（ａ）は３Ｄスキャンデータの一例を示す図であり、図３（ｂ）はベースモデルの一例を示す図であり、図３（ｃ）は３Ｄリアルアバタの一例を示す図である。
【図４】本実施形態の映像通信システムを用いて３Ｄ通信を行うための構成を示す図である。
【図５】各拠点に配置されるＰＣの実行する機能を示す機能ブロック図である。
【図６】座標処理部の構成を示す機能ブロック図である。
【図７】各拠点の座標系を示す図である。
【図８】ある拠点の利用者を原点とした共有の座標系を示す図である。
【図９】共有の座標系において利用者の位置を移動させた例を示す図である。
【図１０】３Ｄリアルアバタの表示位置を決める処理の流れを示すシーケンス図である。
【図１１】アバタ処理部の構成を示す機能ブロック図である。
【図１２】骨格位置を３Ｄリアルアバタに反映する様子を示す図である。
【図１３】３Ｄリアルアバタを表示する処理の流れを示すシーケンス図である。
【発明を実施するための形態】
【００１５】
本発明に係る映像通信システムは、各拠点の利用者のリアルな３Ｄモデル（以下、「３Ｄリアルアバタ」と称する）を事前に作成しておき、各拠点において、他の拠点にいる利用者の３ＤリアルアバタをＡＲデバイスにより実風景に重畳させて表示するシステムである。本映像通信システムでは、各拠点で撮影した利用者の映像から骨格の動きを推定し、３Ｄリアルアバタに動作を表現させる。本映像通信システムは、３Ｄリアルアバタを様々な角度で表示できるので、遠隔地から体の動きを伴う技術の遠隔指導や遠隔診療に用いることができる。
【００１６】
以下、本発明の実施の形態について図面を用いて説明する。
【００１７】
［３Ｄリアルアバタの生成］
図１は、本実施形態の映像通信システムのうち、３Ｄリアルアバタの生成するための構成を示す図である。図１の映像通信システムは、パーソナルコンピュータ（ＰＣ）１０、３Ｄスキャナ２１、３Ｄリアルアバタ生成サーバ３０、及び３Ｄリアルアバタ管理サーバ４０を備える。
【００１８】
ＰＣ１０は、３Ｄスキャナ２１でスキャンした利用者の３次元データ（以下、「３Ｄスキャンデータ」と称する）を３Ｄリアルアバタ生成サーバ３０へ送信し、利用者の３Ｄリアルアバタを生成させるとともに、その３Ｄリアルアバタを３Ｄリアルアバタ管理サーバ４０に登録させる。ＰＣ１０は、３Ｄリアルアバタを生成する機能に加えて、後述の３Ｄリアルアバタの配置位置を決定する機能および３Ｄリアルアバタを制御する機能を備えてもよい。
【００１９】
３Ｄスキャナ２１は、利用者の３Ｄデータをスキャンする装置であり、深度センサ付きのカメラを用いることができる。
【００２０】
３Ｄリアルアバタ生成サーバ３０は、全身のリグ付けが施されている人型のベースモデルを変形させて３Ｄスキャンデータの形状に合わせ、３Ｄリアルアバタを生成する。リグを操作することで３Ｄモデルを自在に変形させることができる。３Ｄスキャンデータは、利用者の外見をスキャンした３Ｄデータであるので、モデルの姿勢を変形することは難しい。３Ｄリアルアバタは、人体の骨格の動きに応じて３Ｄモデルを動かすためのリグを付けているので、利用者の骨格位置が分かれば、その骨格位置に基づいてリグを操作することで、利用者と同じ動作をさせることが可能である。
【００２１】
３Ｄリアルアバタ管理サーバ４０は、生成された３Ｄリアルアバタの登録を受け付けて管理する。遠隔地の通信相手の３Ｄリアルアバタを表示する際、通信相手の３Ｄリアルアバタを３Ｄリアルアバタ管理サーバ４０から事前にダウンロードしておく。以下、本映像通信システムを用いた３Ｄリアルアバタを表示させる通信を「３Ｄ通信」と称する。
【００２２】
図２は、３Ｄリアルアバタを生成する処理を示すシーケンス図である。
【００２３】
まず、３Ｄスキャナ２１を用いて利用者を３Ｄスキャンする（ステップＳ１１）。３Ｄスキャンには、例えば、ＲｅａｌＳｅｎｓｅデプスカメラ（https://www.intel.co.jp/content/www/jp/ja/architecture-and-technology/realsense-overview.html）を用いることができる。あるいは、ｉｔＳｅｅｚ３Ｄ（https://itseez3d.com/）などの人体スキャンアプリケーションを用いることができる。３Ｄスキャンにより、図３（ａ）に示すような、利用者の外見を３次元でスキャンした３Ｄスキャンデータが得られる。３Ｄスキャナ２１により利用者の全身を全周囲方向から撮影することで、利用者全身の見た目と３Ｄ形状を含む３Ｄスキャンデータが得られる。
【００２４】
ＰＣ１０は、３Ｄスキャナから３Ｄスキャンデータを受け取り、３Ｄリアルアバタ生成サーバ３０へ送信する（ステップＳ１２）。
【００２５】
３Ｄリアルアバタ生成サーバ３０は、３Ｄスキャンデータを受信し、３Ｄリアルアバタを生成する（ステップＳ１３）。より具体的には、３Ｄリアルアバタ生成サーバ３０は、全身のリグ付けが施されている人型のベースモデルを変形させて、３Ｄスキャンデータの形状に合わせて３Ｄリアルアバタを生成する。図３（ｂ）にベースモデルの例を示す。リグ付きのベースモデルは、例えば、Ｂｌｅｎｄｅｒ（https://blender.jp/）やＵｎｉｔｙ（https://unity3d.com/jp/）などの３Ｄモデル作成ツールを用いて事前に作成しておく。ベースモデルを３Ｄスキャンデータの形状に合わせる際、リグも３Ｄスキャンデータに合わせて伸縮させる。図３（ｃ）に３Ｄリアルアバタの例を示す。
【００２６】
３Ｄリアルアバタ生成サーバ３０は、生成した３Ｄリアルアバタを３Ｄリアルアバタ管理サーバ４０へ送信して登録する（ステップＳ１４）。３Ｄリアルアバタ管理サーバ４０は、利用者を特定する識別子と３Ｄリアルアバタとを紐付けて３Ｄリアルアバタを管理する。
【００２７】
３Ｄ通信を行う各利用者は、事前に自身の３Ｄリアルアバタの生成を行っておく。
【００２８】
なお、本実施形態では、３Ｄリアルアバタ生成サーバ３０が３Ｄスキャンデータから３Ｄリアルアバタを生成したが、ＰＣ１０が３Ｄリアルアバタを生成する機能を備えてもよい。また、本実施形態では、３Ｄリアルアバタ管理サーバ４０が３Ｄリアルアバタを保持・管理しているが、各拠点のＰＣ１０のそれぞれで３Ｄリアルアバタを管理しておき、３Ｄ通信の前に、互いに３Ｄリアルアバタを送受信してもよい。
【００２９】
［３Ｄ通信］
図４は、本実施形態の映像通信システムを用いて３Ｄ通信を行うための構成を示す図である。図４では、３つの拠点の間で３Ｄ通信を行う。拠点１からは利用者Ａ，Ｂ、拠点２からは利用者Ｃ，Ｄ、拠点３からは利用者Ｅ，Ｆが３Ｄ通信に参加する。拠点数は２ヶ所以上であればよい。拠点内の利用者は１人以上であればよい。
【００３０】
各拠点は、ＰＣ１０、カメラ２２Ａ，２２Ｂ、及びＡＲデバイス２３Ａ，２３Ｂを備える。図４の拠点２，３には図示していないが拠点１と同様の装置が設置されている。各拠点には、複数台のカメラ２２Ａ，２２Ｂが配置される。３Ｄ通信時には、利用者Ａ−ＦのそれぞれがＡＲデバイス２３Ａ，２３Ｂを装着する。カメラ２２Ａ，２２ＢおよびＡＲデバイス２３Ａ，２３Ｂは、ＰＣ１０と通信可能に接続される。ＰＣ１０は、３Ｄリアルアバタの生成に用いたものと同じものを用いてもよい。
【００３１】
複数台のカメラ２２Ａ，２２Ｂで撮影された映像から各拠点１，２，３における利用者Ａ−Ｆの座標を求めるとともに、利用者Ａ−Ｆの３次元の骨格位置を推定する。利用者Ａ−Ｆの座標および骨格位置が３Ｄリアルアバタに反映される。
【００３２】
ＡＲデバイス２３Ａ，２３Ｂは、各拠点において、各拠点の実風景に他の拠点の利用者の３Ｄリアルアバタを重ねて表示する。ＡＲデバイス２３Ａ，２３Ｂは、マイクおよびスピーカを内蔵し、マイクで集音された利用者Ａ−Ｆの音声が拠点１，２，３間で送受信されて、スピーカで再生される。ＡＲデバイス２３Ａ，２３Ｂは、自己位置が推定可能なデバイス（例えばジャイロセンサやカメラ）を内蔵する。ＡＲデバイス２３Ａ，２３Ｂとして、眼鏡型ＡＲデバイスを用いることができる。眼鏡型ＡＲデバイスの場合、利用者が見ている実風景に３Ｄリアルアバタが重畳して表示される。あるいは、ＡＲデバイス２３Ａ，２３Ｂとして、スマートフォンを用いてもよい。スマートフォンで撮影した実風景に３Ｄリアルアバタを重畳させて表示する。
【００３３】
図４の映像通信システムは、各拠点に配置される装置のほかに、３Ｄリアルアバタ管理サーバ４０、座標管理サーバ５０、及び画像認識サーバ６０を備える。
【００３４】
３Ｄリアルアバタ管理サーバ４０は、利用者Ａ−Ｆの３Ｄリアルアバタを管理する。各拠点のＰＣ１０は、事前に他の拠点の利用者の３Ｄリアルアバタを取得しておく。
【００３５】
座標管理サーバ５０は、各拠点から利用者Ａ−Ｆの座標と座標変換式を受信し、他の拠点へ座標および座標変換式を送信する。各拠点のＰＣ１０は、他の拠点の利用者の座標および座標変換式を受信し、座標変換を行って３Ｄリアルアバタの表示位置を決定する。
【００３６】
画像認識サーバ６０は、各拠点から利用者Ａ−Ｆを撮影した映像を受信し、利用者Ａ−Ｆの骨格位置を推定する。各拠点のＰＣ１０は、他の拠点の利用者の骨格位置を受信し、３Ｄリアルアバタに反映させる。
【００３７】
本実施形態では、図５に示すように、演算処理装置や記憶装置等を備えたＰＣ１０をアバタ生成部１１、座標処理部１２、及びアバタ処理部１３として機能させる。各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはＰＣ１０が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００３８】
アバタ生成部１１は、前述の通り、３Ｄスキャナ２１から３Ｄスキャンデータを受信し、３Ｄスキャンデータを３Ｄリアルアバタ生成サーバ３０へ送信し、利用者の３Ｄリアルアバタを生成する。アバタ生成部１１自身が３Ｄリアルアバタを生成してもよい。
【００３９】
座標処理部１２は、カメラ２２Ａ，２２Ｂで撮影された映像から、拠点内の利用者の座標を求める。また、座標処理部１２は、座標管理サーバ５０から他の拠点の利用者の座標を受信し、他の拠点の利用者の座標を共有の座標系に変換して、他の拠点の利用者の３Ｄリアルアバタの拡張現実空間内での表示位置を求める。
【００４０】
アバタ処理部１３は、画像認識サーバ６０から他の拠点の利用者の骨格位置を受信し、骨格位置を３Ｄリアルアバタに反映して、３Ｄリアルアバタに他の拠点の利用者の動作を表現させる。
【００４１】
［３Ｄリアルアバタの位置座標］
図６は、座標処理部１２の構成を示す機能ブロック図である。座標処理部１２は、計測部１２１、算出部１２２、送信部１２３、及び受信部１２４を備える。
【００４２】
計測部１２１は、２台のカメラ２２Ａ，２２Ｂで撮影された映像から、三角法を用いて、拠点内の利用者の座標を求める。各拠点１，２，３で求めた利用者Ａ−Ｆの座標系は、図７に示すように、拠点ごとに異なる。拠点１の利用者Ａ，Ｂについて求めた座標を、拠点１座標系の利用者Ａ，Ｂの座標と呼ぶ。同様に、拠点２の利用者Ｃ，Ｄの座標を拠点２座標系の利用者Ｃ，Ｄの座標、拠点３の利用者Ｅ，Ｆの座標を拠点３座標系の利用者Ｅ，Ｆの座標と呼ぶ。
【００４３】
送信部１２３は、各拠点１，２，３で求めた各利用者の座標を座標管理サーバ５０へ送信する。
【００４４】
受信部１２４は、他の拠点１，２，３の利用者の座標を座標管理サーバ５０から受信する。具体的には、拠点１のＰＣ１０の受信部１２４は、拠点２座標系の利用者Ｃ，Ｄの座標および拠点３座標系の利用者Ｅ，Ｆの座標を座標管理サーバ５０から受信する。同様に、拠点２のＰＣ１０は、拠点１座標系の利用者Ａ，Ｂの座標および拠点３座標系の利用者Ｅ，Ｆの座標を受信し、拠点３のＰＣ１０は、拠点１座標系の利用者Ａ，Ｂの座標および拠点２座標系の利用者Ｃ，Ｄの座標を受信する。
【００４５】
算出部１２２は、他の拠点の利用者の座標を共有の座標系（以下、「空間共有座標系」と称する）に変換して拡張現実空間内での表示位置を求める。
【００４６】
ここで、各拠点１，２，３の各座標系から空間共有座標系への変換について説明する。例えば、図８に示すように、利用者Ａの座標を原点とする座標系を空間共有座標系とする。空間共有座標系の原点（利用者Ａの座標）が拠点１座標系で（Tx1a, Ty1a, Tz1a）であった場合、拠点１座標系の任意の点の座標（x1a, y1a, z1a）は、次式（１）により、空間共有座標系の座標（x'1a, y'1a, z'1a）に変換できる。
【００４７】
【数１】
2020065229.tif 000003
【００４８】
同じ拠点１にいる利用者Ｂの拠点１座標系における座標も上記の式（１）を用いて空間共有座標系の座標に変換できる。利用者Ｂの拠点１座標系における座標は、計測部１２１によって求めることができる。
【００４９】
拠点１の利用者Ａが、ＡＲデバイス２３Ａの提供するコントローラを操作し、拠点２の利用者Ｃの３Ｄリアルアバタを拡張現実空間内で映し出す位置を決める。利用者Ａが利用者Ｃの３Ｄリアルアバタの拡張現実空間内での位置を決めると、利用者Ｃの３Ｄリアルアバタの空間共有座標系の座標が決まる。
【００５０】
利用者Ａが利用者Ｃの３Ｄリアルアバタを空間共有座標系の座標（Sx2c, Sy2c, Sz2c）に配置した時点の、拠点２座標系における利用者Ｃの座標が（xs2c, ys2c, yz2c）であった場合、拠点２座標系の任意の点の座標（x2c, y2c, z2c）は、次式（２）により、空間共有座標系の座標（x'2c, y'2c, z'2c）に変換できる。
【００５１】
【数２】
2020065229.tif 000004
【００５２】
拠点２にいる利用者Ｄの拠点２座標系における座標も上記の式（２）を用いて空間共有座標系の座標に変換できる。
【００５３】
続いて、拠点１，２の利用者Ａ−Ｄの３Ｄリアルアバタの空間共有座標系での座標が決まった後に、拠点３の利用者Ｅの空間共有座標系での位置を決めることについて考える。
【００５４】
拠点３のＰＣ１０は、座標管理サーバ５０から、拠点１座標系から空間共有座標系への座標変換式および拠点２座標系から空間共有座標系への座標変換式を受信する。したがって、拠点１座標系および拠点２座標系の座標が分かれば空間共有座標系の座標へ変換できる。
【００５５】
拠点３のＰＣ１０は、拠点１，２の利用者Ａ−Ｄの各座標系における座標を座標管理サーバ５０から受信する。利用者Ｅの空間共有座標系内での位置は決まっていないので、空間共有座標系の任意の位置（例えば原点）に利用者Ｅが存在するものとしたうえで、ＡＲデバイスにより利用者Ａ−Ｄの３Ｄリアルアバタを表示する。
【００５６】
利用者Ｅは、ＡＲデバイスの提供するコントローラを操作し、利用者Ａ−Ｄの３Ｄリアルアバタが見えやすい位置に移動する。例えば、図９の左側の位置では利用者Ａが近すぎて見にくいので、コントローラを操作し、利用者Ａ−Ｄの３Ｄリアルアバタが見えやすいように表示位置を決定する。例えば、図９の右側の位置のように、利用者Ｅは利用者Ｂの近くに移動する。
【００５７】
利用者Ｅの空間共有座標系の座標が決まると、拠点３座標系の座標と空間共有座標系の座標との対応関係が決まるので、上記の拠点２の場合と同様に、拠点３座標系から空間共有座標系への座標変換式が求められる。拠点３のＰＣ１０が求めた座標変換式を座標管理サーバ５０に送信するとともに、拠点１，２のＰＣで利用者Ｅの座標変換式を受信することで、拠点３座標系の座標を空間共有座標系の座標へ変換できる。拠点３にいる利用者Ｆの拠点３座標系における座標も同じ座標変換式を用いて空間共有座標系の座標へ変換できる。
【００５８】
送信部１２３と受信部１２４は、各拠点の座標系の座標の送受信に加えて、各拠点の座標系から空間共有座標系への座標変換式の送受信も行う。
【００５９】
図１０を参照して、３Ｄリアルアバタの表示位置を決める処理について説明する。
【００６０】
各拠点１，２，３において、カメラ２２Ａ，２２Ｂで撮影した映像から利用者Ａ−Ｆの各拠点における座標を求め（ステップＳ２１）、利用者Ａ−Ｆの各拠点での座標を座標管理サーバ５０へ送信する（ステップＳ２２）。
【００６１】
座標管理サーバ５０は、各拠点１，２，３へ各利用者Ａ−Ｆの各拠点における座標を送信する（ステップＳ２３）。
【００６２】
ステップＳ２１，Ｓ２２，Ｓ２３の処理は、通信終了まで続けられる。
【００６３】
拠点１では、利用者Ａの位置を空間共有座標系の原点として、利用者ＡがＡＲデバイス２３Ａ上での拠点２の利用者Ｃの３Ｄリアルアバタの表示位置を決め、拠点１座標系から空間共有座標系への座標変換式および拠点２座標系から空間共有座標系への座標変換式を求める（ステップＳ２４）。以降、拠点１では、拠点２の利用者Ｃ，Ｄの座標を空間共有座標系へ変換する処理が継続して実行される。
【００６４】
求めた利用者Ａ，Ｂ，Ｃ，Ｄの座標変換式は、拠点１から座標管理サーバ５０へ送信される。その後、座標管理サーバ５０から拠点２、拠点３へ送信される（ステップＳ２５，Ｓ２７）。
【００６５】
拠点２では、受信した座標変換式を用いて拠点１の利用者Ａ，Ｂの座標を空間共有座標系へ変換する処理が開始される（ステップＳ２６）。
【００６６】
拠点３では、受信した座標変換式を用いて拠点１，２の利用者Ａ−Ｄの座標を空間共有座標系へ変換する処理が開始される（ステップＳ２８）。
【００６７】
拠点３では、利用者Ｅの空間共有座標系における位置を決定し、拠点３座標系から空間共有座標系への座標変換式を求める（ステップＳ２９）。
【００６８】
拠点３から座標管理サーバ５０へ求めた利用者Ｅ，Ｆの座標変換式が送信され、座標管理サーバ５０から拠点１、拠点２へ送信される（ステップＳ３０，Ｓ３１，Ｓ３３）。
【００６９】
拠点２では、受信した座標変換式を用いた拠点３の利用者Ｅ，Ｆの座標を空間共有座標系へ変換する処理が開始される（ステップＳ３２）。
【００７０】
同様に、拠点１では、受信した座標変換式を用いた拠点３の利用者Ｅ，Ｆの座標を空間共有座標系へ変換する処理が開始される（ステップＳ３４）。
【００７１】
以降、各拠点１，２，３では、映像から各拠点１，２，３における利用者Ａ−Ｆの座標を求めて送信するとともに、他の拠点１，２，３の利用者Ａ−Ｆの座標を受信して空間共有座標系の座標に変換する処理が続けられる。
【００７２】
［３Ｄリアルアバタの表示］
図１１は、アバタ処理部１３の構成を示す機能ブロック図である。アバタ処理部１３は、制御部１３１、表示部１３２、送信部１３３、受信部１３４、及び記憶部１３５を備える。
【００７３】
送信部１３３は、各拠点において複数のカメラ２２Ａ，２２Ｂで撮影した映像を画像認識サーバ６０に送信する。
【００７４】
画像認識サーバ６０では、各拠点から受信した映像に基づき、各拠点の各利用者の骨格位置を推定する。具体的には、各利用者について、例えば、openpose（https://github.com/CMU-Perceptual-Computing-Lab/openpose）を用いて複数の映像のそれぞれにおいて利用者の骨格を検出する。そして、複数の映像のそれぞれで検出した骨格の３次元座標を三角法を用いて求める。
【００７５】
受信部１３４は、画像認識サーバ６０が映像から求めた利用者の骨格位置を受信する。ここで受信する骨格位置は、他の拠点の利用者の骨格の３次元座標である。例えば、拠点１のＰＣ１０は、画像認識サーバ６０から拠点２，３の利用者Ｃ−Ｆの骨格位置を受信する。
【００７６】
なお、画像認識サーバ６０を用いずに、アバタ処理部１３が映像から骨格位置を推定してもよい。具体的には、アバタ処理部１３が、複数の映像に基づき自拠点の利用者の骨格位置を求め、求めた骨格位置を他の拠点に送信する。他の拠点からは、他の拠点の利用者の骨格位置を受信する。
【００７７】
制御部１３１は、記憶部１３５から他の拠点の利用者の３Ｄリアルアバタを読み出し、受信した骨格位置を３Ｄリアルアバタに反映させる。３Ｄリアルアバタは、利用者の外見を持つリグ付けされた３Ｄモデルであるので、図１２に示すように、骨格位置に合わせてリグを操作することで、３Ｄリアルアバタに所望の姿勢を取らせることができる。制御部１３１、表示部１３２は、
ＡＲデバイスで行ってもよい。
【００７８】
記憶部１３５には、事前に、他の拠点の各利用者の３Ｄリアルアバタを記憶させておく。
【００７９】
表示部１３２は、他の拠点の各利用者について、骨格位置を反映した３Ｄリアルアバタを空間共有座標系の利用者の座標に配置し、ＡＲデバイス２３Ａ，２３Ｂを装着した利用者の空間共有座標系の座標を視点として、ＡＲデバイス２３Ａ，２３Ｂの視線方向の３Ｄリアルアバタを描画する。各利用者の空間共有座標系の座標は、座標処理部１２の算出結果を用いる。
【００８０】
表示部１３２は、描画結果をＡＲデバイス２３Ａ，２３Ｂに送信する。ＡＲデバイス２３Ａ，２３Ｂは、実風景に３Ｄリアルアバタを重畳して表示する。表示部１３２が視差のある右眼用画像と左眼用画像を作成し、ＡＲデバイス２３Ａ，２３Ｂに表示させると、３Ｄリアルアバタを立体視できる。
【００８１】
図１３を参照して、３Ｄリアルアバタを表示する処理について説明する。図１３に示す処理は、通信の終了まで継続して行われる。
【００８２】
画像認識サーバ６０は、各拠点１，２，３からカメラ２２Ａ，２２Ｂで撮影した映像を受信し（ステップＳ４１）、各利用者Ａ−Ｆの骨格位置を推定し（ステップＳ４２）、推定した骨格位置を各拠点１，２，３に送信する（ステップＳ４３）。
【００８３】
拠点１では、拠点２，３の各利用者Ｃ−Ｆの骨格位置を３Ｄリアルアバタに反映するとともに（ステップＳ４４）、各利用者Ｃ−Ｆの位置に基づいて３Ｄリアルアバタを空間共有座標系に配置する（ステップＳ４５）。
【００８４】
拠点１の利用者Ａの位置を視点として、利用者Ｃ−Ｆの３Ｄリアルアバタを描画し、ＡＲデバイス２３Ａに表示させる（ステップＳ４６）。ＡＲデバイス２３Ａを装着した利用者Ａが拠点１内で移動して回り込んだ場合は、その方向から見た３Ｄリアルアバタが表示される。
【００８５】
ステップＳ４４，Ｓ４５，Ｓ４６の処理は、拠点１の利用者Ｂおよび拠点２，３の各利用者Ｃ−Ｆについても同様に実施される。
【００８６】
以上説明したように、本実施の形態によれば、他の拠点の、複数方向から撮影した映像に基づいて検出した利用者の骨格位置を受信し、骨格位置に基づいて利用者の３Ｄリアルアバタの姿勢を変更し、３Ｄリアルアバタを実風景に重畳させて表示することにより、遠隔地間で利用者の姿を表示する際に、各拠点のＰＣ１０のデータ処理量および送受信するデータ量を削減できる。利用者の骨格位置は利用者を撮影した映像から検出し、複数の映像から検出した骨格位置から三角法を用いて骨格位置の３次元座標を得られる。
【００８７】
本実施形態によれば、利用者を３Ｄスキャンして３Ｄスキャンデータを取得し、リグ付きベースモデルを変形させて３Ｄスキャンデータの形状に合わせて３Ｄリアルアバタを生成することにより、利用者を３Ｄスキャンするだけで利用者の外見を有するリグ付きの３Ｄリアルアバタが得られる。リグを操作すれば、３Ｄリアルアバタの姿勢を制御できる。
【００８８】
本実施形態によれば、利用者の他の拠点での座標系の座標を受信し、他の拠点での座標系を実風景に対応させた空間共有座標系に変換して、変換後の座標に３Ｄリアルアバタを配置することにより、実風景内に３Ｄリアルアバタを表示できる。
【符号の説明】
【００８９】
１０…パーソナルコンピュータ（ＰＣ）  １１…アバタ生成部  １２…座標処理部  １２１…計測部  １２２…算出部  １２３…送信部  １２４…受信部  １３…アバタ処理部  １３１…制御部  １３２…表示部  １３３…送信部  １３４…受信部  １３５…記憶部  ２１…３Ｄスキャナ  ２２Ａ，２２Ｂ…カメラ  ２３Ａ，２３Ｂ…ＡＲデバイス  ３０…３Ｄリアルアバタ生成サーバ  ４０…３Ｄリアルアバタ管理サーバ  ５０…座標管理サーバ  ６０…画像認識サーバ
【図１】
2020065229.tif 000005
【図２】
2020065229.tif 000006
【図３】
2020065229.tif 000007
【図４】
2020065229.tif 000008
【図５】
2020065229.tif 000009
【図６】
2020065229.tif 000010
【図７】
2020065229.tif 000011
【図８】
2020065229.tif 000012
【図９】
2020065229.tif 000013
【図１０】
2020065229.tif 000014
【図１１】
2020065229.tif 000015
【図１２】
2020065229.tif 000016
【図１３】
2020065229.tif 000017
【手続補正書】
【提出日】令和2年2月5日(2020.2.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
拠点間で通信する映像通信方法であって、
複数方向から撮影した映像に基づいて検出した通信相手の骨格位置情報を受信するステップと、
前記骨格位置情報に基づいて前記通信相手の外見を有するリグ付き３次元モデルの姿勢を変更するステップと、
前記通信相手のローカル座標を受信するステップと、
前記ローカル座標を拠点間で共通の共有空間座標系に変換するステップと、
変換後の座標に対応する位置に前記３次元モデルを配置し、前記３次元モデルを実風景に重畳させて表示するステップを有し、
いずれかの拠点のローカル座標系に基づいて前記共有空間座標系を定めて、別拠点の通信相手の３次元モデルの前記共有空間座標系内での位置を決め、別拠点の通信相手のローカル座標を共有空間座標系に変換するための座標変換式を求めて、当該座標変換式を前記拠点間で共有する
ことを特徴とする映像通信方法。
【請求項２】
前記通信相手の外見を３次元スキャンして外見モデルを取得するステップと、
リグ付きベースモデルを前記外見モデルに合わせて変形させて前記リグ付き３次元モデルを生成するステップと、
を有することを特徴とする請求項１に記載の映像通信方法。
【請求項３】
前記骨格位置情報は、前記複数の映像上で検出した骨格位置に基づいて三角法により求めた骨格位置の３次元座標であることを特徴とする請求項１または２に記載の映像通信方法。
【請求項４】
拠点間で通信する映像通信装置であって、
複数方向から撮影した映像に基づいて検出した通信相手の骨格位置情報を受信する受信部と、
前記骨格位置情報に基づいて前記通信相手の外見を有するリグ付き３次元モデルの姿勢を変更するモデル制御部と、
前記通信相手のローカル座標を受信する座標受信部と、
前記ローカル座標を拠点間で共通の共有空間座標系に変換する算出部と、
変換後の座標に対応する位置に前記３次元モデルを配置し、前記３次元モデルを実風景に重畳させて表示する表示部を有し、
いずれかの拠点のローカル座標系に基づいて前記共有空間座標系を定めて、別拠点の通信相手の３次元モデルの前記共有空間座標系内での位置を決め、別拠点の通信相手のローカル座標を共有空間座標系に変換するための座標変換式を求めて、当該座標変換式を前記拠点間で共有する
ことを特徴とする映像通信装置。
【請求項５】
請求項１乃至３のいずれかに記載の映像通信方法をコンピュータに実行させることを特徴とする映像通信プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明に係る映像通信方法は、拠点間で通信する映像通信方法であって、複数方向から撮影した映像に基づいて検出した通信相手の骨格位置情報を受信するステップと、前記骨格位置情報に基づいて前記通信相手の外見を有するリグ付き３次元モデルの姿勢を変更するステップと、前記通信相手のローカル座標を受信するステップと、前記ローカル座標を拠点間で共通の共有空間座標系に変換するステップと、変換後の座標に対応する位置に前記３次元モデルを配置し、前記３次元モデルを実風景に重畳させて表示するステップを有し、いずれかの拠点のローカル座標系に基づいて前記共有空間座標系を定めて、別拠点の通信相手の３次元モデルの前記共有空間座標系内での位置を決め、別拠点の通信相手のローカル座標を共有空間座標系に変換するための座標変換式を求めて、当該座標変換式を前記拠点間で共有することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明に係る映像通信装置は、拠点間で通信する映像通信装置であって、複数方向から撮影した映像に基づいて検出した通信相手の骨格位置情報を受信する受信部と、前記骨格位置情報に基づいて前記通信相手の外見を有するリグ付き３次元モデルの姿勢を変更するモデル制御部と、前記通信相手のローカル座標を受信する座標受信部と、前記ローカル座標を拠点間で共通の共有空間座標系に変換する算出部と、変換後の座標に対応する位置に前記３次元モデルを配置し、前記３次元モデルを実風景に重畳させて表示する表示部を有し、いずれかの拠点のローカル座標系に基づいて前記共有空間座標系を定めて、別拠点の通信相手の３次元モデルの前記共有空間座標系内での位置を決め、別拠点の通信相手のローカル座標を共有空間座標系に変換するための座標変換式を求めて、当該座標変換式を前記拠点間で共有することを特徴とする。