(57)【要約】【課題】発話者の発話内容に応じた画像を発話者の映像とともに表示する際に、発話者の動きを考慮して表示する。【解決手段】サーバコンピュータが、カメラが発話者を撮影した際の撮影映像を取得し、発話者が発した音声を解析し、発話者が動いている間に発話者の動作内容を特定し、取得した撮影映像と、発話者の発話内容を示すテキスト画像と、を合成した合成映像を生成し、合成映像をディスプレイに表示させる。また、コンピュータは、合成映像を生成する際、合成映像中の上記テキスト画像が特定された発話者の動作内容に応じた表示態様で表示されるように合成映像を生成する。【選択図】図７
2017126861.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置が発話者を撮影した際の撮影映像を取得する映像取得部と、
前記発話者が発した音声を解析する音声解析部と、
前記発話者が動いている間に前記発話者の動作内容を特定する動作内容特定部と、
前記映像取得部が取得した前記撮影映像と、前記音声解析部の解析結果に応じた画像と、を合成した合成映像を生成する合成映像生成部と、
前記合成映像を表示器に表示させる映像表示部と、を有し、
前記合成映像生成部は、前記合成映像中の前記画像が前記動作内容特定部によって特定された前記動作内容に応じた態様で表示されるように前記合成映像を生成することを特徴とする映像表示システム。
【請求項２】
前記音声解析部は、前記音声を認識して前記発話者の発話内容を特定し、
前記合成映像生成部は、前記映像取得部が取得した前記撮影映像と、前記音声解析部が特定した前記発話内容を示すテキスト画像と、を合成した前記合成映像を生成することを特徴とする請求項１に記載の映像表示システム。
【請求項３】
前記合成映像生成部は、前記合成映像における前記テキスト画像の位置及び前記テキスト画像中に含まれる文字列の向きのうち、少なくとも一つが前記動作内容特定部によって特定された前記動作内容に応じて設定された前記合成映像を生成することを特徴とする請求項２に記載の映像表示システム。
【請求項４】
前記発話者の身体各部の位置に関する計測対象値を計測する計測装置の計測結果を取得する計測結果取得部を有し、
前記動作内容特定部は、前記計測結果取得部が取得した計測結果の変化に基づいて、前記発話者の身体中の所定部位の動きを検知し、前記所定部位の前記動作内容を特定することを特徴とする請求項１乃至３のいずれか一項に記載の映像表示システム。
【請求項５】
前記所定部位に対して予め設定された閾値を記憶している記憶部を有し、
前記動作内容特定部は、前記所定部位の動きを検知すると、前記所定部位の動作量を前記動作内容として特定した後に、前記動作量が前記閾値を超えているかどうか判定し、
前記合成映像生成部は、前記合成映像中の前記画像が前記動作内容特定部による判定結果に応じた態様で表示されるように前記合成映像を生成することを特徴とする請求項４に記載の映像表示システム。
【請求項６】
前記動作内容特定部は、前記所定部位である手の動きを検知すると、前記発話者の頭部に対する手の相対位置を前記動作内容として特定し、
前記合成映像生成部は、前記合成映像中の前記画像が前記動作内容特定部によって特定された前記相対位置に応じた態様で表示されるように前記合成映像を生成することを特徴とする請求項４又は５に記載の映像表示システム。
【請求項７】
前記映像表示部は、前記発話者の全身映像を等身大で表示させることが可能なサイズとなった前記表示器に、前記合成映像を表示させることを特徴とする請求項１乃至６のいずれか一項に記載の映像表示システム。
【請求項８】
前記合成映像生成部は、前記合成映像中の前記画像が前記動作内容特定部によって特定された前記動作内容に応じた態様で表示され、かつ、前記合成映像中の前記発話者の人物映像周辺に位置するように前記合成映像を生成することを特徴とする請求項１乃至７のいずれか一項に記載の映像表示システム。
【請求項９】
前記発話者が発話時に前記音声を発すると、前記音声解析部が前記音声を検知し、
前記合成映像生成部は、前記音声解析部による前記音声の検知を契機として、前記合成映像を生成し始めることを特徴とする請求項１乃至８のいずれか一項に記載の映像表示システム。
【請求項１０】
コンピュータが、撮影装置が発話者を撮影した際の撮影映像を取得することと、
コンピュータが、前記発話者が発した音声を解析することと、
コンピュータが、前記発話者が動いている間に前記発話者の動作内容を特定することと、
コンピュータが、取得した前記撮影映像と、前記音声に対する解析結果に応じた画像と、を合成した合成映像を生成することと、
コンピュータが、前記合成映像を表示器に表示させることと、を有し、
コンピュータは、前記合成映像を生成する際、前記合成映像中の前記画像が特定された前記動作内容に応じた態様で表示されるように前記合成映像を生成することを特徴とする映像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示システム及び映像表示方法に係り、特に、発話者の映像と発話者が発した音声に応じた画像とを合成した合成映像を表示する映像表示システム及び映像表示方法に関する。
【背景技術】
【０００２】
テレビ会議等をはじめ、遠隔地に居る者同士が通信技術を利用してお互いの映像をリアルタイムで確認することは、既に知られている。このような映像表示用の通信システム、すなわち映像表示システムの中には、発話者の映像と発話者が発した音声に応じた画像とを合成した合成映像を表示するものが存在する（例えば、特許文献１参照）。
【０００３】
特許文献１に記載のシステムについて説明すると、同システムでは、発話者の音声に対して音声認識処理を適用し、当該音声の内容を示したテキスト画像を発話者が居る空間の映像と合成し、その合成映像を表示することになっている。また、特許文献１に記載のシステムでは、上記の合成映像におけるテキスト画像の表示位置が、発話者の人物映像と対応付けられている。これにより、映像を確認している者は、テキスト画像中の文字列（テキスト）が誰の発話内容を示しているのかを容易に把握することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２３３０４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記の合成映像においてテキスト画像の表示位置が固定されていると、発話者が動いたり移動した際にテキスト画像が適切に表示されなくなる虞がある。例えば、発話者が所定の動作を行った際に、当該発話者の身体の一部に上記のテキスト画像が重なってしまい、その部位の映像が確認し難くなってしまう。このようにテキスト画像をはじめとする発話者の発話内容に応じた画像を発話者の映像とともに表示する際には、発話者の動きを考慮した上で、上記の画像の表示位置や表示方式を決める必要がある。
【０００６】
そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、発話者の発話内容に応じた画像を発話者の映像とともに表示する場合において、発話者の動きを考慮して当該画像を表示することが可能な映像表示システム及び映像表示方法を提供することである。
【課題を解決するための手段】
【０００７】
前記課題は、本発明の映像表示システムによれば、（Ａ）撮影装置が発話者を撮影した際の撮影映像を取得する映像取得部と、（Ｂ）前記発話者が発した音声を解析する音声解析部と、（Ｃ）前記発話者が動いている間に前記発話者の動作内容を特定する動作内容特定部と、（Ｄ）前記映像取得部が取得した前記撮影映像と、前記音声解析部の解析結果に応じた画像と、を合成した合成映像を生成する合成映像生成部と、（Ｅ）前記合成映像を表示器に表示させる映像表示部と、を有し、（Ｆ）前記合成映像生成部は、前記合成映像中の前記画像が前記動作内容特定部によって特定された前記動作内容に応じた態様で表示されるように前記合成映像を生成することにより解決される。
【０００８】
上記のように構成された本発明の映像表示システムは、発話者の人物映像を含む撮影映像と、発話者の音声を解析した際の解析結果に応じた画像と、を合成し、その合成映像を表示器に表示させる。この際、合成映像中の上記画像は、発話者の動作内容に応じた表示態様にて表示される。これにより、発話者の発話内容に応じた画像を発話者の映像とともに表示する場合には、発話者の動きを考慮して当該画像を適切に表示することが可能となる。
【０００９】
また、上記の映像表示システムにおいて、前記音声解析部は、前記音声を認識して前記発話者の発話内容を特定し、前記合成映像生成部は、前記映像取得部が取得した前記撮影映像と、前記音声解析部が特定した前記発話内容を示すテキスト画像と、を合成した前記合成映像を生成するとよい。
上記の構成によれば、発話者の発話内容に応じた画像として、当該発話内容を示すテキスト画像を表示する。すなわち、本発明によれば、発話者の発話内容を示すテキスト画像を発話者の映像とともに表示する場合に、発話者の動きを考慮して上記のテキスト画像を適切に表示することが可能となる。
【００１０】
また、上記の映像表示システムにおいて、前記合成映像生成部は、前記合成映像における前記テキスト画像の位置及び前記テキスト画像中に含まれる文字列の向きのうち、少なくとも一つが前記動作内容特定部によって特定された前記動作内容に応じて設定された前記合成映像を生成すると、より好適である。
上記の構成によれば、発話者の発話内容を示すテキスト画像を発話者の映像とともに表示する場合に、発話者の動きに応じた位置や向きにて上記のテキスト画像を表示させる。これにより、発話者の動きを考慮して上記のテキスト画像を適切に表示することが、より確実に実現されるようになる。
【００１１】
また、上記の映像表示システムにおいて、前記発話者の身体各部の位置に関する計測対象値を計測する計測装置の計測結果を取得する計測結果取得部を有し、前記動作内容特定部は、前記計測結果取得部が取得した計測結果の変化に基づいて、前記発話者の身体中の所定部位の動きを検知し、前記所定部位の前記動作内容を特定するとよい。
上記の構成によれば、発話者の身体各部の位置に関する計測対象値の計測結果に基づいて、発話者の身体中の所定部位の動きを検知し、当該所定部位の動作内容を特定する。これにより、発話者の身体各部の動きを的確に特定することが可能となる。
【００１２】
また、上記の映像表示システムにおいて、前記所定部位に対して予め設定された閾値を記憶している記憶部を有し、前記動作内容特定部は、前記所定部位の動きを検知すると、前記所定部位の動作量を前記動作内容として特定した後に、前記動作量が前記閾値を超えているかどうか判定し、前記合成映像生成部は、前記合成映像中の前記画像が前記動作内容特定部による判定結果に応じた態様で表示されるように前記合成映像を生成すると、より好適である。
上記の構成によれば、発話者の身体中の所定部位の動きを検知すると、当該所定部位の動作量を特定した上で、特定した動作量が閾値を超えているかどうかを判定する。かかる判定の結果は、合成映像中、発話者の発話内容に応じた画像の表示態様に反映される。これにより、発話者の動き（厳密には、発話者の身体中の所定部位が動いた際の動作量）を上記画像の表示態様に対して良好に反映させることが可能となる。
【００１３】
また、上記の映像表示システムにおいて、前記動作内容特定部は、前記所定部位である手の動きを検知すると、前記発話者の頭部に対する手の相対位置を前記動作内容として特定し、前記合成映像生成部は、前記合成映像中の前記画像が前記動作内容特定部によって特定された前記相対位置に応じた態様で表示されるように前記合成映像を生成すると、更に好適である。
上記の構成によれば、発話者の頭部に対する手の相対位置を特定し、その特定結果が、発話者の発話内容に応じた画像の表示態様に反映される。これにより、発話者の発話内容に応じた画像を発話者の映像とともに表示する際に、発話者の手の位置を考慮して適切に表示することが可能となる。
【００１４】
また、上記の映像表示システムにおいて、前記映像表示部は、前記発話者の全身映像を等身大で表示させることが可能なサイズとなった前記表示器に、前記合成映像を表示させるとよい。
上記の構成では、発話者の全身映像を等身大で表示器に表示させることになっている。このような構成においては、発話者の発話内容に応じた画像を表示する際に発話者の動きを考慮するという本発明の効果が有意義なものとなる。すなわち、発話者の全身映像を表示させる場合、発話者の動作内容に応じた態様にて上記の画像を表示させることにより、発話者の全身映像中、注目すべき部位（例えば、発話者の頭部若しくは手足）と重ならないように上記の画像を表示させることが可能となる。
【００１５】
また、上記の映像表示システムにおいて、前記合成映像生成部は、前記合成映像中の前記画像が前記動作内容特定部によって特定された前記動作内容に応じた態様で表示され、かつ、前記合成映像中の前記発話者の人物映像周辺に位置するように前記合成映像を生成すると、より好適である。
上記の構成では、発話者の発話内容に応じた画像が、発話者の動作内容に応じた態様で表示され、かつ、発話者の人物映像周辺に位置するように表示される。このような構成においては、発話者の発話内容に応じた画像を表示する際に発話者の動きを考慮するという本発明の効果が一段と有意義なものとなる。すなわち、合成映像において上記の画像を発話者の人物映像周辺に表示させる際に、発話者の動作内容に応じた表示態様にて表示することにより、上記の画像と発話者との対応関係を維持しつつ、適切に上記の画像を表示させることが可能となる。
【００１６】
また、上記の映像表示システムにおいて、前記発話者が発話時に前記音声を発すると、前記音声解析部が前記音声を検知し、前記合成映像生成部は、前記音声解析部による前記音声の検知を契機として、前記合成映像を生成し始めるとよい。
上記の構成では、発話者が発話した際にその音声を検知したことをトリガーとして、合成映像の生成を開始する。これにより、発話者の発話内容に応じた画像を含む合成映像が適切なタイミングにて生成されるようになる。この結果、映像を確認する者は、発話者の発話開始に合わせて、その発話内容に応じた画像を確認することが可能となる。
【００１７】
また、前述した課題は、本発明の映像表示方法によれば、（Ａ）コンピュータが、撮影装置が発話者を撮影した際の撮影映像を取得することと、（Ｂ）コンピュータが、前記発話者が発した音声を解析することと、（Ｃ）コンピュータが、前記発話者が動いている間に前記発話者の動作内容を特定することと、（Ｄ）コンピュータが、取得した前記撮影映像と、前記音声に対する解析結果に応じた画像と、を合成した合成映像を生成することと、（Ｅ）コンピュータが、前記合成映像を表示器に表示させることと、を有し、（Ｆ）コンピュータは、前記合成映像を生成する際、前記合成映像中の前記画像が特定された前記動作内容に応じた態様で表示されるように前記合成映像を生成することにより解決される。
上記の方法によれば、発話者の発話内容に応じた画像を発話者の映像とともに表示する場合において、発話者の動きを考慮して上記の画像を表示することが可能となる。
【発明の効果】
【００１８】
本発明によれば、発話者の発話内容に応じた画像を発話者の映像とともに表示する場合に、発話者の動作内容に応じた表示態様にて上記の画像を表示する。これにより、発話者の映像のうち、注目すべき部分の映像と重ならないように上記の画像を表示することが可能となる。この結果、映像確認者は、発話者の映像と発話内容に応じた画像とを良好に確認することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】表示映像の一例を示す図である。
【図２】本発明の一実施形態に係る映像表示システムの構成を示す図である。
【図３】各ユーザが利用する通信ユニットについての説明図である。
【図４】深度データについての説明図である。
【図５】サーバコンピュータの機能を示すブロック図である。
【図６】映像表示フローの流れを示す図である。
【図７】合成映像表示処理の手順を示す図である。
【図８】合成映像中のテキスト画像の表示態様に関する第一例を示す図である。
【図９】合成映像中のテキスト画像の表示態様に関する第二例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の一実施形態（以下、本実施形態）について説明する。なお、以下に説明する実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
【００２１】
＜＜本実施形態に係る映像表示システムの概要について＞＞
先ず、本実施形態に係る映像表示システム（以下、本システムＳ）について、その概要を説明する。本システムＳは、互いに離れた場所に居るユーザ同士がお互いの映像をリアルタイムで確認するために構築された通信システムである。具体的に説明すると、それぞれのユーザが居る場所にはディスプレイが設置されており、当該ディスプレイには相手側ユーザのリアルタイム映像が表示される。これにより、各ユーザは、自分が居る場所に設置されたディスプレイを通じて、相手側ユーザのリアルタイム映像を利用することができる。なお、各ユーザは、ディスプレイの表示映像を利用する「利用者」に相当する。
【００２２】
また、各ユーザは、それぞれのユーザが居る場所に設置されたスピーカを通じて、相手側ユーザが発した音声（厳密には、当該音声の再生音）を聴くことが可能である。したがって、本システムＳを用いた通信によって、各ユーザは、相手側ユーザの映像を見ながら、その者と対話をすることが可能である。これにより、各ユーザは、互いに離れた場所に居ながらも、実際に対面しながら会話しているような臨場感（視覚的効果）を得ることが可能である。
【００２３】
本システムＳは、上述した効果を奏することから、様々な用途に利用することが可能である。例えば、各ユーザが各々の自宅に居ながら対話を行ったり、一方のユーザが遠方に居る他方のユーザに対してサービス等を提供したり、一方のユーザが遠方に居る他方のユーザに対して講義やレッスンを行ったりする場面で本システムＳは利用される。このように本システムＳは、互いに異なる場所に居るユーザ同士が相手の顔を見ながら対話するシチュエーションにおいて幅広く利用することが可能である。
【００２４】
また、本システムＳにおいて、各ユーザは、ディスプレイにて相手側ユーザの映像を利用すると共に、その者の発話内容を示すテキスト画像を確認することが可能である。図１を参照しながら具体的に説明すると、一方のユーザ（発話者に相当）が発話時に音声を発すると、他方のユーザが居る場所に設置されたディスプレイには、図１に示すように、上記一方のユーザを撮影した際の撮影映像と上記のテキスト画像Ｐｔとを合成した合成映像Ｐｃが表示されるようになる。
【００２５】
合成映像Ｐｃについて説明すると、発話者に相当するユーザの人物映像Ｐｈの周辺位置に、当該ユーザが直近に発話した内容を示すテキスト画像Ｐｔを埋め込んだものである。ここで、「人物映像Ｐｈの周辺位置」とは、その位置にテキスト画像Ｐｔを表示したときに、特段の説明を要することなく、当該テキスト画像Ｐｔが示す内容が誰の発話内容であるのかを識別することが可能となる位置である。なお、本実施形態では、人物映像Ｐｈに現れているユーザの頭部よりも若干上方に在る位置、当該頭部よりも若干下方に在る位置、及び、図１に図示したような人物映像Ｐｈの横（脇）位置が「人物映像Ｐｈの周辺位置」に該当する。ただし、これに限定するものではなく、上記の定義を満たす位置である限り、任意の位置であってもよい。
【００２６】
以上のような合成映像Ｐｃがディスプレイに表示されることで、各ユーザは、相手側ユーザの発話内容をテキスト画像Ｐｔにて視覚的に確認することが可能である。そして、本実施形態では、合成映像Ｐｃ中のテキスト画像Ｐｔを適切に表示することが可能である。より具体的に説明すると、本実施形態では、合成映像Ｐｃ中のテキスト画像Ｐｔが人物映像Ｐｈに現れているユーザの動きに応じた表示態様にて適切に表示されるようになっている。かかる点が本システムＳの特徴点であり、以降の説明では、かかる特徴点について詳しく説明することとする。
【００２７】
なお、説明を分かり易くするため、以下では、一方のユーザをＡさんとし、他方のユーザをＢさんとし、両者の間で擬似対面会話を行うケースを例に挙げて説明することとする。また、以下では、Ａさん側の視点（すなわち、Ｂさんの映像を利用する側の立場）から説明することとする。この場合、Ａさんが「映像利用者」に該当し、Ｂさんが「発話者」に該当する。なお、以下に説明する内容は、Ｂさん側の視点（すなわち、Ａさんの映像を利用する側の立場）でも同様となる。すなわち、以下に説明する機器構成や各機器の動作については、Ａさん側の立場とＢさん側の立場との間で共通の内容となる。
【００２８】
＜＜本実施形態に係る映像表示システムの構成について＞＞
次に、本システムＳの機器構成について図２乃至４を参照しながら説明する。本システムＳは、それぞれのユーザが居る場所に設置された情報通信用のユニット（以下、通信ユニット１００）によって構成されている。具体的に説明すると、擬似対面会話時にＡさんが居る場所には、第一の通信ユニット１００（以下、Ａさん側の通信ユニット１００）が設けられている。また、擬似対面会話時にＢさんが居る場所には、第二の通信ユニット１００（以下、Ｂさん側の通信ユニット１００）が設けられている。Ａさん側の通信ユニット１００及びＢさん側の通信ユニット１００は、図２に示すように、いずれも外部通信ネットワークＧＮに接続されている。
【００２９】
以下、本実施形態に係る通信ユニット１００の構成例について説明する。なお、Ａさん側の通信ユニット１００とＢさん側の通信ユニット１００とは、設置場所や配信対象とする映像や音声が異なる点を除き、略同様である。したがって、以下では、Ａさん側の通信ユニット１００の構成例のみを説明することとする。
【００３０】
Ａさん側の通信ユニット１００は、図２に示すように、サーバコンピュータ１、カメラ２、マイク３、赤外線センサ４、ディスプレイ５及びスピーカ６を主な構成要素として有する。カメラ２は、撮影範囲（画角）内にある被写体の映像を撮影する撮影装置であり、本実施形態では公知のネットワークカメラによって構成されている。また、本実施形態に係るカメラ２は、ディスプレイ５の前にユーザが立っているときに当該ユーザの全身映像を撮影する。より厳密に説明すると、Ａさんがディスプレイ５の前に立っているとき、カメラ２は、Ａさんの人物映像及びその周辺映像を撮影する。
【００３１】
マイク３は、擬似対面会話時にＡさんが居る場所内で発生する音を集音する装置であり、公知のマイクによって構成されている。なお、本実施形態では、図３に示すようにディスプレイ５の直上位置にマイク３が設置されている。
【００３２】
赤外線センサ４は、所謂デプスセンサであり、赤外線方式にて計測対象物の深度を計測する計測装置である。具体的に説明すると、赤外線センサ４は、計測対象物に向けて赤外線を照射し、その反射光を受光し、その際の受光強度に基づいて深度を計測する。ここで、「深度」とは、計測対象物の各部の位置に関する計測対象値であり、具体的には、基準位置から計測対象物までの距離（すなわち、奥行距離）のことである。ちなみに、本実施形態では、ディスプレイ５の前面位置が基準位置として設定されている。ただし、基準位置については、上記の位置に限定されず、任意の位置に設定することが可能である。
【００３３】
また、赤外線センサ４による深度の計測結果は、カメラ２の撮影映像（厳密には、映像を構成するフレーム単位の画像であって、以下、フレーム画像と呼ぶ）を所定数の画素に分割した際の当該画素毎に得られる。そして、画素毎に得た深度の計測結果をフレーム画像単位でまとめることで、図４に図示の深度データが得られるようになる。この深度データは、フレーム画像について画素別に深度の計測結果を示すデータであり、図４に図示するように、深度の計測結果に応じて各画素の色や濃淡を変えて得られるビットマップ形式のデータとなっている。
【００３４】
なお、深度データは、当該深度データが示す深度の計測時点と同時点に撮影された撮影映像（厳密にはフレーム画像）と対応している。具体的に説明すると、図４に図示された撮影映像に対して、同図に図示された深度データが取得される。かかる深度データについて説明すると、図中の黒塗りの画素は、撮影映像の中でより奥側に位置する被写体の映像に対応する画素に該当し、白塗りの画素は、より手前側に位置する被写体の映像に対応する画素に該当する。これら２つの画素間では、当然ながら深度の計測結果が異なってくる。このような性質を利用すれば、深度データを構成する画素のうち、背景映像に属する画素と人物映像に属する画素とを区別し、一方の映像を抽出することが可能となる。
【００３５】
ディスプレイ５は、Ｂさん側の通信ユニット１００から配信されてくる映像や、上述した合成映像Ｐｃを表示する表示器である。本実施形態において、ディスプレイ５は、図３に示すように縦長矩形状の機器であり、擬似対面会話時にＡさんが居る場所に設置されている。より具体的に説明すると、本実施形態に係るディスプレイ５は、姿見型の表示器となっており、前面に形成された鏡面部に映像を表示する。
【００３６】
また、本実施形態に係るディスプレイ５は、図１に示すように、Ｂさんの全身映像を等身大で表示させるのに十分なサイズとなっている。ここで、「全身映像」とは、頭部から足に亘る身体全体を現した映像であり、起立状態の映像であっても着座状態の映像であってもよく、また、前方に配置された物によって身体の一部が隠れている状態の姿を含む概念である。
【００３７】
スピーカ６は、Ｂさん側の通信ユニット１００から配信されてくる音声を再生した際の音声（再生音）を発する装置であり、公知のスピーカによって構成されている。なお、本実施形態では、図３に示すように、スピーカ６がディスプレイ５の横幅方向においてディスプレイ５を挟む位置に、それぞれ２個ずつ設置されている。ただし、スピーカ６の設置位置及び設置台数については、上述の内容に限定されず、任意に設定することが可能である。
【００３８】
サーバコンピュータ１は、コンピュータの一例であり、通信ユニット１００の主要部をなしている。Ａさん側の通信ユニット１００が備えるサーバコンピュータ１（以下、Ａさん側のサーバコンピュータ１）と、Ｂさん側の通信ユニット１００が備えるサーバコンピュータ１（以下、Ｂさん側のサーバコンピュータ１）とは、外部通信ネットワークＧＮを介して通信可能に接続されている。具体的に説明すると、Ａさん側のサーバコンピュータ１は、擬似対面会話時にＡさんが居る場所の映像や音声をＢさん側のサーバコンピュータ１に向けて送信する。なお、本実施形態において、映像は、符号化されたデジタルデータの形式で送信され、音声は、映像中に組み込まれて当該映像と共に送信されることになっている。ただし、これに限定されず、映像と音声とが別々に送信されてもよい。
【００３９】
また、Ａさん側のサーバコンピュータ１は、カメラ２の撮影映像を送信するのと同時に、当該撮影映像と対応する深度データをＢさん側のサーバコンピュータ１に向けて送信する。さらに、Ａさん側のサーバコンピュータ１は、Ｂさん側のサーバコンピュータ１が送信した映像や音声並びに深度データを、外部通信ネットワークＧＮを通じて受信する。その後、Ａさん側のサーバコンピュータ１は、受信した映像や音声に応じて、ディスプレイ５及びスピーカ６を制御する。これにより、ディスプレイ５には、Ｂさん側のサーバコンピュータ１から受信した映像（すなわち、Ｂさんの全身映像及びその周辺映像）が表示されるようになる。また、スピーカ６からは、Ｂさん側のサーバコンピュータ１から受信した映像中に組み込まれていた音声の再生音が発せられるようになる。
【００４０】
また、Ａさん側のサーバコンピュータ１は、Ｂさん側のサーバコンピュータ１から受信した深度データに基づいて、受信映像におけるＢさんの人物映像Ｐｈの位置（表示位置）を特定したり、Ｂさんの身体各部の動きを特定したりすることが可能である。深度データに基づいてＢさんの身体各部の動きを特定する方法については、後に詳しく説明する。
【００４１】
さらに、Ａさん側のサーバコンピュータ１は、Ｂさん側のサーバコンピュータ１から受信した音声を解析し、当該音声の内容を示すテキスト画像をディスプレイ５に表示させることが可能である。具体的に説明すると、Ａさん側のサーバコンピュータ１には、公知の音声認識機能が搭載されている。そして、Ａさん側のサーバコンピュータ１は、Ｂさん側のサーバコンピュータ１から受信した音声からＢさんの音声（肉声）を抽出すると、上記の音声認識機能により、抽出したＢさんの音声からＢさんの発話内容（発話内容）を文書化する。最終的に、発話内容を示す文字列が記載されたテキスト画像Ｐｔが生成され、受信映像とともにディスプレイ５に表示される。
【００４２】
＜＜サーバコンピュータの詳細構成＞＞
次に、サーバコンピュータ１の詳細構成について図５を参照しながら説明する。なお、本実施形態において、Ａさん側のサーバコンピュータ１とＢさん側のサーバコンピュータ１とが略同様の構成となっている。このため、以下では、Ａさん側のサーバコンピュータ１の構成のみを説明することとする。
【００４３】
Ａさん側のサーバコンピュータ１は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、通信用インタフェース及びハードディスクドライブを主な構成機器として有する。また、サーバコンピュータ１のハードディスクドライブには、サーバコンピュータ１が上述した機能（具体的には、本発明の映像表示システムを構成するコンピュータとしての機能）を発揮するためのコンピュータプログラムが格納されている。
【００４４】
Ａさん側のサーバコンピュータ１の機能について改めて説明すると、Ａさん側のサーバコンピュータ１は、映像表示に関する様々な機能を搭載しており、換言すると、映像表示に関する各種の機能を実現する手段（機能部）を備えている。具体的に説明すると、図５に図示した機能部、すなわち、映像配信部１１、計測結果送信部１２、映像取得部１３、映像表示部１４、音声再生部１５、計測結果取得部１６、音声解析部１７、動作内容特定部１８、記憶部１９及び合成映像生成部２０がＡさん側のサーバコンピュータ１に備わっている。これらの機能部は、Ａさん側のサーバコンピュータ１を構成する上述のハードウェア機器と、Ａさん側のサーバコンピュータ１にインストールされたコンピュータプログラムと、が協働することで実現される。以下、各機能部についてそれぞれ説明する。
【００４５】
（映像配信部１１）
映像配信部１１は、擬似対面会話時にＡさんが居る場所の映像や音声を配信するものである。この映像配信部１１は、Ａさん側の通信ユニット１００が有するカメラ２やマイク３と通信し、カメラ２が撮影した撮影映像及びマイク３が集音した音声を取得する。そして、映像配信部１１は、取得した撮影映像中に取得した音声を組み込んだ上で、当該撮影映像をＢさん側のサーバコンピュータ１に向けて配信する。
【００４６】
（計測結果送信部１２）
計測結果送信部１２は、Ａさん側の通信ユニット１００が有する赤外線センサ４の計測結果として深度データを、Ｂさん側のサーバコンピュータ１に向けて送信するものである。この計測結果送信部１２は、映像配信部１１がカメラ２の撮影映像を取得するのに伴って、赤外線センサ４の計測結果（すなわち、深度の計測値）を取得する。その後、計測結果送信部１２は、取得した計測結果を画素毎にまとめることにより、映像配信部１１が取得したカメラ２の撮影映像に対応する深度データを生成する。生成された深度データは、計測結果送信部１２により、映像配信部１１の映像配信タイミングに合わせてＢさん側のサーバコンピュータ１に向けて送信される。
【００４７】
（映像取得部１３）
映像取得部１３は、Ｂさん側のサーバコンピュータ１から送信されてくる映像及び当該映像中に組み込まれた音声を、外部通信ネットワークＧＮを介して受信することで当該映像等を取得するものである。なお、本実施形態において、映像及び音声は、前述したように、符号化されたデジタルデータ（映像データ）として送信されることになっている。このため、映像取得部１３は、受信した映像データを復号化した段階で映像等を取得することになる。
【００４８】
（映像表示部１４）
映像表示部１４は、映像取得部１３が取得した映像に基づいてディスプレイ５を制御することにより、当該映像をディスプレイ５に表示させるものである。また、本実施形態において、映像表示部１４は、後述する合成映像生成部２０が生成した合成映像Ｐｃをディスプレイ５に表示させることが可能である。
【００４９】
（音声再生部１５）
音声再生部１５は、映像取得部１３が取得した映像中に組み込まれた音声を抽出し、当該音声の再生音をスピーカ６から発生させるものである。なお、本実施形態では、Ａさん側の通信ユニット１００に複数のスピーカ６が設けられている。音声再生部１５は、再生音を発生させるにあたり、実際に使用するスピーカ６の位置や音量等の再生条件をディスプレイ５の表示映像に連動するように設定し、設定された条件に従って再生音を発生させる。これにより、擬似対面会話の臨場感が更に増すようになる。
【００５０】
（計測結果取得部１６）
計測結果取得部１６は、映像取得部１３がＢさん側のサーバコンピュータ１から送られてくる映像を受信するタイミングにて、同じくＢさん側のサーバコンピュータ１から送られてくる深度データを受信するものである。なお、計測結果取得部１６が取得する深度データは、その時点で映像取得部１３が取得した映像（カメラ２の撮影映像）と対応したものとなっている。
【００５１】
（音声解析部１７）
音声解析部１７は、映像取得部１３が取得した映像から音声を抽出し、当該音声に対して解析処理を施すものである。音声解析部１７が行う解析処理では、音声検知処理と音声認識処理とが行われる。音声検知処理は、映像から抽出した音声中に含まれているＢさん音声（肉声）を検知する処理である。より具体的に説明すると、Ａさん側のサーバコンピュータ１は、事前に登録されたＢさんの音声を識別するための情報（例えば、声紋情報）を記憶している。かかる情報に基づいて、音声解析部１７は、映像から抽出した音声中にＢさんの発話時の音声が含まれているか否かを判定する。このような音声検知処理により、Ｂさんが発話時に音声を発した場合、音声解析部１７は、Ｂさんの音声を検知するようになる。
【００５２】
音声認識処理は、音声検知処理にて検知されたＢさんの音声を認識してＢさんの発話内容を特定する処理である。より具体的に説明すると、Ａさん側のサーバコンピュータ１に搭載された公知の音声認識機能により、Ｂさんの音声が示す言語を特定することで、Ｂさんの発話内容を特定し、最終的には、特定した発話内容を文書（文字列）に変換してテキスト化する。
【００５３】
（動作内容特定部１８）
動作内容特定部１８は、擬似対面会話中にＢさんが動いている場合、その動作内容を特定するものである。つまり、動作内容特定部１８は、発話者であるＢさんが動いている間にＢさんの動作内容を特定する。なお、動作内容としては、Ｂさんの身体各部の中で動いている部位及びその動作量、当該部位が移動する際の移動速度や加速度、Ｂさんの状態や姿勢の変化量、Ｂさんが手に持っている物や装着品の変位量や移動速度等が挙げられる。なお、本実施形態では、Ｂさんの身体のうち、手足の動作量及び動作前後の位置を動作内容として特定する。
【００５４】
また、本実施形態において、動作内容特定部１８は、計測結果取得部１６が取得した深度データに基づいて、Ｂさんの動作内容を特定する。深度データからＢさんの動作内容を特定する手順について説明すると、動作内容特定部１８は、先ず、深度データ中、人物映像に対応する画素を抽出する。次に、動作内容特定部１８は、抽出した画素からＢさんの骨格モデルを取得する。骨格モデルとは、図４に示すように、人間の身体各部、特に頭部、肩、肘、手、腹、腰、膝、足の位置関係をモデル化したものである。ちなみに、骨格モデルを取得する方法としては、公知の方法（例えば、特開２０１４−１５５６９３号公報や特開２０１３−１１６３１１号公報に記載の方法）が利用可能である。
【００５５】
その後、動作内容特定部１８は、取得した骨格モデルに基づき、Ｂさんの身体中の所定部位の位置（厳密には、手足の位置）を特定する。そして、動作内容特定部１８は、計測結果取得部１６が深度データを取得する都度、上記の骨格モデルを取得し、Ｂさんの手足の位置を特定する。この際、動作内容特定部１８は、Ｂさんの手足の位置について前回特定したときの位置と今回特定した位置とを対比することにより、手足の動きを検知する。すなわち、動作内容特定部１８は、骨格モデルから特定したＢさんの手足の位置の変化に基づき、Ｂさんの動きを検知する。このようにしてＢさんの動きを検知したとき、動作内容特定部１８は、手足のそれぞれの動作量と位置を特定する。
【００５６】
以上のように本実施形態では、骨格モデルの変化からＢさんの動きの有無を判定することになっている。ここで、骨格モデルの変化は、計測結果取得部１６が取得した深度データ（換言すると、赤外線センサ４の計測結果）の変化を反映したものである。かかる意味で、動作内容特定部１８は、計測結果取得部１６が取得した計測結果の変化に基づいて、Ｂさんの手足の動きを検知するとともに当該手足の動作量及び位置を特定すると言える。
【００５７】
（記憶部１９）
記憶部１９は、映像表示に関する諸々の情報を記憶しているものである。記憶部１９が記憶している情報の中には、Ｂさんの手足の動作量に対して予め設定された閾値が含まれている。この閾値は、動作内容特定部１８がＢさんの手足の動作量を特定した際に参照される数値情報である。より具体的に説明すると、動作内容特定部１８は、特定した手足の動作量が上記の閾値を超えている場合には、Ｂさんの手足が動いていると判断し、閾値を下回る場合には、Ｂさんの手足が動いていないと判断する。なお、本実施形態では、Ｂさんの手及び足のそれぞれに対して個別の閾値が設定されている。つまり、記憶部１９には、手に対する閾値と、足に対する閾値と、が別々に記憶されている。
【００５８】
（合成映像生成部２０）
合成映像生成部２０は、映像取得部１３が取得した映像（すなわち、Ｂさん側の通信ユニット１００が有するカメラ２が撮影した映像）と、音声解析部１７によってテキスト化されたＢさんの発話内容を示すテキスト画像Ｐｔと、を合成した合成映像Ｐｃを生成するものである。この合成映像生成部２０による合成映像生成処理は、音声解析部１７が音声検知処理においてＢさんの音声を検知したときに実行される。より詳しく説明すると、音声解析部１７がＢさんの音声を検知すると、これを契機として、合成映像生成部２０が合成映像Ｐｃを生成し始める。
【００５９】
合成映像Ｐｃの生成に際して、合成映像生成部２０は、合成映像Ｐｃ中のテキスト画像Ｐｔの表示態様を決定し、具体的には、合成映像Ｐｃにおけるテキスト画像Ｐｔの表示位置及びテキスト画像Ｐｔ中に含まれる文字列（テキスト）の向きを決定する。そして、本実施形態では、テキスト画像Ｐｔの表示位置やテキストの向きが、動作内容特定部１８によって特定されたＢさんの手足の動作量や位置に応じて決められる。
【００６０】
より具体的に説明すると、動作内容特定部１８は、Ｂさんの手足の動きを検知すると、その動作量を特定した後に、当該動作量が記憶部１９に記憶された閾値を超えているかどうかを判定する。また、動作内容特定部１８は、Ｂさんの手の動きを検知すると、Ｂさんの頭部に対する手の相対位置を特定する。合成映像生成部２０は、これらの内容（手足の動作量と閾値との大小関係に関する判定結果、及び、Ｂさんの頭部に対する手の相対位置）に応じて、テキスト画像Ｐｔの表示位置やテキストの向きを決定する。
【００６１】
以上のように、合成映像生成部２０は、合成映像Ｐｃ中のテキスト画像Ｐｔが動作内容特定部１８によって特定されたＢさんの動作内容に応じた態様で表示されるように合成映像Ｐｃを生成する。より詳しく説明すると、上述したように、合成映像生成部２０は、テキスト画像Ｐｔの表示位置やテキストの向きの双方が動作内容特定部１８によって特定された動作内容に応じて設定された合成映像Ｐｃを生成する。
【００６２】
さらに詳しく説明すると、本実施形態では、動作内容特定部１８がＢさんの手足の動きを検知すると、当該手足の動作量が閾値を超えているか否かを判定することになっている。合成映像生成部２０は、テキスト画像Ｐｔの位置やテキストの向きが動作内容特定部１８による上記の判定結果に応じて設定された合成映像Ｐｃを生成する。また、本実施形態において、動作内容特定部１８は、Ｂさんの手の動きを検知すると、Ｂさんの頭部に対する手の相対位置を特定することになっている。合成映像生成部２０は、テキスト画像Ｐｔの位置やテキスト画像Ｐｔ中の文字列の向きが手の相対位置の特定結果に応じて設定された合成映像Ｐｃを生成する。
なお、合成映像Ｐｃの生成手順については、後の項で詳しく説明する。
【００６３】
本実施形態では、上述の要領にて合成映像Ｐｃが生成される。これにより、Ｂさんの発話内容を示すテキスト画像ＰｔをＢさんの映像とともにディスプレイ５に表示する際には、Ｂさんの動き（具体的には、手足の動作量や手の位置）を考慮して上記テキスト画像Ｐｔを適切に表示することが可能となる。つまり、Ｂさんの手や足が動いている期間において合成映像Ｐｃをディスプレイ５に表示する際には、Ｂさんの人物映像Ｐｈ中の所定範囲にテキスト画像Ｐｔが重ならないように合成映像Ｐｃを表示することが可能となる。これにより、ディスプレイ５を通じて合成映像Ｐｃを利用しているＡさんは、Ｂさんの人物映像ＰｈとともにＢさんの発話内容を確認することが可能となる。
【００６４】
なお、上記の効果は、ディスプレイ５がＢさんの全身映像を等身大で表示することが可能なサイズとなっている構成において、特に有意義なものである。つまり、等身大のＢさんの全身映像を含む合成映像Ｐｃをディスプレイ５に表示する際に、Ｂさんの動作内容に応じて適当な表示位置や配向にてテキスト画像Ｐｔが表示されれば、Ｂさんの全身映像中、注目すべき部位（例えば、Ｂさんの頭部若しくは手足）と重ならないようにテキスト画像Ｐｔを表示させることが可能となる。
【００６５】
さらに、合成映像生成部２０は、図１、図８及び図９に示すように、テキスト画像Ｐｔが合成映像Ｐｃ中のＢさんの人物映像Ｐｈ周辺に位置するように合成映像Ｐｃを生成する。この結果、テキスト画像Ｐｔを含む合成映像Ｐｃがディスプレイ５に表示されたとき、その映像を見ているＡさんは、テキスト画像Ｐｔが示す文字列（テキスト）がＢさんの発話内容を示していると容易に把握するようになる。その上で、Ｂさんの動作内容を考慮してテキスト画像Ｐｔの表示位置やテキストの向きを決めると、テキスト画像Ｐｔと発話者であるＢさんとの対応関係を維持しつつ、当該テキスト画像Ｐｔを適切な表示態様にて表示することが可能となる。
【００６６】
＜＜本実施形態に係る映像表示方法について＞＞
次に、本実施形態に係る映像表示方法について図６及び図７を参照しながら説明する。本実施形態に係る映像表示方法は、Ａさん側のサーバコンピュータ１及びＢさん側のサーバコンピュータ１によって実現される。より具体的に説明すると、各サーバコンピュータ１が実行する映像表示フローにおいて、本実施形態に係る映像表示方法が採用されている。つまり、図６や図７に図示した映像表示フロー中の各ステップは、本実施形態に係る映像表示方法の構成要素に相当する。
【００６７】
以下では、本実施形態に係る映像表示方法に関する説明として、各サーバコンピュータ１が実行する映像表示フローの流れを説明する。なお、以下では、Ａさん側のサーバコンピュータ１がＢさん側の通信ユニット１００から配信されてくる映像を表示する場合の映像表示フローを例に挙げて説明することとする。念のために付言しておくと、以下に説明する内容は、Ｂさん側のサーバコンピュータ１がＡさん側の通信ユニット１００から配信されてくる映像を表示する場合の映像表示フローにも適用されるものである。
【００６８】
ちなみに、図６及び図７は、映像表示フローや合成映像生成処理の流れについて一例を示したものであり、同図に示す内容に限定されるものではない。すなわち、映像表示フローや合成映像生成処理の流れについては、本発明の映像表示方法を採用するものであればよく、具体的な手順や各工程での実施内容については任意に設定することが可能である。
【００６９】
Ａさん側のサーバコンピュータ１は、図６に図示の流れに従って映像表示フローを実施する。より詳しく説明すると、映像表示フローに際して、Ａさんは、Ｂさんと擬似対面会話を行う目的で、Ａさん側の通信ユニット１００が設置された場所に来場し、当該場所に設置されたディスプレイ５の前に立つ。これをトリガーとして、Ａさん側の通信ユニット１００では、カメラ２による映像撮影と、マイク３による集音と、赤外線センサ４による深度計測とが開始される。そして、Ａさん側のサーバコンピュータ１は、撮影映像中に音声を組み込んだ状態で当該映像をＢさん側のサーバコンピュータに向けて送信する。この際、Ａさん側のサーバコンピュータ１は、上記の映像とともに、赤外線センサ４の計測結果である深度データを併せて送信する。
【００７０】
同様に、映像表示フローに際して、Ｂさんは、Ａさんと擬似対面会話を行う目的で、Ｂさん側の通信ユニット１００が設置された場所に来場し、当該場所に設置されたディスプレイ５の前に立つ。これをトリガーとして、Ｂさん側の通信ユニット１００では、カメラ２による映像撮影と、マイク３による集音と、赤外線センサ４による深度計測とが開始される。そして、Ｂさん側のサーバコンピュータ１は、撮影映像中に音声を組み込んだ状態で当該映像をＡさん側のサーバコンピュータ１に向けて送信する。この際、Ｂさん側のサーバコンピュータ１は、上記の映像とともに、赤外線センサ４の計測結果である深度データを併せて送信する。
【００７１】
以上の動作が行われることを前提として、映像表示フローが開始される。映像表示フローでは、先ず、Ａさん側のサーバコンピュータ１が、Ｂさん側の通信ユニット１００から送られてくるカメラ２の撮影映像、マイク３が集音した音声、及び、赤外線センサ４の計測結果である深度データを受信して取得する（Ｓ００１）。その後、Ａさん側のサーバコンピュータ１は、取得した深度データに基づいてＢさんの骨格モデルを取得し、当該骨格モデルからＢさんの身体各部の位置を特定する（Ｓ００２）。
【００７２】
また、Ａさん側のサーバコンピュータ１は、取得した撮影映像中に組み込まれた音声を抽出した上で、当該音声に対して解析処理を実行する（Ｓ００３）。本ステップにおいて、Ａさん側のサーバコンピュータ１は、先ず、音声検知処理を実行し、撮影映像から抽出した音声中にＢさんの発話時の音声が含まれているか否かを判定し、Ｂさんの発話時の音声が含まれている場合には当該音声を検知する（Ｓ００４）。
【００７３】
Ｂさんの発話時の音声を検知しなかったとき、Ａさん側のサーバコンピュータ１は、Ｂさん側の通信ユニット１００から取得した映像（撮影映像）を、そのままディスプレイ５に表示させると共に、当該映像から抽出した音声を再生し、その再生音をスピーカ６から発生させる（Ｓ００５）。一方、Ｂさんの発話時の音声を検知したとき、Ａさん側のサーバコンピュータ１は、これを契機として合成映像生成処理の実行を開始する（Ｓ００７）。なお、Ａさん側のサーバコンピュータ１は、合成映像生成処理の実行開始に際して、検知したＢさんの発話時の音声に対して音声認識処理を実行する（Ｓ００６）。かかる処理により、Ａさん側のサーバコンピュータ１は、Ｂさんの発話内容を特定し、特定した発話内容をテキスト化する。
【００７４】
そして、Ａさん側のサーバコンピュータ１は、合成映像生成処理により生成された合成映像Ｐｃをディスプレイ５に表示させると共に、Ｂさん側の通信ユニット１００から取得した音声を再生し、その再生音をスピーカ６から発生させる（Ｓ００８）。
【００７５】
以上までに説明してきた一連のステップは、Ａさん側のサーバコンピュータ１又はＢさん側のサーバコンピュータ１が所定の終了操作を受け付けるまで繰り返される（Ｓ００９）。終了操作とは、擬似対面会話を終了させるためにＡさん又はＢさんが行う操作であり、例えば、Ａさん又はＢさんがディスプレイ５から所定距離以上離れる操作等が該当する。そして、終了操作が行われた時点で、映像表示フローが終了する。
【００７６】
次に、上述した合成映像生成処理の流れについて図７を参照しながら詳細に説明する。合成映像生成処理では、先ず、Ａさん側のサーバコンピュータ１が、ステップＳ００２にて特定したＢさんの身体各部の位置について、前回特定した位置と今回特定した位置（すなわち、直近の位置）とを対比して、Ｂさんの身体各部の動作量を特定する（Ｓ０１１）。なお、本ステップにおいて特定された動作量が０より大きいとき、Ｂさんが動いていることになる。換言すると、本ステップは、Ａさん側のサーバコンピュータ１が、Ｂさんが動いている間にＢさんの動作内容を特定する工程に相当する。
【００７７】
Ｂさんの身体各部の動作量を特定した後、Ａさん側のサーバコンピュータ１は、その特定結果に基づいて、Ｂさんの身体各部のうち、手足が動いたか否かを判定する（Ｓ０１２）。かかる判定において手足が動いていないと判定したとき、Ａさん側のサーバコンピュータ１は、ステップＳ００２にて特定したＢさんの身体各部の位置のうち、手の位置、特にＢさんの頭部に対する手の相対位置を特定する。その上で、Ａさん側のサーバコンピュータ１は、Ｂさんの手がＢさんの頭上にあるか否かを判定する（Ｓ０１３）。
【００７８】
その後、Ａさん側のサーバコンピュータ１は、ステップＳ００６にて特定したＢさんの発話内容を示すテキスト画像Ｐｔについて、合成映像Ｐｃにおける表示位置及び当該テキスト画像Ｐｔ中の文字列（テキスト）の向きを決定する。これらの内容は、前ステップＳ０１３での判定結果に応じて決められることになっており、具体的に説明すると、Ｂさんの手がＢさんの頭上にない場合（Ｓ０１３でＮｏ）、Ａさん側のサーバコンピュータ１は、合成映像Ｐｃ中のテキスト画像Ｐｔの表示位置を図８に図示の位置、すなわち、Ｂさんの人物映像Ｐｈ中の頭部よりもやや上方の位置に設定する（Ｓ０１４）。また、Ａさん側のサーバコンピュータ１は、テキスト画像Ｐｔ中のテキストの向きを横向きに設定する（Ｓ０１５）。
【００７９】
一方、Ｂさんの手がＢさんの頭上にある場合（Ｓ０１３でＹｅｓ）、Ａさん側のサーバコンピュータ１は、合成映像Ｐｃ中のテキスト画像Ｐｔの表示位置を図９に図示の位置、Ｂさんの人物映像Ｐｈ中の頭部よりもやや下方の位置に設定する（Ｓ０１８）。また、Ａさん側のサーバコンピュータ１は、テキスト画像Ｐｔ中のテキストの向きを横向きに設定する（Ｓ０１５）。
【００８０】
引き続き、合成映像生成処理についてステップＳ０１２まで遡って説明すると、本ステップにおいて手足が動いていると判定したとき、Ａさん側のサーバコンピュータ１は、内蔵されたメモリに記憶された閾値を読み出し、手の動作量及び足の動作量が当該閾値以下であるか否かを判定する（Ｓ０１６）。かかる判定において、手の動作量及び足の動作量の双方が閾値以下であると判定した場合（Ｓ０１６でＹｅｓ）、Ａさん側のサーバコンピュータ１は、ステップＳ０１３に移行し、同ステップＳ０１３においてＢさんの手がＢさんの頭上にあるか否かを判定する。その後、Ａさん側のサーバコンピュータ１は、ステップＳ０１３以降の工程を既述の流れに従って実施し、最終的に、テキスト画像Ｐｔの表示位置及びテキストの向きを決定する。
【００８１】
一方、ステップＳ０１６において、手の動作量及び足の動作量のうちの少なくともいずれかが閾値を超えていると判定した場合（Ｓ０１６でＮｏ）、Ａさん側のサーバコンピュータ１は、さらに、手の動作量のみが閾値以下であるか否かを判定する（Ｓ０１７）。かかる判定において、手の動作量のみが閾値以下であると判定した場合（Ｓ０１７でＹｅｓ）、Ａさん側のサーバコンピュータ１は、合成映像Ｐｃ中のテキスト画像Ｐｔの表示位置を図９に図示の位置、すなわち、Ｂさんの人物映像Ｐｈ中の頭部よりもやや下方の位置に設定する（Ｓ０１８）。また、Ａさん側のサーバコンピュータ１は、テキスト画像Ｐｔ中のテキストの向きを横向きに設定する（Ｓ０１５）。
【００８２】
これに対し、ステップＳ０１７において手の動作量及び足の動作量の双方が閾値を超えていると判定した場合（Ｓ０１７でＮｏ）、Ａさん側のサーバコンピュータ１は、ステップＳ００２にて特定したＢさんの身体各部の位置のうち、手の位置、特にＢさんの頭部に対する手の相対位置を特定する。その上で、Ａさん側のサーバコンピュータ１は、Ｂさんの手がＢさんの頭上にあるか否かを判定する（Ｓ０１９）。ここで、Ｂさんの手がＢさんの頭上にない場合（Ｓ０１９でＮｏ）、Ａさん側のサーバコンピュータ１は、合成映像Ｐｃ中のテキスト画像Ｐｔの表示位置を図８に図示の位置、すなわち、Ｂさんの人物映像Ｐｈ中の頭部よりもやや上方の位置に設定する（Ｓ０２０）。また、Ａさん側のサーバコンピュータ１は、テキスト画像Ｐｔ中のテキストの向きを横向きに設定する（Ｓ０１５）。
【００８３】
一方、Ｂさんの手がＢさんの頭上にある場合（Ｓ０１９でＹｅｓ）、Ａさん側のサーバコンピュータ１は、合成映像Ｐｃ中のテキスト画像Ｐｔの表示位置を図１に図示の位置、すなわち、Ｂさんの人物映像Ｐｈの横（脇位置）に設定する（Ｓ０２１）。また、Ａさん側のサーバコンピュータ１は、テキスト画像Ｐｔ中のテキストの向きを縦向きに設定する（Ｓ０２２）。
【００８４】
以上までに説明してきた工程を経てテキスト画像Ｐｔの表示位置及びテキストの向きが決定された後、Ａさん側のサーバコンピュータ１は、Ｂさん側の通信ユニット１００から取得した撮影映像と上記のテキスト画像Ｐｔとを合成して合成映像Ｐｃを生成する（Ｓ０２３）。本ステップにおいて、Ａさん側のサーバコンピュータ１は、その前段階で決定した事項（すなわち、テキスト画像Ｐｔの表示位置及びテキストの向き）に従ってテキスト画像Ｐｔを上記の撮影映像中に埋め込む。この際、Ａさん側のサーバコンピュータ１は、合成映像Ｐｃ中のＢさんの人物映像Ｐｈ周辺に位置するようにテキスト画像Ｐｔを埋め込む。
【００８５】
以上のようにして生成された合成映像Ｐｃをディスプレイ５に表示すると、当該合成映像Ｐｃ中のテキスト画像Ｐｔが、Ｂさんの手足の動作量や手の位置に応じて設定された表示位置やテキストの向きで表示されるようになる。
そして、合成映像Ｐｃを生成するステップＳ０２３が終了した時点で、合成映像生成処理が終了する。
【００８６】
＜＜その他の実施形態＞＞
上記の実施形態では、本発明の映像表示システム及び映像表示方法について一例を挙げて説明した。しかし、上記の実施形態は、あくまでも一例に過ぎず、他の例も考えられる。例えば、上記の実施形態では、互いに離れた場所に居るユーザ同士がお互いの映像を確認（利用）するために本発明の映像表示システムを利用するケースを例に挙げて説明した。すなわち、上記の実施形態では、双方向に映像を配信することが可能なシステムに対して本発明を適用することとしたが、これに限定されるものではない。一方のユーザの映像を他方のユーザに向けて配信するのに対し、他方のユーザの映像を一方のユーザには配信しない一方向通信システムに対しても本発明は適用可能である。
【００８７】
また、上記の実施形態では、映像表示に関する一連の機能が一台のサーバコンピュータ１によって実現されていることとした。ただし、これに限定されるものではなく、映像表示に関する一連の機能が複数台のコンピュータによって実現されてもよい。例えば、記憶部１９に相当する機能部が、サーバコンピュータ１とは別のコンピュータ、具体的には、サーバコンピュータと通信可能な外部サーバによって構成されてもよい。
【００８８】
また、上記の実施形態では、映像を受信する側のサーバコンピュータ１が、当該映像と共に取得した音声を解析して発話者の発話内容を特定し、当該発話内容を示すテキスト画像Ｐｔとカメラ２の撮影映像との合成映像Ｐｃを生成することとした。ただし、これに限定するものではなく、音声解析や合成映像Ｐｃの生成が映像配信側のサーバコンピュータ１によって行われてもよい。
【００８９】
また、上記の実施形態では、映像と共に受信した深度データから発話者の骨格モデルを取得し、当該骨格モデルから発話者の動作内容を特定することとした。このような特定方法にて発話者の動作内容を特定すれば、発話者の身体各部の動きを的確に特定することが可能となる。ただし、発話者の動作内容の特定方法については、上記の内容に限定されるものではない。例えば、発話者に装着されて当該発話者の身体各部の位置を直接計測するセンサ（モーションキャプチャ用のセンサ）を用い、当該センサの計測結果から発話者の動作内容を特定してもよい。あるいは、発話者の映像（人物映像）に対して映像解析処理を適用し、その解析結果から発話者の動作内容を特定してもよい。
【００９０】
また、上記の実施形態では、ディスプレイ５に一人の発話者の映像が表示されるケースを例に挙げて説明した。これに限定されるものではなく、複数人の発話者の映像がディスプレイ５に同時表示されてもよい。かかる場合において、各発話者の映像から各発話者が誰であるのかを特定し、その特定結果に応じた情報（以下、発話者特定情報）を、各発話者の映像近傍に表示すると好適である。なお、発話者特定情報としては、各発話者の個人情報（名前やニックネーム、住所、職業等）、各発話者のバイタル情報（血圧や心拍数等）、及び各発話者の紹介文などが挙げられる。
【００９１】
また、上記の実施形態では、発話者の発話時の音声を解析し、その解析結果に応じた画像として、発話内容を示すテキスト画像Ｐｔを合成映像Ｐｃ中に組み込むこととした。ただし、音声解析の解析結果に応じた画像としては、上記のテキスト画像Ｐｔに限られず、解析結果に応じたイラスト画像、絵文字若しくは記号等の図柄画像を採用してもよい。
【００９２】
また、上記の実施形態では、合成映像Ｐｃ中のテキスト画像Ｐｔの表示態様として、テキスト画像Ｐｔの表示位置及びテキストの向きの双方を、発話者の動作内容に応じて決定することとした。ただし、これに限定されるものではなく、上記２つの事項のうちのいずれか一つを発話者の動作内容に応じて決定してもよい。
【００９３】
また、上記の実施形態では、発話者及び発話者の映像を利用する利用者がそれぞれ一人ずつ存在するケース、すなわち、１：１の通信形態を例に挙げて説明した。ただし、これに限定されるものではなく、発話者が複数人いてもよい。かかる場合において、複数人の発話者が一台の通信ユニット１００を共有する（分かり易くは、同時に複数人が一台の通信ユニット１００を使用する）こととしてもよく、発話者毎に通信ユニット１００が用意されていてもよい。同様に、発話者の映像を利用する利用者が複数人いてもよい。かかる場合において、複数人の利用者が一台の通信ユニット１００を共有してもよく、利用者毎に通信ユニット１００が用意されてもよい。
【符号の説明】
【００９４】
１  サーバコンピュータ（コンピュータ）
２  カメラ（撮影装置）
３  マイク
４  赤外線センサ（計測装置）
５  ディスプレイ（表示器）
６  スピーカ
１１  映像配信部
１２  計測結果送信部
１３  映像取得部
１４  映像表示部
１５  音声再生部
１６  計測結果取得部
１７  音声解析部
１８  動作内容特定部
１９  記憶部
２０  合成映像生成部
１００  通信ユニット
ＧＮ  外部通信ネットワーク
Ｐｃ  合成映像
Ｐｈ  人物映像
Ｐｔ  テキスト画像
Ｓ  本システム（映像表示システム）
【図１】
2017126861.tif 000003
【図２】
2017126861.tif 000004
【図３】
2017126861.tif 000005
【図４】
2017126861.tif 000006
【図５】
2017126861.tif 000007
【図６】
2017126861.tif 000008
【図７】
2017126861.tif 000009
【図８】
2017126861.tif 000010
【図９】
2017126861.tif 000011