(57)【要約】【課題】通信障害等によって一方のユーザの映像が他方のユーザに対して表示されなくなった場合に、通信再開後に各ユーザの映像を表示するにあたって適切な措置を講じる。【解決手段】互いに離れた指導者と受講者の映像を送受信するために通信し合う２つの通信ユニットにより、受講者の映像が指導者に対して表示され、指導者の映像が受講者に対して表示され、２つの通信ユニットのうちの主ユニットは、通信期間中に、主ユニットが従ユニットから映像を受信している一方で従ユニットが主ユニットから映像を受信しなくなると、映像受信中断を報知するための情報を主ユニットと対応するユーザに対して表示し、従ユニットが主ユニットから映像を再び受信するようになると、映像受信再開を報知するための情報を主ユニットと対応するユーザに対して表示する。【選択図】図１３
2018042038.tif 000002
【特許請求の範囲】
【請求項１】
互いに離れた第一ユーザと第二ユーザが互いの映像を見るために用いられる映像表示システムであって、
映像を送受信するために通信し合う第一通信ユニット及び第二通信ユニットを有し、
前記第一通信ユニットは、前記第一ユーザの映像を前記第二通信ユニットに向けて送信するとともに、前記第二ユーザの映像を前記第二通信ユニットから受信して前記第一ユーザに対して表示し、
前記第二通信ユニットは、前記第二ユーザの映像を前記第一通信ユニットに向けて送信するとともに、前記第一ユーザの映像を前記第一通信ユニットから受信して前記第二ユーザに対して表示し、
前記第一通信ユニット及び前記第二通信ユニットの双方のうち、一方のユニットは、前記双方が通信し始めてから通信し終わるまでの期間中に前記一方のユニットが他方のユニットから映像を受信している一方で前記他方のユニットが前記一方のユニットから映像を受信しなくなると、前記他方のユニットにおける映像受信の中断を報知するための情報を、前記第一ユーザ及び前記第二ユーザのうち、前記一方のユニットと対応するユーザに対して表示し、前記他方のユニットが前記一方のユニットから映像を再び受信するようになると、前記他方のユニットにおける映像受信の再開を報知するための情報を、前記一方のユニットと対応するユーザに対して表示することを特徴とする映像表示システム。
【請求項２】
前記一方のユニットは、前記期間中、前記一方のユニットが他方のユニットから映像を受信している一方で前記他方のユニットが前記一方のユニットから映像を受信しなくなった時点の後で、所定の画像を前記一方のユニットと対応するユーザに対して表示し、
前記所定の画像は、前記他方のユニットが前記一方のユニットから映像を受信しなくなる直前に撮影された前記一方のユニットと対応するユーザの映像であることを特徴とする請求項１に記載の映像表示システム。
【請求項３】
前記一方のユニットは、前記期間中、前記他方のユニットが前記一方のユニットから映像を再び受信するようになった際に、前記所定の画像を前記一方のユニットと対応するユーザに対して表示することを特徴とする請求項２に記載の映像表示システム。
【請求項４】
前記一方のユニットは、前記期間中、前記他方のユニットが前記一方のユニットから映像を受信していない間に、前記所定の画像を前記一方のユニットと対応するユーザに対して表示することを特徴とする請求項２に記載の映像表示システム。
【請求項５】
前記期間中における前記第一ユーザの状態を検出する第一検出部と、前記期間中における前記第二ユーザの状態を検出する第二検出部と、前記映像表示システムの動作モードを切り替えるモード切り替え部と、を有し、
該モード切り替え部は、前記第一検出部及び前記第二検出部の各々の検出結果に基づき、前記第一通信ユニットが前記一方のユニットとなり前記第二通信ユニットが前記他方のユニットとなるモードと、前記第二通信ユニットが前記一方のユニットとなり前記第一通信ユニットが前記他方のユニットとなるモードと、の間で前記動作モードを切り替えることを特徴とする請求項１乃至４のいずれか一項に記載の映像表示システム。
【請求項６】
前記第一検出部は、前記第一ユーザの音声を検出し、
前記第二検出部は、前記第二ユーザの音声を検出し、
前記第一検出部が前記第一ユーザの音声を検出する一方で前記第二検出部が前記第二ユーザの音声を検出しない場合、前記モード切り替え部は、前記動作モードを、前記第一通信ユニットが前記一方のユニットとなり前記第二通信ユニットが前記他方のユニットとなるモードとし、
前記第二検出部が前記第二ユーザの音声を検出する一方で前記第一検出部が前記第一ユーザの音声を検出しない場合、前記モード切り替え部は、前記動作モードを、前記第二通信ユニットが前記一方のユニットとなり前記第一通信ユニットが前記他方のユニットとなるモードとすることを特徴とする請求項５に記載の映像表示システム。
【請求項７】
前記第一検出部は、前記第一ユーザの動作を検出し、
前記第二検出部は、前記第二ユーザの動作を検出し、
前記第一ユーザが前記第二ユーザよりも先に特定の動作を行ったことを前記第一検出部が検出した場合、前記モード切り替え部は、前記動作モードを、前記第一通信ユニットが前記一方のユニットとなり前記第二通信ユニットが前記他方のユニットとなるモードとし、
前記第二ユーザが前記第一ユーザよりも先に特定の動作を行ったことを前記第二検出部が検出した場合、前記モード切り替え部は、前記動作モードを、前記第二通信ユニットが前記一方のユニットとなり前記第一通信ユニットが前記他方のユニットとなるモードとすることを特徴とする請求項５に記載の映像表示システム。
【請求項８】
前記一方のユニットは、前記期間中に、前記他方のユニットが前記一方のユニットから映像を受信している一方で前記一方のユニットが前記他方のユニットから映像を受信しなくなると、前記一方のユニットが前記他方のユニットから映像を再び受信するようになった際に、前記一方のユニットにおける映像受信が中断している間に前記他方のユニットが前記一方のユニットから映像を受信し続けていたことを報知するための情報を、前記一方のユニットと対応するユーザに対して表示することを特徴とする請求項１乃至７のいずれか一項に記載の映像表示システム。
【請求項９】
映像を送受信するために通信し合う第一通信ユニット及び第二通信ユニットを有する映像表示システムを用いて、互いに離れた第一ユーザと第二ユーザが互いの映像を見るための映像表示方法であって、
前記第一通信ユニットが、前記第一ユーザの映像を前記第二通信ユニットに向けて送信するとともに、前記第二ユーザの映像を前記第二通信ユニットから受信して前記第一ユーザに対して表示し、
前記第二通信ユニットが、前記第二ユーザの映像を前記第一通信ユニットに向けて送信するとともに、前記第一ユーザの映像を前記第一通信ユニットから受信して前記第二ユーザに対して表示し、
前記第一通信ユニット及び前記第二通信ユニットの双方のうち、一方のユニットが、前記双方が通信し始めてから通信し終わるまでの期間中に前記一方のユニットが他方のユニットから映像を受信している一方で前記他方のユニットが前記一方のユニットから映像を受信しなくなると、前記他方のユニットにおける映像受信の中断を報知するための情報を、前記第一ユーザ及び前記第二ユーザのうち、前記一方のユニットと対応するユーザに対して表示し、前記他方のユニットが前記一方のユニットから映像を再び受信するようになると、前記他方のユニットにおける映像受信の再開を報知するための情報を、前記一方のユニットと対応するユーザに対して表示することを特徴とする映像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、互いに離れた第一ユーザと第二ユーザが互いの映像を見るために用いられる映像表示システム及び映像表示方法に係り、特に、一方のユーザの映像が表示されなくなった場合にも適切に対応することが可能な映像表示システム及び映像表示方法に関する。
【背景技術】
【０００２】
互いに離れたユーザ同士が互いの映像を見るための通信技術は、既に知られている。かかる通信技術を利用したシステム（以下、映像表示システム）では、ユーザ毎に通信ユニットが用意され、通信ユニット間で映像の送受信が行われる。そして、各通信ユニットは、受信した映像をユーザ（具体的には映像を受信した通信ユニットを利用するユーザ）に対して表示する。これにより、各ユーザは、離れた場所に居る他のユーザの映像を見ながら当該ユーザと対話すること（すなわち、遠隔対話）が可能となる。さらに、遠隔対話の技術を応用することで、講師や指導者（インストラクター）が遠隔地に居る受講生に対して講義や指導等を行うことも可能となる。
【０００３】
一方、通信ユニット間で通信が行われている期間中、通信回線の異常や過大な通信負荷等によって一方のユーザ（例えば、講師や指導者であり、以下、第一ユーザと呼ぶ）の映像の送受信が中断し、当該映像が他方のユーザ（例えば、受講者であり、以下、第二ユーザと呼ぶ）側で正常に表示されなくなる場合がある。このような通信トラブルへの対応策の一例としては、特許文献１に記載の技術が挙げられる。
【０００４】
特許文献１に記載の技術は、ライブ映像の映像データを送信する通信システムにおいて、通信回線に障害が発生すると、当該障害期間中に撮影した映像を記憶しておき、通信回線が復旧した後に、ライブ映像の映像データを送信すると共に、記憶していた映像（障害期間中の撮影映像）の映像データを送信するものである。これにより、通信再開後にライブ映像及び障害期間中の映像の双方を確認することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−２１６６６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、第一ユーザと第二ユーザの双方の映像のうち、一方のユーザの映像の送受信のみが通信障害によって正常に行われなくなっている間、他方のユーザの映像については正常に送受信される場合がある。例えば、第一ユーザの映像の送受信が中断している間、第二ユーザの映像の送受信が正常に行われる場合、第二ユーザは、第一ユーザの映像を見ることができなくなるが、第一ユーザは、第二ユーザの映像を見続けることができる。このような状況では、特許文献１に記載の技術を利用して通信再開後に通信中断中の第一ユーザの映像を見ることができるとしても、通信が中断していたことに第一ユーザが気付かないまま第二ユーザとの対話（例えば、講義や指導等）を進めてしまう虞がある。この結果、第一ユーザと第二ユーザとが通信再開後に遠隔対話をスムーズに行い難くなってしまう。
【０００７】
そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、通信障害等によって一方のユーザの映像が他方のユーザに対して表示されなくなった場合において、通信再開後に各ユーザの映像を表示するにあたって適切な措置を講じることが可能な映像表示システム及び映像表示方法を提供することである。
【課題を解決するための手段】
【０００８】
前記課題は、本発明の映像表示システムによれば、互いに離れた第一ユーザと第二ユーザが互いの映像を見るために用いられる映像表示システムであって、映像を送受信するために通信し合う第一通信ユニット及び第二通信ユニットを有し、前記第一通信ユニットは、前記第一ユーザの映像を前記第二通信ユニットに向けて送信するとともに、前記第二ユーザの映像を前記第二通信ユニットから受信して前記第一ユーザに対して表示し、前記第二通信ユニットは、前記第二ユーザの映像を前記第一通信ユニットに向けて送信するとともに、前記第一ユーザの映像を前記第一通信ユニットから受信して前記第二ユーザに対して表示し、前記第一通信ユニット及び前記第二通信ユニットの双方のうち、一方のユニットは、前記双方が通信し始めてから通信し終わるまでの期間中に前記一方のユニットが他方のユニットから映像を受信している一方で前記他方のユニットが前記一方のユニットから映像を受信しなくなると、前記他方のユニットにおける映像受信の中断を報知するための情報を、前記第一ユーザ及び前記第二ユーザのうち、前記一方のユニットと対応するユーザに対して表示し、前記他方のユニットが前記一方のユニットから映像を再び受信するようになると、前記他方のユニットにおける映像受信の再開を報知するための情報を、前記一方のユニットと対応するユーザに対して表示することにより解決される。
【０００９】
上記のように構成された本発明の映像表示システムでは、各ユーザの映像を送受信するために第一通信ユニット及び第二通信ユニットが通信している期間中、２つの通信ユニットのうち、一方のユニットの映像を他方のユニット（すなわち、通信障害が発生しているユニット）が映像を受信しなくなると、その状況を報知するための情報を、正常に映像を見ている方のユーザに対して表示する。これにより、当該ユーザは、通信障害が発生しているユニットにおいて自分の映像が正常に受信されていないことを認識するようになる。また、通信再開後には、通信再開を報知するための情報を上記のユーザに対して表示する。これにより、当該ユーザは、通信が再開して相手のユーザが自分の映像を再び見られるようになったことを認識するようになる。
以上のように、本発明の映像表示システムによれば、２つの通信ユニットの一方で映像の送受信が中断し、その後に当該映像の送受信が再開するケースにおいて、正常に映像を見ている方のユーザに、通信障害が発生しているユニットにおける映像の送受信の中断及び再開を適切に気付かせることが可能となる。これにより、上記のユーザは、通信再開後に相手のユーザと遠隔対話を行うにあたり、当該相手のユーザが通信中断中には映像（正常に映像を見ている方のユーザの映像）を見ていないことに配慮するようになる。この結果、第一ユーザ及び第二ユーザの両者は、通信再開後に遠隔対話をスムーズに行えるようになる。
【００１０】
また、上記の構成において、前記一方のユニットは、前記期間中、前記一方のユニットが他方のユニットから映像を受信している一方で前記他方のユニットが前記一方のユニットから映像を受信しなくなった時点の後で、所定の画像を前記一方のユニットと対応するユーザに対して表示し、前記所定の画像は、前記他方のユニットが前記一方のユニットから映像を受信しなくなる直前に撮影された前記一方のユニットと対応するユーザの映像であると、好適である。
上記の構成では、２つの通信ユニットの一方で映像の送受信が中断したとき、正常に映像を見ている方のユーザに対して、中断直前における当該ユーザの映像を表示する。これにより、正常に映像を見ている方のユーザは、映像の送受信が中断していた通信ユニットにおいて映像の送受信が再開した際に、中断直前に相手のユーザが見ていた映像を把握した上で遠隔対話を行うようになる。
【００１１】
また、上記の構成において、前記一方のユニットは、前記期間中、前記他方のユニットが前記一方のユニットから映像を再び受信するようになった際に、前記所定の画像を前記一方のユニットと対応するユーザに対して表示すると、より好適である。
上記の構成では、２つの通信ユニットの一方で映像の送受信が中断した後に当該映像の送受信が再開した際に、正常に映像を見ている方のユーザに対して、中断直前における当該ユーザの映像を表示する。これにより、正常に映像を見ている方のユーザは、映像の送受信が中断していた通信ユニットにおいて映像の送受信が再開したことに気付き易くなり、さらに、中断直前に相手のユーザが見ていた映像を的確に把握することが可能となる。
【００１２】
また、上記の構成において、前記一方のユニットは、前記期間中、前記他方のユニットが前記一方のユニットから映像を受信していない間に、前記所定の画像を前記一方のユニットと対応するユーザに対して表示すると、より一層好適である。
上記の構成では、２つの通信ユニットの一方で映像の送受信が中断した間に、正常に映像を見ている方のユーザに対して、中断直前における当該ユーザの映像を表示する。これにより、映像の送受信が中断していた通信ユニットにおいて映像の送受信が再開する時点で、それまで正常に映像を見ている方のユーザは、中断直前に相手のユーザが見ていた映像を既に把握するようになり、通信再開後の遠隔対話をよりスムーズに行うようになる。
【００１３】
また、上記の構成において、前記期間中における前記第一ユーザの状態を検出する第一検出部と、前記期間中における前記第二ユーザの状態を検出する第二検出部と、前記映像表示システムの動作モードを切り替えるモード切り替え部と、を有し、該モード切り替え部は、前記第一検出部及び前記第二検出部の各々の検出結果に基づき、前記第一通信ユニットが前記一方のユニットとなり前記第二通信ユニットが前記他方のユニットとなるモードと、前記第二通信ユニットが前記一方のユニットとなり前記第一通信ユニットが前記他方のユニットとなるモードと、の間で前記動作モードを切り替えると、さらに好適である。
上記の構成では、相手のユーザ側で映像の送受信が中断したことを報知する際の対象となるユーザを、通信期間中における第一ユーザ及び第二ユーザの各々の状態に応じて切り替える。これにより、相手のユーザ側で映像の送受信が中断したことを報知する対象者（ユーザ）を、状況に応じて適宜切り替えることが可能となる。
【００１４】
また、上記の構成において、前記第一検出部は、前記第一ユーザの音声を検出し、前記第二検出部は、前記第二ユーザの音声を検出し、前記第一検出部が前記第一ユーザの音声を検出する一方で前記第二検出部が前記第二ユーザの音声を検出しない場合、前記モード切り替え部は、前記動作モードを、前記第一通信ユニットが前記一方のユニットとなり前記第二通信ユニットが前記他方のユニットとなるモードとし、前記第二検出部が前記第二ユーザの音声を検出する一方で前記第一検出部が前記第一ユーザの音声を検出しない場合、前記モード切り替え部は、前記動作モードを、前記第二通信ユニットが前記一方のユニットとなり前記第一通信ユニットが前記他方のユニットとなるモードとすると、尚更好適である。
上記の構成では、相手のユーザ側で映像の送受信が中断したことを報知する際の対象となるユーザを、第一ユーザ及び第二ユーザの各々の発話の有無に応じて切り替える。これにより、例えば、発話しているユーザ側の通信ユニットを一方のユニット（すなわち、相手のユーザ側で映像の送受信が中断した際に、その旨が報知される方の通信ユニット）に設定することが可能となる。
【００１５】
また、上記の構成において、前記第一検出部は、前記第一ユーザの動作を検出し、前記第二検出部は、前記第二ユーザの動作を検出し、前記第一ユーザが前記第二ユーザよりも先に特定の動作を行ったことを前記第一検出部が検出した場合、前記モード切り替え部は、前記動作モードを、前記第一通信ユニットが前記一方のユニットとなり前記第二通信ユニットが前記他方のユニットとなるモードとし、前記第二ユーザが前記第一ユーザよりも先に特定の動作を行ったことを前記第二検出部が検出した場合、前記モード切り替え部は、前記動作モードを、前記第二通信ユニットが前記一方のユニットとなり前記第一通信ユニットが前記他方のユニットとなるモードとすると、益々好適である。
上記の構成では、相手のユーザ側で映像の送受信が中断したことを報知する際の対象となるユーザを、第一ユーザ及び第二ユーザのうちのどちらが特定の動作を先に行っているか否かに応じて切り替える。これにより、特定の動作を先に行っているユーザ側の通信ユニットを一方のユニット（すなわち、相手のユーザ側で映像の送受信が中断した際に、その旨が報知される方の通信ユニット）に設定することが可能となる。
【００１６】
また、上記の構成において、前記一方のユニットは、前記期間中に、前記他方のユニットが前記一方のユニットから映像を受信している一方で前記一方のユニットが前記他方のユニットから映像を受信しなくなると、前記一方のユニットが前記他方のユニットから映像を再び受信するようになった際に、前記一方のユニットにおける映像受信が中断している間に前記他方のユニットが前記一方のユニットから映像を受信し続けていたことを報知するための情報を、前記一方のユニットと対応するユーザに対して表示すると、一段と好適である。
上記の構成では、一方のユニット側で映像の送受信が中断し、その後に再開したときに、当該一方のユニットと対応するユーザに対して、相手のユーザ側では映像の送受信が正常に行われていたことを報知する。これにより、一方のユニットと対応するユーザは、自分が相手のユーザの映像を見ていない間に相手のユーザが当該一方のユニットと対応するユーザの映像を見続けていたことを、適切に認識するようになる。
【００１７】
また、前述の課題は、本発明の映像表示方法によれば、映像を送受信するために通信し合う第一通信ユニット及び第二通信ユニットを有する映像表示システムを用いて、互いに離れた第一ユーザと第二ユーザが互いの映像を見るための映像表示方法であって、前記第一通信ユニットが、前記第一ユーザの映像を前記第二通信ユニットに向けて送信するとともに、前記第二ユーザの映像を前記第二通信ユニットから受信して前記第一ユーザに対して表示し、前記第二通信ユニットが、前記第二ユーザの映像を前記第一通信ユニットに向けて送信するとともに、前記第一ユーザの映像を前記第一通信ユニットから受信して前記第二ユーザに対して表示し、前記第一通信ユニット及び前記第二通信ユニットの双方のうち、一方のユニットが、前記双方が通信し始めてから通信し終わるまでの期間中に前記一方のユニットが他方のユニットから映像を受信している一方で前記他方のユニットが前記一方のユニットから映像を受信しなくなると、前記他方のユニットにおける映像受信の中断を報知するための情報を、前記第一ユーザ及び前記第二ユーザのうち、前記一方のユニットと対応するユーザに対して表示し、前記他方のユニットが前記一方のユニットから映像を再び受信するようになると、前記他方のユニットにおける映像受信の再開を報知するための情報を、前記一方のユニットと対応するユーザに対して表示することにより解決される。
上記の方法によれば、２つの通信ユニットの一方で映像の送受信が中断し、その後に当該映像の送受信が再開するケースにおいて、正常に映像を見ている方のユーザに、通信障害が発生しているユニットにおける映像の送受信の中断及び再開を適切に気付かせることが可能となる。この結果、第一ユーザ及び第二ユーザの両者は、通信再開後に遠隔対話をスムーズに行えるようになる。
【発明の効果】
【００１８】
本発明によれば、一方の通信ユニットで映像の送受信が中断した後に当該映像の送受信が再開するケースにおいて、正常に映像を見ている方のユーザに、通信障害が発生しているユニットにおける映像の送受信の中断及び再開を適切に気付かせることが可能となる。これにより、通信再開後には、通信ユニットを通じたユーザ間の対話（遠隔対話）がスムーズに行われるようになる。
【図面の簡単な説明】
【００１９】
【図１】本発明の映像表示システムの説明図である。
【図２】本発明の映像表示システムの構成を示すブロック図である。
【図３】第一通信ユニットの構成を示す図である。
【図４】第二通信ユニットの構成を示す図である。
【図５】深度データの説明図である。
【図６】通信フローの手順を示す図である。
【図７】判定処理の流れを示す図である。
【図８】第一の通信中断への対応措置に関する概要を示す図である。
【図９】第二の通信中断への対応措置に関する概要を示す図である。
【図１０】第一の通信中断の発生を報知する情報を示す図である。
【図１１】第一の通信中断後に通信が再開したときに表示される情報を示す図である。
【図１２】第二の通信再開時に表示される情報を示す図である。
【図１３】第一の通信監視処理の流れを示す図である。
【図１４】第二の通信監視処理の流れを示す図である。
【図１５】第一の通信中断への対応措置に関するバリエーションを示す図である。
【図１６】判定処理の変形例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の一実施形態（以下、本実施形態）について説明する。なお、以下に説明する実施形態は、本発明の理解を容易にするための一例であり、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
【００２１】
＜＜本実施形態に係る映像表示システムの概要＞＞
先ず、本実施形態に係る映像表示システムについて、その用途や概略構成について説明する。本実施形態に係る映像表示システムは、互いに離れたユーザ同士が互いの映像を見ながら対話（遠隔対話）を行うために用いられる通信システムである。以下では、遠隔地に居る受講者に指導者が運動指導（フィットネス指導）を行うために本実施形態に係る映像表示システムを用いるケースを例に挙げて説明する。すなわち、以下のケースにおける映像表示システムは、運動指導用の映像表示システム（以下、運動指導用システム１）である。
【００２２】
なお、本実施形態に係る映像表示システムの用途は、上述の用途に限定されるものではない。つまり、本実施形態に係る映像表示システムは、遠隔対話を要する様々な用途に利用可能であり、例えば、ユーザ同士が互いに離れた場所で行われる学習教育や教養講座（カルチャースクール）、商品等の売買契約にも利用可能である。
【００２３】
運動指導用システム１は、第一ユーザである指導者Ｉと、第二ユーザである受講者Ｊとによって同時に利用される。指導者Ｉ及び受講者Ｊの各々は、運動指導用システム１を利用することで、互いに異なる場所（部屋）に居ながら互いの映像をリアルタイムで見ることができる。具体的に説明すると、図１に示すように、受講者Ｊは、ジムＰ１に設置されたディスプレイ１１にて指導者Ｉの映像を見て指導者Ｉの指導を受けることが可能である。図１は、運動指導用システム１の説明図であり、指導者Ｉ及び受講者Ｊが運動指導用システム１を利用してお互いの映像を見ている様子を図示している。
【００２４】
一方、図１に示すように、指導者Ｉは、専用ブースＰ２に設置されたディスプレイ１１にてレッスン受講中の受講者Ｊの映像を見て、受講者Ｊの状態（例えば、指導に対する理解度合い、疲労度、適切に身体を動かせているか等）を監視することが可能である。なお、ジムＰ１と専用ブースＰ２とは、互いに異なる建物に在る場所であってもよく、同一の建物内において互いに離れた部屋であってもよい。
【００２５】
運動指導用システム１の構成について説明すると、図２に示すように、インターネット等の通信ネットワークＮＴを介して通信可能な状態で接続された２つの通信ユニットによって運動指導用システム１が構成されている。２つの通信ユニットのうちの一つは、第一通信ユニットに相当し、主に指導者Ｉによって利用されるもの（以下、指導者側ユニット２）である。もう一つのユニットは、第二通信ユニットに相当し、主に受講者Ｊによって利用されるもの（以下、受講者側ユニット３）である。図２は、運動指導用システム１の構成を示すブロック図である。
【００２６】
なお、本実施形態において、指導者側ユニット２及び受講者側ユニット３の間の通信は、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）方式にて行われることになっている。つまり、各通信ユニットは、相手側の通信ユニットに対してデータ（すなわち、映像）を送信する一方で、映像が正常に受信されたかについての確認やデータ欠落の検知及び再送は行われないことになっている。
【００２７】
指導者側ユニット２及び受講者側ユニット３は、通信ネットワークＮＴを通じて映像を送受信するために通信し合う。より具体的に説明すると、指導者側ユニット２は、指導者Ｉの映像を受講者側ユニット３に向けて送信し、受講者側ユニット３は、指導者Ｉの映像を指導者側ユニット２から受信して受講者Ｊに対して表示する。一方、受講者側ユニット３は、受講者Ｊの映像を指導者側ユニット２に向けて送信し、指導者側ユニット２は、受講者Ｊの映像を受講者側ユニット３から受信して指導者Ｉに対して表示する。これにより、図３及び図４に示すように、指導者Ｉ及び受講者Ｊの双方は、それぞれが居る部屋（具体的には、ジムＰ１や専用ブースＰ２）に設置されたディスプレイ１１にて相手の映像を見るようになる。なお、図３は、指導者側ユニット２の構成を示す図であり、指導者Ｉが受講者Ｊの映像を見ている様子を図示している。図４は、受講者側ユニット３の構成を示す図であり、受講者Ｊが指導者Ｉを見ている様子を図示している。
【００２８】
ところで、運動指導用システム１では、指導者側ユニット２及び受講者側ユニット３のうちの一方を主ユニットとして設定し、他方を従ユニットとして設定している。ここで、主ユニットは、本発明の「一方のユニット」であり、ユニット間の通信に関して所定の権限（当該権限については後に詳述する）が付与される。また、従ユニットは、本発明の「他方のユニット」であり、上記の権限が付与されることはない。なお、本実施形態では、指導者Ｉ及び受講者Ｊのうち、発言権を持つユーザが利用する方のユニットが主ユニットに該当し、それ以外のユーザが利用する方のユニットが従ユニットに該当する。
【００２９】
また、運動指導用システム１では、主ユニットに該当する通信ユニットを切り換えることが可能である。より詳しく説明すると、本実施形態において、運動指導用システム１の動作モードは、２つのモードの間で切り替え可能となっている。ここで、２つのモードのうちの一つは、指導者側ユニット２が主ユニットとなり受講者側ユニット３が従ユニットとなるモード（以下、指導者優先モード）である。もう一つのモードは、受講者側ユニット３が主ユニットとなり指導者側ユニット２が従ユニットとなるモード（以下、受講者優先モード）である。
【００３０】
そして、運動指導用システム１の動作モードは、発言権の所在がユーザ間で変動することに伴って切り替わり、具体的には、発言権が指導者Ｉに在る場合には指導者優先モードとなり、発言権が受講者Ｊに在る場合には受講者優先モードとなる。
【００３１】
さらに、運動指導用システム１では、通信障害等によって一方のユーザ（具体的には、主ユニットと対応するユーザ）の映像が相手のユーザ（具体的には、従ユニットと対応するユーザ）に対して表示されなくなると、その旨を報知し、その後に通信が再開されると、同様に、その旨を報知する。これにより、通信再開後には遠隔対話をスムーズに行えるようになる。以上の内容は、本実施形態の映像表示システムである運動指導用システム１の特徴であり、後に詳しく説明することとする。
【００３２】
＜＜通信ユニットの詳細構成＞＞
次に、指導者側ユニット２及び受講者側ユニット３のそれぞれの詳細構成について、図２乃至４を参照しながら説明する。先ず、指導者側ユニット２について説明すると、指導者側ユニット２は、専用ブースＰ２において使用され、専用ブースＰ２に設置されたディスプレイ１１に映像を表示すると共に、専用ブースＰ２内の映像を撮影する。指導者側ユニット２の機器構成について説明すると、図２及び図３に示すように、指導者側サーバ４と、ディスプレイ１１と、スピーカ１２と、カメラ１３と、マイク１４と、赤外線センサ１５と、によって指導者側ユニット２が構成されている。ディスプレイ１１は、映像表示用の画面を構成する機器である。なお、本実施形態に係るディスプレイ１１は、図３に示すように受講者Ｊの映像を等身大サイズにて表示するのに十分な画面サイズとなっている。また、本実施形態に係るディスプレイ１１は、幾分幅広となっており、ジムＰ１において横並びの状態にある複数（例えば、３〜４名）の受講者Ｊを同時に表示することが可能である。
【００３３】
スピーカ１２は、映像中に組み込まれた音声を再生したときの再生音を発するものであり、公知のスピーカによって構成される。
カメラ１３は、撮像範囲（画角）内にある被写体の映像を撮像する撮像装置であり、公知のネットワークカメラからなる。ここで、「映像」とは、連続している複数のフレーム画像の集合体によって構成されたもの、すなわち、動画を意味する。また、本実施形態において、が有するカメラ１３は、図３に示すように、ディスプレイ１１の直上位置に設置されている。このため、指導者側ユニット２のカメラ１３は、起動中、ディスプレイ１１の手前位置にある被写体の映像を撮像することになる。
【００３４】
マイク１４は、マイク１４が設置された部屋内の音声を集音するものである。
赤外線センサ１５は、所謂デプスセンサであり、赤外線方式にて計測対象物の深度を計測するためのセンサである。具体的に説明すると、赤外線センサ１５は、計測対象物に向けて赤外線を照射し、その反射光を受光することで計測対象物各部の深度を計測する。ここで、「深度」とは、基準面から計測対象物までの距離（すなわち、奥行距離）のことである。ちなみに、本実施形態では、専用ブースＰ２に設置されたディスプレイ１１の映像表示面（画面）が基準面に該当する。つまり、赤外線センサ１５は、深度として、ディスプレイ１１の画面と計測対象物の間の距離、より厳密にはディスプレイ１１の画面の法線方向（換言すると、ディスプレイ１１を貫く方向）における距離を計測することになる。
【００３５】
なお、本実施形態に係る赤外線センサ１５は、カメラ１３が撮影した映像を所定数の画素に分割したときの当該画素毎に深度を計測する。そして、画素毎に得られた深度の計測結果を映像単位でまとめると、当該映像についての深度データが得られるようになる。深度データについて図５を参照しながら説明すると、深度データは、カメラ１３の撮像映像（厳密には、各フレーム画像）について画素別に深度を規定したものである。具体的に説明すると、図中の黒塗りの画素が、背景映像に属する画素に相当し、白抜きの画素が、背景よりも前方に位置する被写体の映像（例えば、人物映像）に属する画素に相当する。図５は、深度データの説明図である。
【００３６】
指導者側サーバ４は、指導者側ユニット２の主要機器であり、専用ブースＰ２内に設置されたサーバコンピュータによって構成されている。この指導者側サーバ４の構成については、公知であり、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、通信用インタフェース及びハードディスクドライブ等によって構成されている。また、指導者側サーバ４を構成するサーバコンピュータには、映像表示に関する一連の処理を実行するためのコンピュータプログラム（以下、指導者用の映像表示プログラム）がインストールされている。
【００３７】
指導者側サーバ４は、指導者用の映像表示プログラムが実行されることで、カメラ１３及びマイク１４を制御して専用ブースＰ２内の映像を撮影したり音声を集音したりする。そして、指導者側サーバ４は、マイク１４が集音した音声をカメラ１３の撮影映像中に組み込んだ上で、当該映像を指導者側ユニット２に向けて送信する。この際、指導者側サーバ４は、赤外線センサ１５の深度計測によって得られた深度データ、すなわち、専用ブースＰ２内の映像について取得された深度データを併せて送信する。
【００３８】
なお、本実施形態では、カメラ１３及びマイク１４が常に作動しており、専用ブースＰ２内において映像の撮影及び音声の集音が常時行われている。ただし、これに限定されるものではなく、専用ブースＰ２内に不図示の人感センサが設置されており、当該人感センサが専用ブースＰ２内に居る人（具体的には指導者Ｉ）を検知している間に限り、カメラ１３及びマイク１４が作動し、専用ブースＰ２内において映像の撮影及び音声の集音が行われてもよい。
【００３９】
また、指導者側サーバ４は、指導者用の映像表示プログラムが実行されることで、上記の深度データを解析してカメラ１３の撮影映像中に人物映像が含まれているか否かを判定し、人物映像が含まれている場合には当該人物映像に映っている人物の動作を特定する。
【００４０】
より具体的に説明すると、指導者側サーバ４は、指導者側ユニット２が有する赤外線センサ１５の深度計測によって得られた深度データを解析する。かかる解析において、指導者側サーバ４は、深度の相違に基づき、深度データを構成する画素を背景映像の画素とそれ以外の映像の画素とに分ける。その後、指導者側サーバ４は、図５に図示の人物の骨格モデルを適用し、背景映像以外の映像の画素中に人物映像の画素が存在するかを判定する。骨格モデルとは、人物の身体中、頭部、肩、肘、手首、上半身中心、腰、膝、足首に関する位置関係を簡易的に示したモデルである。なお、骨格モデルの取得方法については、公知の方法が利用可能である。
【００４１】
そして、指導者側サーバ４は、人物映像の画素が存在すると判定した場合、当該画素を抽出した上で、抽出した画素と対応する映像をカメラ１３の撮影映像の中から特定し、かかる映像を人物映像とする。さらに、指導者側サーバ４は、抽出した人物映像の画素に対して上記の骨格モデルを再度適用することにより、人物映像に映っている人物の動作を特定する。なお、人物映像に映っている人物の動作の特定方法としては、深度データを用いた特定方法に限定されるものではなく、例えば、カメラ１３の撮影映像に対して画像解析を適用することで人物の動作を特定してもよい。
【００４２】
また、指導者側サーバ４は、指導者用の映像表示プログラムが実行されることで、通信ユニット同士が通信している期間（通信期間）中の指導者Ｉの状態を検知する機能を有している。具体的に説明すると、指導者側サーバ４は、通信期間中、マイク１４によって集音された音声を解析し、指導者Ｉの音声（発話時の声）を検出する。このように指導者側サーバ４は、マイク１４と協働して検出部（第一検出部）として機能する。
【００４３】
また、指導者側サーバ４は、指導者用の映像表示プログラムが実行されることで、受講者側ユニット３から送信されてくる映像を受信し、これに連動してディスプレイ１１及びスピーカ１２を制御する。これにより、専用ブースＰ２内のディスプレイ１１には受講者Ｊの人物映像を含むジムＰ１内の映像が表示されるようになる。また、専用ブースＰ２内のスピーカ１２からは、ジムＰ１内で集音された音声の再生音が発せられるようになる。
【００４４】
さらに、指導者側サーバ４は、指導者用の映像表示プログラムが実行されることで、受講者側ユニット３から受信する映像を所定時間分だけ記録する。より詳しく説明すると、指導者側ユニット２が従ユニットであるとき、指導者側サーバ４は、受講者側ユニット３から受信した映像のうち、直前３秒間の映像（厳密にはフレーム画像）を記憶する。なお、指導者側サーバ４に記憶される映像は、指導者側サーバ４が従ユニットであるときに受講者側ユニット３から映像を受信している間、随時更新される。このため、通信期間において指導者側ユニット２が従ユニットである間、指導者側サーバ４には現時点から３秒間遡った時点までの映像（直近３秒間の映像）が記憶されていることになる。
【００４５】
次に、受講者側ユニット３の構成について説明する。受講者側ユニット３は、ジムＰ１において使用され、ジムＰ１に設置されたディスプレイ１１に指導者Ｉの映像を表示すると共に、ジムＰ１内に居る受講者Ｊの映像を撮影する。受講者側ユニット３は、図２及び図４に示すように、受講者側サーバ５と、ディスプレイ１１と、スピーカ１２と、カメラ１３と、マイク１４と、赤外線センサ１５とを構成機器として有する。ディスプレイ１１、スピーカ１２、カメラ１３、マイク１４及び赤外線センサ１５の各々の機能は、指導者側ユニット２が有する機器と同様である。
【００４６】
なお、受講者側ユニット３が有するディスプレイ１１は、図４に示すように、指導者Ｉの人物像を等身大サイズにて表示するのに十分な画面サイズとなっている。また、受講者側ユニット３が有するカメラ１３は、図４に示すようにディスプレイ１１の直上位置に設置されているため、起動中、ディスプレイ１１の手前位置にある被写体の映像を撮像することになる。さらに、受講者側ユニット３が有するカメラ１３に関して言うと、画角が比較的幅広に設定されている。つまり、受講者側ユニット３が有するカメラ１３は、横方向（水平方向）に広い範囲で撮影することができ、ディスプレイ１１の前に複数（例えば３〜４人）の受講者Ｊが居る場合には当該複数の受講者Ｊを同時に撮影することが可能である。
【００４７】
受講者側サーバ５は、受講者側ユニット３の主要機器であり、ジムＰ１内に設置されたサーバコンピュータによって構成されている。なお、受講者側サーバ５の構成については、公知であり、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、通信用インタフェース及びハードディスクドライブ等によって構成されている。また、受講者側サーバ５を構成するサーバコンピュータには、映像表示に関する一連の処理を実行するためのコンピュータプログラム（以下、受講者用の映像表示プログラム）がインストールされている。
【００４８】
受講者側サーバ５は、受講者用の映像表示プログラムが実行されることで、カメラ１３及びマイク１４を制御してジムＰ１内の映像を撮影したり音声を集音したりする。そして、受講者側サーバ５は、マイク１４が集音した音声をカメラ１３の撮影映像中に組み込んだ上で、当該映像を指導者側ユニット２に向けて送信する。この際、受講者側サーバ５は、赤外線センサ１５の深度計測によって得られた深度データ、すなわち、ジムＰ１内の映像について取得された深度データを併せて送信する。
【００４９】
なお、本実施形態では、カメラ１３及びマイク１４が常に作動しており、ジムＰ１内において映像の撮影及び音声の集音が常時行われている。ただし、これに限定されるものではなく、ジムＰ１内に不図示の人感センサが設置されており、当該人感センサがジムＰ１内に居る人（具体的には受講者Ｊ）を検知している間に限り、カメラ１３及びマイク１４が作動し、ジムＰ１内において映像の撮影及び音声の集音が行われてもよい。
【００５０】
受講者側サーバ５は、受講者用の映像表示プログラムが実行されることで、上記の深度データを解析してカメラ１３の撮影映像中に人物映像が含まれているか否かを判定し、人物映像が含まれている場合には当該人物映像に映る人物の動作を特定する。人物映像の有無を判定する方法、及び当該人物映像に映る人物の動作を特定する方法については、指導者側サーバ４の場合と同様であり、説明を省略する。
【００５１】
また、受講者側サーバ５は、受講者用の映像表示プログラムが実行されることで、通信ユニット同士が通信している期間（通信期間）中の受講者Ｊの状態を検知する機能を有している。具体的に説明すると、受講者側サーバ５は、通信期間中、マイク１４によって集音された音声を解析し、受講者Ｊの音声（発話時の声）を検出する。このように受講者側サーバ５は、マイク１４と協働して検出部（第二検出部）として機能する。
【００５２】
また、受講者側サーバ５は、受講者用の映像表示プログラムが実行されることで、指導者側ユニット２から送信されてくる映像を受信し、これに連動してディスプレイ１１及びスピーカ１２を制御する。これにより、ジムＰ１内のディスプレイ１１には、指導者Ｉの人物映像を含む専用ブースＰ２内の映像が表示されるようになる。また、ジムＰ１内のスピーカ１２からは、専用ブースＰ２で集音された音声（具体的には、指導者Ｉの音声）の再生音が発せられるようになる。
【００５３】
さらに、受講者側サーバ５は、受講者用の映像表示プログラムが実行されることで、指導者側ユニット２から受信する映像を所定時間分だけ記録する。より詳しく説明すると、受講者側ユニット３が従ユニットであるとき、受講者側サーバ５は、受講者側ユニット３から受信した映像のうち、直前３秒間の映像（厳密にはフレーム画像）を記憶する。なお、受講者側サーバ５に記憶される映像は、受講者側ユニット３が従ユニットであるときに指導者側ユニット２から映像を受信している間、随時更新される。このため、通信期間において受講者側ユニット３が従ユニットである間、受講者側サーバ５には現時点から３秒間遡った時点までの映像（直近３秒間の映像）が記憶されていることになる。
【００５４】
＜＜通信ユニット間の通信フロー＞＞
次に、指導者側ユニット２及び受講者側ユニット３が互いに映像を送受信するために通信し合う際の流れ（以下、通信フロー）について説明する。通信フローは、図６に図示の手順に従って進行する。図６は、通信フローの手順を示す図である。そして、指導者Ｉ及び受講者Ｊは、通信フローを通じて遠隔対話を行う。すなわち、通信フローにおいて、指導者Ｉは、受講者Ｊの映像を見ながら運動指導を行い、受講者Ｊは、指導者Ｉの映像を見ながら運動指導を受ける。
【００５５】
本実施形態に係る通信フローでは、本発明の映像表示方法が採用されている。すなわち、本実施形態に係る通信フローでは、本発明の映像表示方法に従って各ユーザに対して相手のユーザの映像が表示されることになっている。換言すると、本実施形態に係る通信フローを構成する各ステップ（具体的には、図６に図示のステップ、並びに後述の図７、図１３及び図１４に図示のステップ）は、本発明の映像表示方法の構成要素に相当する。
【００５６】
先ず、通信フローのメインルーチンについて図６を参照しながら説明する。なお、以下では、通信フローにおいて指導者側ユニット２が実行する工程を中心に説明するが、通信フローでは、下記の工程と同様の工程が受講者側ユニット３側でも同時に行われることになっている。
【００５７】
通信フローは、指導者側ユニット２及び受講者側ユニット３の双方が通信開始要求を受け付けた時点から開始される（Ｓ００１）。例えば、指導者Ｉがディスプレイ１１の前で所定の通信開始要求操作を行うと、指導者側ユニット２が当該操作を受け付けて通信開始待ち状態となる。その後、受講者Ｊが同様にディスプレイ１１の前で所定の通信開始要求操作を行うと、受講者側ユニット３が当該操作を受け付け、その旨を示すデータを指導者側ユニット２に向けて送信する。そして、上記のデータが指導者側ユニット２によって受信されると、これをトリガーとして通信フローが開始される（Ｓ００２）。
【００５８】
なお、通信フローが開始されると、これに伴って指導者側サーバ４が、その内部に記憶している通信フラグデータをオフからオンに切り替える（Ｓ００３）。この通信フラグデータは、通信フローの実行状態を示すデータであり、通信フラグデータがオンであるときには通信期間中であることを示し、オフであるときには不通期間中であることを示す。
【００５９】
通信フローが開始されると、指導者側ユニット２は、カメラ１３が撮影した映像と、マイク１４が集音した音声とを取得し（Ｓ００４）、映像中に音声を組み込んだ上で音声付き映像を受講者側ユニット３に向けて送信する（Ｓ００５）。また、指導者側ユニット２は、受講者側ユニット３から映像を受信し、受信した映像を展開して当該映像をディスプレイ１１に表示するとともに、映像中に組み込まれた音声をスピーカ１２により再生する（Ｓ００６）。
【００６０】
また、指導者側ユニット２の指導者側サーバ４は、通信期間中、定期的に指導者Ｉの状態を検出する。同様に、受講者側ユニット３の受講者側サーバ５も通信期間中、定期的に受講者Ｊの状態を検出する。具体的に説明すると、指導者側サーバ４が指導者Ｉの音声（発話時の声）を検出し、受講者側サーバ５が受講者Ｊの音声（発話時の声）を検出する。そして、指導者側サーバ４及び受講者側サーバ５の双方は、各々の検出結果に基づき、指導者Ｉ及び受講者Ｊのうちのどちらが発言権を有しているかを判定する処理を実行する（Ｓ００７）。
【００６１】
上記の判定処理について説明すると、判定処理は、図７に図示の手順に従って進行する。図７は、判定処理の流れを示す図である。判定処理について図７を参照しながら詳しく説明すると、指導者側サーバ４及び受講者側サーバ５の各々は、対応するユーザの音声を検出すると（Ｓ０２１）、その音量が閾値以上であるか否かを判定する（Ｓ０２２）。そして、指導者側サーバ４及び受講者側サーバ５の各々は、検出した音声の音量が閾値以上であると判定した場合、対応するユーザが発話状態であると判定する（Ｓ０２３）。他方、検出した音声が閾値未満であると判定した場合、対応するユーザが沈黙状態であると判定する（Ｓ０２４）。
【００６２】
その後、指導者側サーバ４及び受講者側サーバ５の双方は、各々が対応するユーザの状態を判定した際の判定結果に基づいて、指導者Ｉ及び受講者Ｊのうちのどちらが発言権を有しているかを判定する（Ｓ０２５）。具体的に説明すると、指導者Ｉが発話状態であって指導者Ｉが沈黙状態であるときには指導者Ｉが発言権を有していると判定され、反対に、受講者Ｊが発話状態であって指導者Ｉが沈黙状態であるときには受講者Ｊが発言権を有していると判定される。
【００６３】
そして、指導者側サーバ４及び受講者側サーバ５の双方は、発言権の所在に関する判定結果に応じて、運動指導用システム１の動作モードを切り替える。具体的に説明すると、指導者側サーバ４及び受講者側サーバ５は、協働することでモード切り替え部として機能し、発言権が指導者Ｉに在ると判定した場合には動作モードを指導者優先モードに設定し（Ｓ０２６）、発言権が受講者Ｊに在ると判定した場合には動作モードを受講者優先モードに設定する（Ｓ０２７）。
【００６４】
その後、指導者側ユニット２は、通信期間中（すなわち、２つの通信ユニットが通信し始めてから通信し終わるまでの期間中）、設定された動作モードに応じた処理を実行する。具体的に説明すると、動作モードが指導者優先モードに設定されている場合、指導者側ユニット２は、主ユニットに該当することになり（Ｓ００８）、主ユニット用の通信監視処理を実行する（Ｓ００９）。この際、受講者側ユニット３は、従ユニットに該当することになり、従ユニット用の通信監視処理を実行する。
【００６５】
他方、動作モードが受講者優先モードに設定されている場合、指導者側ユニット２は、従ユニットに該当することになり（Ｓ００８）、従ユニット用の通信監視処理を実行する（Ｓ０１０）。この際、受講者側ユニット３は、主ユニットに該当することになり、主ユニット用の通信監視処理を実行する。なお、主ユニット用の通信監視処理、及び、従ユニット用の通信監視処理については後に詳述する。
【００６６】
以上までに説明した一連の工程のうち、Ｓ００３〜Ｓ０１０は、通信期間中、繰り返し実施される。そして、指導者側ユニット２及び受講者側ユニット３のうちの少なくとも一方が通信終了要求を受け付けた時点で通信フローが終了する（Ｓ０１１、Ｓ０１２）。具体的に説明すると、例えば、指導者Ｉがディスプレイ１１の前で所定の通信終了要求操作を行うと、指導者側ユニット２が当該操作を受け付けることで通信フローが終了する。あるいは、受講者Ｊがディスプレイ１１の前で所定の通信終了要求操作を行い、受講者側ユニット３が当該操作を受け付け、その旨を示すデータが指導者側ユニット２に向けて送信され、上記のデータが指導者側ユニット２によって受信されると、通信フローが終了する。
【００６７】
そして、通信フローが終了すると、これに伴って指導者側サーバ４が、その内部に記憶している通信フラグデータをオンからオフに切り替える（Ｓ０１３）。
【００６８】
次に、前述した主ユニット用の通信監視処理、及び、従ユニット用の通信監視処理について説明する。主ユニット用の通信監視処理は、通信期間中に通信（換言すると、映像の送受信）が正常に行われていることを主ユニット側で監視するための処理である。他方、従ユニット用の通信監視処理は、主ユニット用の通信監視処理と連動して行われる。そして、いずれかの通信監視処理において通信中断が発覚した場合、主ユニットでは所定の対応措置が講じられる。
【００６９】
以下、通信監視処理において通信中断が発覚したときの対応措置について図８乃至１２を参照しながら説明する。図８は、第一の通信中断（厳密には、後述の従ユニット側通信中断）への対応措置に関する概要を示す図である。図９は、第二の通信中断（厳密には、後述の主ユニット側通信中断）への対応措置に関する概要を示す図である。図８及び図９は、通信期間中における各通信ユニットの表示映像を示しており、図中の上から下に向かって表示映像が遷移する。なお、図８及び図９では、主ユニット及び従ユニットの各々のディスプレイ１１に表示される映像を簡略化して図示しており、具体的には、従ユニットからの受信映像を記号Ａ〜Ｇにて表し、主ユニットからの受信映像を記号Ｐ〜Ｖにて表している。
【００７０】
図１０は、第一の通信中断の発生を報知する情報を示す図である。図１１は、第一の通信中断後に通信が再開したときに表示される情報を示す図である。図１２は、第二の通信再開時に表示される情報を示す図である。
【００７１】
通信期間中において、図８に示すように、主ユニットが従ユニットからの映像を受信している一方で従ユニットが主ユニットから映像を受信しなくなったとする。この場合、主ユニットは、主ユニット用の通信監視処理において、従ユニットにおける映像受信の中断（以下、従ユニット側通信中断）を報知するための情報である通信中断報知メッセージｍ１を、指導者Ｉ及び受講者Ｊのうち、主ユニットと対応するユーザ（すなわち、主ユニットを利用するユーザ）に対して表示する。この通信中断報知メッセージｍ１は、図８に示すように、従ユニット側通信中断が発生している間に主ユニットが従ユニットから受信する映像と共に表示される。図１０を参照しながら詳しく説明すると、従ユニット側通信中断が発生している間、主ユニットのディスプレイ１１には、同期間中に従ユニットから受信される映像（リアルタイム映像）が表示される。この際、通信中断報知メッセージｍ１が従ユニットからの受信映像（リアルタイム映像）の上に重ねられた状態で表示される。
【００７２】
以上のように通信中断報知メッセージｍ１を表示することにより、主ユニットと対応するユーザに対して、従ユニット側通信中断の発生を気付かせることが可能となる。つまり、主ユニットと対応するユーザは、従ユニット側通信中断の発生中にも従ユニットからの受信映像を見続けているので、従ユニット側通信中断の発生を気付くことにより、従ユニットでは自分の映像が正常に表示されていないことを認識するようになる。
【００７３】
なお、本実施形態において、通信中断報知メッセージｍ１は、「相手が見えていません」という文字列を示す情報であるが、上記内容の文字列に限定されず、他の内容の文字列であってもよく、あるいは、通信中断を報知するためのマークや画像であってもよい。
【００７４】
また、図８に示すように、従ユニットにおいて通信中断が解消されて通信が再開して従ユニットが主ユニットからの映像を再び受信するようになると、主ユニットは、従ユニットにおける通信再開（すなわち、映像受信の再開）を報知するための情報である通信再開報知メッセージｍ２を、主ユニットと対応するユーザに対して表示する。この通信再開報知メッセージｍ２は、図８に示すように、通信再開直後に主ユニットのディスプレイに表示される映像（厳密には、従ユニットからの受信映像）と共に表示される。図１１を参照しながら詳しく説明すると、通信再開直後の時点において主ユニットのディスプレイ１１には、同時点に従ユニットから受信した映像（リアルタイム映像）が表示される。この際、通信再開報知メッセージｍ２が従ユニットからの受信映像（リアルタイム映像）の上に重ねられた状態で表示される。
【００７５】
以上のように通信再開報知メッセージｍ２を表示することにより、主ユニットと対応するユーザに対して、通信再開を気付かせることが可能となる。これにより、主ユニットと対応するユーザは、通信が再開して相手のユーザが自分の映像を再び見られるようになったことを認識するようになる。
【００７６】
なお、本実施形態において、通信再開報知メッセージｍ２は、「相手が見えるようになりました」という文字列を示す情報であるが、上記内容の文字列に限定されず、他の内容の文字列であってもよく、あるいは、通信再開を報知するためのマークや画像であってもよい。
【００７７】
以上のように本実施形態では、従ユニット側通信中断が発生し、その後に通信が再開する場合、主ユニットと対応するユーザに対して、通信中断及び再開を気付かせるための報知を行う。この結果、通信再開後の遠隔対話がスムーズに行われるようになる。
【００７８】
より分かり易く説明すると、主ユニットと対応するユーザは、発言権を有しているため、従ユニット側通信中断の発生に気付かなければ、通信中断発生前の調子で遠隔対話を続行してしまう。これに対して、本実施形態では、従ユニット側通信中断の発生を主ユニットと対応するユーザに適切に気付かせることが可能である。これにより、主ユニットと対応するユーザは、従ユニット側通信中断の発生中に相手のユーザが自分の映像を見ていないことに配慮するようになり、結果として、通信再開後に遠隔対話をスムーズに進めることが可能となる。
【００７９】
さらに、通信再開時、主ユニットは、上述の通信再開報知メッセージｍ２と共に所定の画像（具体的には、映像）を表示する。ここで、通信再開報知メッセージｍ２と共に表示される映像は、従ユニット側通信中断の発生直前に主ユニット側で撮影された映像であり、換言すると、従ユニット側通信中断の発生直前に従ユニットのディスプレイ１１に表示されていた映像（具体的には、図８中、記号Ｒにて示された映像）である。かかる映像（以下、直前映像ｖｉ）について詳しく説明すると、直前映像ｖｉは、主ユニットのカメラが主ユニットと対応するユーザを撮影した映像のうち、従ユニット側通信中断の発生時点から所定時間（本実施形態では３秒）遡った時点までの映像である。
【００８０】
以上のように本実施形態では、通信再開時、主ユニットと対応するユーザに対して、従ユニット側通信中断が発生する直前の自分の映像（すなわち、直前映像ｖｉ）を表示する。これにより、主ユニットと対応するユーザは、通信再開に気付き易くなると共に、通信中断直前に相手のユーザがどんな映像を見ていたのかを的確に把握することが可能となる。この結果、主ユニットと対応するユーザは、通信再開後の遠隔対話をよりスムーズに進めることが可能となる。
【００８１】
なお、本実施形態において、直前映像ｖｉは、通信再開時に従ユニットから主ユニットに対して提供されることになっている。より詳しく説明すると、従ユニットは、主ユニットから映像を受信している間、常に直近３秒間の映像を記憶している。しかし、従ユニット側通信中断が発生すると、通信が再開されるまで、従ユニットに記憶されている直近３秒間の映像が更新されず、通信中断直前３秒間の映像のままとなる。そして、従ユニットは、通信が再開された時点で、従ユニットに記憶された直近３秒間の映像を主ユニットに向けて送信する。
【００８２】
一方、主ユニットは、通信再開時に従ユニット側で撮影された映像（リアルタイム映像）と共に、通信中断直前３秒間の映像（すなわち、直前映像ｖｉ）を従ユニットから受信する。そして、主ユニットは、従ユニットから受信した映像をディスプレイ１１に表示する際に、図１１に示すように、通信再開時に従ユニット側で撮影された映像（リアルタイム映像）の上に直前映像ｖｉを重ねた状態で表示する。
【００８３】
ちなみに、本実施形態では、上記の直前映像ｖｉを従ユニットから主ユニットに提供することとしたが、これに限定されるものではなく、主ユニットが直前映像ｖｉを自ら提供してもよい。すなわち、主ユニットのカメラ１３が撮影した映像（厳密には、所定時間分の映像）を主ユニット側で逐次記憶し、従ユニット側通信中断が発生した際にその時点から所定時間遡った時点までの映像を直前映像ｖｉとして抽出し、抽出した直前映像ｖｉを通信再開時にディスプレイ１１に表示する形でもよい。
【００８４】
また、通信期間中において、図９に示すように、従ユニットが主ユニットからの映像を受信している一方で主ユニットが従ユニットから映像を受信しなくなったとする。この場合、主ユニットは、主ユニット用の通信監視処理において、主ユニットにおける映像受信の中断（以下、主ユニット側通信中断）が解消されて通信が再開された際に、図１２に図示の常時受信報知メッセージｍ３を主ユニットと対応するユーザに対して表示する。常時受信報知メッセージｍ３は、主ユニット側通信中断が発生している間に従ユニットが主ユニットから映像を受信し続けていたことを報知するための情報であり、図９に示すように、通信再開時に主ユニットが従ユニットから受信する映像（リアルタイム映像）と共に主ユニットのディスプレイ１１に表示される。より詳しく説明すると、常時受信報知メッセージｍ３は、図１２に示すように、通信再開時に従ユニットから受信される映像（リアルタイム映像）の上に重ねられた状態で表示される。
【００８５】
以上のように本実施形態では、主ユニット側通信中断が発生し、その後に通信が再開したときに、主ユニットと対応するユーザに対して、従ユニット側では映像の送受信が正常に行われていたことを報知する。これにより、主ユニットと対応するユーザは、自分が相手のユーザ（従ユニットと対応するユーザ）の映像を見ていない間に相手のユーザが主ユニットと対応するユーザの映像を見続けていたことを、適切に認識するようになる。この結果、主ユニットと対応するユーザは、通信再開後の遠隔対話をより一層スムーズに進めることが可能となる。
【００８６】
次に、主ユニット用の通信監視処理及び従ユニット用の通信監視処理の各々の流れについて、図１３及び図１４の双方を参照しながら説明する。図１３は、主ユニット用の通信監視処理の流れを示す図であり、図１４は、従ユニット用の通信監視処理の流れを示す図である。
【００８７】
なお、以下では、運動指導用システム１の動作モードが指導者優先モードに設定されているケース、すなわち、指導者側ユニット２が主ユニットであり受講者側ユニット３が従ユニットであるケースを例に挙げて説明することとする。ただし、以下に説明する内容は、主ユニットに該当する通信ユニットと従ユニットに該当する通信ユニットとが逆転する点を除き、運動指導用システム１の動作モードが受講者優先モードに設定されているケースにも同様に適用し得る。
【００８８】
また、主ユニット用の通信監視処理と従ユニット用の通信監視処理とは略同時に進行することになっているが、説明の便宜上、以下では、主ユニット用の通信監視処理の流れに沿って説明し、その中で従ユニット用の通信監視処理の各工程を説明することとする。
【００８９】
主ユニット用の通信監視処理では、図１３に示すように、先ず、主ユニットである指導者側ユニット２において映像受信が中断しているかどうか、すなわち主ユニット側通信中断が発生しているか否かを判定する（Ｓ０３１）。より具体的に説明すると、指導者側ユニット２の指導者側サーバ４が、通信データフラグがオンである間に一定時間毎に従ユニットである受講者側ユニット３から映像を受信しているか否かを判定し、映像を受信していない時間帯が一定時間以上続いた場合に主ユニット側通信中断が発生していると判定する。
【００９０】
そして、主ユニット側通信中断が発生していると判定された場合、その旨を示すデータ（中断通知）が指導者側ユニット２から受講者側ユニット３に向けて送信される（Ｓ０３２）。他方、主ユニット側通信中断が発生していないと判定された場合には、その直前に主ユニット側通信中断が解消されて通信が再開したか否かを判定する（Ｓ０３３）。そして、直前に通信が再開したと判定された場合、その旨を示すデータ（再開通知）が指導者側ユニット２から受講者側ユニット３に向けて送信される（Ｓ０３４）。
【００９１】
一方、従ユニット用の通信監視処理では、図１４に示すように、受講者側ユニット３の受講者側サーバ５が指導者側ユニット２（主ユニット）から中断通知を受信しているかを判定する（Ｓ０４１）。また、受講者側サーバ５は、中断通知を受信していると判定した場合、その後に再開通知も指導者側ユニット２から受信しているかを、さらに判定する（Ｓ０４２）。そして、再開通知も受信していると判定した場合、中断通知を受信してから再開通知を受信するまでの期間、すなわち、主ユニット側通信中断の発生期間中に受講者側ユニット３が指導者側ユニット２から映像を受信し続けていたことを示すデータ（常時受信通知）が受講者側ユニット３から指導者側ユニット２に向けて送信される（Ｓ０４３）。
【００９２】
したがって、主ユニット用の通信監視処理において、指導者側ユニット２から受講者側ユニット３に向けて中断通知及び再開通知が順に送信されると、従ユニット用の通信監視処理のステップＳ０４３に至る。この結果、指導者側ユニット２は、受講者側ユニット３に向けて再開通知を送信した後には、受講者側ユニット３から常時受信通知を受信することになる。また、指導者側ユニット２は、常時受信通知の受信をトリガーとして、常時受信報知メッセージｍ３をディスプレイ１１に表示する（Ｓ０３５）。より詳しく説明すると、指導者側ユニット２は、図１２に図示の如く、常時受信通知の受信時と同じタイミングで受講者側ユニット３から受信した映像（リアルタイム映像）と共に、常時受信報知メッセージｍ３を表示する。
【００９３】
従ユニット用の通信監理処理について再び説明すると、図１４に示すように、ステップＳ０４１において指導者側ユニット２から中断通知を受信していないと判定した場合には、受講者側ユニット３側で映像受信が中断しているかどうか、すなわち従ユニット側通信中断が発生しているか否かをさらに判定する（Ｓ０４４）。より具体的に説明すると、受講者側ユニット３の受講者側サーバ５が、通信データフラグがオンである間に一定時間毎に主ユニットである指導者側ユニット２から映像を受信しているか否かを判定し、映像を受信していない時間帯が一定時間以上続いた場合に従ユニット側通信中断が発生していると判定する。
【００９４】
そして、従ユニット側通信中断が発生していると判定された場合、その旨を示すデータ（中断通知）が受講者側ユニット３から指導者側ユニット２に向けて送信される（Ｓ０４５）。他方、従ユニット側通信中断が発生していないと判定された場合には、その直前に従ユニット側通信中断が解消されて通信が再開したか否かを判定する（Ｓ０４６）。そして、直前に通信が再開したと判定された場合、その旨を示すデータ（再開通知）が受講者側ユニット３から指導者側ユニット２に向けて送信される（Ｓ０４７）。この際、受講者側サーバ５に記憶されている従ユニット側通信中断の発生直前３秒間の映像、すなわち、直前映像ｖｉが上記の再開通知と共に受講者側ユニット３から送信される（Ｓ０４７）。
【００９５】
主ユニット用の通信監視処理の説明に戻ると、現時点で主ユニット側通信中断が発生しておらず（Ｓ０３１でＮｏ）、かつ、直前に通信が再開していない場合（Ｓ０３３でＮｏ）、指導者側ユニット２では受講者側ユニット３から中断通知を受信しているか否かを判定する（Ｓ０３６）。また、受講者側ユニット３から中断通知を受信していると判定した場合には、その後に再開通知も受講者側ユニット３から受信しているかを、さらに判定する（Ｓ０３７）。
【００９６】
そして、指導者側ユニット２は、受講者側ユニット３から中断通知を受信している一方で再開通知を受信していないと判定した場合（すなわち、従ユニット側通信中断の発生期間中）、通信中断報知メッセージｍ１をディスプレイ１１に表示する（Ｓ０３８）。より詳しく説明すると、指導者側ユニット２は、図１０に図示の如く、従ユニット側通信中断の発生期間中に受講者側ユニット３から受信した映像（リアルタイム映像）と共に、通信中断報知メッセージｍ１を表示する。
【００９７】
また、指導者側ユニット２は、受講者側ユニット３から中断通知を受信した上で再開通知も受信したと判定した場合、再開通知と共に受講者側ユニット３から受信した直前映像ｖｉと、通信再開報知メッセージｍ２とをディスプレイ１１に表示する（Ｓ０３９）。より詳しく説明すると、指導者側ユニット２は、図１１に図示の如く、再開通知の受信時点と同じタイミングで受講者側ユニット３から受信した映像（リアルタイム映像）と共に、直前映像ｖｉ及び通信再開報知メッセージｍ２を表示する。なお、直前映像ｖｉについては、３秒間の映像となっているため、直前映像ｖｉの表示開始から３秒間が経過するまで表示されることになっている（Ｓ０４０）。
【００９８】
以上までに説明してきた流れに従って主ユニット用の通信監視処理及び従ユニットの通信監視処理の各々が実行され、また、本実施形態では各通信監視処理が通信期間中、一定時間毎に繰り返し実行されることになっている。
【００９９】
＜＜その他の実施形態＞＞
以上までに本発明の映像表示装置及び映像表示方法について一例を挙げて説明してきたが、上記の実施形態では、あくまでも本発明の一実施形態に過ぎず、他の例も考えられる。例えば、上記の実施形態では、従ユニット側通信中断が発生した後に通信が再開すると、通信中断の発生直前に主ユニット側で撮影された映像、すなわち直前映像ｖｉが主ユニットのディスプレイに表示されることとした。ただし、直前映像ｖｉの表示タイミングについては通信再開時に限定されるものではない。直前映像ｖｉは、前述したように、従ユニット側通信中断の発生直前に相手のユーザ（従ユニットと対応するユーザ）がどんな映像を見ていたのかを把握するために表示されるものである。そうである以上、直前映像ｖｉは、通信期間中において従ユニット側通信中断が発生した後（すなわち、主ユニットが従ユニットから映像を受信している一方で従ユニットが主ユニットから映像を受信しなくなった時点の後）に表示されればよい。
【０１００】
より具体的に説明すると、図１５に示すように、従ユニット側通信中断が発生してから通信が再開されるまでの間（換言すると、通信期間中、従ユニットが主ユニットから映像を受信していない間）に直前映像ｖｉを表示してもよい。図１５は、従ユニット側通信中断への対応措置に関するバリエーションを示す図であり、図８と対応する図である。図１５に図示のケースでは、直前映像ｖｉが、従ユニット側通信中断の発生中に指導者側ユニット２が受講者側ユニット３から受信した映像に重ねられて表示される。なお、図１５に図示のケースでは、直前映像ｖｉが通信中断報知メッセージｍ１と共に表示される。これにより、主ユニットと対応するユーザは、通信再開前の時点で、通信中断直前に相手のユーザが見ていた映像を既に把握するようになる。この結果、通信再開後の遠隔対話がよりスムーズに行われるようになる。
【０１０１】
なお、通信再開時や従ユニット側通信中断の発生中に表示する画像については、上記の直前映像ｖｉ、すなわち、従ユニット側通信中断の発生時点から所定時間（本実施形態では３秒）遡った時点までの撮影映像に限定されるものではない。例えば、従ユニット側通信中断の発生直前に撮影された１フレームのフレーム画像（すなわち、静止画像）を表示してもよい。ただし、従ユニット側通信中断の発生時点から数秒間遡った時点までの撮影映像を表示した方が、通信中断直前に相手のユーザがどんな映像を見ていたのかを主ユニットと対応するユーザに適切に把握させることが可能となる。
【０１０２】
また、上記の実施形態では、指導者Ｉ及び受講者Ｊのどちらが発言権を有しているかを判定し、その判定結果に基づいて運動指導用システム１の動作モードを設定することとした。また、発言権の所在を判定するにあたり、各通信ユニット（厳密には、指導者側サーバ４及び受講者側サーバ５）が対応するユーザの音声を検出し、その検出結果に基づいて発言権の所在を判定することとした。ただし、動作モードを設定するにあたって検出する対象については、ユーザの音声に限定されるものではない。つまり、前述した判定処理については、図７に図示した内容に限定されず、例えば図１６に図示した内容であってもよい。図１６は、判定処理の変形例を示す図である。
【０１０３】
以下、図１６に図示の判定処理について説明する。図１６に図示の判定処理において、指導者側サーバ４及び受講者側サーバ５の各々は、対応するユーザの動作を検出する（Ｓ０５１）。具体的に説明すると、指導者側サーバ４及び受講者側サーバ５の各々は、カメラ１３が撮影した映像と、赤外線センサ１５の計測結果から得られた深度データと、に基づいて上記撮影映像の中から人物映像を特定し、さらに、骨格モデルを適用することで当該人物映像に映っている人物の動作を特定する。これにより、指導者側サーバ４は、通信期間中の指導者Ｉの動作を検出し、受講者側サーバ５は、通信期間中の受講者Ｊの動作を検出する。
【０１０４】
また、指導者側サーバ４及び受講者側サーバ５の各々は、検出した動作が特定の動作であるかどうかを判定する（Ｓ０５２）。ここで、特定の動作とは、発言権付与の契機とする動作として予め決めている動作であり、例えば、腕を所定の高さ以上に挙げる動作や起立する動作等が該当する。
【０１０５】
その後、指導者側サーバ４及び受講者側サーバ５の各々は、検出した動作が特定の動作であると判定した場合、指導者Ｉ及び受講者Ｊのどちらが先に特定の動作を行ったのかを、さらに判定する（Ｓ０５３）。そして、指導者側サーバ４及び受講者側サーバ５の双方は、特定の動作をより先に行ったユーザに関する判定結果に応じて、運動指導用システム１の動作モードを切り替える。具体的に説明すると、指導者Ｉが受講者Ｊよりも先に特定の動作を行ったことを指導者側サーバ４が検出した場合には、動作モードを指導者優先モードに設定する（Ｓ０５４）。他方、受講者Ｊが指導者Ｉよりも先に特定の動作を行ったことを受講者側サーバ５が検出した場合には、動作モードを受講者優先モードに設定する（Ｓ０５５）。
【０１０６】
また、上記の実施形態では、主ユニットに該当する通信ユニットと、従ユニットに該当する通信ユニットとが切り替えられることとした。ただし、これに限定されるものではなく、主ユニットに該当する通信ユニットと、従ユニットに該当する通信ユニットが切り替えられず固定されていてもよい。しかし、上記の実施形態であれば、相手のユーザ側で映像の送受信が中断したことを知らせる対象者（ユーザ）を、状況、具体的には発言権の所在に応じて適宜切り替えることが可能となる。かかる点では上記の実施形態の方が望ましい。
【符号の説明】
【０１０７】
１  運動指導用システム（映像表示システム）
２  指導者側ユニット（第一通信ユニット）
３  受講者側ユニット（第二通信ユニット）
４  指導者側サーバ
５  受講者側サーバ
１１  ディスプレイ
１２  スピーカ
１３  カメラ
１４  マイク
１５  赤外線センサ
Ｉ  指導者（第一ユーザ）
Ｊ  受講者（第二ユーザ）
ｍ１  通信中断報知メッセージ（映像受信の中断を報知するための情報）
ｍ２  通信再開報知メッセージ（映像受信の再開を報知するための情報）
ｍ３  常時受信報知メッセージ（映像を受信し続けていたことを報知するための情報）
ＮＴ  通信ネットワーク
【図１】
2018042038.tif 000003
【図２】
2018042038.tif 000004
【図３】
2018042038.tif 000005
【図４】
2018042038.tif 000006
【図５】
2018042038.tif 000007
【図６】
2018042038.tif 000008
【図７】
2018042038.tif 000009
【図８】
2018042038.tif 000010
【図９】
2018042038.tif 000011
【図１０】
2018042038.tif 000012
【図１１】
2018042038.tif 000013
【図１２】
2018042038.tif 000014
【図１３】
2018042038.tif 000015
【図１４】
2018042038.tif 000016
【図１５】
2018042038.tif 000017
【図１６】
2018042038.tif 000018