(57)【要約】【課題】より多数の生徒が同時に参加可能なオンラインレッスンサービスを実現する通信システムを提供することである。【解決手段】本発明の一態様は、ユーザ端末と、ネットワーク上に配置され、前記ネットワークを介し前記ユーザ端末に通信サービスを提供可能な複数のサービス処理基盤と、を有する通信システムであって、前記ユーザ端末は、生徒端末と先生端末とを含み、前記サービス処理基盤は、各生徒端末から生徒の動作を表す生徒映像を取得し、前記取得した各生徒映像を特徴量に基づき複数の動作タイプに分類し、各動作タイプの代表映像を前記先生端末に送信する通信システムに関する。【選択図】図３
2018128605.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末と、
ネットワーク上に配置され、前記ネットワークを介し前記ユーザ端末に通信サービスを提供可能な複数のサービス処理基盤と、
を有する通信システムであって、
前記ユーザ端末は、生徒端末と先生端末とを含み、
前記サービス処理基盤は、各生徒端末から生徒の動作を表す生徒映像を取得し、前記取得した各生徒映像を特徴量に基づき複数の動作タイプに分類し、各動作タイプの代表映像を前記先生端末に送信する通信システム。
【請求項２】
前記サービス処理基盤は、各ユーザ端末からユーザ部分と背景部分とを含むユーザ映像を取得し、前記ユーザ映像に対して輪郭判定を実行することによって前記ユーザ映像から前記ユーザ部分と前記背景部分とを特定し、前記背景部分を認識不可にするための加工処理を実行する、請求項１記載の通信システム。
【請求項３】
前記複数のサービス処理基盤のうち前記ユーザ端末に通信サービスを提供するサービス処理基盤を決定する配置決定装置を更に有し、
前記配置決定装置は、前記通信サービスを利用するユーザ端末の個数に応じて、前記複数のサービス処理基盤から、各ユーザ端末に前記通信サービスを提供する１つ以上のサービス処理基盤の配置を決定する、請求項１又は２記載の通信システム。
【請求項４】
生徒端末と先生端末とを含むユーザ端末に通信サービスを提供するサービス処理基盤によって実行される通信サービス処理方法であって、
各生徒端末から生徒の動作を表す生徒映像を取得するステップと、
前記取得した各生徒映像を特徴量に基づき複数の動作タイプに分類するステップと、
各動作タイプの代表映像を先生端末に送信するステップと、
を有する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オンライン英会話サービスなどの在宅又は遠隔地から参加可能なオンラインレッスンサービスを提供する通信システムに関する。
【背景技術】
【０００２】
音声・映像の転送技術の発達とユーザが利用可能な通信帯域の増大によって、テレビ電話による英会話等のオンラインレッスンサービスが普及している（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ＭＭＤ研究所、オンライン英会話に関する調査、２０１４（https://mmdlabo.jp/investigation/detail_1327.html）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現在は教師１人に対して生徒１人若しくは高々数名でのオンラインレッスンサービスが実現されているが、さらに大人数のクラスレッスンを想定した場合には通信帯域の逼迫によるサービスの遅延増加等による品質低下の可能性がある。
【０００５】
さらに、生徒数が増えることによって教師の指導が行き届かない可能性も考えられる。
【０００６】
また、生徒は生徒宅からサービスを利用するため、生徒宅内の状況が中継されてしまうことになり、プライバシー配慮の観点から問題となるおそれがある。
【０００７】
上記問題点を鑑み、本発明の課題は、より多数の生徒が同時に参加可能なオンラインレッスンサービスを実現する通信システムを提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の一態様は、ユーザ端末と、ネットワーク上に配置され、前記ネットワークを介し前記ユーザ端末に通信サービスを提供可能な複数のサービス処理基盤と、を有する通信システムであって、前記ユーザ端末は、生徒端末と先生端末とを含み、前記サービス処理基盤は、各生徒端末から生徒の動作を表す生徒映像を取得し、前記取得した各生徒映像を特徴量に基づき複数の動作タイプに分類し、各動作タイプの代表映像を前記先生端末に送信する通信システムに関する。
【発明の効果】
【０００９】
本発明によると、より多数の生徒が同時に参加可能なオンラインレッスンサービスを実現する通信システムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の一実施例による通信システムの構成を示すブロック図である。
【図２】図２は、本発明の一実施例によるサービス処理基盤の機能構成を示すブロック図である。
【図３】図３は、本発明の一実施例による映像分析処理を示す概略図である。
【図４】図４は、本発明の一実施例によるサービス処理基盤の配置変更を示す概略図である。
【図５】図５は、本発明の一実施例による通信サービス処理方法を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて本発明の実施の形態を説明する。
【００１２】
後述される実施例では、ユーザ端末にオンラインレッスンサービスを提供するサービス処理基盤を含む通信システムが開示される。以下の実施例を概略すると、オンラインレッスンサービスを実現するための通信システム上のサービス処理基盤は、各生徒端末から生徒の動作を表す生徒映像を取得し、取得した各生徒映像を特徴量に基づき複数の動作タイプに分類し、各動作タイプの代表映像を先生端末に送信する。また、先生端末に送信される代表画像は、背景部分を加工処理することによってプライバシー処理されてもよい。また、参加するユーザ端末の個数に応じて、当該サービスを提供するサービス処理基盤の配置を変更してもよい。これにより、多数のユーザ端末が参加するオンラインレッスンサービスに好適なサービス処理基盤を提供することができる。
【００１３】
まず、図１を参照して、本発明の一実施例による通信システムを説明する。図１は、本発明の一実施例による通信システムの構成を示すブロック図である。
【００１４】
図１に示されるように、通信システム１０は、ユーザ端末１００、サービス処理基盤２００及び配置決定装置３００を有し、ユーザ端末１００、サービス処理基盤２００及び配置決定装置３００は、ネットワーク（図示せず）を介し通信接続される。
【００１５】
ユーザ端末１００は、パーソナルコンピュータ、スマートフォン、タブレット、携帯電話など、通信機能及び画像キャプチャ機能を備えた何れかのタイプの情報処理装置である。例えば、ユーザ端末１００がパーソナルコンピュータである場合、ユーザは、ユーザ端末１００上で実行されるブラウザを利用して、サービス処理基盤２００を介しウェブサイトにアクセスし、ユーザＩＤ及びパスワードなどの認証情報を入力した後、当該ウェブサイトにより提供されるサービスを利用することができる。
【００１６】
ユーザ端末１００は、典型的には、ドライブ装置、補助記憶装置、メモリ装置、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、通信装置、表示装置及び入力装置を有する。ユーザ端末１００における各種機能及び処理を実現するプログラムは、ネットワークを介してダウンロードされてもよいし、メモリカードやＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリなどの記録媒体によって提供されてもよい。プログラムを記憶した記録媒体がドライブ装置にセットされると、プログラムが記録媒体からドライブ装置を介して補助記憶装置にインストールされる。補助記憶装置は、インストールされたプログラムを格納すると共に、必要なファイルやデータなどを格納する。メモリ装置は、プログラムの起動指示があった場合に、補助記憶装置からプログラムやデータを読み出して格納する。ＣＰＵは、プロセッサなどにより実現され、メモリ装置に格納されたプログラムやプログラムを実行するのに必要なパラメータなどの各種データに従ってユーザ端末１００の各種機能及び処理を実行する。通信装置は、ネットワークに接続するための通信インタフェースとして用いられる。通信装置は、送信対象のデータを適切な信号に変換し、ネットワークに送信する。また、通信装置は、ネットワークから受信した信号を適切なデータに変換し、メモリ装置などの適切な装置に提供する。表示装置は、ＣＰＵによる処理結果などを表示するのに用いられ、例えば、液晶ディスプレイ、ブラウン管ディスプレイ（ＣＲＴ）、プラズマディスプレイなどの各種ディスプレイにより実現される。入力装置は、ユーザがユーザ端末１００に命令やデータなどを入力するのに用いられ、例えば、タッチパネル、キーボード、スタイラス、マイクロフォン、カメラ、スキャナなどにより実現される。しかしながら、ユーザ端末１００は、上述したハードウェア構成に限定されるものでなく、他の何れか適切なハードウェア構成により実現されてもよい。
【００１７】
サービス処理基盤２００は、ネットワーク上に配置され、ネットワークを介しユーザ端末１００に以下で詳細に説明される各種通信サービスを提供する。典型的には、サービス処理基盤２００は、通信システム１０内に物理的及び／又は地理的に分散配置され、配置決定装置３００による制御の下でサービス提供先となるユーザ端末１００を割り当てられ、割り当てられたユーザ端末１００に通信サービスを提供する。
【００１８】
配置決定装置３００は、通信接続され、物理的及び／又は地理的に分散配置されるサービス処理基盤２００に通信接続され、以下で詳細に説明されるように、各サービス処理基盤２００にサービス提供先のユーザ端末１００を割り当てる。
【００１９】
サービス処理基盤２００及び配置決定装置３００は、典型的には、サーバにより実現される。すなわち、サービス処理基盤２００及び配置決定装置３００は、例えば、バスを介し相互接続されるドライブ装置、補助記憶装置、メモリ装置、プロセッサ、インタフェース装置及び通信装置から構成される。サービス処理基盤２００及び配置決定装置３００における後述される各種機能及び処理を実現するプログラムを含む各種コンピュータプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、フラッシュメモリなどの記録媒体によって提供されてもよい。プログラムを記憶した記録媒体がドライブ装置にセットされると、プログラムが記録媒体からドライブ装置を介して補助記憶装置にインストールされる。但し、プログラムのインストールは必ずしも記録媒体により行う必要はなく、ネットワークなどを介し何れかの外部装置からダウンロードするようにしてもよい。補助記憶装置は、インストールされたプログラムを格納すると共に、必要なファイルやデータなどを格納する。メモリ装置は、プログラムの起動指示があった場合に、補助記憶装置からプログラムやデータを読み出して格納する。プロセッサは、メモリ装置に格納されたプログラムやプログラムを実行するのに必要なパラメータなどの各種データに従って、後述されるようなサービス処理基盤２００及び配置決定装置３００の各種機能及び処理を実行する。インタフェース装置は、ネットワーク又は外部装置に接続するための通信インタフェースとして用いられる。通信装置は、インターネットなどのネットワークと通信するための各種通信処理を実行する。しかしながら、サービス処理基盤２００及び配置決定装置３００は、上述したハードウェア構成に限定されるものでなく、他の何れか適切なハードウェア構成により実現されてもよい。
【００２０】
次に、図２を参照して、本発明の一実施例によるサービス処理基盤を説明する。図２は、サービス処理基盤の機能構成を示すブロック図である。
【００２１】
図２に示されるように、サービス処理基盤２００は、映像取得部２１０、映像処理部２２０及び映像提供部２３０を有する。
【００２２】
映像取得部２１０は、ユーザ端末１００から画像又は映像を取得する。具体的には、映像取得部２１０は、ユーザ端末１００によってキャプチャされた映像を取得し、取得した映像を映像処理部２２０に提供する。
【００２３】
映像処理部２２０は、映像取得部２１０から提供された映像に対して以下で詳細に説明される各種映像処理を実行する。
【００２４】
映像提供部２３０は、映像処理部２２０により処理された映像をユーザ端末１００に提供する。具体的には、映像提供部２３０は、処理された映像及び／又はフィードバック情報を適切な送信先のユーザ端末１００に送信する。
【００２５】
次に、図３を参照して、本発明の一実施例によるサービス処理基盤による各種映像処理を説明する。
【００２６】
一実施例では、ユーザ端末１００は、生徒端末と先生端末とを含み、サービス処理基盤２００は、各生徒端末から生徒の動作を表す生徒映像を取得し、取得した各生徒映像を特徴量に基づき複数の動作タイプに分類し、各動作タイプの代表映像を先生端末に送信する。すなわち、サービス処理基盤１００は、生徒映像をその特徴によってグループ分類し、代表映像のみを先生端末に表示させることによって、生徒数の増加によって先生の指導が行き届かなくなるという問題を解消する。まず、複数の生徒端末から生徒の動画がサービス処理基盤２００に送信され、映像取得部２１０が、送信された各生徒映像を取得する。そして、映像処理部２２０は、取得した各生徒映像に対してグループ分類を実行する。例えば、当該グループ分類は、生徒の動作が先生による指導を要するか否かを映像上の特徴に基づき判断する。以下において、いくつかのグループ分類法について説明する。
【００２７】
一例として、事前に間違え例を準備しておく分類法について説明する。当該分類法は、例えば、図３に示されるように、オンラインヨガレッスンなどに適用可能である。本分類法によると、映像処理部２２０は、１）正しい動作又はポーズ、２）第１のタイプの間違った動作又はポーズ、３）第２のタイプの間違った動作又はポーズ、及び４）その他、という４つのグループに生徒映像を分類する。図示された例では、各生徒端末から当該生徒の動作を表す映像がサービス処理基盤２００に送信され、映像取得部２１０は、各生徒端末から送信された生徒映像を取得し、取得した生徒映像を映像処理部２２０に送信する。映像処理部２２０は、図示されるように、受信した各生徒映像に対して特徴量に基づくクラスタリング等の何れか適切なグループ分類処理を実行し、生徒映像を４つのグループに分類する。当該分類後、映像処理部２２０は、各グループから１人の生徒の映像をランダムに選択し、当該映像を代表映像として設定し、当該代表映像のみを映像提供部２３０に提供する。映像提供部２３０は、図示されるように、各グループの代表映像を先生端末に送信する。このとき、例えば、映像提供部２３０は、指導を要するグループ２）及び３）の代表映像のみを先生端末に送信してもよい。さらに、映像提供部２３０は、各生徒端末に当該生徒が何れのグループに分類されたか通知するためのフィードバック情報を送信してもよい。本実施例によると、先生端末に全ての生徒映像が送信されることを回避しながら、各生徒に適切な指導を行うことが可能になる。
【００２８】
他の例として、事前に間違え例を準備しない分類法について説明する。当該分類法によると、生徒映像を分類するためのクラスタ数又はグループ数が事前に設定される。映像処理部２２０は、何れか適切なクラスタリング法を利用して、受信した各生徒映像に対して特徴量に基づき類似度を判定し、設定されているクラスタ数に基づき各生徒映像をクラスタリングする。当該分類後、映像処理部２２０は、各グループから１人の生徒の映像をランダムに選択し、当該映像を代表映像として設定し、当該代表映像のみを映像提供部２３０に提供する。先生は、受信した各代表映像を確認し、各代表映像を何れかのグループ（例えば、正解の動作又はポーズのグループ、何れかのタイプの間違った動作又はポーズのグループなど）に分類し、分類結果をサービス処理基盤２００にフィードバックする。その後、映像提供部２３０は、各生徒端末に当該生徒が何れのグループに分類されたか通知するためのフィードバック情報を送信してもよい。本実施例によると、先生端末に全ての生徒の映像が送信されることを回避しながら、各生徒に適切な指導を行うことが可能になる。
【００２９】
他の実施例では、サービス処理基盤２００は、各生徒端末からユーザ部分と背景部分とを含む生徒映像を取得し、当該生徒映像に対して輪郭判定を実行することによってユーザ映像から生徒部分と背景部分とを特定し、背景部分を認識不可にするための加工処理を実行してもよい。すなわち、サービス処理基盤２００は、各生徒端末から送信される生徒部分と背景部分（生徒宅の映像など）とを含む映像に対してプライバシー加工処理を実行することによって、生徒が生徒宅からサービスを利用することに伴って生徒宅内の状況が中継されてしまうという問題を解消する。
【００３０】
まず、各生徒端末から当該生徒の動作を表す映像がサービス処理基盤２００に送信され、映像取得部２１０は、各生徒端末から送信された映像を取得し、映像処理部２２０に送信される。映像処理部２２０は、各生徒端末からの映像に対して輪郭判定を実行し、映像内の生徒部分及び／又は背景部分を抽出し、映像におけるユーザ部分とそれ以外の背景部分とを特定する。そして、映像処理部２２０は、特定した背景部分をプライバシー処理対象部分と判断し、当該プライバシー部分に対してぼかしやマスキングなどの加工処理を実行する。映像処理部２２０は、加工された映像を映像提供部２３０に送信し、映像提供部２３０は、先生端末に加工された映像を送信する。ここで、映像処理部２２０が代表映像を選択している場合、映像提供部２３０は、加工された代表映像のみを先生端末に送信してもよい。なお、生徒端末には、加工された自身の映像が表示されてもよいし、未加工の映像が表示されてもよい。
【００３１】
さらに、サービス処理基盤２００は、ユーザが背景部分以外の領域をプライバシー設定することを可能としてもよい。この場合、映像処理部２２０は、背景部分に加えて又は代わりに、ユーザにより指定された領域に対してぼかしやマスキングなどの加工処理を実行してもよい。なお、何れのタイプの加工処理（ぼかし、マスキング、モザイク、半透明化など）を利用するかは、ユーザにより選択されてもよいし、デフォルトで設定されてもよい。
【００３２】
他の実施例では、通信システム１０は、複数のサービス処理基盤２００のうちユーザ端末１００に通信サービスを提供するサービス処理基盤２００を決定する配置決定装置３００を更に有してもよい。配置決定装置３００は、通信サービスを利用するユーザ端末１００の個数に応じて、複数のサービス処理基盤２００から、各ユーザ端末１００に通信サービスを提供する１つ以上のサービス処理基盤２００の配置を決定してもよい。すなわち、配置決定装置３００は、通信ネットワーク１０上の仮想ネットワークにおけるサービス処理基盤２００の配置変更によって、多人数のオンラインレッスンによる通信帯域の逼迫によってサービス遅延が増大するなど、通信サービスの品質低下の問題を解消する。例えば、図４に示されるように、参加するユーザ端末１００が少ない場合、配置決定装置３００は、全国のデータセンタ（ＤＣ）などのユーザ端末１００から遠い場所に配置されたサービス処理基盤２００をユーザ端末１００に割当て、参加するユーザ端末１００の多くなった場合、ＭＥＣ（Ｍｏｂｉｌｅ  Ｅｄｇｅ  Ｃｏｍｐｕｔｉｎｇ）を利用して、ユーザ端末１００の近くにサービス処理基盤２００を分散配置してもよい。例えば、ユーザ端末１００の参加数に比例して、配置決定装置３００は、より多くのサービス処理基盤２００を線形計画法によってユーザ端末１００の個数に応じた収容設計を決定し、ユーザ端末１００のより近傍に配置してもよい。また、例えば、配置決定装置３００は、サービス処理基盤２００の配置及び／又はユーザ端末１００への割当てを変更してもよい。
【００３３】
次に、図５を参照して、本発明の一実施例による通信サービス処理方法を説明する。本実施例では、生徒端末と先生端末とを含むユーザ端末１００に通信サービスを提供するサービス処理基盤によって実行される通信サービス処理方法を説明する。図５は、本発明の一実施例による通信サービス処理方法を示すフローチャートである。
【００３４】
図５に示されるように、ステップＳ１０１において、映像取得部２１０は、各生徒端末から生徒の動作を表す生徒映像を取得する。具体的には、映像取得部２１０は、ユーザ端末１００によってキャプチャされた映像を取得し、取得した映像を映像処理部２２０に提供する。
【００３５】
ステップＳ１０２において、映像処理部２２０は、取得した各生徒映像を特徴量に基づき複数の動作タイプに分類する。例えば、これらの動作タイプは、事前に準備されたものであってもよいし、動作タイプの個数（クラスタリング数）のみ設定されていてもよい。映像処理部２２０は、各動作タイプに対して代表映像を選択し、選択した代表映像を映像提供部２３０に送信する。なお、当該代表映像は、背景部分をプライバシー処理したものであってもよい。
【００３６】
ステップＳ１０３において、映像提供部２３０は、各動作タイプの代表映像を先生端末に送信する。また、映像提供部２３０は、各生徒端末に当該生徒の動作が正解であるか、間違っているかなどを示すフィードバック情報を送信してもよい。
【００３７】
上述した各実施例によると、例えば、ユーザは、カリスマ講師のオンラインレッスンを自宅で気軽に受けることが可能である。この場合、数千人規模の多数の生徒が自宅でレッスンに参加するため、レッスンへの途中参加、自主休憩、早退が発生すると考えられるが、上述した実施例は、参加生徒の人数がリアルタイムで変動しても、サービス処理基盤の配置を動的に制御することによって、このような変動に対処できる。また、インストラクタは数千人規模の生徒に行き届いた指導を効率的に行うため、ネットワークエッジにおいて生徒映像の特徴量に基づき生徒映像を分類し、インストラクタの指導を要する映像のみをインストラクタに送信する。また、当該映像は、生徒宅内の背景部分を加工処理したものとすることができ、プライバシー保護機能を適用することができる。
【００３８】
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００３９】
１０  通信システム
１００  ユーザ端末
２００  サービス処理基盤
２１０  映像取得部
２２０  映像処理部
２３０  映像提供部
３００  配置決定装置
【図１】
2018128605.tif 000003
【図２】
2018128605.tif 000004
【図３】
2018128605.tif 000005
【図４】
2018128605.tif 000006
【図５】
2018128605.tif 000007