(57)【要約】      （修正有）【課題】教師の授業もしくは学生の学習に関する異常に対して、時期よく対応することが可能なインタラクティブ型のオンライン教育のリアルタイム監視の方法を提供する。【解決手段】オンライン教育システム１００によって実行される方法であって、教師端装置１から受信した画像に基づいて、画像に教師の胸部以上の身体部分に対応する画像部が含まれていると判定された際、画像部に対応する画像データの画像データ部に対して画像認識を実行することによって、教師の顔面表情と、顔面動作と、顔部位置と、顎と胸部との間の身体部分のいずれか１つが、第１の所定条件を満足するか否かを判定することと、判定の結果が肯定である際、教師端装置１で注意メッセージを出力するため、注意メッセージを教師端装置１に送信することと、が含まれている。【選択図】図１
2019179235.tif 000002
【特許請求の範囲】
【請求項１】
インタラクティブ型のオンライン教育のリアルタイム監視の方法であって、
該方法は、オンライン教育システムによって実行されるものであり、
該オンライン教育システムは、
教師が見るために教材を表示する教師端装置（１）と、
学生が見るために前記教材を表示する学生端装置（２）と、
通信ネットワーク（５）を介して前記教師端装置（１）および前記学生端装置（２）と通信可能に接続されるサーバ（４）と、
を具えており、
前記教師端装置（１）は、該教師が位置している空間の第１の画像を連続的に撮って第１の画像データとし、前記通信ネットワーク（５）を介して前記第１の画像データを前記サーバ（４）にリアルタイムで送信して、前記サーバ（４）が、前記学生端装置（２）で該第１の画像を表示するために、リアルタイムで前記通信ネットワーク（５）を介して該学生端末装置（２）に該第１の画像データを送信できるようにさせ、
前記方法は、
前記サーバ（４）により、前記教師端装置（１）から受信した前記第１の画像に基づいて、該第１の画像に前記教師の胸部以上の身体部分に対応する画像部が含まれていると判定された際、前記画像部に対応する前記第１の画像データの画像データ部に対して画像認識を実行することによって、該教師の顔面表情と、顔面動作と、顔部位置と、顎と胸部との間の身体部分のいずれか１つが、第１の所定条件を満足するか否かを判定することと、
前記サーバ（４）により、前記教師の顔面表情と、顔面動作と、顔部位置と、顎と胸部との間の身体部分のいずれか１つが、前記第１の所定条件を満足していると判定された際、前記教師端装置（１）で前記第１の所定条件に関連する第１の注意メッセージを出力するため、該第１の注意メッセージを前記通信ネットワーク（５）を介して前記教師端装置（１）に送信することと、
を含む、方法。
【請求項２】
前記第１の所定条件は、第１の副条件と第２の副条件と第３の副条件と第４の副条件と第５の副条件と第６の副条件とのうちの１つ、又はそれらの任意の組み合わせを含み、
前記第１の副条件とは、前記教師の目が所定の教師閉目期間閉じたことであり、
前記第２の副条件とは、前記教師の前記顔部位置が所定の範囲の外に所定の教師顔部偏位期間あることであり、
前記第３の副条件とは、前記教師の口があくびのために所定の教師欠伸期間開いたことであり、
前記第４の副条件とは、前記教師の頭が所定の教師頭振り期間横を向いたことであり、
前記第５の副条件とは、前記教師の顎と胸との間の前記身体部分の総合面積に対する露出皮膚面積の比率が、所定の皮膚露出比率より大きいことであり、
前記第６の副条件とは、前記教師が所定の教師不笑期間笑っていないことである、請求項１に記載の方法。
【請求項３】
前記サーバ（４）により、前記第１の画像データに基づいて前記第１の画像が前記画像部を含んでいないと判定された際、前記教師端装置（１）で警告メッセージを出力するために該警告メッセージを前記通信ネットワーク（５）を介して前記教師端装置（１）に送信することを更に含む、請求項１に記載の方法。
【請求項４】
前記学生端装置（２）により、前記学生の顔の第２の画像を連続的に撮って第２の画像データとすると共に、前記通信ネットワーク（５）を介して前記第２の画像データを前記サーバ（４）にリアルタイムで送信することと、
前記サーバ（４）により、前記学生端装置（２）から受信した前記第２の画像データに基づいて、画像認識を実行することによって、前記学生の顔面表情と、顔面動作とのいずれか１つが、第２の所定条件を満足するか否かを判定することと、
前記サーバ（４）により、前記学生の顔面表情と、顔面動作とのいずれか１つが、前記第２の所定条件を満足していると判定された際、前記教師端装置（１）で前記第２の所定条件に関連する第２の注意メッセージを出力するため、該第２の注意メッセージを前記通信ネットワーク（５）を介して前記教師端装置（１）に送信することと、
を更に含む、請求項１に記載の方法。
【請求項５】
前記サーバ（４）により、前記学生の顔面表情と、顔面動作とのいずれか１つが、前記第２の所定条件を満足していると判定された際、前記教師端装置（１）で前記第２の画像及び前記第２の注意メッセージを同時に出力するために、前記第２の所定条件に関連する前記第２の画像データを前記教師端装置（１）に前記通信ネットワーク（５）を介して更に送信することを更に含む、請求項４に記載の方法。
【請求項６】
前記第２の所定条件には、第７の副条件と第８の副条件と第９の副条件とのうちの１つ、又はそれらの任意の組み合わせを含み、
前記第７の副条件とは、前記学生の目が所定の学生閉目期間閉じたことであり、
前記第８の副条件とは、前記学生の口があくびのために所定の学生欠伸期間開いたことであり、
前記第９の副条件とは、前記学生が所定の学生不笑期間笑っていないことである、請求項５に記載の方法。
【請求項７】
前記オンライン教育システムは、前記サーバ（４）に接続されるユーザ端装置（３）を更に具えており、
前記方法は、前記サーバ（４）により、前記教師の顔面表情と、顔面動作と、顔部位置と、顎と胸部との間の身体部分のいずれか１つが、前記第１の所定条件を満足していると判定された際、前記教師の識別と、前記第１の所定条件を満足しているのは何かとを指示する監視メッセージを生成して、前記ユーザ端装置（３）で前記監視メッセージを出力するために前記監視メッセージを前記ユーザ端装置（３）に送信することを更に含む、請求項４に記載の方法。
【請求項８】
前記サーバ（４）により、前記教師端装置（１）及び前記学生端装置（２）が前記教材を表示する所定のコース時間において、前記学生の顔面表情と顔面動作のうちの前記１つが、前記第２の所定条件を満足する累積回数を数えることと、
前記教師端装置（１）により、ユーザ操作に基づいて、前記所定のコース時間における該学生の学習ぶりに関し且つ評価点数を含む評価データを生成して、該評価データを前記サーバ（４）に送信することと、
前記サーバ（４）により、前記教師端装置（１）から前記評価データを受信する際、前記所定のコース時間における該学生の前記学習ぶりに関し、且つ前記第２の所定条件を満足しているのは何かと、前記所定のコース時間における前記累積回数及び前記評価点数とを指示する評価結果を生成して、前記ユーザ端装置（３）で前記評価結果を出力するために前記評価結果を前記ユーザ端装置（３）に送信することを更に含む、請求項７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連する出願の相互参照）
本出願は、２０１８年３月２０日に出願された台湾特許出願第１０７１０９４７６号の優先権を主張するものである。
【０００２】
本発明は、インタラクティブ型のオンライン教育に関し、特にはインタラクティブ型のオンライン教育のリアルタイム監視の方法に関する。
【背景技術】
【０００３】
従来のオンライン教育は、インターネットによって実現されると共に、遠隔地の学生のためにコースがインターネットを通して行われる。しかし、従来のオンラインコース中には通常、教師の授業もしくは学生の学習に関する異常に対して、時期よく対応することが困難なので、学習の効率に悪影響を与える恐れがある。
【０００４】
台湾特許出願公開第２００８３９６６５号には、オンライン学習システムにおける状況察知のために応用される方法を開示している。皮膚認識及びコンピュータ視覚の技術を応用することにより、該方法には、画像においてターゲットを背景から分離するステップと、前記画像内の前記ターゲットの顔を位置付けするステップと、前記画像において、前記ターゲットの両目の間の距離及び該ターゲットの唇と両目との間の距離に基づいて、該ターゲットが講義に集中しているか否かを判定するステップと、が含まれている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
そこで、本発明の目的は、従来技術の少なくとも１つの欠点を解消できる、インタラクティブ型のオンライン教育のリアルタイム監視の方法を提供することにある。
【課題を解決するための手段】
【０００６】
本開示によれば、前記方法は、オンライン教育システムによって実行されるものである。前記オンライン教育システムは、教師が見るために教材を表示する教師端装置と、学生が見るために前記教材を表示する学生端装置と、通信ネットワークを介して前記教師端装置および前記学生端装置と通信可能に接続されるサーバと、を具えている。前記教師端装置は、該教師が位置している空間の画像を連続的に撮って画像データとし、前記通信ネットワークを介して前記画像データを前記サーバにリアルタイムで送信して、前記サーバがリアルタイムで前記通信ネットワークを介して前記学生端末装置に該画像データを送信して、該学生端装置で前記画像を表示できるようにさせる。前記方法は、
前記サーバにより、前記教師端装置から受信した前記画像に基づいて、該画像に前記教師の胸部以上の身体部分に対応する画像部が含まれていると判定された際、前記画像部に対応する前記画像データの画像データ部に対して画像認識を実行することによって、該教師の顔面表情と、顔面動作と、顔部位置と、顎と胸部との間の身体部分のいずれか１つが、所定条件を満足するか否かを判定するステップと、
前記サーバにより、前記教師の顔面表情と、顔面動作と、顔部位置と、顎と胸部との間の身体部分のいずれか１つが、前記所定条件を満足していると判定された際、前記教師端装置で前記所定条件に関連する注意メッセージを出力するため、該注意メッセージを前記通信ネットワークを介して前記教師端装置に送信するステップと、を含む。
【０００７】
本発明の他の特徴および利点は、添付の図面を参照する以下の実施形態の詳細な説明において明白になるであろう。
【図面の簡単な説明】
【０００８】
【図１】本開示に係るオンライン教育システムの実施形態を示すブロック図である。
【図２】本開示に係る位置決め手順における前記オンライン教育システムの教師端装置に表示されるスクリーン画像の実施形態を示す概略図である。
【図３】本開示に係る前記オンライン教育システムの学生端装置に表示され且つ第１の画像と教材を含むスクリーン画像の実施形態を示す概略図である。
【図４】本開示に係るインタラクティブ型のオンライン教育のリアルタイム監視の方法の実施形態を示すフローチャートである。
【図５】本開示に係る前記オンライン教育システムの前記教師端装置に表示され且つポップアップ警告メッセージを図示するスクリーン画像の実施形態を示す概略図である。
【図６】本開示に係る前記オンライン教育システムの前記教師端装置に表示され且つ異なる第１の注意メッセージを図示するスクリーン画像の実施形態を示す概略図である。
【図７】本開示に係る前記オンライン教育システムの前記教師端装置に表示され且つ異なる第１の注意メッセージを図示するスクリーン画像の実施形態を示す概略図である。
【図８】本開示に係る前記オンライン教育システムの前記教師端装置に表示され且つ異なる第１の注意メッセージを図示するスクリーン画像の実施形態を示す概略図である。
【図９】本開示に係る前記オンライン教育システムの前記教師端装置に表示され且つ異なる第１の注意メッセージを図示するスクリーン画像の実施形態を示す概略図である。
【図１０】本開示に係る前記オンライン教育システムの前記教師端装置に表示され且つ異なる第２の注意メッセージを図示するスクリーン画像の実施形態を示す概略図である。
【発明を実施するための形態】
【０００９】
本発明をより詳細に説明する前に、適切と考えられる場合において、符号又は符号の末端部は、同様の特性を有し得る対応の又は類似の要素を示すために各図面間で繰り返し用いられることに留意されたい。
【００１０】
図１を参照すると、本開示に係るオンライン教育システム１００の実施形態が図示される。オンライン教育システム１００は、本開示に係るインタラクティブ型のオンライン教育のリアルタイム監視の方法を実行するために応用されている。
【００１１】
オンライン教育システム１００は、教師が見るために教材を表示する教師端装置１と、学生が見るために前記教材を表示する学生端装置２と、ユーザ端装置３と、通信ネットワーク５を介して教師端装置１および学生端装置２と通信可能に接続され、且つユーザ端装置３に接続されるサーバ４と、を具えている。教師端装置１及び学生端装置２の実施数量は、ここで本開示に限定されず、他の実施形態において変更してもよいことに留意されたい。例えば、１つの実施形態において、教師端装置１は複数であり、そして学生端装置２も複数である。前記教材は、その教材に対応するコースに参加する一人の教師と一人またはそれ以上の人数の学生の間で共有されてもよい。説明の簡潔と明瞭さのため、以下の記述では、教師端装置１と学生端装置２それぞれの数量は１つと仮定される。
【００１２】
教師端装置１は、画像撮影モジュール１１（例えばカメラ）と、１つもしくはそれ以上の数量のキーボードやマウスやディスプレイやスピーカーを具え得る入力／出力（Ｉ／Ｏ）インターフェイス１２と、を備えたパソコン又はノートパソコンで実施されてもよい。ただし、教師端装置１の実施は、ここで本開示に限定されず、他の実施形態において変更してもよい。
【００１３】
教師端装置１と同様に、学生端装置２は、画像撮影モジュール２１（例えばカメラ）と、１つもしくはそれ以上の数量のキーボードやマウスやディスプレイやスピーカーを具え得る入力／出力（Ｉ／Ｏ）インターフェイス２２と、を備えたパソコン又はノートパソコンで実施されてもよい。ただし、学生端装置２の実施は、ここで本開示に限定されず、他の実施形態において変更してもよい。
【００１４】
ユーザ端装置３は、監視のために設けられ且つサーバ４とは有線接続のパソコン又はノートパソコンで実施されてもよい。ただし、ユーザ端装置３の実施は、ここで本開示に限定されず、他の実施形態において変更してもよい。例えば、ユーザ端装置３は、通信ネットワーク５、もしくは別の通信ネットワーク（図示せず）を介してサーバ４に接続されてもよい。
【００１５】
サーバ４は、画像処理機４１を具えている。サーバ４は、ネットワークサーバ、またはデータサーバで実行されてもよいが、ただしサーバ４の実施は、ここで本開示に限定されず、他の実施形態において変更してもよい。
【００１６】
教師端装置１は、予め、コースを行う際に教師がいるべき空間に適切に配置されると共に、教師端装置１の画像撮影モジュール１１が、その教師がいる前記空間の画像を連続的に撮るよう設けられる（特にその教師の上半身部分の画像を狙い撮る）。同様に、学生端装置２も、予め、コースを学習する際に学生がいるべき空間に適切に配置されると共に、学生端装置２の画像撮影モジュール２１が、その学生がいる前記空間の画像を連続的に撮るよう設けられる（特にその学生の上半身部分の画像を狙い撮る）。
【００１７】
コースを始める前に、オンライン教育システム１００は、教師端装置１の画像撮影モジュール１１に対して、前記教師の位置に関する位置決め手順を執行する。例えば、図２を参照すると、前記位置決め手順中、教師端装置１の画像撮影モジュール１１は、該画像撮影モジュール１１に撮られる前記教師の画像Ｉが、該教師端装置１の前記ディスプレイにおける教師画像ウインドウＷ内に表示され、そして画像Ｉ内の該教師の顔が、該教師端装置１の前記ディスプレイにおける教師画像ウインドウＷ内に表示される参考位置決めフレームＦの中にあるようにする。これで、教師端装置１の画像撮影モジュール１１は、該教師の胸部以上の身体部分の画像を明瞭に撮ることができる。
【００１８】
前記コースの前記教材は、予めサーバ４から教師端装置１及び学生端装置２にダウンロードされてもよく、そして該教材は、所定のコース時間、例えば２０１８年１月３１日の１９：００〜２０：１５を通して教師端装置１及び学生端装置２において同時に表示される。前記所定のコース時間内では、教師端装置１の画像撮影モジュール１１は、該教師が位置している前記空間の第１の画像を連続的に撮って第１の画像データとする。それから、教師端装置１は、通信ネットワーク５を介して前記第１の画像データをサーバ４にリアルタイムで送信して、該サーバ４が、学生端装置２で該第１の画像を表示するために、リアルタイムで通信ネットワーク５を介して該学生端末装置２に該第１の画像データを送信できるようにさせ、教師端装置１の画像撮影モジュール１１に対する前記教師の前記位置が、前記位置決め手順中で調節されたとおりに維持されている際、前記教師の胸部以上の身体部分を含んでいるであろう前記第１の画像が、例えば図３に示される別の教師画像ウインドウＷ内に表示されている画像Ｉ１のように、学生端装置２の前記ディスプレイにおいて表示される。また、前記教材は、図３に示されるよう、学生端末装置２の前記ディスプレイにおける教材ウインドウＷ′内の別の画像Ｃとして表示されることができる。言い換えると、前記学生は、学生端末装置２で前記教材を読み、観るだけではなく、表示されている前記第１の画像を通じて前記教師の顔面表情を見て、対面授業の状況をシミュレーションすることができる。更に、学生端装置２は、前記学生が位置する空間の且つその学生の顔を含んでいるであろう第２の画像を連続的に撮って第２の画像データとすると共に、通信ネットワーク５を介して該第２の画像データをサーバ４にリアルタイムで送信する。
【００１９】
図１と図４を参照すると、本開示に係る方法は、後述のステップＳ１〜Ｓ５を含んでいる。
【００２０】
ステップＳ１において、サーバ４は、教師端装置１から前記第１の画像を受信し、そして学生端装置２から前記第２の画像データを受信する。それから、手順の流れはステップＳ２に進む。
【００２１】
ステップＳ２において、サーバ４は、第１の監視手順を執行する。該第１の監視手順において、教師端装置１から受信した前記第１の画像に基づいて、サーバ４は、該第１の画像に前記教師の胸部以上の身体部分に対応する画像部が含まれているか否かを判定する。
【００２２】
例えば、顔認識技術を応用することで、前記教師の顎の位置が、画像内における該教師の顔の一番低い点部としてまず判定される。その後、エッジ検出を応用することで、前記画像内の該教師の首と、服装のネックラインと肩部が描き出される。このようにして、サーバ４は、該第１の画像に前記教師の胸部と顎との間の身体部分に対応する画像部が含まれているか否かを判定する。
【００２３】
教師端装置１の画像撮影モジュール１１に対する前記教師の前記位置が変わったことなどによって、前記第１の画像には前記画像部が含まれていないと判定された際、サーバ４は、教師端装置１で警告メッセージを出力するために、警告メッセージを通信ネットワーク５を介して教師端装置１に送信する。例えば、図５に示されるように、教師端装置１の前記ディスプレイにおける教師画像ウインドウＷに表示されている、該教師が画像撮影モジュール１１の視点の範囲から外れている画像Ｉ２に基づいて、サーバ４は、前記第１の画像に前記画像部が含まれていないと判定し、そして警告メッセージを表示するためにそれを教師端装置１に送信して、教師端装置１の画像撮影モジュール１１が撮っている画像に対して適切な位置に戻るよう該教師に促す。本実施形態において、警告メッセージは、図５に示されるよう、“Ｄｏｎ‘ｔ  ｇｏ  ａｎｙｗｈｅｒｅ！  Ｔｈｉｎｇｓ  ａｒｅ  ｊｕｓｔ  ｓｔａｒｔｉｎｇ  ｔｏ  ｇｅｔ  ｉｎｔｅｒｅｓｔｉｎｇ！”（行かないで！これからがおもしろいところよ！）というポップアップメッセージとして例示されているが、警告メッセージの実行は、本開示に限定されず、他の実施形態において変更してもよい。前記警告メッセージの出力は、該警告メッセージを表示することで例示されるが、該警告メッセージの出力の実行は、本開示に限定されず、他の実施形態において変更してもよい。例えば、前記警告メッセージの出力は、音声メッセージ（例えば、警告ベルを鳴らす）、もしくは視聴覚メッセージを再生することで実行されてもよい。
【００２４】
一方、前記第１の画像に前記画像部が含まれていると判定された際、サーバ４は、従来の画像認識技術を使用して、前記画像部に対応する前記第１の画像データの画像データ部に対して画像認識を実行することによって、該教師の顔面表情と、顔面動作と、顔部位置と、顎と胸部との間の身体部分のいずれか１つが、第１の所定条件を満足するか否かを判定する。本実施形態において、前記第１の所定条件は、第１の副条件と第２の副条件と第３の副条件と第４の副条件と第５の副条件と第６の副条件とのうちの１つ、又はそれらの任意の組み合わせを含んでいる。ただし、第１の所定条件の実施例は、本開示に限定されず、他の実施形態において変更してもよい。前記教師の顔面表情と、顔面動作と、顔部位置と、顎と胸部との間の身体部分のいずれか１つが、前記第１の副条件〜前記第６の副条件のうちの少なくとも１つを満足していると判定した際、サーバ４は、該教師の顔面表情と、顔面動作と、顔部位置と、顎と胸部との間の身体部分のいずれか１つが、前記第１の所定条件を満足していると判定する。
【００２５】
前記教師の顔面表情と、顔面動作と、顔部位置と、顎と胸部との間の身体部分のいずれか１つが、前記第１の所定条件を満足していると判定された際、サーバ４は、教師端装置１で前記第１の所定条件に関連する第１の注意メッセージを出力するため、該第１の注意メッセージを通信ネットワーク５を介して教師端装置１に送信する。同時に、前記教師の顔面表情と、顔面動作と、顔部位置と、顎と胸部との間の身体部分のいずれか１つが、前記第１の所定条件を満足していると判定された際、サーバ４は、該教師の識別と、前記第１の所定条件を満足しているのは何かとを指示する監視メッセージ（図示せず）を生成して、ユーザ端装置３で前記監視メッセージを出力するために、該監視メッセージをユーザ端装置３に送信する。本実施形態において、前記監視メッセージは、前記教師の名前及び満足した前記第１の副条件〜前記第６の副条件のうちの少なくとも１つを指示する。本実施形態において、第１の注意メッセージ及び監視メッセージそれぞれの出力は、それらを表示することで実行されているが、該第１の注意メッセージ及び該監視メッセージそれぞれの出力の実行は、本開示に限定されず、他の実施形態において変更してもよい。例えば、前記第１の注意メッセージ及び前記監視メッセージそれぞれの出力は、音声メッセージ（例えば、監視ベル、または第１の注意ベルを鳴らす）、もしくは視聴覚メッセージを再生することで実行されてもよい。
【００２６】
以下、図６〜図９を参照して、前記第１の副条件〜前記第６の副条件に対応して教師端装置１に表示される第１の注意メッセージの例を示す。
【００２７】
図６を参照すると、前記第１の副条件とは、前記教師の目が所定の教師閉目期間閉じたことであり、この場合、前記教師の顔面表情は、該教師の目の動きに関する。本実施形態において、所定の教師閉目期間は３秒であるが、その実施例は、ここで本開示に限定されず、他の実施形態において変更してもよい。具体的に言うと、図６に示されるよう、教師端装置１の前記ディスプレイにおける教師画像ウインドウＷ内で表示されている第１の画像、例えば前記教師の目が閉じた所の画像Ｉ３に基づいて、前記教師の目が所定の教師閉目期間閉じたと判定した際、サーバ４は、例えば“Ｒｅｓｔｉｎｇ  ｙｏｕｒ  ｅｙｅｓ？  Ｒｅｍｅｍｂｅｒ  ｔｏ  ｔａｋｅ  ａ  ｂｒｅａｋ  ａｆｔｅｒ  ｔｈｅ  ｓｅｓｓｉｏｎ！”（目をつぶってるの？セッションの後に一休みしてね！）という前記第１の副条件に対応する第１の注意メッセージを表示するため、該第１の注意メッセージを教師端装置１に送信して、該教師には目を開けるよう促す。本実施形態において、前記教師の各目に対し、サーバ４は、上眼瞼及び下眼瞼の間の最大距離と内眼角及び外眼角の間の距離との比率に基づいて、その目が閉じたか否かを判定しており、ここで上眼瞼及び下眼瞼の間の最大距離と、内眼角及び外眼角の間の距離とは、前記第１の画像内での、該教師の上眼瞼及び下眼瞼との近傍に位置する特徴点と、内眼角及び外眼角の近傍に位置する特徴点と、に基づいて算出されたものである。教師の目が閉じたか否かの判定の実施例は、本開示に限定されず、他の実施形態において変更してもよいことに留意されたい。
【００２８】
図７を参照すると、前記第２の副条件とは、前記教師の前記顔部位置が所定の範囲の外に所定の教師顔部偏位期間あることである。本実施形態において、前記所定の範囲とは、図２に示されるよう、参考位置決めフレームＦに取り囲まれた区域であり、そして前記所定の教師顔部偏位期間は３秒である。ただし、所定の範囲及び所定の教師顔部偏位期間の実施例は、本開示に限定されず、他の実施形態において変更してもよい。具体的に言うと、図７に示されるよう、教師端装置１の前記ディスプレイにおける教師画像ウインドウＷ内で表示される第１の画像、例えば前記教師の前記顔部位置が前記所定の範囲の外にある所の画像Ｉ４に基づいて、該教師の前記顔部位置が前記所定の範囲の外に所定の教師顔部偏位期間あると判定された際、サーバ４は、例えば“Ａ  ｌｉｔｔｌｅ  ｔｏ  ｔｈｅ  ｌｅｆｔ，  ａ  ｌｉｔｔｌｅ  ｔｏ  ｔｈｅ  ｒｉｇｈｔ，  ｗｅ  ｗａｎｔ  ｔｏ  ｓｅｅ  ｙｏｕｒ  ｆａｃｅ  ｉｎ  ｔｈｅ  ｃｅｎｔｅｒ！”（もうちょっと左、もうちょっと右、真正面で顔が見たいよ！）という前記第２の副条件に対応する第１の注意メッセージを表示するため、該第１の注意メッセージを教師端装置１に送信して、該教師に顔の位置を調節するよう促す。
【００２９】
前記第３の副条件とは、前記教師の口があくびのために所定の教師欠伸期間開いたことであり、そこで該教師の顔面表情は該教師の口の動きに相対している。本実施形態において、所定の教師欠伸期間は１秒であるが、所定の教師欠伸期間の実施例は、本開示に限定されず、他の実施形態において変更してもよい。本実施形態においてサーバ４は、上唇及び下唇の間の最大距離と、両口角の間の距離との比率に基づいて、該教師の口があくびのために開いたか否かを判定しており、ここで上唇及び下唇の間の最大距離と、各口角の間の距離とは、前記第１の画像内での、該教師の口の上唇及び下唇との近傍に位置する特徴点と、各口角の近傍に位置する特徴点と、に基づいて算出されたものである。教師の口があくびのために開いたか否かの判定の実施例は、本開示に限定されず、他の実施形態において変更してもよいことに留意されたい。
【００３０】
図８を参照すると、本実施形態において、前記第４の副条件とは、前記教師の頭が所定の教師頭振り期間横を向いたことである。本実施形態において、所定の教師頭振り期間は３秒であるが、該所定の教師頭振り期間の実施例は、本開示に限定されず、他の実施形態において変更してもよい。具体的に言うと、図７に示されるよう、教師端装置１の前記ディスプレイにおける教師画像ウインドウＷ内で表示されている第１の画像、例えば前記教師の頭が横を向いている所の画像Ｉ５に基づいて、該教師の頭が所定の教師頭振り期間横を向いたと判定した際、サーバ４は、例えば“Ｒｅｍｅｍｂｅｒ  ｔｏ  ｍａｋｅ  ｅｙｅ  ｃｏｎｔａｃｔ  ｗｉｔｈ  ｙｏｕｒ  ｓｔｕｔｅｎｔｓ！”（学生と目を合わせるように！）という前記第４の副条件に対応する第１の注意メッセージを表示するため、該第１の注意メッセージを教師端装置１に送信して、該教師には頭を正常位置に戻すよう促す。本実施形態において、サーバ４は、顔の横向き角が所定の横向き角（例えば、２６度）より大きいか否か、顔の偏角が所定の偏角（例えば、３３度）より大きいか否か、または顔のピッチ角が所定のピッチ角（例えば、１０度）より大きいか否かに基づいて、前記教師の頭が所定の教師頭振り期間横を向いたか否かを判定しており、ここで、前記横向き角と前記偏角と前記ピッチ角とは、前記第１の画像内での、該教師の顔に位置する特徴点に基づいて算出されたものである。
【００３１】
本実施形態において、前記第５の副条件とは、前記教師の顎と胸との間の前記身体部分の総合面積に対する露出皮膚面積の比率が、所定の皮膚露出比率より大きいことである。本実施形態において、露出皮膚面積とは、顎と胸との間の前記身体部分の区域の一部であり、そして該区域の該一部の色は顔の色と同様である。本実施形態において、所定の皮膚露出比率は７０％であるが、該所定の皮膚露出比率の実施例は、本開示に限定されず、他の実施形態において変更してもよい。具体的に言うと、前記第１の画像に基づいて、前記教師の顎と胸との間の前記身体部分の総合面積に対する露出皮膚面積の比率が、所定の皮膚露出比率より大きいと判定した際、サーバ４は、例えば“Ｐｌｅａｓｅ  ｃｏｎｆｉｒｍ  ｙｏｕｒ  ａｔｔｉｒｅ”（服装に気をつけて）という前記第５の副条件に対応する第１の注意メッセージを表示するため、該第１の注意メッセージを教師端装置１に送信して、該教師には服を適切に着るよう促す。
【００３２】
図９を参照すると、本実施形態において、前記第６の副条件とは、前記教師が所定の教師不笑期間笑っていないことである。本実施形態において、所定の教師不笑期間は６０秒であるが、該所定の教師不笑期間の実施例は、本開示に限定されず、他の実施形態において変更してもよい。具体的に言うと、図９に示されるよう、教師端装置１の前記ディスプレイにおける教師画像ウインドウＷ内で表示されている第１の画像、例えば前記教師が笑っていない所の画像Ｉ６に基づいて、該教師が所定の教師不笑期間笑っていないと判定した際、サーバ４は、例えば“Ｍｏｒｅ  ｓｍｉｌｅｓ”（もっと笑って）という前記第６の副条件に対応する第１の注意メッセージを表示するため、該第１の注意メッセージを教師端装置１に送信して、該教師にはより親しみやすくなるよう促す。本実施形態において、サーバ４は、口周りに位置する特徴点で形成した曲線に基づいて、前記教師が笑っているか否かを判定する。前記曲線が１秒以上、上にへこむと判定された際、サーバ４は前記教師が笑っていると判定する。
【００３３】
再び図４を参照すると、ステップＳ３において、サーバ４は第２の監視手順を執行する。該第２の監視手順において、学生端装置２から受信した前記第２の画像データに基づいて、サーバ４は、画像認識技術を実行することによって、前記学生の顔面表情と、顔面動作とのいずれか１つが、第２の所定条件を満足するか否かを判定する。本実施形態において、前記第２の所定条件には、第７の副条件と第８の副条件と第９の副条件とのうちの１つ、又はそれらの任意の組み合わせを含んでいる。ただし、第２の所定条件の実施例は、本開示に限定されず、他の実施形態において変更してもよい。前記学生の顔面表情と、顔面動作とのいずれか１つが、前記第７の副条件〜前記第９の副条件とのうちの少なくとも１つを満足すると判定された際、サーバ４は、該学生の顔面表情と、顔面動作とのうちの前記１つが、前記第２の所定条件を満足していると判定する。
【００３４】
前記学生の顔面表情と、顔面動作とのいずれか１つが、前記第２の所定条件を満足していると判定された際、サーバ４は、教師端装置１で前記第２の画像及び第２の注意メッセージを同時に出力するために、前記第２の所定条件に関連する前記第２の画像データを教師端装置１に通信ネットワーク５を介して更に送信する。本実施形態において、第２の注意メッセージの出力は、該第２の注意メッセージを表示することで実行されるが、ただし該第２の注意メッセージの出力の実行は、ここで本開示に限定されず、他の実施形態において変更してもよい。例えば、第２の注意メッセージの出力は、音声メッセージ（例えば、第２の注意ベルを鳴らす）、もしくは視聴覚メッセージを再生することで実行されてもよい。
【００３５】
以下、図１０を参照して、前記第７の副条件〜前記第９の副条件に対応して教師端装置１に表示される第２の注意メッセージの例を示す。
【００３６】
本実施形態において、前記第７の副条件とは、前記学生の目が所定の学生閉目期間閉じたことであり、この場合、該学生の顔面表情は、該学生の目の動きに関する。本実施形態において、所定の学生閉目期間は、前記所定の教師閉目期間と一致しているが、該所定の学生閉目期間の実施例は、本開示に限定されず、他の実施形態において変更してもよい。
【００３７】
前記第８の副条件とは、前記学生の口があくびのために所定の学生欠伸期間開いたことであり、この場合、該学生の顔面表情は該学生の口の動きに関する。本実施形態において、所定の学生欠伸期間は、前記所定の教師欠伸期間と一致しているが、該所定の学生欠伸期間の実施例は、本開示に限定されず、他の実施形態において変更してもよい。図１０に示されるよう、前記第２の画像データに基づいて、前記学生の口があくびのために所定の学生欠伸期間開いたと判定された際、サーバ４は、第２のウインドウＷ２に表示されている、例えば”Ｓｔｕｔｅｎｔ  ｙａｗｎｅｄ  ３  ｔｉｍｅｓ”（学生が３回あくびしました）や“Ｓｔｕｔｅｎｔ  ｍａｙ  ｂｅ  ｆａｌｌｉｎｇ  ａｓｌｅｅｐ”（学生は寝てるかもしれません）や“Ｐｌｅａｓｅ  ｒａｉｓｅ  ｓｔｕｔｅｎｔ  ｅｎｇａｇｅｍｅｎｔ”（学生のやる気を高めて）等のメッセージを含んでいる前記第８の副条件に対応する第２の注意メッセージを表示するため、該第２の注意メッセージを教師端装置１に送信し、そして第３のウインドウＷ３内で前記第２の画像を画像Ｉ７として表示するために、前記第２の画像データを教師端装置１に送信して、該教師には学生を集中させるよう促す。
【００３８】
本実施形態において、前記第９の副条件とは、前記学生が所定の学生不笑期間笑っていないことである。本実施形態において、所定の学生不笑期間は、前記所定の教師不笑期間と一致しているが、該所定の学生不笑期間の実施例は、本開示に限定されず、他の実施形態において変更してもよい。
【００３９】
なお、ステップＳ２とステップＳ３の執行順序の実施例は、本開示に限定されず、他の実施形態において変更してもよいことに留意されたい。例えば、一部の実施形態において、ステップＳ３がステップＳ２の前に執行されてもよい。
【００４０】
更に、ステップＳ３において、サーバ４が前記第２の監視手順を執行している際、該サーバ４は、所定のコース時間において、前記学生の顔面表情と顔面動作のうちの前記１つが、前記第２の所定条件を満足する累積回数を数える。例えば、前記学生の目が閉じた累積回数が２、そして前記学生の口があくびのために開けた累積回数が１とする。
ステップＳ４において、前記所定のコース時間の最後に、教師端装置１は、ユーザ操作に基づいて、該所定のコース時間における該学生の学習ぶりに関し且つ評価点数を含む評価データを生成する。続いて、教師端装置１は前記評価データをサーバ４に送信し、そしてサーバ４は該評価データを受信する。その後、手順の流れはステップＳ５に進む。本実施形態において、前記ユーザ操作は教師により行われており、そして前記評価点数は、該教師が、学生の所定のコース時間における学習ぶりに対する観察に基づいて与えたものである。該学生の学習ぶりがよいほど、評価点数も高い。その評価点数は８．０で例示されてもよい。
【００４１】
ステップＳ５において、教師端装置１から前記評価データを受信する際、サーバ４は、前記所定のコース時間における該学生の前記学習ぶりに関し、且つ前記第２の所定条件を満足しているのは何か（即ち、該学生の振る舞い）と、前記累積回数と、該所定のコース時間における前記評価点数とを指示する評価結果を生成する。その後、サーバ４は、ユーザ端装置３で前記評価結果を出力するために、該評価結果をユーザ端装置３に送信する。前述の例のように、該評価結果は、前記学生の目が閉じた累積回数が２、そして前記学生の口があくびのために開けた累積回数が１、そして評価点数が８．０であることを指示する。ユーザ端装置３は、更に前記評価結果に基づいて判定を出すことができる。例えば、オンライン教育システム１００が営利教育企業に応用されるシナリオでは、ユーザ端装置３は、評価された学生が、コースに対する不慣れ、または不満足によって返金を要求したいか否かを判定することができる。前記判定が肯定である際、該営利教育企業の経営者は、コースの品質を改善するため、その評価された学生にアプローチして関心を示すように応じてもよい。
【００４２】
なお、一実施形態において、オンライン教育システム１００は、複数のコースを同時に行うよう応用されてもよいことに留意されたい。各コースにおいて、対応する教師端装置１と、１台またはそれ以上の数量の学生端装置２と、ユーザ端装置３と、サーバ４とが応用され、そしてサーバ４は、教師端装置１から受信した第１の画像データにおける第１の監視手順と、各学生端装置２から受信した第２の画像データにおける第２の監視手順とを執行する。
【００４３】
総括すると、教師の顔面表情と、顔面動作と、顔部位置と、顎と胸部との間の身体部分のいずれか１つが、第１の所定条件を満足すると判定された際、または学生の顔面表情と、顔面動作とのいずれか１つが、第２の所定条件を満足すると判定された際、サーバ４は、第１の注意メッセージもしくは第２の注意メッセージを表示するため、該第１の注意メッセージまたは該第２の注意メッセージを教師端装置１に送信する。前記第１の注意メッセージまたは前記第２の注意メッセージの通知を得ることで、教師は時期よく応答し、コースの品質と、授業及び学習の効率を改善することができる。
【００４４】
上記においては、本発明の全体的な理解を促すべく、多くの具体的な詳細が示された。しかしながら、当業者であれば、一またはそれ以上の他の実施形態が具体的な詳細を示さなくとも実施され得ることが明らかである。また、本明細書における「一つの実施形態」「一実施形態」を示す説明において、序数などの表示を伴う説明は全て、特定の態様、構造、特徴を有する本発明の具体的な実施に含まれ得るものであることと理解されたい。更に、本説明において、時には複数の変化例が一つの実施形態、図面、またはこれらの説明に組み込まれているが、これは本説明を合理化させるためのもので、また、本発明の多面性が理解されることを目的としたものである。
【００４５】
以上、本発明の好ましい実施形態及び変化例を説明したが、本発明はこれらに限定されるものではなく、最も広い解釈の精神および範囲内に含まれる様々な構成として、全ての修飾および均等な構成を包含するものとする。
【図１】
2019179235.tif 000003
【図２】
2019179235.tif 000004
【図３】
2019179235.tif 000005
【図４】
2019179235.tif 000006
【図５】
2019179235.tif 000007
【図６】
2019179235.tif 000008
【図７】
2019179235.tif 000009
【図８】
2019179235.tif 000010
【図９】
2019179235.tif 000011
【図１０】
2019179235.tif 000012
【外国語明細書】
2019179235000001.pdf