(57)【要約】  本発明は、簡便に対象の経時的な動作を学習可能な、新たな表示システム、表示方法、プログラム、および記録媒体を提供する。  本発明の表示システム１０は、対象の経時的な動作情報を含む記憶手段１１、前記対象の経時的な動作情報から、時間軸における、所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを取得する取得手段１２１、前記動作Ｘｎを、対応する標識ｘｎに変換する変換手段１２２、前記時間軸において、前記標識ｘｎが前記実施時間ＴＸｎに配置された譜面を作成する譜面作成手段１２３、および前記譜面を表示する表示手段１３を含むことを特徴とする。
2017217002.tif 000002
【特許請求の範囲】
【請求項１】
対象の経時的な動作情報を含む記憶手段、
前記対象の経時的な動作情報から、時間軸における、所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを取得する取得手段、
前記動作Ｘｎを、対応する標識ｘｎに変換する変換手段、
前記時間軸において、前記標識ｘｎが前記実施時間ＴＸｎに配置された譜面を作成する譜面作成手段、および
前記譜面を表示する表示手段を含むことを特徴とする、表示システム。
【請求項２】
前記対象の経時的な動作情報が、前記対象の動作データである、請求項１記載の表示システム。
【請求項３】
さらに、前記対象の動作データから、前記時間軸における、前記所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを分析する分析手段を含み、
前記取得手段において、前記分析手段において分析された前記所定のｎ種類の動作Ｘｎおよび前記実施時間ＴＸｎを取得する、請求項２記載の表示システム。
【請求項４】
前記対象の経時的な動作情報が、前記所定のｎ種類の動作Ｘｎおよび前記実施時間ＴＸｎである、請求項１記載の表示システム。
【請求項５】
さらに、前記譜面における標識ｘｎの数、標識ｘｎの間隔、および標識ｘｎの形状からなる群から選択された少なくとも１つを補正する補正手段を含む、請求項１から４のいずれか一項に記載の表示システム。
【請求項６】
前記表示手段において、前記譜面を前記時間軸に沿って移動させ、前記実施時間ＴＸｎにおいて、前記標識ｘｎを所定位置に表示する、請求項１から５のいずれか一項に記載の表示システム。
【請求項７】
さらに、取得したユーザの動作情報に基づき、前記表示手段における前記譜面の移動を制御する移動制御手段を含む、請求項６記載の表示システム。
【請求項８】
対象の経時的な動作情報を用い、
前記対象の経時的な動作情報から、時間軸における、所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを取得する取得工程、
前記動作Ｘｎを、対応する標識ｘｎに変換する変換工程、
前記時間軸において、前記標識ｘｎが前記実施時間ＴＸｎに配置された譜面を作成する譜面作成工程、および
前記譜面を表示する表示工程を含むことを特徴とする、表示方法。
【請求項９】
前記対象の経時的な動作情報が、前記対象の動作データである、請求項８記載の表示方法。
【請求項１０】
さらに、前記対象の動作データから、前記時間軸における、前記所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを分析する分析工程を含み、
前記取得工程において、前記分析工程において分析された前記所定のｎ種類の動作Ｘｎおよび前記実施時間ＴＸｎを取得する、請求項９記載の表示方法。
【請求項１１】
前記対象の経時的な動作情報が、前記所定のｎ種類の動作Ｘｎおよび前記実施時間ＴＸｎである、請求項８記載の表示方法。
【請求項１２】
さらに、前記譜面における標識ｘｎの数、標識ｘｎの間隔、および標識ｘｎの形状からなる群から選択された少なくとも１つを補正する補正工程を含む、請求項８から１１のいずれか一項に記載の表示方法。
【請求項１３】
前記表示工程において、前記譜面を前記時間軸に沿って移動させ、前記実施時間ＴＸｎにおいて、前記標識ｘｎを所定位置に表示する、請求項８から１２のいずれか一項に記載の表示方法。
【請求項１４】
さらに、取得したユーザの動作情報に基づき、前記表示工程における前記譜面の移動を制御する移動制御工程を含む、請求項１３記載の表示方法。
【請求項１５】
請求項８から１４のいずれか一項に記載の表示方法をコンピュータ上で実行可能なことを特徴とする、プログラム。
【請求項１６】
請求項１５記載のプログラムを記録していることを特徴とする、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システム、表示方法、プログラム、および記録媒体に関する。
【背景技術】
【０００２】
工場の熟練者の動作を初心者が学習する場合、工場の熟練者の作業等を実際に確認し、それをまねることで身につける。また、このような動作の学習は、工場に限らず、ピアノ、ギター等の演奏動作の学習、サッカー等のスポーツの動作の学習等においても同様である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、初心者が、熟練者の作業をまねすることで学習する場合に、例えば、各動作のこつ等は、熟練者にはわかるものの、初心者には不明である。このため、初心者が新たに作業を習得する場合、時間がかかるという問題があった。【０００４】
そこで、本発明は、簡便に対象の経時的な動作を学習可能な、新たな表示システム、表示方法、プログラム、および記録媒体の提供を目的とする。
【課題を解決するための手段】
【０００５】
前記目的を達成するために、本発明の表示システムは、対象の経時的な動作情報を含む記憶手段、
前記対象の経時的な動作情報から、時間軸における、所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを取得する取得手段、
前記動作Ｘｎを、対応する標識ｘｎに変換する変換手段、
前記時間軸において、前記標識ｘｎが前記実施時間ＴＸｎに配置された譜面を作成する譜面作成手段、および
前記譜面を表示する表示手段を含むことを特徴とする。【０００６】
本発明の表示方法は、対象の経時的な動作情報を用い、
前記対象の経時的な動作情報から、時間軸における、所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを取得する取得工程、
前記動作Ｘｎを、対応する標識ｘｎに変換する変換工程、
前記時間軸において、前記標識ｘｎが前記実施時間ＴＸｎに配置された譜面を作成する譜面作成工程、および
前記譜面を表示する表示工程を含むことを特徴とする。【０００７】
本発明のプログラムは、前記本発明の表示方法をコンピュータ上で実行可能なことを特徴とする。【０００８】
本発明のコンピュータ読み取り可能な記録媒体は、前記本発明のプログラムを記録していることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、簡便に対象の経時的な動作を学習できる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の表示システムの一例（実施形態１）を示すブロック図である。
【図２】図２は、本発明の表示方法の一例（実施形態１）を示すフローチャートである。
【図３】図３は、本発明の表示システムの一例（実施形態２）を示すブロック図である。
【図４】図４は、本発明の表示方法の一例（実施形態２）を示すフローチャートである。
【図５】図５は、本発明の表示システムの表示画面の一例（実施形態３）を示す図である。
【図６】図６は、本発明の表示システムの一例（実施形態５）を示すブロック図である。
【発明を実施するための形態】
【００１１】
本発明の表示システムおよび表示方法は、例えば、前記対象の経時的な動作情報が、前記対象の動作データである。
【００１２】
本発明の表示システムは、例えば、さらに、前記対象の動作データから、前記時間軸における、前記所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを分析する分析手段を含み、
前記取得手段において、前記分析手段において分析された前記所定のｎ種類の動作Ｘｎおよび前記実施時間ＴＸｎを取得する。
【００１３】
本発明の表示システムおよび表示方法は、例えば、前記対象の経時的な動作情報が、前記所定のｎ種類の動作Ｘｎおよび前記実施時間ＴＸｎである。
【００１４】
本発明の表示システムは、例えば、さらに、前記譜面における標識ｘｎの数、標識ｘｎの間隔、および標識ｘｎの形状からなる群から選択された少なくとも１つを補正する補正手段を含む。
【００１５】
本発明の表示システムは、例えば、前記表示手段において、前記譜面を前記時間軸に沿って移動させ、前記実施時間ＴＸｎにおいて、前記標識ｘｎを所定位置に表示する。
【００１６】
本発明の表示システムは、例えば、さらに、取得したユーザの動作情報に基づき、前記表示手段における前記譜面の移動を制御する移動制御手段を含む。
【００１７】
本発明の表示方法は、例えば、さらに、前記対象の動作データから、前記時間軸における、前記所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを分析する分析工程を含み、
前記取得工程において、前記分析工程において分析された前記所定のｎ種類の動作Ｘｎおよび前記実施時間ＴＸｎを取得する。
【００１８】
本発明の表示方法は、例えば、さらに、前記譜面における標識ｘｎの数、標識ｘｎの間隔、および標識ｘｎの形状からなる群から選択された少なくとも１つを補正する補正工程を含む。
【００１９】
本発明の表示方法は、例えば、前記表示工程において、前記譜面を前記時間軸に沿って移動させ、前記実施時間ＴＸｎにおいて、前記標識ｘｎを所定位置に表示する。
【００２０】
本発明の表示方法は、例えば、さらに、取得したユーザの動作情報に基づき、前記表示工程における前記譜面の移動を制御する移動制御工程を含む。
【００２１】
つぎに、本発明の実施形態について説明する。なお、本発明は、下記の実施形態によって何ら限定および制限されない。なお、以下の図１から図６において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用できる。さらに、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【００２２】
［実施形態１］
実施形態１は、本発明の表示システムおよび表示方法に関する。
【００２３】
図１に、本実施形態における表示システムのブロック図を示す。図１に示すように、本実施形態の表示システム１０は、データ記憶手段１１、取得手段１２１、変換手段１２２、譜面作成手段１２３、および表示手段１３を含む。取得手段１２１、変換手段１２２、および譜面作成手段１２３は、例えば、図１に示すように、ハードウェアであるデータ処理手段（データ処理装置）１２に組み込まれてもよく、ソフトウェアまたは前記ソフトウェアが組み込まれたハードウェアでもよい。データ処理手段１２は、中央演算装置（ＣＰＵ）等を備えてもよい。本実施形態の表示システム１０において、データ記憶手段１１は、取得手段１２１に、取得手段１２１は、変換手段１２２および譜面作成手段１２３に、変換手段１２２は、譜面作成手段１２３に、譜面作成手段１２３は、表示手段１３に、それぞれ、電気的に接続されている。本実施形態の表示システム１０は、データ記憶手段１１、取得手段１２１、変換手段１２２、譜面作成手段１２３、および表示手段１３を一体として含むため、例えば、表示装置ということもできる。本実施形態の表示システム１０は、例えば、後述するようにいずれか１つ以上の手段が分離されてもよい。
【００２４】
データ記憶手段１１は、対象の経時的な動作情報を含む。データ記憶手段１１は、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリー、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。データ記憶手段１１は、装置内蔵型であってもよいし、外部記憶装置のような外付け型であってもよい。前記対象は、特に制限されず、例えば、表示システム１０を用いて動作を学習する対象であり、任意の対象とできる。前記動作として、工場作業における動作を学習する場合、前記対象は、例えば、工場作業の熟練作業者等があげられる。前記動作として、楽器の演奏動作を学習する場合、前記対象は、例えば、プロの演奏家、演奏の指導者等があげられる。前記動作として、スポーツにおける動作を学習する場合、前記対象は、例えば、スポーツ選手、スポーツの指導者等があげられる。前記動作は、例えば、前記対象の身体の動き、前記対象の生体が発する脈拍、心拍等の生体の動き、視線等があげられる。前記対象の経時的な動作情報は、例えば、前記対象の動作に関する情報と、前記動作の時間に関する情報とを含む情報であり、具体例として、前記対象の動作データ、後述する所定のｎ種類の動作Ｘｎおよび動作Ｘｎの実施時間ＴＸｎを含む情報等があげられる。前記対象の動作データは、例えば、２次元または３次元の映像等の動作映像、センサ等の取得した２次元または３次元の動作センサデータ、動作分析表等により分析された動作分析データ等があげられる。前記対象の経時的な動作情報は、例えば、さらに、前記対象の体型情報、属性情報等を含んでもよい。前記体型情報は、例えば、前記対象の身長等があげられる。前記属性情報は、例えば、前記対象の年齢、性別等があげられる。
【００２５】
取得手段１２１は、前記対象の経時的な動作情報から、時間軸における、所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを取得する。取得手段１２１は、例えば、前記ＣＰＵ等があげられる。前記時間軸は、例えば、前記対象の経時的な動作情報における時間軸であり、具体例として、前記対象の動作データにおける時間軸があげられる。前記所定のｎ種類の動作Ｘｎは、特に制限されず、例えば、表示システム１０を用いて学習する対象の動作であり、前記対象等により適宜設定できる。具体例として、工場作業の熟練作業者の動作を学習する場合、前記所定のｎ種類の動作Ｘｎは、例えば、物をつかむ、物を離す、ラベルを貼る、ボタンを押す等があげられる。前記対象の経時的な動作情報は、例えば、前記動作Ｘｎを複数含んでもよい。この場合、前記対象の経時的な動作情報は、前記複数の動作Ｘαに対応する複数の動作Ｘαの実施時間ＴＸαを含む。前記ｎ種類の動作Ｘｎにおけるｎの数は、特に制限されず、例えば、前記対象の経時的な動作情報に応じて適宜設定できる。前記ｎは、１以上の整数であり、２以上であってもよい。前記動作Ｘｎの実施時間ＴＸｎは、例えば、前記時間軸における、前記動作Ｘｎの開始時間、終了時間、開始から終了までの時間、前記動作Ｘｎを実際に実施した時間（例えば、日時）等があげられる。
【００２６】
変換手段１２２は、前記動作Ｘｎを、対応する標識ｘｎに変換する。変換手段１２２は、例えば、前記ＣＰＵ等があげられる。前記標識ｘｎは、特に制限されず、例えば、任意の標識とできる。
【００２７】
譜面作成手段１２３は、前記時間軸において、前記標識ｘｎが前記実施時間ＴＸｎに配置された譜面を作成する。譜面作成手段１２３は、例えば、前記ＣＰＵがあげられる。
【００２８】
表示手段１３は、前記譜面を表示する。表示手段１３は、例えば、映像により出力するモニター（例えば、液晶ディスプレイ（ＬＣＤ）、ブラウン管（ＣＲＴ）ディスプレイ等の各種画像表示装置等）があげられる。表示手段１３は、例えば、身体に装着するディスプレイ等でもよく、具体例として、ヘッドマウントディスプレイ等でもよい。
【００２９】
本実施形態の表示システムにおいて、データ記憶手段１１から取得した前記対象の経時的な動作情報、前記動作Ｘｎから変換された標識ｘｎに関する情報、前記譜面の情報は、それぞれ、取得手段１２１、変換手段１２２、および譜面作成手段１２３に記憶されている。本発明はこれに限定されず、データ記憶手段１１に各情報が記憶され、つぎの手段が、データ記憶手段１１から前記情報を読み出してもよい。
【００３０】
つぎに、図２に、本実施形態における表示方法のフローチャートを示す。本実施形態の表示方法は、例えば、図１の表示システム１０を用いて、つぎのように実施する。図２に示すように、本実施形態の表示方法は、Ａ１ステップ（動作情報取得）、Ａ２ステップ（標識変換）、Ａ３ステップ（譜面作成）、およびＡ４ステップ（譜面表示）を含む。
【００３１】
まず、Ａ１ステップに先立ち、前記対象の経時的な動作情報を準備する。前記対象の経時的な動作情報は、例えば、前記対象の経時的な動作情報を分析することにより得られた前記所定のｎ種類の動作Ｘｎおよび前記動作Ｘｎの実施時間ＴＸｎを含む情報であり、これらの情報をデータ処理手段１２に記憶する。前記対象の経時的な動作情報の分析については、後述する。
【００３２】
（Ａ１）動作情報取得
Ａ１ステップでは、前記対象の経時的な動作情報から、時間軸における、所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを取得する。具体的に、Ａ１ステップでは、例えば、データ処理手段１２に記憶された前記所定のｎ種類の動作Ｘｎおよび前記動作Ｘｎの実施時間ＴＸｎを取得する。
【００３３】
（Ａ２）標識変換
Ａ２ステップでは、前記動作Ｘｎを、対応する標識ｘｎに変換する。具体的に、例えば、ユーザが、予め前記動作Ｘｎを前記標識ｘｎと対応付けする。そして、Ａ２ステップでは、前記対応付けを参照し、Ａ１ステップで取得した前記所定のｎ種類の動作Ｘｎにおける各動作Ｘｎを対応する標識ｘｎに変換する。前記ｎが２以上の場合、各標識ｘｎは、同じ標識でもよいし、異なる標識でもよいが、ユーザが標識ｘｎに対応する動作Ｘｎを簡便に理解でき、より効率よく学習できることから、後者の方が好ましい。
【００３４】
（Ａ３）譜面作成
Ａ３ステップでは、前記時間軸において、前記標識ｘｎが前記実施時間ＴＸｎに配置された譜面を作成する。Ａ３ステップでは、例えば、前記時間軸における前記実施時間ＴＸｎに対応する位置に、前記標識ｘｎを配置する。前記譜面における各標識ｘｎ間の距離は、特に制限されず、各標識ｘｎが、実施時間ＴＸｎに対応する位置に配置されればよい。前記譜面において、前記標識ｘｎは、例えば、１つの軸（例えば、譜面上の線、線間のレーン等のスペース等）上に配置されてもよいし、２つ以上の軸上に配置されてもよい。後者の場合、例えば、前記各標識ｘｎを対応する動作Ｘｎの動作時に使用する身体の部位毎に分けて配置してもよい。具体例として、例えば、標識ｘαに対応する動作Ｘαが右手の動作の場合、右手の動作に関する標識を配置する軸上に標識ｘαを配置する。他方、標識ｘβに対応する動作Ｘβが左手の動作の場合、右手の動作に関する標識を配置する軸上ではなく、左手の動作に関する標識を配置する軸上に標識ｘβを配置する。このように、動作時に使用する身体の部位毎に標識ｘｎを分けることにより、例えば、ユーザが動作を学習する際に、身体のどの部位を動作すればよいかがより明確となるため、ユーザがより効率良く動作を学習できる。
【００３５】
（Ａ４）譜面表示
Ａ４ステップでは、前記譜面を表示する。Ａ４ステップでは、例えば、前記譜面全体を表示手段１３に表示してもよいし、前記譜面の一部を表示手段１３に表示してもよい。前記譜面の一部を表示する場合、例えば、前記譜面を前記時間軸に沿って移動させ、前記実施時間Ｔｘｎにおいて、前記標識ｘｎを所定位置（例えば、ユーザに動作Ｘｎの実施を指示する位置等）に表示する。具体的に、例えば、前記譜面における一定時間の範囲を表示し、この際に、表示する一定時間の範囲の始点を譜面の開始時から終了時に向かって経時的に移動させる。
【００３６】
本実施形態の表示システムおよび表示方法では、対象の経時的な動作情報を譜面化し、表示する。このため、ユーザが、前記譜面における標識ｘｎに対応する動作Ｘｎを実施することで、前記対象の動作を簡便に学習できる。なお、これらの効果については、後述の実施形態においても同様である。
【００３７】
［変形例１］
変形例１は、本発明の表示システムおよび表示方法に関する。変形例１の表示システムおよび表示方法は、例えば、実施形態１の表示システムおよび表示方法の説明を援用できる。
【００３８】
変形例１の表示システムは、さらに、前記譜面における標識ｘｎの数、標識ｘｎの間隔、および標識ｘｎの形状からなる群から選択された少なくとも１つを補正する補正手段を含むことが好ましい。前記補正手段は、例えば、ＣＰＵ等があげられる。変形例１の表示システムにおいて、前記表示手段は、例えば、前記補正手段により、前記譜面における標識ｘｎの数、標識ｘｎの間隔、および標識ｘｎの形状からなる群から選択された少なくとも１つが補正された譜面を表示する。前記標識ｘｎの形状は、例えば、標識ｘｎの太さ、大きさ、長さ、色等があげられる。
【００３９】
また、変形例１の表示方法は、さらに、前記譜面における標識ｘｎの数、標識ｘｎの間隔、および標識ｘｎの形状からなる群から選択された少なくとも１つを補正する補正工程を含むことが好ましい。前記補正工程では、例えば、前記譜面作成工程において作成された譜面における標識ｘｎの数、標識ｘｎの間隔、および標識ｘｎの形状からなる群から選択された少なくとも１つを補正する。前記補正工程において、補正する対象は、標識ｘｎの数、標識ｘｎの間隔、および標識ｘｎの形状のいずれか１つでもよいし、２つでもよいし、全てでもよい。前記補正工程では、例えば、予め設定された基準に基づき、補正してもよいし、ユーザ等により使用時に設定された基準に基づき、補正してもよい。前記予め設定された基準は、例えば、前記譜面の難易度に応じた基準があげられる。具体例として、前記補正工程において、前記譜面における前記標識ｘｎの数を減らす、前記譜面における前記標識ｘｎの間隔を広げる、または前記譜面における前記標識ｘｎの数を減らし、且つ前記標識ｘｎの間隔を広げる。これにより、例えば、前記譜面の難易度を低減できる。変形例１の表示方法において、前記表示工程は、例えば、前記補正手段により、前記譜面における標識ｘｎの数、標識ｘｎの間隔、および標識ｘｎの形状からなる群から選択された少なくとも１つが補正された譜面を表示する。
【００４０】
変形例１の表示システムおよび表示方法は、例えば、前記譜面における標識ｘｎの数、標識ｘｎの間隔、および標識ｘｎの形状からなる群から選択された少なくとも１つを補正できることで、例えば、ユーザのレベルに合わせて譜面の内容を補正でき、ユーザのレベルに合わせた譜面を表示できる。このため、例えば、前記ユーザのレベルに合わせた動作の学習ができるため、前記ユーザがより効率よく前記動作を学習できる。
【００４１】
［変形例２］
変形例２は、本発明の表示システムおよび表示方法に関する。変形例２の表示システムおよび表示方法は、例えば、実施形態１および変形例１の表示システムおよび表示方法の説明を援用できる。
【００４２】
変形例２の表示システムは、さらに、取得したユーザの動作情報に基づき、前記表示手段における前記譜面の移動を制御する移動制御手段を含むことが好ましい。前記移動制御手段は、例えば、ＣＰＵ等があげられる。変形例２の表示システムは、例えば、前記表示手段において、前記譜面の一部を表示する場合、例えば、前記譜面を前記時間軸に沿って移動させ、前記実施時間Ｔｘｎにおいて、前記標識ｘｎを所定位置に表示する場合に適用することが好ましい。前記取得したユーザの動作情報は、例えば、ユーザの動作に関する情報と、前記動作の時間に関する情報とを含む情報であり、具体例として、前記ユーザの動作データ、前記標識ｘｎに対応するユーザの動作および前記ユーザの動作の実施時間を含む情報等があげられる。前記譜面の移動の制御は、例えば、譜面の移動の停止、譜面の移動の開始、譜面の移動速度の減速、および譜面の移動速度の加速のいずれでもよい。
【００４３】
変形例２の表示方法は、さらに、取得したユーザの動作情報に基づき、前記表示工程における前記譜面の移動を制御する移動制御工程を含むことが好ましい。変形例２の表示方法は、例えば、前記表示工程において、前記譜面の一部を表示する場合、例えば、前記譜面を前記時間軸に沿って移動させ、前記実施時間Ｔｘｎにおいて、前記標識ｘｎを所定位置に表示する場合に適用することが好ましい。前記移動制御工程では、例えば、前記標識ｘｎ対応するユーザの動作および前記ユーザの動作の実施時間を含む情報を取得し、前記標識ｘｎに対応する動作Ｘｎの実施時間Ｔｘｎと前記ユーザの動作の実施時間とを比較する。そして、前記実施時間Ｔｘｎと前記ユーザの動作の実施時間との差が、所定の範囲内である場合、前記譜面の移動速度は、例えば、変化させない。他方、前記実施時間Ｔｘｎと前記ユーザの動作の実施時間との差が、所定の範囲外の場合、例えば、前記ユーザの動作の実施時間が前記実施時間Ｔｘｎより遅い場合、前記譜面の移動を停止するまたは前記譜面の移動速度を減速する。また、例えば、前記ユーザの動作の実施時間が前記実施時間Ｔｘｎより速い場合、前記譜面の移動を開始するまたは前記譜面の移動速度を加速する。前記所定の範囲は、例えば、前記動作Ｘｎの種類、ユーザのレベル等に応じて適宜設定できる。
【００４４】
変形例２の表示システムおよび表示方法は、例えば、前記譜面の移動を制御できるため、ユーザのレベルに合わせた譜面の速度で譜面を表示できる。このため、例えば、前記ユーザのレベルに合わせた動作の学習ができるため、前記ユーザがさらに効率よく前記対象の動作を学習できる。
【００４５】
［実施形態２］
図３に、本実施形態における表示システムのブロック図を示す。図３に示すように、本実施形態の表示システム２０は、前記実施形態１の表示システム１０の各手段に加え、さらに、分析手段１２４を含む。図３に示すように、分析手段１２４は、データ処理手段１２に組み込まれてよい。本実施形態の表示システム２０において、データ記憶手段１１は、取得手段１２１に代えて、分析手段１２４に、分析手段１２４は、取得手段１２１に、それぞれに電気的に接続されている。この点を除いて、本実施形態の表示システム２０は、実施形態１の表示システム１０と同様の構成を有し、実施形態１の表示システム１０の説明を援用できる。
【００４６】
分析手段１２４は、前記対象の動作データから、前記時間軸における、前記所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを分析する。分析手段１２４は、例えば、前記ＣＰＵ等があげられる。分析手段１２４は、例えば、データ記憶手段１１から前記対象の動作データを取得し、分析する。
【００４７】
本実施形態の表示システム２０において、前記対象の動作データの分析結果、分析手段１２４から取得した前記対象の経時的な動作情報、前記動作Ｘｎから変換された標識ｘｎに関する情報、前記譜面の情報は、それぞれ、分析手段１２４、取得手段１２１、変換手段１２２、および譜面作成手段１２３に記憶されている。本発明はこれに限定されず、データ記憶手段１１に各情報および結果が記憶され、つぎの手段が、データ記憶手段１１から前記情報を読み出してもよい。
【００４８】
つぎに、図４に、本実施形態における表示方法のフローチャートを示す。本実施形態の表示方法は、例えば、図３の表示システム２０を用いて、つぎのように実施する。図４に示すように、本実施形態の表示方法は、前記実施形態１の表示方法の各ステップに加え、さらに、Ａ５ステップ（動作データ分析）を含み、Ａ１ステップにおいて、Ａ５ステップにおいて分析された前記所定のｎ種類の動作Ｘｎおよび前記実施時間ＴＸｎを取得する。この点を除いて、本実施形態の表示方法は、実施形態１の表示方法と同様の構成を有し、実施形態１の表示システムの説明を援用できる。
【００４９】
（Ａ５）動作データ分析
Ａ５ステップでは、前記対象の動作データから、前記時間軸における、前記所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを分析する。具体的に、Ａ５ステップでは、まず、データ記憶手段１１から前記対象の動作データを取得する。つぎに、前記対象の動作データについて、公知の動作検出方法により、前記所定のｎ種類の動作Ｘｎを分析する。そして、前記時間軸における前記動作Ｘｎの実施時間ＴＸｎを分析する。また、前記動作情報に関連する情報を分析する場合、例えば、前記対象の身長情報、属性情報等を分析する場合、公知の映像分析方法、属性分析方法により、前記対象の身長情報、属性情報等を分析する。
【００５０】
（Ａ１）動作情報取得
Ａ１ステップでは、前記Ａ５ステップにおいて分析された前記所定のｎ種類の動作Ｘｎおよび前記実施時間ＴＸｎを取得する。この点を除き、実施形態１の表示方法におけるＡ１ステップの説明を援用できる。
【００５１】
図４におけるＡ２〜Ａ４ステップは、実施形態１と同様に行うことができ、具体的には、前述した図２のフローチャートに従って行うことができる。
【００５２】
［実施形態３］
表示システムの表示画面およびそれを用いて学習するユーザの動作について、図５を用いて説明する。図５に、前記表示システムの表示画面の一例を示す。図５（Ａ）に示すように、本実施形態の表示システムの表示画面３０は、譜面３１および指示ライン３２を含む。また、譜面３１は、右手用レーン３１１、左手用レーン３１２、標識３１３、３１４を含む。また、図５（Ｂ）および（Ｃ）は、前記図５（Ａ）からｔ１およびｔ２秒後の表示画面３０を示す図である。本実施形態において、譜面３１は、左から右方向を前記時間軸方向としているが、本発明はこれに限定されず、表示画面３０における前記時間軸方向は、右から左方向、上から下方向、下から上方向等の任意の方向とできる。また、本実施形態において、右手用レーン３１１および左手用レーン３１２に配置された標識３１３、３１４は、１種類であるが、本発明はこれに限定されず、前述のように、それぞれ、２種類以上としてもよい。
【００５３】
譜面３１は、前記時間軸において、前記標識ｘｎが前記実施時間ＴＸｎに配置された譜面である。本実施形態では、譜面３１における一定時間の範囲の譜面を表示し、表示する一定時間の範囲の始点を譜面の開始時から終了時に向かって経時的に移動させている。
【００５４】
指示ライン３２は、ラインに標識３１３、３１４が重なる場合に、重なった標識３１３、３１４に対応する動作をユーザに実施するよう指示するラインである。指示ライン３２は、例えば、前記標識ｘｎに対応する動作Ｘｎの実施時間Ｔｘｎと前記ユーザの動作の実施時間とを比較し、前記ユーザの動作を判定または評価する場合、判定ライン、評価ライン等ということもできる。
【００５５】
右手用レーン３１１は、右手で実施する動作を指示する標識３１３が配置されたレーンである。標識３１３は、右手で所定の物をつかみ所定の位置に移動させた後に離す動作を示す標識である。
【００５６】
左手用レーン３１２は、左手で実施する動作を指示する標識３１４が配置されたレーンである。標識３１４は、左手で所定のボタンを押す動作を示す標識である。
【００５７】
つぎに、図５を用いて、表示画面３０を用いて学習するユーザの動作について説明する。前述のように、ユーザは、指示ライン３２と標識３１３、３１４が重なる場合、重なった標識３１３、３１４に対応した動作を実施する。まず、図５（Ａ）では、指示ライン３２と重なる標識３１３、３１４は存在しない。このため、ユーザは、右手および左手の動作を実施しない。つぎに、図５（Ａ）のｔ１秒後の図５（Ｂ）においては、指示ライン３２と、右手用ライン３１１に配置された標識３１３とが重なる。このため、ユーザは、右手で所定の物をつかみ所定の位置に移動させた後に離す動作を実施する。さらに、図５（Ａ）のｔ２秒後の図５（Ｃ）においては、指示ライン３２と、左手用ライン３１２に配置された標識３１４とが重なる。このため、ユーザは、左手で所定のボタンを押す動作を実施する。このようにして、ユーザは、譜面３１を用いて、対象の動作を学習できる。
【００５８】
［実施形態４］
本実施形態のプログラムは、前述の表示方法を、コンピュータ上で実行可能なプログラムである。本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。
【００５９】
［実施形態５］
図６に、本発明の表示システムの一例の構成を示す。図６の表示システムは、図１の表示システムにおいて、データ記憶手段がサーバに、その他の手段が端末に分離された形態である。図６に示すように、本実施形態の表示システムは、例えば、サーバと端末とを含み、前記サーバと端末とが、システム外の通信回線網を介して、接続可能である。また、図６に示すように、本実施形態の表示システムは、取得手段２０２ａ、２０２ｂ、２０２ｃと、変換手段２０３ａ、２０３ｂ、２０３ｃと、譜面作成手段２０４ａ、２０４ｂ、２０４ｃと、表示手段２０５ａ、２０５ｂ、２０５ｃと、通信インターフェイス２０１ａ、２０１ｂ、２０１ｃと、サーバ２２０とを備える。取得手段２０２ａは、通信インターフェイス２０１ａ、変換手段２０３ａ、および譜面作成手段２０４ａに、変換手段２０３ａは、譜面作成手段２０４ａに、譜面作成手段２０４ａは、表示手段２０５ａに接続されている。取得手段２０２ａ、変換手段２０３ａ、譜面作成手段２０４ａ、表示手段２０５ａ、および通信インターフェイス２０１ａは、場所Ｘに設置されている。取得手段２０２ｂは、通信インターフェイス２０１ｂ、変換手段２０３ｂ、および譜面作成手段２０４ｂに、変換手段２０３ｂは、譜面作成手段２０４ｂに、譜面作成手段２０４ｂは、表示手段２０５ｂに接続されている。取得手段２０２ｂ、変換手段２０３ｂ、譜面作成手段２０４ｂ、表示手段２０５ｂ、および通信インターフェイス２０１ｂは、場所Ｙに設置されている。取得手段２０２ｃは、通信インターフェイス２０１ｃ、変換手段２０３ｃ、および譜面作成手段２０４ｃに、変換手段２０３ｃは、譜面作成手段２０４ｃに、譜面作成手段２０４ｃは、表示手段２０５ｃに接続されている。取得手段２０２ｃ、変換手段２０３ｃ、譜面作成手段２０４ｃ、表示手段２０５ｃ、および通信インターフェイス２０１ｃは、場所Ｚに設置されている。そして、通信インターフェイス２０１ａ、２０１ｂ、２０１ｃと、サーバ２２０とが、回線網２１０を介して接続されている。
【００６０】
この表示システムでは、サーバ２２０側に、前記データ記憶手段が格納される。例えば、取得手段２０２ａが対象の経時的な動作情報を要求した場合、サーバ２２０が前記対象の経時的な動作情報を送信し、例えば、場所Ｘで取得手段２０２ａが、対象の経時的な動作情報を取得し、変換手段２０３ａが、動作Ｘｎを対応する標識ｘｎに変換し、譜面作成手段２０４ａが、譜面を作成し、表示手段２０５ａが、譜面を表示する。
【００６１】
本実施形態の表示システムによれば、前述のように、ユーザが簡便に対象の動作を学習できる。本実施形態の表示システムは、前述の実施形態２、変形例１もしくは変形例２、またはこれらの組合せに対応したものであってもよい。また、本実施形態の表示システムは、通信インターフェイス２０１ａ、２０１ｂ、２０１ｃと、サーバ２２０とが、無線回線を介して接続されていてもよい。
【００６２】
なお、本実施形態では、場所Ｘ、ＹおよびＺが、それぞれ１つずつ端末を備える形態を例示したが、本発明はこれに限定せず、１つの場所に複数の端末を備えてもよい。また、本実施形態では、サーバに前記データ記憶手段が格納され、その他の手段が端末に含まれる形態を例示したが、本発明はこれに限定されず、いずれか１以上の手段がサーバに格納され、その他の手段が端末に含まれてもよい。具体例として、前記データ記憶手段、前記取得手段、前記変換手段、および前記譜面作成手段がサーバに格納され、前記表示手段が、端末に含まれてもよい。
【００６３】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【００６４】
この出願は、２０１６年６月１７日に出願された日本出願特願２０１６−１２１１０６を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
【産業上の利用可能性】
【００６５】
本発明によれば、簡便に対象の経時的な動作を学習できる。このため、例えば、工場における作業ノウハウ等の学習等の分野において、極めて有用な技術といえる。
【符号の説明】
【００６６】
１０、２０                      表示システム
１１                            データ記憶手段
１２                            データ処理手段
１２１                          取得手段
１２２                          変換手段
１２３                          譜面作成手段
１２４                          分析手段
１３                            表示手段
３０                            表示画面
３１                            譜面
３１１                          右手用レーン
３１２                          左手用レーン
３１３、３１４                  標識
３２                            指示ライン
２０１ａ、ｂ、ｃ                通信インターフェイス
２０２ａ、ｂ、ｃ                取得手段
２０３ａ、ｂ、ｃ                変換手段
２０４ａ、ｂ、ｃ                譜面作成手段
２０５ａ、ｂ、ｃ                表示手段
２１０                          通信回線網
２２０                          サーバ
【図１】
2017217002.tif 000003
【図２】
2017217002.tif 000004
【図３】
2017217002.tif 000005
【図４】
2017217002.tif 000006
【図５】
2017217002.tif 000007
【図６】
2017217002.tif 000008
【手続補正書】
【提出日】平成30年11月20日(2018.11.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象の経時的な動作情報を含む記憶手段、
前記対象の経時的な動作情報から、時間軸における、所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを取得する取得手段、
前記動作Ｘｎを、対応する標識ｘｎに変換する変換手段、
前記時間軸において、前記標識ｘｎが前記実施時間ＴＸｎに配置された譜面を作成する譜面作成手段、および
前記譜面を表示する表示手段を含むことを特徴とする、表示システム。
【請求項２】
前記対象の経時的な動作情報が、前記対象の動作データである、請求項１記載の表示システム。
【請求項３】
さらに、前記対象の動作データから、前記時間軸における、前記所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを分析する分析手段を含み、
前記取得手段において、前記分析手段において分析された前記所定の種類の動作Ｘｎおよび前記実施時間ＴＸｎを取得する、請求項２記載の表示システム。
【請求項４】
前記対象の動作情報が、前記所定の種類の動作Ｘｎおよび前記実施時間ＴＸｎである、請求項１記載の表示システム。
【請求項５】
さらに、前記譜面における標識ｘｎの数、標識ｘｎの間隔、および標識ｘｎの形状からなる群から選択された少なくとも１つを補正する補正手段を含む、請求項１から４のいずれか一項に記載の表示システム。
【請求項６】
前記表示手段において、前記譜面を前記時間軸に沿って移動させ、前記実施時間ＴＸｎにおいて、前記標識ｘｎを所定位置に表示する、請求項１から５のいずれか一項に記載の表示システム。
【請求項７】
さらに、取得したユーザの動作情報に基づき、前記表示手段における前記譜面の移動を制御する移動制御手段を含む、請求項６記載の表示システム。
【請求項８】
対象の経時的な動作情報を用い、
前記対象の経時的な動作情報から、時間軸における、所定のｎ種類の動作Ｘｎと、前記動作Ｘｎの実施時間ＴＸｎとを取得する取得工程、
前記動作Ｘｎを、対応する標識ｘｎに変換する変換工程、
前記時間軸において、前記標識ｘｎが前記実施時間ＴＸｎに配置された譜面を作成する譜面作成工程、および
前記譜面を表示する表示工程を含むことを特徴とする、表示方法。
【請求項９】
請求項８記載の表示方法をコンピュータ上で実行可能なことを特徴とする、プログラム。
【請求項１０】
請求項９記載のプログラムを記録していることを特徴とする、コンピュータ読み取り可能な記録媒体。
【国際調査報告】
2017217002.tif 000009
2017217002.tif 000010
2017217002.tif 000011
2017217002.tif 000012