(57)【要約】  技認識装置（１００）は、時系列で取得した、一連の演技を実施している被写体を含む３次元骨格情報を、所定のルールに基づいて、複数の単位に分節する。技認識装置（１００）は、複数の単位のうちの第一の単位に対応する姿勢運動について、被写体が静止していることを示す特徴を有する第一の運動か、第一の運動とは異なる第二の運動かを判別する。技認識装置（１００）は、第一の単位に対応する判別結果と、第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、第一の単位および第二の単位を少なくとも含む組み合わせに対応する技を決定する。
2019116495.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
３Ｄレーザセンサによりセンシングされた、一連の演技を実施している被写体を含む距離画像情報を、取得し、
前記距離画像情報から得られた前記被写体の３次元骨格情報を、時系列で、取得し、
前記時系列で取得した前記３次元骨格情報を、所定のルールに基づいて、複数の単位に分節し、
前記複数の単位のうちの第一の単位に対応する姿勢運動について、前記被写体が静止していることを示す特徴を有する第一の運動か、前記第一の運動とは異なる第二の運動かを判別し、
前記第一の単位に対応する判別結果と、前記第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、前記第一の単位および前記第二の単位を少なくとも含む組み合わせに対応する技を決定する
処理を実行させることを特徴とする技認識プログラム。
【請求項２】
前記姿勢運動に対応する前記第一の単位と連続する前記第二の単位は、前記第一の単位の前の単位であることを特徴とする請求項１に記載の技認識プログラム。
【請求項３】
前記判別する処理は、前記演技が器具を用いた演技である場合に、前記被写体の３次元骨格情報を、前記器具の位置を基準とした３次元骨格情報に修正し、修正した３次元骨格情報を基にして、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項１に記載の技認識プログラム。
【請求項４】
前記判別する処理は、時系列に連続する前後の各３次元骨格情報の関節位置の変化が閾値未満となる期間に基づいて、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項１、２または３に記載の技認識プログラム。
【請求項５】
前記関節位置の時系列変化と器具の位置の時系列変化とを対応付けた視覚可能な画面情報を生成し、生成した前記画面情報を表示させる処理を更にコンピュータに実行させることを特徴とする請求項４に記載の技認識プログラム。
【請求項６】
コンピュータが、
３Ｄレーザセンサによりセンシングされた、一連の演技を実施している被写体を含む距離画像情報を、取得し、
前記距離画像情報から得られた前記被写体の３次元骨格情報を、時系列で、取得し、
前記時系列で取得した前記３次元骨格情報を、所定のルールに基づいて、複数の単位に分節し、
前記複数の単位のうちの第一の単位に対応する姿勢運動について、前記被写体が静止していることを示す特徴を有する第一の運動か、前記第一の運動とは異なる第二の運動かを判別し、
前記第一の単位に対応する判別結果と、前記第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、前記第一の単位および前記第二の単位を少なくとも含む組み合わせに対応する技を決定する
処理を実行することを特徴とする技認識方法。
【請求項７】
前記姿勢運動に対応する前記第一の単位と連続する前記第二の単位は、前記第一の単位の前の単位であることを特徴とする請求項６に記載の技認識方法。
【請求項８】
前記判別する処理は、前記演技が器具を用いた演技である場合に、前記被写体の３次元骨格情報を、前記器具の位置を基準とした３次元骨格情報に修正し、修正した３次元骨格情報を基にして、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項６に記載の技認識方法。
【請求項９】
前記判別する処理は、時系列に連続する前後の各３次元骨格情報の関節位置の変化が閾値未満となる期間に基づいて、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項６、７または８に記載の技認識方法。
【請求項１０】
前記関節位置の時系列変化と器具の位置の時系列変化とを対応付けた視覚可能な画面情報を生成し、生成した前記画面情報を表示させる処理を更に実行することを特徴とする請求項９に記載の技認識方法。
【請求項１１】
３Ｄレーザセンサと、技認識装置とを含む技認識システムであって、
前記３Ｄレーザセンサは、一連の演技を実施している被写体をセンシングすることで、距離画像情報を生成し、
前記技認識装置は、
前記３Ｄレーザセンサから前記距離画像情報を取得する取得部と、
前記距離画像情報から得られた前記被写体の３次元骨格情報を、時系列で、取得し、前記時系列で取得した前記３次元骨格情報を、所定のルールに基づいて、複数の単位に分節する分節部と、
前記複数の単位のうちの第一の単位に対応する姿勢運動について、前記被写体が静止していることを示す特徴を有する第一の運動か、前記第一の運動とは異なる第二の運動かを判別する判別部と、
前記第一の単位に対応する判別結果と、前記第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、前記第一の単位および前記第二の単位を少なくとも含む組み合わせに対応する技を決定する技決定部と
を有することを特徴とする技認識システム。
【請求項１２】
前記姿勢運動に対応する前記第一の単位と連続する前記第二の単位は、前記第一の単位の前の単位であることを特徴とする請求項１１に記載の技認識システム。
【請求項１３】
前記判別部は、前記演技が器具を用いた演技である場合に、前記被写体の３次元骨格情報を、前記器具の位置を基準とした３次元骨格情報に修正し、修正した３次元骨格情報を基にして、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項１１に記載の技認識システム。
【請求項１４】
前記判別部は、時系列に連続する前後の各３次元骨格情報の関節位置の変化が閾値未満となる期間に基づいて、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項１１、１２または１３に記載の技認識システム。
【請求項１５】
前記関節位置の時系列変化と器具の位置の時系列変化とを対応付けた視覚可能な画面情報を生成し、生成した前記画面情報を表示させる出力部を更に有することを特徴とする請求項１４に記載の技認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、技認識プログラム等に関する。
【背景技術】
【０００２】
各種の採点競技において、公平かつ正確に選手の演技を評価するため、長年にわたり多くの努力や改革が行われてきた。しかし、最近の競技の技術進歩はめざましく、審判員の目視だけでは正確な評価を行うことが困難な場合もある。このため、自動的に選手の演技を評価する技術が望まれている。【０００３】
たとえば、２次元シルエット画像からキーポーズを検出し、検出した各キーポーズの組み合わせから技を認識し、技の採点を行う従来技術がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１１６３０８号公報
【非特許文献】
【０００５】
【非特許文献１】J.Shin  and  S.Ozawa,“A  Study  on  Motion  Analysis  of  an  Artistic  Gymnastics  by  using  Dynamic  Image  Processing,”  IEEE  International  Conference  on  Systems,Man  and  Cybernetics,pp.1037-1040,2008
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来技術では、静止運動および移動運動を認識することなく技の評価を行っているという問題がある。【０００７】
選手が行う演技には、複数の技が含まれる。また、技の種別は、複数の単位の運動の種別を組み合わせたものに応じて認識される。たとえば、ある単位において「Ｘ」という運動をしているときに、その前の運動が静止運動の「Ｙ」なのか、移動運動の「Ｚ」なのかに応じて、技の種別が異なり、技の難度や技の評価項目が異なる。【０００８】
このため、技を認識する場合には、姿勢運動に対応する単位が、静止運動であるのか、移動運動であるのかを識別して、先の単位と後の連続する単位における移動運動の種別とを合わせて技を認識することが求められる。【０００９】
１つの側面では、本発明は、静止運動および移動運動を含む技を認識することができる技認識プログラム、技認識方法および技認識システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
第１の案では、コンピュータに、次の処理を実行させる。コンピュータは、３Ｄレーザセンサによりセンシングされた、一連の演技を実施している被写体を含む距離画像情報を、取得する。コンピュータは、距離画像情報から得られた被写体の３次元骨格情報を、時系列で、取得する。コンピュータは、時系列で取得した３次元骨格情報を、所定のルールに基づいて、複数の単位に分節する。コンピュータは、複数の単位のうちの第一の単位に対応する姿勢運動について、被写体が静止していることを示す特徴を有する第一の運動か、第一の運動とは異なる第二の運動かを判別する。コンピュータに、第一の単位に対応する判別結果と、第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、第一の単位および第二の単位を少なくとも含む組み合わせに対応する技を決定する。
【発明の効果】
【００１１】
静止運動および移動運動を含む技を認識することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本実施例に係る技認識システムの一例を示す図である。
【図２】図２は、技の構成例を示す図である。
【図３】図３は、本実施例に係る技認識装置の構成を示す機能ブロック図である。
【図４】図４は、本実施例に係る距離画像ＤＢのデータ構造の一例を示す図である。
【図５】図５は、本実施例に係る関節定義データのデータ構造の一例を示す図である。
【図６】図６は、本実施例に係る関節位置ＤＢのデータ構造の一例を示す図である。
【図７】図７は、本実施例に係る骨格ＤＢのデータ構造の一例を示す図である。
【図８】図８は、本実施例に係る技認識ＤＢのデータ構造の一例を示す図である。
【図９】図９は、本実施例に係る技認識テーブルのデータ構造の一例を示す図である。
【図１０】図１０は、本実施例に係る成立条件テーブルのデータ構造の一例を示す図である。
【図１１】図１１は、静止運動名と静止運動成立条件との関係の一例を説明するための図である。
【図１２】図１２は、各静止運動の一例を示す図である。
【図１３】図１３は、移動運動名と移動運動成立条件との関係の一例を示す図である。
【図１４】図１４は、吊り輪の器具位置と移動量との関係を示す図である。
【図１５】図１５は、本実施例に係る判別部の処理を説明するための図（１）である。
【図１６】図１６は、本実施例に係る判別部の処理を説明するための図（２）である。
【図１７】図１７は、本実施例に係る技決定部の処理を説明するための図である。
【図１８】図１８は、本実施例に係るグラフ情報の一例を示す図である。
【図１９】図１９は、本実施例に係る技認識装置の処理手順を示すフローチャートである。
【図２０】図２０は、分節区間を設定するその他の例を説明するための図である。
【図２１】図２１は、跳馬による各分節区間の姿勢運動の一例を示す図である。
【図２２】図２２は、技認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下に、本願の開示する技認識プログラム、技認識方法および技認識システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００１４】
図１は、本実施例に係る技認識システムの一例を示す図である。図１に示すように、この技認識システムは、３Ｄ（3  dimension）レーザセンサ２０と、技認識装置１００とを有する。技認識装置１００は、３Ｄレーザセンサ２０に接続される。【００１５】
３Ｄレーザセンサ２０は、競技者１０に対して３Ｄセンシングを行うセンサである。３Ｄレーザセンサ２０は、センシング結果となる距離画像データを、技認識装置１００に出力する。【００１６】
たとえば、距離画像データには、複数の距離画像フレームが含まれ、各距離画像フレームには、フレームを一意に識別するフレーム番号が昇順で付与される。各距離画像フレームには、３Ｄレーザセンサ２０から、競技者１０上の各点までの距離情報が含まれる。【００１７】
競技者１０は、３Ｄレーザセンサ２０の前方で、採点対象となる所定の演技を行う。本実施例では一例として、競技者１０が、体操演技を行う場合について説明するが、他の採点競技に関しても同様に適用することが可能である。【００１８】
たとえば、他の採点競技は、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー、ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。更に、ウェイトリフティングのバーベルが上がったか否かの評価にも用いることができる。【００１９】
体操は、連続する運動であるが、連続する運動の中には複数の技が連続して存在する。また、体操の始めや間には、技には該当しない「つなぎ」の動きが存在する場合がある。体操の演技の中で、技や技を構成する基本運動の姿勢、技の切れ目の姿勢を見ることで、審判員は、技の成立、不成立や、技の完成度を判断し、評価を行う。【００２０】
ここで、「姿勢」とは、頭部、体幹、四肢の相対的位置関係を示すものである。本実施例では一例として、技の切れ目等において静止状態を保持すべき姿勢を「静止運動」と表記する。動きのある姿勢を「移動運動」と表記する。たとえば、「静止運動」の種別と「移動運動」の種別との組あわせにより、技が確定する。【００２１】
図２は、技の構成例を示す図である。図２に示す例では、競技者（競技者１０）は、技Ａ１，Ａ２，Ａ３，Ａ４，Ａ５を順に実行している。図２の横方向の矢印は、時間の流れを示している。技Ａ１は「後ろ振り上がり中水平支持〜上水平支持（２秒）」である。技Ａ２は「ほん転逆上がり中水平支持（２秒）」である。技Ａ３は「後ろ振り上がり十字倒立」である。技Ａ４は「屈伸ヤマワキ」である。技Ａ５は「後ろ振り上がり中水平支持（２秒）」である。【００２２】
ここで、競技者が技Ａ１〜Ａ５を行う過程において、競技者の姿勢運動には、複数の分節姿勢が含まれる。分節姿勢は、競技者の動きが一時的に静止する姿勢を示す。図２に示す例では、時刻Ｔａ１，Ｔａ２，Ｔａ３，Ｔａ４，Ｔａ５，Ｔａ６，Ｔａ７，Ｔａ８，Ｔａ９，Ｔａ１０において、競技者は分節姿勢となる。たとえば、本実施例で説明する姿勢運動は、後述する、「通過の分節姿勢」、「経過の分節姿勢」、「静止の分節姿勢」のうちいずれかの姿勢を示す。【００２３】
なお、分節姿勢は、連続して静止している時間に応じて「通過の分節姿勢」、「静止の分節姿勢」のいずれかに分類される。たとえば、連続して静止している時間が、第１閾値（たとえば、０．５秒）未満である場合に、通過の分節姿勢となる。図２において、時刻Ｔａ１，Ｔａ４，Ｔａ６，Ｔａ８，Ｔａ９における分節姿勢が、通過の分節姿勢となる。【００２４】
図２において、時刻Ｔａ２，Ｔａ３，Ｔａ５，Ｔａ７，Ｔａ１０における分節姿勢が、静止の分節姿勢となる。なお、第２閾値を更に設けて、通過の分節姿勢、静止の分節姿勢の他に、「経過の分節姿勢」を設定してもよい。たとえば、連続して静止している時間が、第１閾値以上、かつ、第２閾値（２秒）未満となる姿勢を、経過の分節姿勢とする。連続して静止している時間が、第２閾値以上となる姿勢を、静止の分節姿勢とする。【００２５】
図１の説明に戻る。技認識装置１００は、３Ｄレーザセンサ２０から取得する距離画像データを基にして、競技者１０の骨格情報を生成し、競技者１０が行った技を認識する装置である。【００２６】
図３は、本実施例に係る技認識装置の構成を示す機能ブロック図である。図３に示すように、この技認識装置１００は、インタフェース部１１０、通信部１２０、入力部１３０、表示部１４０、記憶部１５０、制御部１６０を有する。【００２７】
インタフェース部１１０は、３Ｄレーザセンサ２０に接続される。インタフェース部１１０は、３Ｄレーザセンサ２０から距離画像データを取得し、取得した距離画像データを、制御部１６０に出力する。本実施例では説明を省略するが、インタフェース部１１０は、競技者１０の映像を撮影するカメラに接続され、このカメラから、映像データを取得してもよい。【００２８】
通信部１２０は、ネットワークを介して、他の装置とデータ通信を行う装置である。通信部１２０は、通信装置に対応する。技認識装置１００は、ネットワークを介して、３Ｄレーザセンサ２０に接続されてもよい。この場合には、通信部１２０は、ネットワークを介して、３Ｄレーザセンサ２０から距離画像データを取得する。【００２９】
入力部１３０は、技認識装置１００に各種の情報を入力するための入力装置である。入力部１３０は、キーボード、マウス、タッチパネル等に対応する。【００３０】
表示部１４０は、制御部１６０から出力される表示画面の情報を表示する表示装置である。表示部１４０は、液晶ディスプレイ、タッチパネル等に対応する。【００３１】
記憶部１５０は、距離画像ＤＢ（Data  Base）１５１、関節定義データ１５２、関節位置ＤＢ１５３、骨格ＤＢ１５４、技認識ＤＢ１５５を有する。記憶部１５０は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子や、ＨＤＤ（Hard  Disk  Drive）などの記憶装置に対応する。【００３２】
距離画像ＤＢ１５１は、３Ｄレーザセンサ２０ａから取得する距離画像データを格納するＤＢである。図４は、本実施例に係る距離画像ＤＢのデータ構造の一例を示す図である。図４に示すように、この距離画像ＤＢ１５１は、記録ＩＤと、フレーム番号と、距離画像フレームとを対応付ける。記録ＩＤ（Identification）は、競技者１０が行った一連の演技を一意に識別する情報である。フレーム番号は、同一の記録ＩＤに対応する各フレーム（距離画像フレーム）を一意に識別する番号であり、昇順に番号が割り当てられる。距離画像フレームは、３Ｄレーザセンサ２０にセンシングされた距離画像データに含まれるフレームである。【００３３】
関節定義データ１５２は、競技者（競技者１０）の各関節位置を定義するものである。図５は、本実施例に係る関節定義データのデータ構造の一例を示す図である。図５に示すように、この関節定義データ１５２は、公知の骨格モデルで特定される各関節をナンバリングした情報を記憶する。たとえば、図５に示すように、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。ここで、本実施例では、８番の右肘関節のＸ座標をＸ８、Ｙ座標をＹ８、Ｚ座標をＺ８と記載する場合がある。なお、点線の数字は、骨格モデルから特定されても、採点には利用されない関節等である。【００３４】
関節位置ＤＢ１５３は、３Ｄレーザセンサ２０の距離画像データを基に生成される競技者１０の各関節の位置データを格納するＤＢである。図６は、本実施例に係る関節位置ＤＢのデータ構造の一例を示す図である。図６に示すように、この関節位置ＤＢ１５３は、記録ＩＤと、フレーム番号と、「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」を対応付ける。記録ＩＤに関する説明は、距離画像ＤＢ１５１で行った説明と同様である。【００３５】
図６において、フレーム番号は、同一の記録ＩＤに対応する各距離画像フレームを一意に識別する番号である。「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」は、各関節のＸＹＺ座標であり、たとえば「Ｘ０、Ｙ０、Ｚ０」は、図５に示す０番号の関節の３次元座標である。【００３６】
図６は、記録ＩＤ「Ｐ１０１」の距離画像データにおける各関節の時系列の変化を示しており、フレーム番号「１」では、各関節の位置が「Ｘ０＝１００、Ｙ０＝２０、Ｚ０＝０、・・・、Ｘ１７＝２００、Ｙ１７＝４０、Ｚ１７＝５」あることを示す。そして、フレーム番号「２」では、各関節の位置が「Ｘ０＝１０１、Ｙ０＝２５、Ｚ０＝５、・・・、Ｘ１７＝２０２、Ｙ１７＝３９、Ｚ１７＝１５」へ移動したことを示す。【００３７】
骨格ＤＢ１５４は、距離画像データを基に生成される競技者の骨格の情報を格納するＤＢである。図７は、本実施例に係る骨格ＤＢのデータ構造の一例を示す図である。図７に示すように、この骨格ＤＢ１５４は、記録ＩＤと、フレーム番号と、骨格データとを対応付ける。記録ＩＤ、フレーム番号に関する説明は、距離画像ＤＢ１５１で行った説明と同様である。骨格データは、各関節位置を接続することで推定される競技者１０の骨格を示すデータである。【００３８】
技認識ＤＢ１５５は、競技者１０が行う演技に含まれる技（静止運動、移動運動）を認識する場合に用いられるＤＢである。図８は、本実施例に係る技認識ＤＢのデータ構造の一例を示す図である。図８に示すように、この技認識ＤＢ１５５は、技認識テーブル１５５ａと、成立条件テーブル１５５ｂとを有する。【００３９】
技認識テーブル１５５ａは、技を認識するための各種の情報を保持するテーブルである。図９は、本実施例に係る技認識テーブルのデータ構造の一例を示す図である。図９に示すように、この技認識テーブル１５５ａは、技名と、グループと、成立条件とを対応付ける。技名は、技を一意に識別する名称である。グループは、技名に対応する技が属するグループを示すものである。【００４０】
成立条件は、技が成立する静止運動名および移動運動名を示すものである。静止運動および移動運動の成立条件は、成立条件テーブル１５５ｂにより定義される。また、静止運動および移動運動が成立する条件は複数の項目毎に設定されており、各項目を適宜「評価項目」と表記する。【００４１】
図１０は、本実施例に係る成立条件テーブルのデータ構造の一例を示す図である。図１０に示すように、成立条件テーブル１５５ａは、テーブル１７０ａおよびテーブル１７０ｂを有する。【００４２】
テーブル１７０ａは、静止運動名と静止運動成立条件とを対応付ける。静止運動名は、静止運動を一意に特定する名称を示す。静止運動成立条件は、静止運動が成立する条件を示すものである。以下において、静止運動名と、静止運動成立条件との関係の一例について説明する。【００４３】
図１１は、静止運動名と静止運動成立条件との関係の一例を説明するための図である。たとえば、各静止運動は、静止運動成立条件に対応付けられる。静止運動成立条件には、複数の評価項目が含まれる。図１１に示す静止運動成立条件の評価項目は「背骨アングル」、「ヒップアングル」、「アームアングル」、「エルボーアングル」、「ニーアングル」である。静止運動成立条件は、他の評価項目を含んでいてもよい。【００４４】
背骨アングル（Spine_Angle  of  an  incline）は、関節０番および２番を通る線分と、Ｚ軸とのなす角度である。【００４５】
ヒップアングル（Hip_Angle  between  body）は、関節０番および１番を通る線分と、関節１０番および関節１１番を通る線分とのなす角度である。または、ヒップアングルは、関節０番および１番を通る線分と、関節１４番および関節１５番を通る線分とのなす角度である。【００４６】
アームアングル（Arm_Angle  between  body）は、関節１番および関節２番を通る線分と、関節４番および関節５番を通る線分とのなす角度である。また、アームアングルは、関節１番および関節２番を通る線分と、関節７番および関節８番を通る線分とのなす角度である。【００４７】
エルボーアングル（Elbow_Angle）は、関節４番および５番を通る線分と、関節５番と６番とを通る線分とのなす角度である。また、エルボーアングルは、関節７番および８番を通る線分と、関節８番と９番とを通る線分とのなす角度である。【００４８】
ニーアングルは（Knee_Angle）は、関節１０番および１１番を通る線分と、関節１１番および関節１２番を通る線分とのなす角度である。また、ニーアングルは、関節１４番および１５番を通る線分と、関節１５番および関節１６番を通る線分とのなす角度である。【００４９】
ニー間隔アングル（Knees_sep.  Angle）は、関節１０番および１１番を通る線分と、関節１４番および１５番を通る直線とのなす角度である。【００５０】
たとえば、図１１に示す例では、背骨アングルが「θＡ１以下」、ヒップアングルが「θＡ２以上」、アームアングルが「θＡ３１〜θＡ３２」、エルボーアングルが「θＡ４以上」、ニーアングルが「θＡ５以上」という各成立条件を全て満たす場合に、静止運動名「静止運動Ｓ１」の技が成立したことになる。【００５１】
図１２は、各静止運動の一例を示す図である。図１２に示す静止運動（あるいは、一部）は、図２等で説明した「通過の分節姿勢」、「経過の分節姿勢」、「静止の分節姿勢」にも対応するものとなる。たとえば、図１２に示すように、静止運動には、hang、inv.hang、piked_inv.hang、hang_rw、support、L-sit、straddle_L-sit、straddle_L-sit_sup.a.r.、V-sit、handstand、cross、L-cross、V-cross、inv._crossが含まれる。また、静止運動には、planche、straddled_planche、swallow、inv._swallow、back_lever、front_leverが含まれる。なお、図１２において、Ｙ−Ｚは、競技者のＹＺ平面を示すものである。Ｘ−Ｚは、競技者のＸＺ平面を示すものである。【００５２】
図１０の説明に戻る。テーブル１７０ｂは、移動運動名と、移動運動成立条件とを対応付ける。移動運動名は、移動運動を一意に特定する名称を示す。移動運動成立条件は、移動運動が成立する条件を示すものである。【００５３】
図１３は、移動運動名と移動運動成立条件との関係の一例を示す図である。移動運動名は、移動運動を一意に特定する名称を示す。移動運動成立条件は、対応する移動運動が成立するための各関節位置の推移および各関節位置に基づく角度の推移を定義する。【００５４】
たとえば、移動運動成立条件は「終了分節姿勢名」、「開始分節姿勢名」、「特徴量」等の評価項目を含む。終了分節姿勢名は、該当する移動運動を行う直前の分節姿勢を一意に示す名称である。開始分節姿勢名は、該当する移動運動に続いて行う姿勢運動を開始する時点の分節姿勢を一意に示す名称である。特徴量は、競技者が該当する移動運動を行う際の回転数、ひねり数、腕姿勢、身体姿勢等に対応する移動運動の特徴である。【００５５】
図３の説明に戻る。制御部１６０は、取得部１６１と、抽出部１６２と、分節部１６３と、判別部１６４と、技決定部１６５と、出力部１６６とを有する。制御部１６０は、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）などによって実現できる。また、制御部１６０は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードワイヤードロジックによっても実現できる。【００５６】
取得部１６１は、３Ｄレーザセンサ２０から距離画像データを取得し、取得した距離画像データを、距離画像ＤＢ１５１に登録する。取得部１６１は、距離画像データ（フレーム番号、距離画像フレーム）を距離画像ＤＢ１５１に登録する際に、記録ＩＤを対応付ける。記録ＩＤは、たとえば、距離画像データに付与されている。ユーザは、入力部１３０を操作して、距離画像データに対応する距離ＩＤを入力してもよい。【００５７】
抽出部１６２は、競技者１０の各関節の位置データを時系列に抽出する処理、時系列に骨格データを生成する処理を行う。【００５８】
抽出部１６２が、競技者１０の各関節の位置データを時系列に抽出する処理の一例について説明する。抽出部１６２は、距離画像ＤＢ１５１の距離画像フレームと、関節定義データ１５２とを比較して、フレームに含まれる各関節の種別および関節の３次元座標を特定する。抽出部１６２は、記録ＩＤ、フレーム番号、各関節の種別の３次元座標を対応付けた情報を、関節位置ＤＢ１５３に登録する。抽出部１６２は、フレーム番号毎に上記の処理を繰り返し実行する。【００５９】
抽出部１６２が、骨格データを時系列に生成する処理の一例について説明する。抽出部１６２は、関節位置ＤＢ１５３を基にして、各フレーム番号に対応する骨格データを生成する。抽出部１６２は、生成した骨格データを、記録ＩＤ、フレーム番号と対応付けて、骨格ＤＢ１５４に格納する。【００６０】
たとえば、抽出部１６２は、関節位置ＤＢ１５３に格納された各関節の３次元座標を、関節定義データ１５３に定義された接続関係を基にしてつなぎ合わせることで、骨格データを生成する。【００６１】
分節部１６３は、骨格ＤＢ１５４から競技者１０の骨格データを順次取得し、取得した骨格データを、所定のルールに基づいて、複数の単位に分節する処理部である。分節部１６３は、分節結果を、判別部１６４に出力する。【００６２】
以下において、分節部１６３の処理の一例について説明する。分節部１６３は、前後の骨格データを基にして、競技者１０の移動量、水平揺れ、関節位置の変化の総和Σをそれぞれ算出する。【００６３】
分節部１６３は、式（１）に基づいて、フレーム番号ｎ−１から、フレーム番号ｎまでの競技者１０の移動量Ｓを算出する。たとえば、競技者１０が吊り輪の競技を行っている場合には、移動量Ｓは、吊り輪の器具位置の移動量に相当する。【００６４】
【数１】
2019116495.tif 000003
【００６５】
分節部１６３は、競技者１０の両手首位置の中点「ＪＲ」を、器具位置とする。中点ＪＲは、式（２）により示される。式（２）において、Ｊ６は、競技者１０の関節６番の３次元座標を示す。Ｊ９は、競技者１０の関節９番の３次元座標を示す。【００６６】
【数２】
2019116495.tif 000004
【００６７】
図１４は、吊り輪の器具位置と移動量との関係を示す図である。図１４において、フレーム番号ｎ−１の器具位置をＪＲ（ｎ−１）とし、フレーム番号ｎの器具位置をＪＲ（ｎ）とすると、移動量Ｓは、の器具位置をＪＲ（ｎ）とＪＲ（ｎ−１）との差分値の絶対値となる。ＪＲ（ｎ）の３次元座標を（ＪＲＸ（ｎ），ＪＲＹ（ｎ），ＪＲＺ（ｎ））とし、ＪＲ（ｎ−１）の３次元座標を（ＪＲＸ（ｎ−１），ＪＲＹ（ｎ−１），ＪＲＺ（ｎ−１））とすると、移動量Ｓは、上記の式（１）で示される。【００６８】
分節部１６３は、競技者１０の水平揺れを、式（３）、式（４）によって算出する。式（３）は、競技者１０のＸ軸方向の揺れＦｘを示すものであり、ＪＲＸ（ｎ）を累積した値となる。式（４）は、競技者１０のＹ軸方向の揺れＦｙを示すものであり、ＪＲＹ（ｎ）を累積した値となる。【００６９】
【数３】
2019116495.tif 000005
【数４】
2019116495.tif 000006
【００７０】
分節部１６３は、競技者１０の関節位置の変化の総和Σを、式（５）を基に算出する。式（５）のσｘ、σｙ、σｘは、式（６）、（７）、（８）により算出される。【００７１】
【数５】
2019116495.tif 000007
【数６】
2019116495.tif 000008
【数７】
2019116495.tif 000009
【数８】
2019116495.tif 000010
【００７２】
式（６）は、Ｘ軸方向における、フレーム番号ｎ−１からフレーム番号ｎまでの、競技者１０の各関節位置の移動量を示すものであり、器具の移動の影響を取り除いたものである。式（７）は、Ｙ軸方向における、フレーム番号ｎ−１からフレーム番号ｎまでの、競技者１０の各関節位置の移動量を示すものであり、器具の移動の影響を取り除いたものである。式（８）は、Ｚ軸方向における、フレーム番号ｎ−１からフレーム番号ｎまでの、競技者１０の各関節位置の移動量を示すものであり、器具の移動の影響を取り除いたものである。【００７３】
式（６）〜（８）において、ＪｉＸ（ｎ），ＪｉＹ（ｎ），ＪｉＺ（ｎ）は、フレーム番号ｎにおける、競技者１０の関節ｉ番の３次元座標を示す。ＪｉＸ（ｎ−１），ＪｉＹ（ｎ−１），ＪｉＺ（ｎ−１）は、フレーム番号ｎ−１における、競技者１０の関節ｉ番の３次元座標を示す。式（６）〜（８）は、器具位置ＪＲを原点と見立てた場合における、競技者１０の３次元座標の移動量を示す。【００７４】
たとえば、分節部１６３は、フレーム番号ｎ−１の骨格データと、フレーム番号ｎの骨格データとを基にして、式（５）により、総和Σを算出し、算出した総和Σの値が閾値未満である場合に、フレーム番号ｎのタイミングを分節のタイミングとして判定する。分節部１６３は、フレーム番号ｎ〜ｎ＋ｍの間、連続して、総和Σの値が閾値未満となる場合には、フレーム番号ｎ〜ｎ＋ｍの区間を「分節区間」として判定する。総和Σの値が閾値未満である場合には、競技者１０は静止していることを意味する。【００７５】
なお、分節部１６３は、上記の総和Σが閾値以上となる条件の他に、式（３）、（４）で求めた、競技者１０の水平揺れを条件に加えて、分節のタイミングを判定してもよい。【００７６】
また、分節部１６３は、フレーム番号ｎ〜ｎ＋ｍ間のフレーム番号ｎ＋ｌにおいて、総和Σの値が閾値以上となり、他のフレーム番号において、総和Σの値が閾値未満となる場合には、フレーム番号ｎ〜ｎ＋ｍの区間を「分節区間」として判定してもよい。【００７７】
分節部１６３は、各フレーム番号の骨格データを基にして、上記処理を時系列に繰り返し実行することで、分節のタイミングとなるフレーム番号および分節区間を判定する。分節部１６３は、分節のタイミングとなるフレーム番号および分節区間の情報を、分節結果として、判別部１６４に出力する。【００７８】
また、分節部１６３は、関節位置の変化の総和Σの情報、競技者１０のＸ軸方向の揺れＦｘの情報、競技者１０のＹ軸方向の揺れＦｙの情報を、順次、出力部１６６に出力する。【００７９】
判別部１６４は、分節部１６３の分節結果を基にして、時系列に並んだ骨格データを複数の単位に分割する。判別部１６４は、複数の単位に含まれる分節姿勢が、通過の分節姿勢か、経過の分節姿勢か、静止の分節姿勢かを判別する。判別部１６４は、判別結果を、技決定部１６５に出力する。【００８０】
図１５は、本実施例に係る判別部の処理を説明するための図（１）である。たとえば、図１５において、横軸は時間軸を示す。また、分節部１６３の分節結果に基づく分節区間をそれぞれ、Ｔｎ−１，Ｔｎ，Ｔｎ＋１とする。判別部１６４は、分節区間を基にして、骨格データを、複数の基本単位に分割する。【００８１】
判別部１６４は、先の分節区間の終了時点から、次の分節区間の終了時点までの区間を、基本単位として、骨格データを複数の単位に分割する。図１５において、たとえば、判別部１６４は、開始時点から分節区間Ｔｎ−１の終了時点までの区間を、基本単位Ｕｎ−１とする。判別部１６４は、分節区間Ｔｎ−１の終了時点から分節区間Ｔｎの終了時点までの区間を、基本単位Ｕｎとする。判別部１６４は、分節区間Ｔｎの終了時点から分節区間Ｔｎ＋１の終了時点までの区間を、基本単位Ｕｎ＋１とする。【００８２】
続いて、判別部１６４は、分節区間の時間長に基づいて、分節区間における分節姿勢が、通過の分節姿勢か、経過の分節姿勢か、静止の分節姿勢かを判別する。【００８３】
判別部１６４は、分節区間の時間長が、第１時間長未満である場合には、分節区間の分節姿勢を「通過の分節姿勢」と判別する。判別部１６４は、分節区間の時間長が、第１時間長以上、第２時間長未満である場合には、分節区間の分節姿勢を「経過の分節姿勢」と判別する。判別部１６４は、分節区間の時間長が第２時間長以上である場合には、分節区間の分節姿勢を「静止の分節姿勢」と判別する。本実施例では一例として、第１時間長を「０．５ｓ」とし、第２時間長を「２．０ｓ」とする。【００８４】
たとえば、図１５において、分節区間Ｔｎ−１の時間長が第２時間長以上とすると、分節区間Ｔｎ−１における競技者１０の姿勢運動は、静止の分節姿勢となる。分節区間Ｔｎの時間長が第２時間長以上とすると、分節区間Ｔｎにおける競技者１０の姿勢運動は、静止の分節姿勢となる。分節区間Ｔｎ＋１の時間長が第２時間長以上とすると、分節区間Ｔｎ＋１における競技者１０の姿勢運動は、静止の分節姿勢となる。【００８５】
判別部１６４は、分節区間の始点および終点に対応するフレーム番号と、分節区間における分節姿勢の種別とを対応付けた情報を、技決定部１６５に出力する。また、判別部１６４は、基本単位の始点および終点に対応するフレーム番号を、技決定部１６５に出力する。【００８６】
また、判別部１６４は、分節区間の種別に応じて、基本単位を補正してもよい。たとえば、判別部１６４は、分節区間の種別が「経過の分節姿勢」である場合には、前後の基本単位を統合する。図１６は、本実施例に係る判別部の処理を説明するための図（２）である。たとえば、分節区間Ｔｎ’の時間長が第１時間長未満とすると、分節区間Ｔｎ’における競技者１０の姿勢運動は、通過の分節姿勢となる。この場合には、判別部１６４は、分節区間Ｔｎ’の前後で、基本単位を分割しないで、分節区間Ｔｎ’を、基本単位Ｕｎに含める。【００８７】
判別部１６４は、基本単位の情報、分節区間の情報を、判別結果として、技決定部１６５に出力する。たとえば、基本単位の情報は、図１５等で説明した、各基本単位の開始時点および終了時点（フレーム番号）を含む。分節区間の情報は、各分節区間の開始時点および終了時点（フレーム番号）を含む。また、分節区間の情報は、分節区間が「通過の分節区間」であるのか、「経過の分節区間」であるのか、「静止の分節区間」であるかの情報を含む。【００８８】
図３の説明に戻る。技決定部１６５は、判別部１６４の判別結果を基にして、基本単位毎に、技を決定する処理部である。基本単位には、移動運動および姿勢運動が含まれている。技決定部１６５は、移動運動の種別および姿勢運動の種別の組み合わせを基にして、基本単位に対応する技を決定する。【００８９】
技決定部１６５は、基本単位の開始時点および終了時点と、分節区間の開始時点および終了時点とを基にして、基本単位を、移動運動の種別を認識する単位と、分節姿勢の種別を認識する単位とに分割する。以下の説明では適宜、移動運動の種別を認識する単位を、「移動運動区間」と表記する。分節姿勢の種別を認識する単位を、「分節区間」と表記する。【００９０】
図１７は、本実施例に係る技決定部の処理を説明するための図である。図１７に示す例では、基本単位Ｕｎ−１には、移動運動区間ｔｎ−１、分節区間Ｔｎ−１が含まれる。基本単位Ｕｎには、移動運動区間ｔｎと、分節区間Ｔｎが含まれる。基本単位Ｕｎ＋１には、移動運動区間ｔｎ＋１と、分節区間Ｔｎ＋１が含まれる。【００９１】
技決定部１６５は、移動運動区間に対応する骨格データと、技認識ＤＢ１５５（テーブル１７０ｂ）とを基にして、移動運動区間に含まれる移動運動の種別を特定する。技決定部１６５は、移動運動区間に対応する骨格データの特徴が、テーブル１７０ｂのいずれの移動運動成立条件に対応するか否かに応じて、移動運動名を特定する。技決定部１６５が、移動運動名を判定するためには、図１３で説明したように、「終了分節姿勢名」、「開始分節姿勢名」、「特徴量」を特定することになる。【００９２】
技決定部１６５が、終了分節姿勢名を特定する処理の一例について説明する。技決定部１６５は、終了分節姿勢名として、移動運動区間直前の分節姿勢名（静止運動名）を特定する。たとえば、移動運動区間の開始時点のフレーム番号をｎとすると、フレーム番号ｎ−１の骨格データと、テーブル１７０ａで定義された静止運動成立条件とを比較して、静止運動名を特定する。特定した静止運動名は、図１２に示した静止運動のいずれかとなる。【００９３】
たとえば、フレーム番号ｎ−１の骨格データから求められる各評価項目について、背骨アングルが「θＡ１以下」、ヒップアングルが「θＡ２以上」、アームアングルが「θＡ３１〜θＡ３２」、エルボーアングルが「θＡ４以上」、ニーアングルが「θＡ５以上」という各成立条件を全て満たすとする。この場合には、静止運動名「静止運動Ｓ１」の技が成立したことになるため、技決定部１６５は、「静止運動Ｓ１」を、終了分節姿勢名として特定する。【００９４】
技決定部１６５が、開始分節姿勢名を特定する処理の一例について説明する。技決定部１６５は、開始分節姿勢名として、分節区間を開始（姿勢運動を開始）する時点の分節姿勢名（静止運動名）を特定する。たとえば、分節区間の開始時点のフレーム番号をｎとすると、フレーム番号ｎの骨格データと、テーブル１７０ａで定義された静止運動成立条件とを比較して、静止運動名を特定する。特定した静止運動名は、図１２に示した静止運動のいずれかとなる。【００９５】
技決定部１６５が、特徴量を特定する処理の一例について説明する。技決定部１６５は、移動運動区間に含まれる骨格データに基づき、競技者１０の回転数、ひねり数、腕姿勢、身体姿勢を特定し、特定した情報を特徴量とする。たとえば、腕姿勢は「伸腕、屈腕」等に対応し、身体姿勢は「伸身、屈伸、かかえ込み」等に対応する。また、技決定部１６５は、特徴量を算出する場合に、移動運動区間に含まれる移動データの３次元座標を、器具の中点を原点とした３次元座標に補正し、補正した３次元座標を用いて、特徴量を算出してもよい。【００９６】
技決定部１６５は、上記の処理を行うことで、終了分節姿勢名、開始分節姿勢名、特徴量を特定する。技決定部１６５は、特定した終了分節姿勢名、開始分節姿勢名、特徴量の組と、テーブル１７０ｂの移動運動成立条件とを比較することで、該当する移動運動名を特定する。【００９７】
一方、技決定部１６５は、終了分節姿勢名および開始分節姿勢名に対応する静止運動名（分節姿勢名）が存在しない場合には、移動運動区間の移動運動を不認定とする。また、技決定部１６５は、終了分節姿勢名、開始分節姿勢名、特徴量の組に対応する、移動運動成立条件が存在しない場合にも、移動運動区間の移動運動を不認定とする。【００９８】
技決定部１６５は、分節区間に対応する骨格データと、技認識ＤＢ１５５（テーブル１７０ａ）とを基にして、分節区間に含まれる分節姿勢（静止運動）の種別を特定する。技決定部１６５は、分節区間に対応する骨格データの特徴が、テーブル１７０ａのいずれの静止運動成立条件に対応するか否かに応じて、分節姿勢名（静止運動名）を特定する。【００９９】
たとえば、技決定部１６５は、分節区間の開始時点から終了時点までのフレーム番号のうち、いずれかのフレーム番号を特定する。技決定部１６５は、特定したフレーム番号に対応する骨格データと、テーブル１７０ａで定義された静止運動成立条件とを比較して、静止運動名を特定する。特定した静止運動名は、図１２に示した静止運動のいずれかとなる。【０１００】
技決定部１６５は、上記の処理を行うことで、同一の基本単位に含まれる移動運動区間の移動運動名と、分節区間の静止運動名との組を特定する。また、技決定部１６５は、分節区間に対応する分節姿勢（静止運動）が「経過の分節姿勢」であるか、「静止の分節姿勢」であるかを、区別する。【０１０１】
技決定部１６５は、同一の基本単位に含まれる移動運動区間の移動運動名および分節区間の静止運動名と、技認識テーブル１５５ａの成立条件とを比較し、成立条件に対応する技名を、競技者１０が、基本単位で行った技として決定する。【０１０２】
ここで、移動運動名および静止運動名（分節区間の姿勢運動の種別）に応じた、技の一例について説明する。たとえば、技決定部１６５は、基本単位の移動運動名が「伸腕伸身逆上がり」であり、静止の静止運動名が「十字懸垂（２秒）」である場合には、かかる基本単位の技を「伸腕伸身逆上がり十字懸垂」と決定する。【０１０３】
技決定部１６５は、基本単位の移動運動名が「ほん転逆上がり」であり、静止の静止運動名が「倒立（２秒）」である場合には、かかる基本単位の技を「ほん転逆上がり倒立」と決定する。【０１０４】
技決定部１６５は、基本単位の移動運動が「不認定」であり、静止の静止運動名が「十字懸垂（２秒）」である場合には、かかる基本単位の技を「十字懸垂」と決定する。【０１０５】
技決定部１６５は、基本単位の移動運動名が「伸腕ほん転逆上がり」であり、経過の静止運動名が「倒立」である場合には、かかる基本単位の技を「伸腕ほん転逆上がり倒立経過」と決定する。【０１０６】
基本運動に移動運動と、移動運動の後に、複数の静止運動が含まれており、この組合せが、「組合せ１」となるものとする。この場合には、連続する静止運動名が同一であるため、技決定部１６５は、移動運動Ｄ１に静止の静止運動Ｓ１を付加した名称を、基本単位の技の名称とする。なお、静止運動名が同一であれば、移動運動の後に行われた静止運動の数によらず、技の名称は同一となる。【０１０７】
組合せ１：「移動運動名Ｄ１」＋経過の「静止運動名Ｓ１」＋通過の「静止運動名Ｓ１」＋静止の「静止運動名Ｓ１」＝技名「移動運動名Ｄ１＋静止運動名Ｓ１」の技が成立する。【０１０８】
基本運動に移動運動と、移動運動の後に、複数の静止運動が含まれており、この組合せが、「組合せ２」となるものとする。技決定部１６５は、組合せ２のように、経過の静止運動の後に、姿勢が他の姿勢となり、再び元の静止運動となった場合には、静止運動名を、基本単位の技の名称とする。【０１０９】
組合せ２：「移動運動名Ｄ１」＋経過の「静止運動名Ｓ１」＋「他の静止運動名（姿勢はずれ）」＋静止の「静止運動名Ｓ１」＝技名「静止運動名Ｓ１」の技が成立する。【０１１０】
基本運動に移動運動と、移動運動の後に、複数の静止運動が含まれており、この組合せが、「組合せ３」となるものとする。技決定部１６５は、組合せ３のように、通過の静止運動の後に、姿勢が他の姿勢となり、再び元の静止運動となった場合には、移動運動名Ｄ１に静止運動名を付加したものを、基本単位の技の名称とする。【０１１１】
組合せ３：「移動運動名Ｄ１」＋通過の「静止運動名Ｓ１」＋「他の静止運動名（姿勢はずれ）」＋静止の「静止運動名Ｓ１」＝技名「移動運動名Ｄ１＋静止運動名Ｓ１」の技が成立する。【０１１２】
技決定部１６５は、基本単位毎に上記処理を繰り返し実行し、基本単位毎の技名を決定する。技決定部１６５は、基本単位に対応する技名を、順次、出力部１６６に出力する。また、技決定部１６５は、競技者１０の特徴量の情報を、順次、出力部１６６に出力する。【０１１３】
ここで、技認識装置１００は、技名を決定する場合において、リアルタイム処理を実行するものとする。たとえば、技決定部１６５は、図１７において、移動運動区間ｔｎ＋１が終了した時点で、移動運動区間ｔｎ＋１の移動運動名を決定する。技認識装置１００は、分節区間Ｔｎ−１が終了した時点で、静止運動名を決定し、移動運動名と静止運動名との組合せから、基本単位Ｕｎ−１の技の名称を決定する。技決定部１６５は、同様にして、移動運動区間ｔｎと、分節区間Ｔｎとが終了した時点で、基本単位Ｕｎの技の名称を決定する。技決定部１６５は、移動運動区間ｔｎ＋１と、分節区間Ｔｎ＋１とが終了した時点で、基本単位Ｕｎ＋１の技の名称を決定する。【０１１４】
出力部１６６は、技決定部１６５が決定した技名を受けつけた場合に、技名の情報を、表示部１４０に出力して表示させる処理部である。【０１１５】
また、出力部１６６は、競技者１０の骨格データの特徴量の時間推移、関節位置の変化の総和Σ、競技者１０のＸ方向、Ｙ方向の揺れＦｘ、Ｆｙの時間変化を表示するグラフ情報を生成し、生成したグラフ情報を、表示部１４０に出力して表示させてもよい。本実施例では一例として、骨格データの特徴量を、競技者１０の回転角度、腰角度、上腕角度とする。【０１１６】
図１８は、本実施例に係るグラフ情報の一例を示す図である。図１８のグラフ５５において、横軸は時間軸（フレーム番号）を示す。縦軸は角度、または、総和Σ、揺れＦｘ、Ｆｙの値に対応する軸である。図１８において、線分５０は、式（６）により算出される、関節位置の変化の総和Σの時間変化を示す線分である。線分５０ａは、競技者１０が静止しているか否かを判定するための閾値である。線分５０が、閾値５０ａ未満である間は、競技者１０は静止していることを示す。【０１１７】
線分５１ａは、揺れＦｘの時間変化を示すものである。線分５１ｂは、揺れＦｙの時間変化を示すものである。線分５２ａは、競技者１０の回転角度を示すものであり、前転の場合には正の値をとり、後転の場合には負の値をとる。線分５２ｂは、競技者１０の腰角度を示すものである。線分５２ｃは、競技者１０の上腕角度を示すものである。図１８に示す、骨格データの特徴量（線分５２ａ，５２ｂ，５２ｃの時間変化）は、技「ほん転逆上がり倒立」に対応する特徴量である。【０１１８】
たとえば、審査員は、図１８に示すグラフを参照することで、関節位置の変化の総和Σが、閾値（線分５０ａ）を下回っているか否かを確認することで、静止運動「倒立」において、競技者１０が静止しているか否かを確認することが可能となる。【０１１９】
次に、本実施例に係る技認識装置１００の処理手順の一例について説明する。図１９は、本実施例に係る技認識装置の処理手順を示すフローチャートである。図１９に示すように、技認識装置１００の取得部１６１は、３Ｄレーザセンサ２０から距離画像データを取得する（ステップＳ１０１）。技認識装置１００の抽出部１６２は、距離画像データを解析し、競技者１０の骨格データを抽出する（ステップＳ１０２）。【０１２０】
技認識装置１００の分節部１６３は、分節区間を判定する（ステップＳ１０３）。技認識装置１００の判別部１６４は、分節区間に対する姿勢運動が、通過、経過、静止のいずれであるかを判定する（ステップＳ１０４）。判別部１６４は、骨格データを、基本単位に分割する（ステップＳ１０５）。【０１２１】
技認識装置１００の技決定部１６５は、基本単位に含まれる移動運動の種別、姿勢運動の種別を判定する（ステップＳ１０６）。技決定部１６５は、移動運動の種別と、姿勢運動の種別との組み合わせに対応する技を判定する（ステップＳ１０７）。技認識装置１００の出力部１６６は、技の判定結果を、表示部１４０に出力する（ステップＳ１０８）。【０１２２】
次に、本実施例に係る技認識装置１００の効果について説明する。技認識装置１００は、競技者１０の姿勢運動が静止しているか否かに基づいて、分節区間に特定する。また、技認識装置１００は、移動運動区間と、分節区間とを含む基本単位毎に、時系列の骨格データを分割し、移動運動区間の移動運動の種別と、分節区間の静止運動の種別との組から、技を決定する。これにより、競技者１０の姿勢が静止しているか否かを加味したうえで、一つの技を認識することが求められる採点競技において、複数の単位動作からなる技を認識することが可能となる。【０１２３】
技認識装置１００は、競技者１０の関節位置の変化の総和Σが閾値未満となる区間を分節区間とし、分節区間の時間長に応じて、分節区間に含まれる静止運動が、通過の静止運動であるか、経過の静止運動であるか、静止の静止運動であるかを区別する。これにより、分節区間の静止運動の種別に応じた、技の名称を適切に認識することができる。【０１２４】
なお、器具を使った演技（吊り輪、平行棒、トランポリン）においては、競技者１０がぶら下がっている、または、乗っていることにより、器具自体が振動することがある。このとき、競技者１０が静止していても、器具自体の振動が、時系列で順次取得した骨格データの関節位置の推移に加味されてしまう。【０１２５】
一方で、競技者１０がぶら下がっている、または、乗っていることにより器具自体の振動以外に、競技者１０自身が動いてしまっていることで、器具が揺れている場合には、競技者１０の揺れとして認識し、技の成立や、出来栄えに反映することが好ましい。【０１２６】
ここで、技認識装置１００は、競技者１０の姿勢を評価する場合に、競技者１０の骨格データの３次元座標を、器具の中心位置を基準とした３次元座標に修正し、修正した３次元座標を基にして、競技者１０の姿勢を評価する。これにより、技認識装置１００によれば、器具自体の振動の影響を除外して、競技者１０の姿勢を適切に評価することができる。【０１２７】
ところで、上述した実施例では一例として、競技者１０が行う演技を吊り輪とし、式（６）に示した、関節位置の変化の総和Σの値と閾値との比較により、分節区間を設定し、姿勢運動を特定していたが、これに限定されるものではない。たとえば、後述するように、吊り輪以外の採点競技でも、同様に技を判定することが可能である。以下において、技認識装置１００が、跳馬を行う競技者の技を判定する処理の一例について説明する。【０１２８】
図２０は、分節区間を設定するその他の例を説明するための図である。図２０に示す例では、競技者１５が、跳馬を行っている。技認識装置１００は、評価関数Σ１、評価関数Σ２、評価関数Σ３を用いて、複数の分節区間を設定する。評価関数Σ１、評価関数Σ２、評価関数Σ３は、下記の様に定義される。【０１２９】
評価関数Σ１は、競技者１５が踏切台面１６において、踏切を行う瞬間の姿勢運動のタイミングＴｂ１を特定するものである。たとえば、評価関数Σ１の値≦ＴＨ１となる分節区間に、踏切を行う瞬間の姿勢運動が含まれる。【０１３０】
評価関数Σ１は、競技者１５の関節１２番および１６番のＺ座標値をサンプリング値とし、フレーム番号ｎのサンプリング値と、フレーム番号ｎ−１のサンプリング値との変化を求める評価関数である。ただし、競技者１５の関節１２番および１６番のＹ座標値が踏切台面１６の区間１６ａに含まれている間に、評価関数Σ１は適用される。【０１３１】
評価関数Σ２は、競技者１５が跳馬台面１７において、着手支持が成立したタイミングＴｂ２を特定するものである。たとえば、評価関数Σ２の値≦ＴＨ２となる分節区間に、着手支持が成立する瞬間の姿勢運動が含まれる。【０１３２】
評価関数Σ２は、競技者１５の関節６番および９番のＺ座標値をサンプリング値とし、フレーム番号ｎのサンプリング値と、フレーム番号ｎ−１のサンプリング値との変化を求める評価関数である。ただし、競技者１５の関節６番および９番のＹ座標が、跳馬台面１７の区間１７ａに含まれている間に、評価関数Σ２は適用される。【０１３３】
評価関数Σ３は、競技者１５がマット１８に着地した瞬間の姿勢運動のタイミングＴｂ３を特定するものである。たとえば、評価関数Σ３の値≦ＴＨ３となる分節区間に、着地を行う瞬間の姿勢運動が含まれる。【０１３４】
評価関数Σ３は、競技者１５の関節１２番および１６番のＺ座標値をサンプリング値とし、フレーム番号ｎのサンプリング値と、フレーム番号ｎ−１のサンプリング値との変化を求める評価関数である。ただし、競技者１５の関節１２番および１６番のＹ座標が、マット１８の区間１８ａに含まれる間に、評価関数Σ３は適用される。【０１３５】
図２１は、跳馬による各分節区間の姿勢運動の一例を示す図である。たとえば、技認識装置１００は、評価関数Σ１の値≦ＴＨ１となる分節区間の時間長が０．１秒以上である場合には、この分節区間に、姿勢運動take-off、round-offが含まれるか否かを判定する。【０１３６】
技認識装置１００は、評価関数Σ２の値≦ＴＨ２となる分節区間の時間長が０．１秒以上である場合には、この分節区間に、姿勢運動support_F、support_B、support_Sが含まれるか否かを判定する。【０１３７】
技認識装置１００は、評価関数Σ３の値≦ＴＨ３となる分節区間の時間長が０．５秒以上である場合には、この分節区間に、姿勢運動landing_F、landing_Bが含まれるか否かを判定する。【０１３８】
なお、図２０において、タイミングＴｂ１からＴｂ２の間、および、Ｔｂ２からＴｂ３の間は、移動運動区間となる。技認識装置１００は、移動運動区間の移動運動の種別を、上述した技決定部１６５の処理と同様にして特定する。【０１３９】
技認識装置１００は、上記のように特定した各姿勢運動の種別と、移動運動の種別との組み合わせを基にして、跳馬を行う競技者１５の技を決定する。ここでは、一例として、跳馬の技を決定する場合について説明したが、他の採点競技についても、同様に技を決定することができる。【０１４０】
次に、本実施例で説明した技認識装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２２は、技認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。【０１４１】
図２２に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、無線ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１〜２０７は、バス２０８に接続される。【０１４２】
ハードディスク装置２０７は、取得プログラム２０７ａ、抽出プログラム２０７ｂ、分節プログラム２０７ｃ、判別プログラム２０７ｄ、技決定プログラム２０７ｅ、出力プログラム２０７ｆを有する。ＣＰＵ２０１は、取得プログラム２０７ａ、抽出プログラム２０７ｂ、分節プログラム２０７ｃ、判別プログラム２０７ｄ、技決定プログラム２０７ｅ、出力プログラム２０７ｆを読み出してＲＡＭ２０６に展開する。【０１４３】
取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。抽出プログラム２０７ｂは、抽出プロセス２０６ｂとして機能する。分節プログラム２０７ｃは、分節プロセス２０６ｃとして機能する。判別プログラム２０７ｄは、判別プロセス２０６ｄとして機能する。技決定プログラム２０７ｅは、技決定プロセス２０６ｅとして機能する。出力プログラム２０７ｆは、出力プロセス２０６ｆとして機能する。【０１４４】
取得プロセス２０６ａの処理は、取得部１６１の処理に対応する。抽出プロセス２０６ｂの処理は、抽出部１６２の処理に対応する。分節プロセス２０６ｃの処理は、分節部１６３の処理に対応する。判別プロセス２０６ｄの処理は、判別部１６４の処理に対応する。技決定プロセス２０６ｅの処理は、技決定部１６５の処理に対応する。出力プロセス２０６ｆの処理は、出力部１６５の処理に対応する。【０１４５】
なお、各プログラム２０７ａ〜２０７ｆについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ〜２０７ｆを読み出して実行するようにしても良い。
【符号の説明】
【０１４６】
２０    ３Ｄレーザセンサ
１００    技認識装置
１１０    インタフェース部
１２０    通信部
１３０    入力部
１４０    表示部
１５０    記憶部
１５１    距離画像ＤＢ
１５２    関節定義データ
１５３    関節位置ＤＢ
１５４    骨格ＤＢ
１５５    技認識ＤＢ
１６０    制御部
１６１    取得部
１６２    抽出部
１６３    分節部
１６４    判別部
１６５    技決定部
１６６    出力部
【図１】
2019116495.tif 000011
【図２】
2019116495.tif 000012
【図３】
2019116495.tif 000013
【図４】
2019116495.tif 000014
【図５】
2019116495.tif 000015
【図６】
2019116495.tif 000016
【図７】
2019116495.tif 000017
【図８】
2019116495.tif 000018
【図９】
2019116495.tif 000019
【図１０】
2019116495.tif 000020
【図１１】
2019116495.tif 000021
【図１２】
2019116495.tif 000022
【図１３】
2019116495.tif 000023
【図１４】
2019116495.tif 000024
【図１５】
2019116495.tif 000025
【図１６】
2019116495.tif 000026
【図１７】
2019116495.tif 000027
【図１８】
2019116495.tif 000028
【図１９】
2019116495.tif 000029
【図２０】
2019116495.tif 000030
【図２１】
2019116495.tif 000031
【図２２】
2019116495.tif 000032
【手続補正書】
【提出日】令和2年6月1日(2020.6.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータに、
３Ｄレーザセンサによりセンシングされた、一連の演技を実施している被写体を含む距離画像情報を、取得し、
前記距離画像情報から得られた前記被写体の３次元骨格情報を、時系列で、取得し、
前記時系列で取得した前記３次元骨格情報を、所定のルールに基づいて、複数の単位に分節し、
前記複数の単位のうちの第一の単位に対応する姿勢運動について、前記被写体が静止していることを示す特徴を有する第一の運動か、前記第一の運動とは異なる第二の運動かを判別し、
前記第一の単位に対応する判別結果と、前記第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、前記第一の単位および前記第二の単位を少なくとも含む組み合わせに対応する技を決定する
処理を実行させることを特徴とする技認識プログラム。
【請求項２】
前記姿勢運動に対応する前記第一の単位と連続する前記第二の単位は、前記第一の単位の前の単位であることを特徴とする請求項１に記載の技認識プログラム。
【請求項３】
前記判別する処理は、前記演技が器具を用いた演技である場合に、前記被写体の３次元骨格情報を、前記器具の位置を基準とした３次元骨格情報に修正し、修正した３次元骨格情報を基にして、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項１に記載の技認識プログラム。
【請求項４】
前記判別する処理は、時系列に連続する前後の各３次元骨格情報の関節位置の変化が閾値未満となる期間に基づいて、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項１、２または３に記載の技認識プログラム。
【請求項５】
前記関節位置の時系列変化と器具の位置の時系列変化とを対応付けた視覚可能な画面情報を生成し、生成した前記画面情報を表示させる処理を更にコンピュータに実行させることを特徴とする請求項４に記載の技認識プログラム。
【請求項６】
コンピュータが、
３Ｄレーザセンサによりセンシングされた、一連の演技を実施している被写体を含む距離画像情報を、取得し、
前記距離画像情報から得られた前記被写体の３次元骨格情報を、時系列で、取得し、
前記時系列で取得した前記３次元骨格情報を、所定のルールに基づいて、複数の単位に分節し、
前記複数の単位のうちの第一の単位に対応する姿勢運動について、前記被写体が静止していることを示す特徴を有する第一の運動か、前記第一の運動とは異なる第二の運動かを判別し、
前記第一の単位に対応する判別結果と、前記第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、前記第一の単位および前記第二の単位を少なくとも含む組み合わせに対応する技を決定する
処理を実行することを特徴とする技認識方法。
【請求項７】
一連の演技を実施している被写体をセンシングすることで、距離画像情報を生成する３Ｄレーザセンサと、技認識装置とを含む技認識システムであって、
前記技認識装置は、
前記３Ｄレーザセンサから前記距離画像情報を取得する取得部と、
前記距離画像情報から得られた前記被写体の３次元骨格情報を、時系列で、取得し、前記時系列で取得した前記３次元骨格情報を、所定のルールに基づいて、複数の単位に分節する分節部と、
前記複数の単位のうちの第一の単位に対応する姿勢運動について、前記被写体が静止していることを示す特徴を有する第一の運動か、前記第一の運動とは異なる第二の運動かを判別する判別部と、
前記第一の単位に対応する判別結果と、前記第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、前記第一の単位および前記第二の単位を少なくとも含む組み合わせに対応する技を決定する技決定部と
を有することを特徴とする技認識システム。
【国際調査報告】
2019116495.tif 000033
2019116495.tif 000034
2019116495.tif 000035
2019116495.tif 000036