(57)【要約】  学習時と異なる環境の距離画像でも被写体の部位を認識できる。姿勢認識システム（１）は、センサ（１０）と、認識装置（１００）とを有する。センサは、撮像部を有する。撮像部は、被写体との距離に応じて制御された画角で、被写体までの距離の情報を含む距離画像を撮像する。認識装置は、取得部（１３１）と補正部（１３２）と生成部（１３３）と出力制御部（１３４）とを有する。取得部は、センサから、距離画像とセンサが距離画像を撮像した際の画角とを取得する。補正部は、被写体の姿勢の認識処理における学習モデルの学習用距離画像の撮像時の画角に応じた第１の分解能と、取得した画角に応じた第２の分解能との比率に応じて、取得した距離画像を補正する。生成部は、補正した距離画像と学習モデルとを用いて、被写体の部位を表す部位ラベル画像を生成する。出力制御部は、部位ラベルに基づいて、被写体の姿勢を示す骨格情報を出力する。
2019069369.tif 000002
【特許請求の範囲】
【請求項１】
センサと、認識装置とを有する姿勢認識システムであって、
前記センサは、
被写体との距離に応じて制御された画角で、前記被写体までの距離の情報を含む距離画像を撮像する撮像部を有し、
前記認識装置は、
前記センサから、前記距離画像と該センサが該距離画像を撮像した際の画角とを取得する取得部と、
学習モデルを用いた前記被写体の姿勢の認識処理における該学習モデルの学習用距離画像の撮像時の画角に応じた第１の分解能と、取得した前記画角に応じた第２の分解能との比率に応じて、取得した前記距離画像を補正する補正部と、
補正した前記距離画像と前記学習モデルとを用いて、前記被写体の部位を部位ラベルによって表す部位ラベル画像を生成する生成部と、
生成した前記部位ラベル画像における前記部位ラベルに基づいて、前記被写体の骨格を認識して該被写体の姿勢を示す骨格情報を出力する出力制御部と、
を有することを特徴とする姿勢認識システム。
【請求項２】
第１の距離画像に基づく学習モデルを用いた認識処理の対象となる、センサから被写体までの距離の情報を含む第２の距離画像と、前記センサにおける前記第２の距離画像の撮像時の画角とを取得し、
前記第１の距離画像の撮像時の画角に応じた第１の分解能と、前記第２の距離画像の撮像時の画角に応じた第２の分解能との比率に応じて、前記第２の距離画像を補正する、
処理をコンピュータに実行させることを特徴とする画像補正プログラム。
【請求項３】
補正された前記第２の距離画像と前記学習モデルとを用いて、前記被写体の部位を部位ラベルによって表す部位ラベル画像を生成し、
生成した前記部位ラベル画像における前記部位ラベルに基づいて、前記被写体の骨格を認識して該被写体の姿勢を示す骨格情報を出力する、
処理を前記コンピュータに実行させることを特徴とする請求項２に記載の画像補正プログラム。
【請求項４】
前記補正する処理は、前記第１の距離画像の距離の情報、および、前記第２の距離画像の距離の情報を座標値に変換し、前記第１の距離画像のセンサから被写体へ向かう方向の座標軸の値を基準として、前記第２の距離画像のセンサから被写体へ向かう方向の座標軸の値を補正する、
ことを特徴とする請求項２または３に記載の画像補正プログラム。
【請求項５】
前記補正する処理は、前記第２の距離画像における縦方向および横方向のうち、前記第１の分解能と前記第２の分解能との差分が大きい方向の第２の分解能を、前記差分が大きい方向の第１の分解能と一致するように補正する、
ことを特徴とする請求項４に記載の画像補正プログラム。
【請求項６】
前記補正する処理は、前記第１の分解能におけるアスペクト比と、前記第２の分解能におけるアスペクト比とが異なる場合に、前記第２の分解能におけるアスペクト比が前記第１の分解能におけるアスペクト比と同一となるように、前記第２の距離画像を補正する、
ことを特徴とする請求項４に記載の画像補正プログラム。
【請求項７】
第１の距離画像に基づく学習モデルを用いた認識処理の対象となる、センサから被写体までの距離の情報を含む第２の距離画像と、前記センサにおける前記第２の距離画像の撮像時の画角とを取得し、
前記第１の距離画像の撮像時の画角に応じた第１の分解能と、前記第２の距離画像の撮像時の画角に応じた第２の分解能との比率に応じて、前記第２の距離画像を補正する、
処理をコンピュータが実行することを特徴とする画像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、姿勢認識システム、画像補正プログラムおよび画像補正方法に関する。
【背景技術】
【０００２】
従来、人物までの距離を測定する距離センサ（以下、深度センサともいう。）が出力する距離画像（以下、深度画像ともいう。）に基づいて、人物の姿勢や動きを認識する装置がある。当該装置は、例えば、１台の距離センサから出力される距離画像に基づいて、人物の部位についてラベル分けを行う。次に、当該装置は、ラベル分けした各部位に基づいて、３次元の骨格位置を持つ骨格モデルを抽出する。その後、当該装置は、抽出した骨格モデルに基づいて、人物の姿勢や動きを認識する。【０００３】
また、距離センサは、例えば、レーザ光を用いて測定対象までの距離を測定するレーザレーダ装置やＬＩＤＡＲ（Laser  Imaging  Detection  and  Ranging）と呼ばれる装置である。距離センサは、例えば一定のタイミングで発光するレーザ光源からのレーザ光を、例えばＭＥＭＳ（Micro  Electro  Mechanical  Systems）ミラーで２次元走査して照射する投光ユニットを有する。また、距離センサは、投光ユニットによるレーザ光の走査に対し、測定対象からの反射光を光検出器で検出し、走査位置ごとに測定対象までの距離を算出する受光ユニットを有する。【０００４】
距離センサは、測定対象を含む所定の範囲に対してレーザ光を例えばラスタ走査するので、距離センサからある距離における測定範囲内では、レーザ光によるサンプリング点（測距点）の間隔、つまりサンプリング密度は一定である。測定範囲内におけるサンプリング密度は、距離センサからの距離が近いほど密となり、遠いほど疎となる。すなわち、距離センサから測定対象である人物までの距離に応じて、人物の解像度、つまりサンプリング密度が変わることになる。つまり、距離センサからの距離が遠い人物の解像度が低下することになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２０１０／０１９７３９０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
これに対して、距離センサからの距離および方位角度に応じて、サンプリング密度が一定以上となるように、レーザ光の走査角度範囲の幅を変更することが考えられる。つまり、距離センサは、検出した人物の距離に応じて、レーザ光の走査範囲である画角を、人物の周辺のみに絞ることで、距離センサから人物までの距離が近くても遠くても同じ解像度を維持することができる。すなわち、距離センサは、被写体と距離センサとの距離に応じて、解像度を制御できる。例えば、距離センサは、被写体が遠い場合でも、高解像度の距離画像を撮像できる。しかしながら、解像度の制御に伴って画角が変わることで、学習モデルを用いた被写体の部位の認識が上手くいかなくなる場合がある。【０００７】
一つの側面では、学習時と異なる環境の距離画像でも被写体の部位を認識できる姿勢認識システム、画像補正プログラムおよび画像補正方法を提供することにある。
【課題を解決するための手段】
【０００８】
一つの態様では、姿勢認識システムは、センサと、認識装置とを有する。センサは、撮像部を有する。撮像部は、被写体との距離に応じて制御された画角で、前記被写体までの距離の情報を含む距離画像を撮像する。認識装置は、取得部と、補正部と、生成部と、出力制御部とを有する。取得部は、前記センサから、前記距離画像と該センサが該距離画像を撮像した際の画角とを取得する。補正部は、学習モデルを用いた前記被写体の姿勢の認識処理における該学習モデルの学習用距離画像の撮像時の画角に応じた第１の分解能と、取得した前記画角に応じた第２の分解能との比率に応じて、取得した前記距離画像を補正する。生成部は、補正した前記距離画像と前記学習モデルとを用いて、前記被写体の部位を部位ラベルによって表す部位ラベル画像を生成する。出力制御部は、生成した前記部位ラベル画像における前記部位ラベルに基づいて、前記被写体の骨格を認識して該被写体の姿勢を示す骨格情報を出力する。
【発明の効果】
【０００９】
学習時と異なる環境の距離画像でも被写体の部位を認識できる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例の姿勢認識システムの構成の一例を示す図である。
【図２】図２は、距離に応じて人物の解像度が異なる場合の一例を示す図である。
【図３】図３は、距離に応じてレーザ光の画角を制御する場合の一例を示す図である。
【図４】図４は、画角が異なる場合の部位認識の差異の一例を示す図である。
【図５】図５は、実施例の認識装置の構成の一例を示すブロック図である。
【図６】図６は、Ｚ値と角度分解能との関係の一例を示す図である。
【図７】図７は、Ｚ値の補正の一例を示す図である。
【図８】図８は、リサイズの一例を示す図である。
【図９】図９は、Ｚ値の補正において適切でない方向の角度分解能を補正した場合のリサイズの一例を示す図である。
【図１０】図１０は、部位ラベル画像の一例を示す図である。
【図１１】図１１は、実施例の認識処理の一例を示すフローチャートである。
【図１２】図１２は、補正処理の一例を示すフローチャートである。
【図１３】図１３は、画像補正プログラムを実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて、本願の開示する姿勢認識システム、画像補正プログラムおよび画像補正方法の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
【実施例】
【００１２】
図１は、実施例の姿勢認識システムの構成の一例を示す図である。図１に示す姿勢認識システム１は、距離センサ１０と、認識装置１００とを有する。なお、姿勢認識システム１では、距離センサ１０の数は限定されず、任意の数の距離センサ１０を有するようにしてもよい。距離センサ１０と認識装置１００との間は、有線または無線にて、相互に通信可能に接続される。【００１３】
姿勢認識システム１は、被写体である人物５を距離センサ１０で測定し、測定結果に基づいて、認識装置１００が人物５の姿勢等を認識するシステムの一例である。【００１４】
距離センサ１０は、例えば、レーザ光を用いて測定対象までの距離を測定するレーザレーダ装置やＬＩＤＡＲと呼ばれる装置である。距離センサ１０は、例えば、赤外線レーザ等を用いて対象物の距離を画素ごとに測定（センシング）し、例えば横３２０×縦２００画素の距離画像を出力する。距離画像には、各画素に対象物までの距離が含まれる。つまり、距離画像は、距離センサ（深度センサ）１０から見た被写体の深度を表す深度画像である。また、距離センサ１０は、測定時、つまり距離画像の撮像時の画角を出力する。距離センサ１０は、例えば、概ね１５ｍまでの距離にある対象物（被写体）の距離を測定する。本実施例では、対象物は人物５となる。なお、距離センサ１０は、例えば、設置方向を９０°回転させることで、横２００×縦３２０画素の距離画像を出力するようにしてもよい。すなわち、距離センサ１０は、被写体である人物５との距離に応じて画角を制御可能であり、被写体までの距離の情報を含む距離画像を撮像する撮像部を有する。また、距離センサ１０は、距離画像を撮像した際の画角と、撮像した距離画像とを認識装置１００に送信する通信部とを有する。【００１５】
ここで、図２から図４を用いて、距離センサ１０の画角および解像度について説明する。図２は、距離に応じて人物の解像度が異なる場合の一例を示す図である。図２の距離画像２０，２１に示すように、例えば、体操競技の場合、種目によって被写体である人物までの距離が異なる。距離画像２０と距離画像２１とでは、サンプリング点２２の数は同じである。ところが、距離画像２１の人物近傍を拡大した距離画像２１ａに示すように、距離画像２０と距離画像２１とでは、人物に当たるサンプリング点の数は異なる。すなわち、距離画像２０は、人物の解像度が高いが、距離画像２１は、人物の解像度が低くなる。人物の解像度が低い場合、部位や姿勢の認識に問題が発生する場合がある。【００１６】
図３は、距離に応じてレーザ光の画角を制御する場合の一例を示す図である。図３に示すように、距離センサ１０から近い位置の人物５ａに対応する距離画像２３と、距離センサ１０から遠い位置の人物５ｂに対応する距離画像２４とでは、画角が同じであるとすると、人物５ｂの解像度が低下する。これに対し、距離センサ１０は、人物５ｂを検出すると（ステップＳ１１）、距離に応じて画角を絞るように制御し（ステップＳ１２）、距離画像２３における人物５ａの解像度と同じ解像度となる距離画像２４ａを撮像する。距離センサ１０は、例えば、距離画像２３が撮像される距離では、画角を横方向３６°、縦方向２８°に制御する。一方、距離センサ１０は、例えば、距離画像２４ａが撮像される距離では、画角を横方向１８°、縦方向１４°に制御する。すなわち、距離センサ１０は、被写体までの距離に応じて画角を時間的に変化させる。これにより、距離センサ１０は、被写体との距離が近くても遠くても同じ解像度を維持することができる。【００１７】
図４は、画角が異なる場合の部位認識の差異の一例を示す図である。図３の画角の制御により、距離センサ１０から被写体までの距離が異なっても同じ解像度を維持できるが、画角を変更すると、角度分解能が異なる距離画像となる。例えば、図４の距離画像２５と距離画像２６とは、画角が異なる距離画像であり、識別器を用いて部位認識を行う場合、人物５ｄと人物５ｅとでは、認識結果が異なることがある。例えば、人物５ｄの頭部のある画素から右に４画素、下に５画素移動した箇所の画素２５ａは左腕であるが、人物５ｅの頭部のある画素から右に４画素、下に５画素移動した箇所の画素２６ａは背景部分であったとする。この場合、距離画像２５と、距離画像２６とでは、同じ学習モデルを用いる識別器を用いても、部位認識の結果である部位ラベルが異なることとなる。従って、学習モデルの距離画像の画角と、撮像した距離画像の画角が異なると、部位認識の認識率が低下する。【００１８】
図１の説明に戻って、距離センサ１０は、被写体である人物５との距離に応じて制御された画角で、被写体までの距離の情報を含む距離画像を撮像する。認識装置１００は、距離センサ１０から、距離画像と距離センサ１０が距離画像を撮像した際の画角とを取得する。認識装置１００は、学習モデルを用いた被写体の姿勢の認識処理における該学習モデルの学習用距離画像の撮像時の画角に応じた第１の分解能と、取得した画角に応じた第２の分解能との比率に応じて、取得した距離画像を補正する。認識装置１００は、補正した距離画像と学習モデルとを用いて、被写体の部位を部位ラベルによって表す部位ラベル画像を生成する。認識装置１００は、生成した部位ラベル画像における部位ラベルに基づいて、被写体の骨格を認識して該被写体の姿勢を示す骨格情報を出力する。これにより、姿勢認識システム１は、学習時と異なる環境の距離画像でも被写体の部位を認識できる。【００１９】
次に、図５を用いて認識装置１００の機能構成について説明する。図５は、実施例の認識装置の構成の一例を示すブロック図である。図５に示すように、認識装置１００は、通信部１１０と、表示部１１１と、操作部１１２と、記憶部１２０と、制御部１３０とを有する。なお、認識装置１００は、図５に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。認識装置１００の一例としては、可搬型のパーソナルコンピュータ等を採用できる。なお、認識装置１００には、上記の可搬型のパーソナルコンピュータのみならず、据置型のパーソナルコンピュータを採用することもできる。【００２０】
通信部１１０は、例えば、ＮＩＣ（Network  Interface  Card）等によって実現される。通信部１１０は、距離センサ１０と有線または無線で接続され、距離センサ１０との間で情報の通信を司る通信インタフェースである。【００２１】
表示部１１１は、各種情報を表示するための表示デバイスである。表示部１１１は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部１１１は、制御部１３０から入力された表示画面等の各種画面を表示する。【００２２】
操作部１１２は、認識装置１００のユーザから各種操作を受け付ける入力デバイスである。操作部１１２は、例えば、入力デバイスとして、キーボードやマウス等によって実現される。操作部１１２は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。なお、操作部１１２は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部１１１の表示デバイスと、操作部１１２の入力デバイスとは、一体化されるようにしてもよい。【００２３】
記憶部１２０は、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、識別器記憶部１２１と、わざデータベース１２２とを有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。なお、以下の説明では、データベースをＤＢと表す場合がある。【００２４】
識別器記憶部１２１は、距離画像から部位ラベル画像を得るために用いる学習モデルを記憶する。すなわち、識別器記憶部１２１は、距離画像から部位ラベル画像を得るために用いるマルチクラス識別器（以下、識別器ともいう。）の一例である。また、識別器記憶部１２１は、学習モデルの学習用距離画像の撮像時の画角を学習モデル（識別器）と対応付けて記憶する。なお、識別器記憶部１２１は、学習モデルとして、距離画像と、人物の関節位置の情報（骨格辞書情報）とを対応づけて記憶するようにしてもよい。また、人物の関節位置の情報は、被写体の姿勢を示す骨格情報である。なお、識別器記憶部１２１の学習モデル（識別器）は、種々の距離画像について機械学習を行うことで生成される。この場合、機械学習のアルゴリズムとしては、例えば、ランダムフォレストやディープラーニングを用いることができる。また、機械学習を行う距離画像は、実際に撮像された距離画像だけでなく、３次元ＣＧ（Computer  Graphics）を用いて生成された被写体に対する距離画像を用いてもよい。【００２５】
わざＤＢ１２２は、被写体の姿勢を示す骨格情報と、例えば、体操競技のわざおよび得点とを対応付けて記憶する。わざＤＢ１２２は、例えば、あん馬、つり輪、跳馬といった各競技のわざ、および、各わざの技術点と、骨格情報とを対応付けて記憶する。【００２６】
制御部１３０は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されるようにしてもよい。【００２７】
制御部１３０は、取得部１３１と、補正部１３２と、生成部１３３と、出力制御部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。すなわち、制御部１３０の各処理部は、認識処理を実行する。なお、制御部１３０の内部構成は、図５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。【００２８】
取得部１３１は、通信部１１０を介して、距離センサ１０から画角および距離画像を受信して取得する。取得部１３１は、取得した画角および距離画像を補正部１３２に出力する。【００２９】
すなわち、取得部１３１は、第１の距離画像に基づく学習モデルを用いた認識処理の対象となる、距離センサ１０から被写体までの距離の情報を含む第２の距離画像と、距離センサ１０における第２の距離画像の撮像時の画角とを取得する。【００３０】
補正部１３２は、取得部１３１から画角および距離画像が入力されると、距離画像に対して前処理を実行する。補正部１３２は、前処理として、ノイズ除去および背景除去を行う。補正部１３２は、例えば移動平均等の平滑化を行って距離画像からノイズを除去する。次に、補正部１３２は、予め被写体である人物５がいない時に撮像した距離画像、つまり背景情報に基づいて、ノイズ除去を行った距離画像から背景の物体を除去する。【００３１】
補正部１３２は、距離画像に対する前処理が終了すると、識別器記憶部１２１を参照し、学習モデルの学習用距離画像の撮像時の画角を取得する。補正部１３２は、取得した学習用距離画像の撮像時の画角に基づいて、第１角度分解能（第１の分解能）を算出する。なお、角度分解能は、画角／（横方向または縦方向の画素数）で算出することができる。【００３２】
補正部１３２は、取得した距離画像の画角に基づいて、第２角度分解能（第２の分解能）を算出する。補正部１３２は、算出した第１角度分解能と、第２角度分解能とが異なるか否かを判定する。補正部１３２は、第１角度分解能と、第２角度分解能とが一致すると判定した場合には、補正を行わずに距離画像を生成部１３３に出力する。【００３３】
補正部１３２は、第１角度分解能と、第２角度分解能とが異なると判定した場合には、取得した距離画像のＺ値の補正量を算出する。ここで、Ｚ値とは、距離画像の距離の情報を、ｘ，ｙ，ｚの直交座標の座標軸で表す座標値に変換した値のうち、距離センサ１０から被写体へ向かう方向であるｚ軸の値をいう。補正部１３２は、取得した距離画像の全画素のうち、距離の情報が存在する画素のＺ値を、算出した補正量で補正する。補正量は、学習用距離画像の第１角度分解能と、距離画像の第２角度分解能とについて、横方向および縦方向の差分のうち絶対値が大きい方向の第２角度分解能を、同じ方向の第１角度分解能と一致させるための量となる。【００３４】
ここで、図６および図７を用いて、Ｚ値の補正について説明する。図６は、Ｚ値と角度分解能との関係の一例を示す図である。図６に示すように、被写体の撮像時の横方向（ｘ軸方向）の値がｘ、Ｚ軸方向の値が７ｍ（７０００ｍｍ）、第２角度分解能が０．１１であったとする。この距離画像を、学習用撮像画像の第１角度分解能の０．１４に補正しようとすると、補正後の被写体の横方向の値をｘ、Ｚ軸方向の値をｚ、第１角度分解能を０．１４としてｚを求めればよい。計算過程は、下記の式（１）〜（６）となる。なお、ｆは焦点距離である。【００３５】
ｘ：７０００＝０．１１：ｆ                        ・・・（１）
ｘ＝（７０００×０．１１）／ｆ                    ・・・（２）
ｘ：ｚ＝０．１４：ｆ                              ・・・（３）
ｚ＝（ｘ×ｆ）／０．１４                          ・・・（４）
ｚ＝（（（７０００×０．１１）／ｆ）×ｆ）
／０．１４                                      ・・・（５）
ｚ＝（７０００×０．１１）／０．１４              ・・・（６）【００３６】
すなわち、変換後のＺ値は、下記の式（７）で表すことができる。【００３７】
変換後のＺ値＝（被写体までのＺ値×撮像時の角度分解能）
／学習時の角度分解能                    ・・・（７）【００３８】
図７は、Ｚ値の補正の一例を示す図である。図７の状況は、学習時の距離センサ１０から被写体までのＺ値：Ｚ１＝５ｍ、横方向の第１角度分解能：ｗ１＝０．１４、縦方向の第１角度分解能：ｈ１＝０．１２とする。また、撮像時の距離センサ１０から被写体（人物５ｆ）までのＺ値：Ｚ２＝７ｍ、横方向の第２角度分解能：ｗ２＝０．１１、縦方向の第２角度分解能：ｈ２＝０．１２とする。なお、被写体までのＺ値は、例えば、被写体の重心のＺ値を用いたり、被写体までのＺ値の平均値を用いたりしてもよい。【００３９】
補正部１３２は、（ｗ２−ｗ１）と（ｈ２−ｈ１）とを算出する。図７の例では、（ｗ２−ｗ１）＝（０．１１−０．１４）＝−０．０３、（ｈ２−ｈ１）＝（０．１２−０．１２）＝０となる。補正部１３２は、絶対値が大きい方向の第２角度分解能ｗ２を、第１角度分解能ｗ１と一致させるＺ値を算出する。補正部１３２は、式（７）に基づいて、補正後のＺ値：Ｚ２’＝５５００ｍｍ＝５．５ｍと算出する。補正部１３２は、Ｚ値の補正量として、近づける方向に、７−５．５＝１．５ｍと算出する。なお、Ｚ値の補正後の他の方向の第２角度分解能は、一致させた方向の補正後の第２角度分解能／第１角度分解能で求めた拡大率を、補正前の他の方向の第２角度分解能に乗算することで求められる。つまり、ｗ２’＝０．１４、ｈ２’＝（０．１４／０．１１）×０．１２＝０．１５３と求められる。なお、補正後の距離画像では、被写体に当たるサンプリング点の数は、撮像時の数と一致する。補正部１３２は、Ｚ値の補正を行った後、座標変換を行ってｘ，ｙ，ｚで表す座標軸から画角および距離で表す距離画像へと変換する。【００４０】
言い換えると、補正部１３２は、第１の距離画像の距離の情報、および、第２の距離画像の距離の情報を座標値に変換する。また、補正部１３２は、第１の距離画像のセンサから被写体へ向かう方向の座標軸の値を基準として、第２の距離画像のセンサから被写体へ向かう方向の座標軸の値を補正する。【００４１】
次に、補正部１３２は、Ｚ値の補正を行った距離画像について、第１角度分解能と第２角度分解能のアスペクト比が異なるか否かを判定する。補正部１３２は、第１角度分解能と第２角度分解能のアスペクト比が同じであると判定した場合には、Ｚ値を補正した距離画像を生成部１３３に出力する。【００４２】
補正部１３２は、第１角度分解能と第２角度分解能のアスペクト比が異なると判定した場合には、Ｚ値を補正した距離画像のリサイズ方向および拡大率を算出する。補正部１３２は、算出したリサイズ方向および拡大率に基づいて、Ｚ値を補正した距離画像をリサイズする。補正部１３２は、リサイズした距離画像を生成部１３３に出力する。【００４３】
ここで、図８を用いて、Ｚ値を補正した距離画像に対するリサイズについて説明する。図８は、リサイズの一例を示す図である。図８に示すように、Ｚ値補正後の距離画像は、縦方向の第２角度分解能がｈ２’＝０．１５３である。これに対し、学習時の縦方向の第１角度分解能は、ｈ１＝０．１２である。一方、Ｚ値補正後の距離画像は、横方向の第２角度分解能は、ｗ２’＝０．１４であり、学習時の横方向の第１角度分解能ｗ１と一致している。従って、補正部１３２は、リサイズ方向を縦方向とし、拡大率を、ｈ２’／ｈ１＝０．１５３／０．１２＝１．２７５と算出する。リサイズした距離画像は、Ｚ値がＺ２’、縦方向の第２角度分解能がｈ２’’＝０．１２となる。また、リサイズした距離画像では、被写体（人物５ｆ）に当たるサンプリング点の数が多くなる。すなわち、画素ピッチが同じ画像として見た場合には、リサイズした方向に伸びて見えることとなる。【００４４】
なお、図９を用いて、Ｚ値の補正において、（ｗ２−ｗ１）と（ｈ２−ｈ１）とのうち、絶対値が大きい方向の第２角度分解能を、学習用距離画像の第１角度分解能と一致させるようにＺ値を算出する理由を説明する。なお、学習用距離画像と取得した距離画像の状況は、図７の例と同じとする。図９は、Ｚ値の補正において適切でない方向の角度分解能を補正した場合のリサイズの一例を示す図である。図９では、図７と異なり、絶対値が小さい方向の第２角度分解能を、学習用距離画像の第１角度分解能と一致させるＺ値を算出するとする。すると、補正部１３２は、ｈ２＝ｈ１であるので、Ｚ値の補正は行わない。【００４５】
補正部１３２は、この状態において、リサイズ方向および拡大率を算出すると、リサイズ方向が横方向、拡大率が０．１１／０．１４＝０．７８６となる。リサイズした距離画像は、横方向の第２角度分解能がｈ２’’’＝０．１４となる。ところが、拡大率が１未満の値となっているので、リサイズした距離画像は、被写体（人物５ｆ）に当たるサンプリング点が減少してしまう。つまり、図９の例では、距離センサ１０で画角を制御して解像度を維持した距離画像に対して、補正アルゴリズムで解像度を落としてしまっているので、学習時と異なる環境の距離画像でも被写体の部位を認識するという目的を達成できなくなる。従って、Ｚ値の補正では、（ｗ２−ｗ１）と（ｈ２−ｈ１）とのうち、絶対値が大きい方向の第２角度分解能を、学習用距離画像の第１角度分解能と一致させることが求められることになる。【００４６】
言い換えると、補正部１３２は、学習モデルを用いた被写体の姿勢の認識処理における該学習モデルの学習用距離画像の撮像時の画角に応じた第１の分解能と、取得した画角に応じた第２の分解能との比率に応じて、取得した距離画像を補正する。すなわち、補正部１３２は、第１の距離画像の撮像時の画角に応じた第１の分解能と、第２の距離画像の撮像時の画角に応じた第２の分解能との比率に応じて、第２の距離画像を補正する。また、補正部１３２は、第２の距離画像における縦方向および横方向のうち、第１の分解能と第２の分解能との差分が大きい方向の第２の分解能を、差分が大きい方向の第１の分解能と一致するように補正する。また、補正部１３２は、第１の分解能におけるアスペクト比と、第２の分解能におけるアスペクト比とが異なる場合に、第２の分解能におけるアスペクト比が第１の分解能におけるアスペクト比と同一となるように、第２の距離画像を補正する。【００４７】
図５の説明に戻って、生成部１３３には、補正部１３２から、未補正の距離画像、Ｚ値を補正した距離画像およびリサイズした距離画像のうち、いずれかが入力される。生成部１３３は、いずれかの距離画像が入力されると、識別器記憶部１２１を参照し、入力された距離画像に基づいて、識別器を用いて部位ラベル画像を生成する。すなわち、生成部１３３は、補正された距離画像と学習モデルとを用いて、被写体の部位を部位ラベルによって表す部位ラベル画像を生成する。生成部１３３は、生成した部位ラベル画像を出力制御部１３４に出力する。【００４８】
図１０は、部位ラベル画像の一例を示す図である。図１０に示すように、部位ラベル画像２７は、距離画像の画素ごとに部位を識別した部位ラベルに基づいて、同じ部位を示す画素を同じ部位、例えば、右上腕や左大腿部といった形で表したものである。【００４９】
図５の説明に戻って、出力制御部１３４は、生成部１３３から部位ラベル画像が入力されると、部位ラベル画像の部位ラベルに基づいて、被写体の姿勢を示す骨格情報を生成する。出力制御部１３４は、例えば、部位ラベル画像から各関節部位の境界画素を抽出する。出力制御部１３４は、抽出した各関節部位の境界画素の重心を求め、重心の座標を関節座標と決定する。すなわち、出力制御部１３４は、被写体である人物５の骨格の３次元位置を決定し、被写体の姿勢を示す骨格情報を生成する。なお、出力制御部１３４は、生成部１３３から距離画像を取得して、識別器記憶部１２１に記憶された距離画像と、人物の関節位置の情報とを対応付けた学習モデルを用いて、骨格情報を生成してもよい。【００５０】
出力制御部１３４は、わざＤＢ１２２を参照し、骨格情報に基づいて、わざを認識する。また、出力制御部１３４は、認識したわざの得点を取得する。出力制御部１３４は、認識したわざおよび得点を、例えば、表示部１１１に出力して表示させる。【００５１】
なお、出力制御部１３４は、生成した骨格情報を、例えば、距離画像やカメラで撮像された撮像画像とフィッティングを行う処理部や処理装置に出力するようにしてもよい。つまり、出力制御部１３４は、生成した骨格情報を、例えば骨格モデルとして、ＣＧアニメーションに利用可能に出力したりすることができる。さらに、出力制御部１３４は、生成した骨格情報を、例えば、特定のフォーマットに加工して、図示しない外部記憶装置等に出力するようにしてもよい。なお、出力制御部１３４は、生成した骨格情報に基づいて、３次元モデルを生成して表示部１１１に出力して表示するようにしてもよい。【００５２】
言い換えると、出力制御部１３４は、生成した部位ラベル画像における部位ラベルに基づいて、被写体の骨格を認識して該被写体の姿勢を示す骨格情報を出力する。【００５３】
次に実施例の姿勢認識システム１における認識装置１００の動作について説明する。図１１は、実施例の認識処理の一例を示すフローチャートである。【００５４】
認識装置１００の取得部１３１は、距離センサ１０から画角および距離画像を受信して取得する（ステップＳ１）。取得部１３１は、取得した画角および距離画像を補正部１３２に出力する。【００５５】
補正部１３２は、取得部１３１から画角および距離画像が入力されると、距離画像に対して前処理を実行する（ステップＳ２）。補正部１３２は、距離画像に対する前処理が終了すると、補正処理を実行する（ステップＳ３）。【００５６】
ここで、図１２を用いて補正処理について説明する。図１２は、補正処理の一例を示すフローチャートである。【００５７】
補正部１３２は、識別器記憶部１２１を参照し、学習モデルの学習用距離画像の撮像時の画角を取得する。補正部１３２は、取得した学習用距離画像の撮像時の画角に基づいて、第１角度分解能を算出する（ステップＳ３１）。また、補正部１３２は、取得した距離画像の画角に基づいて、第２角度分解能を算出する（ステップＳ３２）。【００５８】
補正部１３２は、算出した第１角度分解能と第２角度分解能とが異なるか否かを判定する（ステップＳ３３）。補正部１３２は、第１角度分解能と第２角度分解能とが一致すると判定した場合には（ステップＳ３３：否定）、補正を行わずに距離画像を生成部１３３に出力し、元の処理に戻る。【００５９】
補正部１３２は、第１角度分解能と第２角度分解能とが異なると判定した場合には（ステップＳ３３：肯定）、取得した距離画像のＺ値の補正量を算出する（ステップＳ３４）。補正部１３２は、取得した距離画像の全画素のうち、距離の情報が存在する画素のＺ値を、算出した補正量で補正する（ステップＳ３５）。【００６０】
補正部１３２は、Ｚ値の補正を行った距離画像について、第１角度分解能と第２角度分解能のアスペクト比が異なるか否かを判定する（ステップＳ３６）。補正部１３２は、第１角度分解能と第２角度分解能のアスペクト比が同じであると判定した場合には（ステップＳ３６：否定）、Ｚ値を補正した距離画像を生成部１３３に出力し、元の処理に戻る。【００６１】
補正部１３２は、第１角度分解能と第２角度分解能のアスペクト比が異なると判定した場合には（ステップＳ３６：肯定）、Ｚ値を補正した距離画像のリサイズ方向および拡大率を算出する（ステップＳ３７）。補正部１３２は、算出したリサイズ方向および拡大率に基づいて、Ｚ値を補正した距離画像をリサイズする（ステップＳ３８）。補正部１３２は、リサイズした距離画像を生成部１３３に出力し、元の処理に戻る。【００６２】
図１１の説明に戻って、生成部１３３には、補正部１３２から、未補正の距離画像、Ｚ値を補正した距離画像およびリサイズした距離画像のうち、いずれかが入力される。生成部１３３は、いずれかの距離画像が入力されると、識別器記憶部１２１を参照し、入力された距離画像に基づいて、識別器を用いて部位ラベル画像を生成する（ステップＳ４）。生成部１３３は、生成した部位ラベル画像を出力制御部１３４に出力する。【００６３】
出力制御部１３４は、生成部１３３から部位ラベル画像が入力されると、部位ラベル画像の部位ラベルに基づいて、被写体の姿勢を示す骨格情報を生成する（ステップＳ５）。出力制御部１３４は、わざＤＢ１２２を参照し、骨格情報に基づいて、わざを認識する（ステップＳ６）。また、出力制御部１３４は、認識したわざの得点を取得する。出力制御部１３４は、認識したわざおよび得点を、例えば、表示部１１１に出力して表示させる（ステップＳ７）。これにより、認識装置１００は、学習時と異なる環境の距離画像でも被写体の部位を認識できる。すなわち、認識装置１００は、被写体の姿勢認識の精度を向上させることができる。【００６４】
このように、姿勢認識システム１は、距離センサ１０と、認識装置１００とを有する。距離センサ１０は、被写体との距離に応じて制御された画角で、被写体までの距離の情報を含む距離画像を撮像する。認識装置１００は、距離センサ１０から距離画像と該距離センサ１０が該距離画像を撮像した際の画角とを取得する。認識装置１００は、学習モデルを用いた被写体の姿勢の認識処理における該学習モデルの学習用距離画像の撮像時の画角に応じた第１の分解能と、取得した画角に応じた第２の分解能との比率に応じて、取得した距離画像を補正する。認識装置１００は、補正した距離画像と学習モデルとを用いて、被写体の部位を部位ラベルによって表す部位ラベル画像を生成する。認識装置１００は、生成した部位ラベル画像における部位ラベルに基づいて、被写体の骨格を認識して該被写体の姿勢を示す骨格情報を出力する。その結果、姿勢認識システム１は、学習時と異なる環境の距離画像でも被写体の部位を認識できる。すなわち、姿勢認識システム１は、被写体の姿勢認識の精度を向上させることができる。【００６５】
また、認識装置１００は、第１の距離画像に基づく学習モデルを用いた認識処理の対象となる、距離センサ１０から被写体までの距離の情報を含む第２の距離画像と、距離センサ１０における第２の距離画像の撮像時の画角とを取得する。また、認識装置１００は、第１の距離画像の撮像時の画角に応じた第１の分解能と、第２の距離画像の撮像時の画角に応じた第２の分解能との比率に応じて、第２の距離画像を補正する。その結果、認識装置１００は、学習時と異なる環境の距離画像でも被写体の部位を認識できる。【００６６】
また、認識装置１００は、補正された第２の距離画像と学習モデルとを用いて、被写体の部位を部位ラベルによって表す部位ラベル画像を生成する。また、認識装置１００は、生成した部位ラベル画像における部位ラベルに基づいて、被写体の骨格を認識して該被写体の姿勢を示す骨格情報を出力する。その結果、認識装置１００は、被写体の姿勢認識の精度を向上させることができる。【００６７】
また、認識装置１００は、第１の距離画像の距離の情報、および、第２の距離画像の距離の情報を座標値に変換する。また、認識装置１００は、第１の距離画像の距離センサ１０から被写体へ向かう方向の座標軸の値を基準として、第２の距離画像の距離センサ１０から被写体へ向かう方向の座標軸の値を補正する。その結果、認識装置１００は、学習用距離画像と同じ角度分解能に補正しても、撮像した距離画像の解像度を維持することができる。【００６８】
また、認識装置１００は、第２の距離画像における縦方向および横方向のうち、第１の分解能と第２の分解能との差分が大きい方向の第２の分解能を、差分が大きい方向の第１の分解能と一致するように補正する。その結果、認識装置１００は、撮像した距離画像の解像度を維持することができる。【００６９】
また、認識装置１００は、第１の分解能におけるアスペクト比と、第２の分解能におけるアスペクト比とが異なる場合に、第２の分解能におけるアスペクト比が第１の分解能におけるアスペクト比と同一となるように、第２の距離画像を補正する。その結果、認識装置１００は、撮像した距離画像の解像度を維持することができる。【００７０】
なお、上記実施例では、体操競技を行う人物５を測定して部位や姿勢の認識を行ったが、これに限定されない。例えば、フィギュアスケート等の他の採点競技や、リハビリテーションでの動作の検証、野球やゴルフ、バスケットボールのフリースロー等のフォームの分析、工場のライン作業における新人への指導支援等にも適用してもよい。新人への指導支援では、例えば、ベテランと新人との姿勢や手の動かし方の差を表示することが挙げられる。表示方法としては、見本となる動作を行う人物と、検証対象となる人物とを重ね合わせて表示したり、並べて表示したりすることができる。【００７１】
また、上記実施例では、被写体が一人の場合について説明したが、これに限定されない。例えば、バスケットボールや女子新体操団体等の複数人の場合についても、全員が収まる画角を設定して距離撮像を撮像するようにすればよい。【００７２】
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、生成部１３３と出力制御部１３４とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。【００７３】
さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro  Controller  Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。【００７４】
ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１３は、画像補正プログラムを実行するコンピュータの一例を示す図である。【００７５】
図１３に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０４と、各種装置と接続するためのインタフェース装置２０５と、距離センサ１０や他の情報処理装置等と有線または無線により接続するための通信装置２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、ハードディスク装置２０８とを有する。また、各装置２０１〜２０８は、バス２０９に接続される。【００７６】
ハードディスク装置２０８には、図５に示した取得部１３１、補正部１３２、生成部１３３および出力制御部１３４の各処理部と同様の機能を有する画像補正プログラムが記憶される。また、ハードディスク装置２０８には、識別器記憶部１２１、わざＤＢ１２２、および、画像補正プログラムを実現するための各種データが記憶される。入力装置２０２は、例えば、コンピュータ２００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ２０３は、例えば、コンピュータ２００のユーザに対して表示画面等の各種画面を表示する。インタフェース装置２０５は、例えば印刷装置等が接続される。通信装置２０６は、例えば、図５に示した通信部１１０と同様の機能を有し距離センサ１０や他の情報処理装置と接続され、距離センサ１０や他の情報処理装置と各種情報をやりとりする。【００７７】
ＣＰＵ２０１は、ハードディスク装置２０８に記憶された各プログラムを読み出して、ＲＡＭ２０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ２００を図５に示した取得部１３１、補正部１３２、生成部１３３および出力制御部１３４として機能させることができる。【００７８】
なお、上記の画像補正プログラムは、必ずしもハードディスク装置２０８に記憶されている必要はない。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ２００が読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤ（Digital  Versatile  Disc）、ＵＳＢ（Universal  Serial  Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの画像補正プログラムを記憶させておき、コンピュータ２００がこれらから画像補正プログラムを読み出して実行するようにしてもよい。
【符号の説明】
【００７９】
１  姿勢認識システム
１０  距離センサ
１００  認識装置
１１０  通信部
１１１  表示部
１１２  操作部
１２０  記憶部
１２１  識別器記憶部
１２２  わざＤＢ
１３０  制御部
１３１  取得部
１３２  補正部
１３３  生成部
１３４  出力制御部
【図１】
2019069369.tif 000003
【図２】
2019069369.tif 000004
【図３】
2019069369.tif 000005
【図４】
2019069369.tif 000006
【図５】
2019069369.tif 000007
【図６】
2019069369.tif 000008
【図７】
2019069369.tif 000009
【図８】
2019069369.tif 000010
【図９】
2019069369.tif 000011
【図１０】
2019069369.tif 000012
【図１１】
2019069369.tif 000013
【図１２】
2019069369.tif 000014
【図１３】
2019069369.tif 000015
【手続補正書】
【提出日】令和2年3月2日(2020.3.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
センサと、認識装置とを有する姿勢認識システムであって、
前記センサは、
被写体との距離に応じて制御された画角で、前記被写体までの距離の情報を含む距離画像を撮像する撮像部を有し、
前記認識装置は、
前記センサから、前記距離画像と該センサが該距離画像を撮像した際の画角とを取得する取得部と、
学習モデルを用いた前記被写体の姿勢の認識処理における該学習モデルの学習用距離画像の撮像時の画角に応じた第１の分解能と、取得した前記画角に応じた第２の分解能との比率に応じて、取得した前記距離画像を補正する補正部と、
補正した前記距離画像と前記学習モデルとを用いて、前記被写体の部位を部位ラベルによって表す部位ラベル画像を生成する生成部と、
生成した前記部位ラベル画像における前記部位ラベルに基づいて、前記被写体の骨格を認識し、前記骨格に基づいて、該被写体の姿勢を示す骨格情報を出力する出力制御部と、
を有することを特徴とする姿勢認識システム。
【請求項２】
第１の距離画像に基づく学習モデルを用いた認識処理の対象となる、センサから被写体までの距離の情報を含む第２の距離画像と、前記センサにおける前記第２の距離画像の撮像時の画角とを取得し、
前記第１の距離画像の撮像時の画角に応じた第１の分解能と、前記第２の距離画像の撮像時の画角に応じた第２の分解能との比率に応じて、前記第２の距離画像を補正する、
処理をコンピュータに実行させることを特徴とする画像補正プログラム。
【請求項３】
補正された前記第２の距離画像と前記学習モデルとを用いて、前記被写体の部位を部位ラベルによって表す部位ラベル画像を生成し、
生成した前記部位ラベル画像における前記部位ラベルに基づいて、前記被写体の骨格を認識し、前記骨格に基づいて、該被写体の姿勢を示す骨格情報を出力する、
処理を前記コンピュータに実行させることを特徴とする請求項２に記載の画像補正プログラム。
【請求項４】
前記補正する処理は、前記第１の距離画像の距離の情報、および、前記第２の距離画像の距離の情報を座標値に変換し、前記第１の距離画像のセンサから被写体へ向かう方向の座標軸の値を基準として、前記第２の距離画像のセンサから被写体へ向かう方向の座標軸の値を補正する、
ことを特徴とする請求項２または３に記載の画像補正プログラム。
【請求項５】
前記補正する処理は、前記第２の距離画像における縦方向および横方向のうち、前記第１の分解能と前記第２の分解能との差分が大きい方向の第２の分解能を、前記差分が大きい方向の第１の分解能と一致するように補正する、
ことを特徴とする請求項４に記載の画像補正プログラム。
【請求項６】
前記補正する処理は、前記第１の分解能におけるアスペクト比と、前記第２の分解能におけるアスペクト比とが異なる場合に、前記第２の分解能におけるアスペクト比が前記第１の分解能におけるアスペクト比と同一となるように、前記第２の距離画像を補正する、
ことを特徴とする請求項４に記載の画像補正プログラム。
【請求項７】
第１の距離画像に基づく学習モデルを用いた認識処理の対象となる、センサから被写体までの距離の情報を含む第２の距離画像と、前記センサにおける前記第２の距離画像の撮像時の画角とを取得し、
前記第１の距離画像の撮像時の画角に応じた第１の分解能と、前記第２の距離画像の撮像時の画角に応じた第２の分解能との比率に応じて、前記第２の距離画像を補正する、
処理をコンピュータが実行することを特徴とする画像補正方法。
【国際調査報告】
2019069369.tif 000016
2019069369.tif 000017