(57)【要約】【課題】カスケード型処理部と深層学習とを組み合わせて、時系列画像に対して画像認識をする際に、画像認識処理に要する時間を短くできる。【解決手段】カスケード型処理部１５は、カスケード構造の各段において、深層学習を用いた画像認識処理をする。段数決定部１９は、カスケード構造の各段のうち、画像認識処理をする１以上の段を決定する。段数決定部１９が決定した前記１以上の段は、時系列画像（例えば、動画）に対して、画像認識処理をする。【選択図】図１
2018088057.tif 000002
【特許請求の範囲】
【請求項１】
カスケード構造を有し、前記カスケード構造の各段において、深層学習を用いた画像認識処理をする処理部と、
前記カスケード構造の各段のうち、前記画像認識処理をする１以上の段を決定する決定部と、を備え、
前記決定部が決定した前記１以上の段は、時系列画像に対して、前記画像認識処理をする、画像認識装置。
【請求項２】
前記処理部は、前記１以上の段のうち、最後の段が前記時系列画像に対して前記画像認識処理をした結果を出力し、
前記決定部は、前記結果を基にして、前記１以上の段を決定する、請求項１に記載の画像認識装置。
【請求項３】
前記処理部は、前記１以上の段のうち、最後の段が前記時系列画像に対して前記画像認識処理をした結果を出力し、
前記画像認識装置は、前記結果を基にして、前記結果の信頼度を判定する判定部をさらに備え、
前記決定部は、前記信頼度を基にして、前記１以上の段を決定する、請求項１に記載の画像認識装置。
【請求項４】
前記処理部は、前記画像認識処理によって、物体の推定位置を算出し、
前記判定部は、前記時系列画像を構成する複数の画像のうち、今回、前記処理部で前記画像認識処理がされた画像を第１の画像とし、前記第１の画像よりも前に前記処理部で前記画像認識処理がされた画像を第２の画像とし、前記第１の画像での前記物体の推定位置と前記第２の画像での前記物体の推定位置との距離を算出し、前記距離の大小に応じて前記信頼度を判定する、請求項３に記載の画像認識装置。
【請求項５】
前記１以上の段のうち、最初の段が１段目でない場合、前記最初の段の直前に位置する段が出力した過去の結果に基づいて、前記直前に位置する段が出力する結果を推定する推定部をさらに備え、
前記最初の段は、前記推定部が推定した結果を用いて前記画像認識処理をする、請求項１〜４のいずれか一項に記載の画像認識装置。
【請求項６】
カスケード構造を有し、前記カスケード構造の各段において、深層学習を用いた画像認識処理をする処理部を使用する画像認識方法であって、
前記カスケード構造の各段のうち、前記画像認識処理をする１以上の段を決定する第１のステップと、
前記第１のステップで決定した前記１以上の段が、時系列画像に対して、前記画像認識処理をする第２のステップと、を備える、画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深層学習（ｄｅｅｐ  ｌｅａｒｎｉｎｇ：ディープラーニング）を用いて、画像認識をする技術に関する。
【背景技術】
【０００２】
深層学習は、様々な分野で応用が研究されている。例えば、非特許文献１は、深層学習を用いて人間の画像を解析することにより、その人間の関節の位置を推定し、関節の位置からその人間の姿勢を検出する技術を開示している。非特許文献１の技術は、カスケード型検出器と深層学習とを組み合わせて関節の位置を推定する。検出器がカスケード構造であるのは、関節の位置の推定精度を向上させるためである。カスケード型検出器の最初の段が、関節の位置を大まかに推定し、次の段は、前の段が推定した関節の位置を基にして関節の位置を推定する。このように、カスケード型検出器の各段は、関節の位置を推定する画像認識処理をし、この処理に深層学習が用いられる。
【０００３】
カスケード型検出器以外に、カスケート型分類器等も深層学習と組み合わせることができる。カスケート型分類器は、例えば、特定の人間を検出する場合、特定の人間とこれ以外の人間とに分類する。本明細書では、これらの総称として、カスケード型処理部と記載する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】″ＤｅｅｐＰｏｓｅ：Ｈｕｍａｎ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ  ｖｉａ  Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ″、［ｏｎｌｉｎｅ ］、［平成２８年１１月１７日検索］、インターネット〈ＵＲＬ：http://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Toshev_DeepPose_Human_Pose_2014_CVPR_paper.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【０００５】
深層学習は、処理量が多いので、深層学習には、時間を要する。カスケード型処理部は、複数の段で画像認識処理がされる。このため、カスケード型処理部と深層学習とを組み合わせて、画像認識処理をする画像認識装置では、画像認識処理の時間が長くなる。時系列画像（例えば、動画）の場合、画像認識処理の時間が長くなることは問題である。例えば、動いている人間の姿勢を検出する場合、検出された姿勢と現在の姿勢とに大きなズレが生じる可能性がある。
【０００６】
本発明の目的は、カスケード型処理部と深層学習とを組み合わせて、時系列画像に対して画像認識をする際に、画像認識処理に要する時間を短くできる画像認識装置及び画像認識方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明の第１の局面に係る画像認識装置は、カスケード構造を有し、前記カスケード構造の各段において、深層学習を用いた画像認識処理をする処理部と、前記カスケード構造の各段のうち、前記画像認識処理をする１以上の段を決定する決定部と、を備え、前記決定部が決定した前記１以上の段は、時系列画像に対して、前記画像認識処理をする。
【０００８】
決定部は、深層学習を用いた画像認識処理をする１以上の段を決定する。このため、常に、カスケード構造の全ての段が、深層学習を用いた画像認識処理をするのではなく、これより少ない数の段が、深層学習を用いた画像認識処理をすることができる。従って、本発明の第１の局面に係る画像認識装置によれば、カスケード型処理部と深層学習とを組み合わせて、時系列画像に対して画像認識をする際に、画像認識処理に要する時間を短くできる。
【０００９】
時系列画像は、撮像された時間の順に並んだ画像であり、例えば、動画や、一定の時間間隔で撮影された画像である。
【００１０】
画像認識処理とは、例えば、物体の位置を推定する画像認識処理、物体を検出する画像認識処理である。物体の位置を推定する画像認識処理とは、例えば、人間の姿勢を検出するために、人間の関節の位置を推定する画像認識処理である。物体を検出する画像認識処理とは、例えば、多数の人間の中から特定の人間を検出する画像認識処理や、自動運転のために、道路の前方に存在する物体の中から人間を検出する画像認識処理である。
【００１１】
上記構成において、前記処理部は、前記１以上の段のうち、最後の段が前記時系列画像に対して前記画像認識処理をした結果を出力し、前記決定部は、前記結果を基にして、前記１以上の段を決定する。
【００１２】
最後の段について、３段のカスケード構造を例にして説明する。１段目、２段目及び３段目が選択されたとき、最後の段は、３段目である。３段目のみが選択されたとき、最後の段は、３段目である。１段目及び２段目が選択されたとき、最後の段は、２段目である。１段目のみが選択されたとき、最後の段は、１段目である。
【００１３】
画像認識処理をした結果を基にしてとは、例えば、リアルタイム性を重視する場合、処理部が前記結果をリアルタイムで出力できたか否かである。処理部が前記結果をリアルタイムで出力できないとき、決定部は、処理部が前記結果をリアルタイムで出力できるようにするために、画像認識処理に用いる段の数を減らす決定をする。処理部が前記結果をリアルタイムで出力できたとき、決定部は、リアルタイム性に加えて、画像認識の精度を向上させるために、画像認識処理に用いる段の数を増やす決定をする。
【００１４】
上記構成において、前記処理部は、前記１以上の段のうち、最後の段が前記時系列画像に対して前記画像認識処理をした結果を出力し、前記画像認識装置は、前記結果を基にして、前記結果の信頼度を判定する判定部をさらに備え、前記決定部は、前記信頼度を基にして、前記１以上の段を決定する。
【００１５】
決定部が決定した１以上の段について、段の数が多いとき、画像認識処理をした結果の信頼度が向上する。段の数が少ないとき、前記結果の算出速度が向上するので、処理部は前記結果をリアルタイムで出力することが可能となる。
【００１６】
信頼度を基にしてとは、例えば、決定部は、信頼度が高くなるに従って、段の数を減らす決定をし、信頼度が低くなるに従って、段の数を増やす決定をする。これにより、前記結果の算出速度と前記結果の信頼度とのバランスをとることができる。
【００１７】
信頼度の程度は、しきい値で判断することができる。しきい値が１つのとき、信頼度の程度は、信頼度が高い場合と信頼度が高くない場合とに分けることができる。しきい値の数を増やすと、信頼度の程度を細かく分けることができる。例えば、しきい値が２つのとき、信頼度の程度は、信頼度が高い場合、信頼度が中位の場合、信頼度が低い場合に分けることができる。
【００１８】
上記構成において、前記処理部は、前記画像認識処理によって、物体の推定位置を算出し、前記判定部は、前記時系列画像を構成する複数の画像のうち、今回、前記処理部で前記画像認識処理がされた画像を第１の画像とし、前記第１の画像よりも前に前記処理部で前記画像認識処理がされた画像を第２の画像とし、前記第１の画像での前記物体の推定位置と前記第２の画像での前記物体の推定位置との距離を算出し、前記距離の大小に応じて前記信頼度を判定する。
【００１９】
第１の画像が撮像された時刻と第２の画像が撮像された時刻とが近いとする。第１の画像での物体の推定位置の精度、及び、第２の画像での物体の推定位置の精度が高ければ、これらの推定位置は、極めて近いはずである（又は同じはずである）。従って、判定部は、例えば、これらの推定位置の距離が所定のしきい値より小さければ、第１の画像での物体の推定位置の信頼度が高いと判定する。これに対して、判定部は、上記距離が所定のしきい値以上であれば、第１の画像での物体の推定位置の信頼度が高くないと判定する。
【００２０】
上記構成において、前記１以上の段のうち、最初の段が１段目でない場合、前記最初の段の直前に位置する段が出力した過去の結果に基づいて、前記直前に位置する段が出力する結果を推定する推定部をさらに備え、前記最初の段は、前記推定部が推定した結果を用いて前記画像認識処理をする。
【００２１】
カスケード型構造において、各段は、直前に位置する段が出力した結果を用いて、画像認識処理をする。例えば、２段目は、１段目が出力した結果を用いて、画像認識処理をし、３段目は、２段目が出力した結果を用いて、画像認識処理をする。決定部が決定した１以上の段のうち、最初の段が１段目でない場合、直前に位置する段が出力した結果が存在しない。例えば、３段のカスケード構造において、３段目のみが選択されたとする。３段目は、２段目が出力した結果を用いて画像認識処理をするので、２段目が出力した結果が必要となる。しかし、３段目のみが選択されているので、２段目が結果を出力することはない。そこで、推定部は、２段目が出力した過去の結果を基にして、２段目が出力する結果を推定する。例えば、結果が物体の推定位置の場合、推定部は、外挿、物体追跡、深層学習等を用いて、結果を推定する。
【００２２】
本発明の第２の局面に係る画像認識方法は、カスケード構造を有し、前記カスケード構造の各段において、深層学習を用いた画像認識処理をする処理部を使用する画像認識方法であって、前記カスケード構造の各段のうち、前記画像認識処理をする１以上の段を決定する第１のステップと、前記第１のステップで決定した前記１以上の段が、時系列画像に対して、前記画像認識処理をする第２のステップと、を備える。
【００２３】
本発明の第２の局面に係る画像認識方法は、本発明の第１の局面に係る画像認識装置を方法の観点から規定しており、本発明の第１の局面に係る画像認識装置と同様の作用効果を有する。
【発明の効果】
【００２４】
本発明によれば、カスケード型処理部と深層学習とを組み合わせて、時系列画像に対して画像認識をする際に、画像認識処理に要する時間を短くできる。
【図面の簡単な説明】
【００２５】
【図１】実施形態に係る画像認識装置の構成を示すブロック図である。
【図２】全段選択モードを説明する模式図である。
【図３】最終段選択モードを説明する模式図である。
【図４Ａ】実施形態に係る画像認識装置の動作を説明するフローチャートその１である。
【図４Ｂ】実施形態に係る画像認識装置の動作を説明するフローチャートその２である。
【図５】ｋ番目フレームの一例を示す模式図である。
【図６】入力画像Ｉｍ−１の一例を示す模式図である。
【図７】左肩関節の推定位置Ｐ１−１と入力画像Ｉｍ−１との関係の一例を示す模式図である。
【図８】矩形領域が設定された入力画像Ｉｍ−１の一例を示す模式図である。
【図９】２段用切り出し画像Ｉｍ２−１の一例を示す模式図である。
【図１０】左肩関節の推定位置Ｐ２−１と２段目用切り出し画像Ｉｍ２−１との関係の一例を示す模式図である。
【図１１】矩形領域が設定された入力画像Ｉｍ−１の一例を示す模式図である。
【図１２】３段目用切り出し画像Ｉｍ３−１の一例を示す模式図である。
【図１３】左肩関節の推定位置Ｐ３−１と３段目用切り出し画像Ｉｍ３−１との関係の一例を示す模式図である。
【図１４】ｋ＋１０番目フレームの一例を示す模式図である。
【図１５】入力画像Ｉｍ−２の一例を示す模式図である。
【図１６】２段目用切り出し画像Ｉｍ２−２〜Ｉｍ２−５を用いて、２段目処理部が算出した左肩関節の推定位置Ｐ２−２〜Ｐ２−５を示す模式図である。
【図１７】矩形領域が設定された入力画像Ｉｍ−２の一例を示す模式図である。
【図１８】３段目用切り出し画像Ｉｍ３−２の一例を示す模式図である。
【図１９】左肩関節の推定位置Ｐ３−２と３段目用切り出し画像Ｉｍ３−２との関係の一例を示す模式図である。
【図２０】２段選択モードを説明する模式図である。
【図２１】２段選択モードの動作を説明するフローチャートである。
【図２２】矩形領域が設定された入力画像Ｉｍ−２の一例を示す模式図である。
【図２３】２段目用切り出し画像Ｉｍ２−６の一例を示す模式図である。
【図２４】左肩関節の推定位置Ｐ２−７と２段目用切り出し画像Ｉｍ２−６との関係の一例を示す模式図である。
【図２５】第２変形例で実行される第１モードを説明する説明図である。
【図２６】第２変形例で実行される第２モードを説明する説明図である。
【図２７】第２変形例で実行される第３モードを説明する説明図である。
【発明を実施するための形態】
【００２６】
以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し（例えば、入力画像Ｉｍ）、個別の構成を指す場合には添え字を付した参照符号で示す（例えば、入力画像Ｉｍ−１）。
【００２７】
図１は、実施形態に係る画像認識装置１の構成を示すブロック図である。画像認識装置１は、機能ブロックとして、人物検出部１１、入力画像生成部１３、カスケード型処理部１５、信頼度判定部１７、段数決定部１９、及び、推定部１２を備える。画像認識装置１は、ハードウェア（ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等）、及び、ソフトウェア等によって実現される。
【００２８】
人物検出部１１は、撮像部３が撮像した動画のフレームに対して画像処理をし、フレームに人物が写っていれば、人物を検出する。動画は、時系列画像の具体例である。時系列画像は、撮像された時間の順に並んだ画像である。例えば、一定の時間間隔で撮影された画像は、時系列画像である。人物検出部１１は、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴を用いた人物検出等のような、公知の人物検出技術を用いて、人物を検出することができる。撮像部３は、例えば、デジタル式の可視光カメラ、デジタル式の赤外線カメラである。
【００２９】
入力画像生成部１３は、入力画像Ｉｍを生成する。入力画像Ｉｍは、フレームから人物を含む矩形領域を切り出した切り出し画像である。入力画像生成部１３は、入力画像Ｉｍをカスケード型処理部１５に入力する。
【００３０】
カスケード型処理部１５は、カスケード構造を有し、カスケード構造の各段において、深層学習を用いた画像認識処理をする。カスケード型処理部１５は、カスケード型検出器、カスケード型分類器の総称である。実施形態では、カスケード型処理部１５を用いて、人物の所定の関節（例えば、左肩関節、左肘関節、左手首関節、左股関節、左膝関節、左足首関節、右肩関節、右肘関節、右手首関節、右股関節、右膝関節、右足首関節）の推定位置を算出する。
【００３１】
深層学習を用いた関節の推定位置の算出について簡単に説明する。上記所定の関節のいずれの場合も同じなので、左肩関節の推定位置の算出を例にして説明する。画像認識装置１は、左肩関節が写されている人物の多数の画像（服で覆われた左肩関節の画像、服で覆われていない左肩関節の画像のいずれも含まれる）と、左肩関節が写されていない多数の画像とを用いて、左肩関節を認識する学習をする。カスケード型処理部１５は、この学習を基礎にして、動画のフレームに写された人物の左肩関節の位置を推定する。深層学習では、多層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）が用いられる。多層ニューラルネットワークとして、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）がある。  
【００３２】
カスケード型処理部１５は、１段目処理部１５１、２段目処理部１５３、及び、３段目処理部１５５を備える。実施形態では、段数が３を例に説明するが、段数は、複数であればよい。
【００３３】
１段目処理部１５１は、深層学習を用いた画像認識処理をして、関節の推定位置を大まかに算出する。２段目処理部１５３は、１段目処理部１５１が出力した結果（ここでは、１段目処理部１５１が算出した関節の推定位置）を基にして、深層学習を用いた画像認識処理をして、関節の推定位置を算出する。これにより、関節の推定位置は、１段目処理部１５１が算出した関節の推定位置よりも高い精度となる。３段目処理部１５５は、２段目処理部１５３が出力した結果（ここでは、２段目処理部１５３が算出した関節の推定位置）を基にして、深層学習を用いた画像認識処理をして、関節の推定位置を算出する。これにより、関節の推定位置は、２段目処理部１５３が算出した関節の推定位置よりも高い精度となる。以上説明したカスケード型処理部１５を用いる関節の推定位置の算出については、例えば、上記非特許文献１に開示されている。
【００３４】
画像認識装置１は、３段目処理部１５５が算出した、上記所定の関節の推定位置を、所定の関節の現在の推定位置とし、これらを基にして、人物の姿勢を判定する。この判定には、関節位置を用いて人物の姿勢を判定する公知のアルゴリズムを用いることができるので、人物の姿勢を判定する説明については省略する。画像認識装置１は、人物の姿勢の判定結果を表示部５に表示させる。
【００３５】
信頼度判定部１７は、関節の推定位置の信頼度を判定する。上記所定の関節のいずれの場合も同じなので、左肩関節の推定位置の信頼度を例にして説明する。ｋ番目フレームは、第１の画像の一例であり、ｋ−１番目フレームは、第２の画像の一例である。ｋ番目フレームでの左肩関節の推定位置（左肩関節の現在の推定位置）の精度、及び、ｋ−１番目フレームでの左肩関節の推定位置（左肩関節の過去の推定位置）の精度が高ければ、これらの推定位置は、極めて近いはずである（又は同じはずである）。従って、信頼度判定部１７は、これらの推定位置の距離が所定のしきい値より小さければ、ｋ番目フレームでの左肩関節の推定位置の信頼度が高いと判断する。これに対して、信頼度判定部１７は、上記距離が所定のしきい値以上であれば、ｋ番目フレームでの左肩関節の推定位置の信頼度が高くないと判断する。
【００３６】
信頼度が高くなければ、カスケード型処理部１５は、１段目処理部１５１〜３段目処理部１５５を用いて、左肩関節の推定位置を算出する必要がある。そこで、段数決定部１９は、信頼度が高くないとき、カスケード型処理部１５に全段選択モードを実行する命令をする。全段選択モードとは、１段目処理部１５１、２段目処理部１５３、３段目処理部１５５の全てを用いて関節の推定位置を算出するモードである。図２は、全段選択モードを説明する模式図である。１段目処理部１５１、２段目処理部１５３、３段目処理部１５５は、同じ入力画像Ｉｍに対して、関節の推定位置を算出する。
【００３７】
これに対して、信頼度が高ければ、カスケード型処理部１５は、１段目処理部１５１及び２段目処理部１５３を省略しても、左肩関節の推定位置を高精度で算出することができる。そこで、段数決定部１９は、信頼度が高いとき、カスケード型処理部１５に最終段選択モードを実行する命令をする。最終段選択モードとは、１段目処理部１５１及び２段目処理部１５３を省略し、３段目処理部１５５を用いて関節の推定位置を算出するモードである。図３は、最終段選択モードを説明する模式図である。最終段選択モードは、１段目処理部１５１及び２段目処理部１５３が省略されるので、入力画像Ｉｍは、３段目処理部１５５にのみ入力する。
【００３８】
以上説明したように、段数決定部１９は、図２に示す全段選択モード又は図３に示す最終段選択モードを選択する。すなわち、段数決定部１９は、カスケード型処理部１５の各段のうち、関節の推定位置を算出するための画像認識処理をする１以上の段を決定する。
【００３９】
なお、信頼度は、上記距離に限定されない。深層学習によれば、深層学習によって算出された推定位置が、実際の位置である確率を算出できることが知られている。これを用いて、信頼度判定部１７が信頼度を算出する。例えば、上述したように、１段目処理部１５１、２段目処理部１５３、３段目処理部１５５は、それぞれ、深層学習を用いて、ｋ番目フレームでの左肩関節の推定位置を算出する。このとき、１段目処理部１５１は、ｋ番目フレームについて、１段目処理部１５１が算出した左肩関節の推定位置が、左肩関節の実際位置である確率を、深層学習を用いて算出する（例えば、確率が７０％）。同様に、２段目処理部１５３は、ｋ番目フレームについて、２段目処理部１５３が算出した左肩関節の推定位置が、左肩関節の実際位置である確率を、深層学習を用いて算出する（例えば、確率が８０％）。３段目処理部１５５は、ｋ番目フレームについて、３段目処理部１５５が算出した左肩関節の推定位置が、左肩関節の実際位置である確率を、深層学習を用いて算出する（例えば、確率が９０％）。信頼度判定部１７は、それらの確率を掛け算して、左肩関節の推定位置の信頼度を算出する（信頼度＝７０％×８０％×９０％）。
【００４０】
実施形態に係る画像認識装置１の動作について説明する。図４Ａ及び図４Ｂは、これを説明するフローチャートである。実施形態において、関節の推定位置を算出するアルゴリズムは、上述した所定の関節のいずれの場合も同じであるので、左肩関節の推定位置の算出を例にして説明する。
【００４１】
図１及び図４Ａを参照して、画像認識装置１の動作が開始した時点において、信頼度判定部１７は、信頼度を算出していない。よって、段数決定部１９は、図２に示す全段選択モードを選択する。
【００４２】
人物検出部１１は、撮像部３から送られてきた動画（時系列画像の一例）のフレームに対して、リアルタイムで人物検出の画像処理をする（ステップＳ１）。人物検出部１１が、ステップＳ１において、人物が写されたフレームを検出できないとき（ステップＳ２でＮｏ）、人物検出部１１は、ステップＳ１の処理を繰り返す。
【００４３】
例えば、１番目フレームからｋ−１番目フレームまで、人物が写されたフレームがない場合、人物検出部１１は、１番目フレームからｋ−１番目フレームまで、ステップＳ１の処理と、ステップＳ２がＮｏの判断とを繰り返す。図５に示すｋ番目フレームに人物２１が写されているとする。図５は、ｋ番目フレームの一例を示す模式図である。人物検出部１１は、ステップＳ１において、ｋ番目フレームに写された人物２１を検出する（ステップＳ２でＹｅｓ）。これにより、画像認識装置１は、人物２１の左肩関節の推定位置を算出する処理を開始する。
【００４４】
入力画像生成部１３は、人物２１が写された矩形領域をｋ番目フレームから切り出し、図６に示す入力画像Ｉｍ−１を生成する（ステップＳ３）。図６は、入力画像Ｉｍ−１の一例を示す模式図である。入力画像の総称を入力画像Ｉｍと記載する。
【００４５】
入力画像生成部１３は、入力画像Ｉｍ−１を、１段目処理部１５１、２段目処理部１５３、及び、３段目処理部１５５に入力する。
【００４６】
１段目処理部１５１は、入力画像Ｉｍ−１に対して、深層学習を用いた画像認識処理をし、左肩関節の推定位置Ｐ１−１を算出する（ステップＳ４）。図７は、左肩関節の推定位置Ｐ１−１と入力画像Ｉｍ−１との関係の一例を示す模式図である。１段目処理部１５１は、左肩関節の推定位置Ｐ１−１を大まかに算出するので、左肩関節の推定位置Ｐ１−１と、左肩関節の実際位置Ｐ０とがずれが比較的大きい。１段目処理部１５１が算出した左肩関節の推定位置の総称を、左肩関節の推定位置Ｐ１と記載する。
【００４７】
カスケード型処理部１５は、１段目処理部１５１が算出した左肩関節の推定位置Ｐ１−１を示す情報を記憶する。１段目処理部１５１は、その情報を出力する（ステップＳ５）。
【００４８】
２段目処理部１５３は、矩形領域を入力画像Ｉｍ−１に設定する。図８は、その矩形領域２３が設定された入力画像Ｉｍ−１の一例を示す模式図である。矩形領域２３は、図７に示す左肩関節の推定位置Ｐ１−１を含む。２段目処理部１５３は、入力画像Ｉｍ−１のうち、矩形領域２３で囲まれた部分を切り出し、図９に示す切り出し画像を生成する（ステップＳ６）。これを２段目用切り出し画像Ｉｍ２−１と称する。図９は、２段用切り出し画像Ｉｍ２−１の一例を示す模式図である。２段目用切り出し画像Ｉｍ２−１の面積は、入力画像Ｉｍ−１の面積より小さい。２段目用切り出し画像Ｉｍ２−１には、左肩を含む人物２１の一部分が写されている。２段目用切り出し画像の総称を２段目用切り出し画像Ｉｍ２と記載する。
【００４９】
２段目処理部１５３は、２段目用切り出し画像Ｉｍ２−１に対して、深層学習を用いた画像認識処理をし、左肩関節の推定位置Ｐ２−１を算出する（ステップＳ７）。図１０は、左肩関節の推定位置Ｐ２−１と２段目用切り出し画像Ｉｍ２−１との関係の一例を示す模式図である。２段目処理部１５３は、１段目処理部１５１が算出した左肩関節の推定位置Ｐ１−１（図７）を用いて、左肩関節の推定位置Ｐ２−１を算出するので、左肩関節の推定位置Ｐ２−１は、左肩関節の実際位置Ｐ０に近い。２段目処理部１５３が算出した左肩関節の推定位置の総称を、左肩関節の推定位置Ｐ２と記載する。
【００５０】
カスケード型処理部１５は、２段目処理部１５３が算出した左肩関節の推定位置Ｐ２−１を示す情報を記憶する。２段目処理部１５３は、その情報を出力する（ステップＳ８）。
【００５１】
３段目処理部１５５は、矩形領域を入力画像Ｉｍ−１に設定する。図１１は、その矩形領域２５が設定された入力画像Ｉｍ−１の一例を示す模式図である。矩形領域２５は、図１０に示す左肩関節の推定位置Ｐ２−１を含む。矩形領域２５の面積は、矩形領域２３（図８）の面積より小さい。３段目処理部１５５は、入力画像Ｉｍ−１のうち、矩形領域２５で囲まれた部分を切り出し、図１２に示す切り出し画像を生成する（ステップＳ９）。これを３段目用切り出し画像Ｉｍ３−１と称する。図１２は、３段目用切り出し画像Ｉｍ３−１の一例を示す模式図である。３段目用切り出し画像Ｉｍ３−１の面積は、２段目用切り出し画像Ｉｍ２−１の面積より小さい。３段目用切り出し画像Ｉｍ３−１には、左肩を含む人物２１の一部分が写されている。３段目用切り出し画像の総称を３段目用切り出し画像Ｉｍ３と記載する。
【００５２】
３段目処理部１５５は、３段目用切り出し画像Ｉｍ３−１に対して、深層学習を用いた画像認識処理をし、左肩関節の推定位置Ｐ３−１を算出する（ステップＳ１０）。図１３は、左肩関節の推定位置Ｐ３−１と３段目用切り出し画像Ｉｍ３−１との関係の一例を示す模式図である。３段目処理部１５５は、２段目処理部１５３が算出した左肩関節の推定位置Ｐ２−１（図１０）を用いて、左肩関節の推定位置Ｐ３−１を算出するので、左肩関節の推定位置Ｐ３−１は、左肩関節の実際位置Ｐ０にさらに近くなる。図１３では、左肩関節の推定位置Ｐ３−１と左肩関節の実際位置Ｐ０とがほぼ同じとなる。３段目処理部１５５が算出した左肩関節の推定位置の総称を、左肩関節の推定位置Ｐ３と記載する。
【００５３】
カスケード型処理部１５は、３段目処理部１５５が算出した左肩関節の推定位置Ｐ３−１を示す情報を記憶する。３段目処理部１５５は、その情報を出力する（ステップＳ１１）。左肩関節の推定位置Ｐ３−１は、図５に示すｋ番目フレームでの左肩関節の推定位置を示す情報である。信頼度判定部１７は、この情報を記憶する。現時点において、ｋ番目フレームでの左肩関節の推定位置が、左肩関節の現在の推定位置である。
【００５４】
信頼度判定部１７は、信頼度の算出が可能か否かを判断する（ステップＳ１２）。信頼度の算出には、左肩関節の現在の推定位置と、左肩関節の過去の推定位置とが用いられる。ここでは、ｋ番目フレームでの左肩関節の推定位置が、左肩関節の現在の推定位置であり、ｋ−１番目フレームでの左肩関節の推定位置が、左肩関節の過去の推定位置である。上述したように、ｋ番目フレームより前のフレームには、人物２１が写されていないので、ｋ−１番目フレームでの左肩関節の推定位置は、算出されていない。従って、信頼度判定部１７は、信頼度の算出が可能でないと判断する（ステップＳ１２でＮｏ）。これにより、人物検出部１１は、ステップＳ１の処理をする。ここでは、ｋ＋１番目のフレームについて、ステップＳ１の処理がされる。
【００５５】
ｋ＋１番目フレームに人物２１が写されているとする。人物検出部１１は、ｋ＋１番目フレームに写された人物２１を検出する（ステップＳ２でＹｅｓ）。入力画像生成部１３は、ステップＳ３の処理をする。カスケード型処理部１５は、ステップＳ３〜ステップＳ１１の処理をする。ステップＳ１１で出力された情報は、ｋ＋１番目フレームでの左肩関節の推定位置を示す情報である。信頼度判定部１７は、この情報を記憶する。現時点において、ｋ＋１番目フレームでの左肩関節の推定位置が、左肩関節の現在の推定位置であり、ｋ番目フレームでの左肩関節の推定位置が、左肩関節の過去の推定位置である。
【００５６】
信頼度判定部１７は、信頼度の算出が可能か否かを判断する（ステップＳ１２）。信頼度判定部１７は、左肩関節の現在の推定位置を示す情報、及び、左肩関節の過去の推定位置を示す情報を記憶しているので、信頼度の算出が可能と判断する（ステップＳ１２でＹｅｓ）。
【００５７】
信頼度判定部１７は、左肩関節の現在の推定位置（ここでは、ｋ＋１番目フレームでの左肩関節の推定位置）と、左肩関節の過去の推定位置（ここでは、ｋ番目フレームでの左肩関節の推定位置）と、を用いて、左肩関節の現在の推定位置の信頼度を算出する。信頼度判定部１７は、その信頼度が高いか否かを判定する（ステップＳ１３）。
【００５８】
段数決定部１９は、左肩関節の現在の推定位置の信頼度が高くないとき（ステップＳ１３でＮｏ）、図２に示す全段選択モードを選択する。従って、画像認識装置１は、次のフレーム（ここでは、ｋ＋２番目フレーム）に対して、ステップＳ１〜ステップＳ１３の処理をする。
【００５９】
段数決定部１９は、左肩関節の現在の推定位置の信頼度が高いとき（ステップＳ１３でＹｅｓ）、図３に示す最終段選択モードを選択する。従って、カスケード型処理部１５は、次のフレームに対して、最終段選択モードを実行する。例えば、信頼度判定部１７が、ｋ＋１番目〜ｋ＋８番目フレームのそれぞれについて、左肩関節の現在の推定位置の信頼度が高くないと判定し（ステップＳ１３でＮｏ）、カスケード型処理部１５は、これらのフレームのそれぞれに対して、全段選択モードを実行した後、ｋ＋９番目フレームについて、左肩関節の現在の推定位置の信頼度が高いと判定する（ステップＳ１３でＹｅｓ）。段数決定部１９は、ｋ＋１０番目フレームに対して、図３に示す最終段選択モードを選択する。
【００６０】
図１及び図４Ｂを参照して、人物検出部１１は、図１４に示すｋ＋１０番目フレームに対して、リアルタイムで人物検出の画像処理をする（ステップＳ１４）。図１４は、ｋ＋１０番目フレームの一例を示す模式図である。このフレームには、人物２１が写されている。人物検出部１１は、ステップＳ１４において、ｋ＋１０番目フレームに写された人物２１を検出する（ステップＳ１５でＹｅｓ）。なお、人物検出部１１が、ステップＳ１４において、ｋ＋１０番目フレームから人物２１を検出できないとき（ステップＳ１５でＮｏ）、人物２１は、撮像部３の撮像範囲外におり、段数決定部１９は、最終段選択モードから全段選択モードに切り替える。これにより、画像認識装置１は、次のフレーム（ここでは、ｋ＋１１番目フレーム）に対して、ステップＳ１〜ステップＳ１３の処理をする。
【００６１】
人物検出部１１は、ｋ＋１０番目フレームから人物２１を検出したとき（ステップＳ１５でＹｅｓ）、入力画像生成部１３は、人物２１が写された矩形領域をｋ＋１０番目フレームから切り出し、図１５に示す入力画像Ｉｍ−２を生成する（ステップＳ１６）。図１５は、入力画像Ｉｍ−２の一例を示す模式図である。
【００６２】
入力画像生成部１３は、入力画像Ｉｍ−２を３段目処理部１５５に入力する。３段目処理部１５５が左肩関節の推定位置Ｐ３を算出するには、前提として、３段目用切り出し画像Ｉｍ３を作成する必要がある。３段目用切り出し画像Ｉｍ３とは、例えば、図１２及び図１３に示す３段目用切り出し画像Ｉｍ３−１のように、３段目処理部１５５が左肩関節の推定位置Ｐ３を算出するために用いる切り出し画像である。
【００６３】
３段目用切り出し画像Ｉｍ３を作成するためには、２段目処理部１５３が算出した左肩関節の推定位置Ｐ２が必要となる（図２）。しかし、図３に示す最終段選択モードでは、２段目処理部１５３が省略されるので、ｋ＋１０番目フレームでの左肩関節の推定位置Ｐ２が算出されない。
【００６４】
そこで、ｋ＋１０番目フレームでの左肩関節の推定位置Ｐ２の算出に、直近の数フレームにおいて、２段目処理部１５３が、２段目用切り出し画像Ｉｍ２を用いて算出した左肩関節の推定位置Ｐ２を用いる。ここでは、直近の数フレームとして、ｋ＋９番目フレーム〜ｋ＋６番目フレームを例にして説明する。図１６は、ｋ＋９番目フレーム〜ｋ＋６番目フレームからそれぞれ切り出された、２段目用切り出し画像Ｉｍ２−２〜Ｉｍ２−５を用いて、２段目処理部１５３が算出した左肩関節の推定位置Ｐ２−２〜Ｐ２−５を示す模式図である。
【００６５】
推定部１２は、図１６に示す左肩関節の推定位置Ｐ２−２〜Ｐ２−５を用いて、ｋ＋１０番目フレームでの左肩関節の推定位置Ｐ２−６を算出する（ステップＳ１７）。この算出方法としては、外挿、物体追跡、深層学習等があり、これらのいずれでもよい。
【００６６】
ステップＳ１７後、３段目処理部１５５は、矩形領域を入力画像Ｉｍ−２に設定する。図１７は、その矩形領域２７が設定された入力画像Ｉｍ−２の一例を示す模式図である。矩形領域２７は、ステップＳ１７で算出された左肩関節の推定位置Ｐ２ー６を含む。３段目処理部１５５は、図１７に示す入力画像Ｉｍ−２のうち、矩形領域２７で囲まれた部分を切り出し、図１８に示す３段目切り出し画像Ｉｍ３−２を生成する（ステップＳ１８）。図１８は、３段目用切り出し画像Ｉｍ３−２の一例を示す模式図である。３段目用切り出し画像Ｉｍ３−２には、左肩を含む人物２１の一部分が写されている。
【００６７】
３段目処理部１５５は、３段目用切り出し画像Ｉｍ３−２に対して、深層学習を用いた画像認識処理をし、左肩関節の推定位置Ｐ３−２を算出する（ステップＳ１９）。図１９は、ステップＳ１９で算出された左肩関節の推定位置Ｐ３−２と３段目用切り出し画像Ｉｍ３−２との関係の一例を示す模式図である。
【００６８】
カスケード型処理部１５は、３段目処理部１５５が算出した左肩関節の推定位置Ｐ３−２を示す情報を記憶する。３段目処理部１５５は、その情報を出力する（ステップＳ２０）。左肩関節の推定位置Ｐ３−２は、図１４に示すｋ＋１０番目フレームでの左肩関節の推定位置を示す情報である。信頼度判定部１７は、この情報を記憶する。現時点において、ｋ＋１０番目フレームでの左肩関節の推定位置が、左肩関節の現在の推定位置である。
【００６９】
信頼度判定部１７は、左肩関節の現在の推定位置（ここでは、ｋ＋１０番目フレームでの左肩関節の推定位置）と、左肩関節の過去の推定位置（ここでは、ｋ＋９番目フレームでの左肩関節の推定位置）と、を用いて、左肩関節の現在の推定位置の信頼度を算出する。信頼度判定部１７は、その信頼度が高いか否かを判定する（ステップＳ２１）。
【００７０】
段数決定部１９は、左肩関節の現在の推定位置の信頼度が高いとき（ステップＳ２１でＹｅｓ）、図３に示す最終段選択モードを選択する。これにより、画像認識装置１は、次のフレーム（ここでは、ｋ＋１１番目のフレーム）に対して、ステップＳ１４〜ステップＳ２１の処理をする。
【００７１】
段数決定部１９は、左肩関節の現在の推定位置の信頼度が高くないとき（ステップＳ２１でＮｏ）、図２に示す全段選択モードを選択する。これにより、画像認識装置１は、次のフレーム（ここでは、ｋ＋１１番目フレーム）に対して、ステップＳ１〜ステップＳ１３の処理をする。
【００７２】
実施形態の主な効果を説明する。段数決定部１９は、図２に示す全段選択モード又は図３に示す最終段選択モードを選択する。最終段選択モードが選択されたとき、３段目処理部１５５のみが深層学習を用いた画像認識処理をする。このため、実施形態に係る画像認識装置１によれば、常に、カスケード型処理部１５の全ての段が、深層学習を用いた画像認識処理をするのではなく、これより少ない数の段が、深層学習を用いた画像認識処理をすることができる。従って、実施形態に係る画像認識装置１によれば、カスケード型処理部１５と深層学習とを組み合わせて、動画（時系列画像の一例）に対して画像認識をする際に、画像認識処理に要する時間を短くできる。
【００７３】
実施形態に係る画像認識装置１の変形例を説明する。実施形態は、信頼度の判定に１つのしきい値を用いたが、第１変形例は、信頼度の判定に２つのしきい値を用いる。２つのしきい値は、第１のしきい値と第２のしきい値であり、第１のしきい値が第２のしきい値より小さいとする。
【００７４】
第１変形例において、図１に示す信頼度判定部１７は、左肩関節の現在の推定位置と左肩関節の過去の推定位置との距離が、第１のしきい値より小さいとき、左肩関節の現在の推定位置の信頼度が高いと判定する。信頼度判定部１７は、上記距離が、第１のしきい値以上、かつ、第２のしきい値より小さいとき、左肩関節の現在の推定位置の信頼度が中位と判定する。信頼度判定部１７は、上記距離が第２のしきい値より大きいとき、左肩関節の現在の推定位置の信頼度が低いと判定する。
【００７５】
段数決定部１９は、信頼度が低いと判定されたとき、カスケード型処理部１５に全段選択モード（図２）を実行する命令をする。第１変形例の全段選択モードが、実施形態の全段選択モードと異なる点は、図４Ａに示すステップＳ１３において、信頼度判定部１７が、信頼度が高いと判定する場合、信頼度が中位と判定する場合、信頼度が低いと判定する場合とがある。
【００７６】
段数決定部１９は、信頼度が高いと判定されたとき、カスケード型処理部１５に最終段選択モード（図３）を実行する命令をする。第１変形例の最終段選択モードが、実施形態の最終段選択モードと異なる点は、図４Ｂに示すステップＳ２１において、信頼度判定部１７が、信頼度が高いと判定する場合、信頼度が中位と判定する場合、信頼度が低いと判定する場合とがある。
【００７７】
段数決定部１９は、信頼度が中位と判定されたとき、カスケード型処理部１５に２段選択モードを実行する命令をする。２段選択モードとは、１段目処理部１５１を省略し、２段処理部及び３段目処理部１５５を用いて関節の推定位置を算出するモードである。図２０は、２段選択モードを説明する模式図である。２段選択モードは、１段目処理部１５１が省略されるので、入力画像Ｉｍは、２段目処理部１５３及び３段目処理部１５５に入力する。
【００７８】
図２１は、２段選択モードの動作を説明するフローチャートである。ステップＳ１４〜ステップＳ１６は、図４Ｂに示すステップＳ１４〜ステップＳ１６と同じである。
【００７９】
入力画像生成部１３は、図１５に示す入力画像Ｉｍ−２を２段目処理部１５３及び３段目処理部１５５に入力する。２段目処理部１５３が左肩関節の推定位置Ｐ２を算出するには、前提として、２段目用切り出し画像Ｉｍ２を作成する必要がある。２段目用切り出し画像Ｉｍ２とは、例えば、図９及び図１０に示す２段目用切り出し画像Ｉｍ２−１のように、２段目処理部１５３が左肩関節の推定位置Ｐ２を算出するために用いる切り出し画像である。２段目用切り出し画像Ｉｍ２を作成するためには、１段目処理部１５１が算出した左肩関節の推定位置Ｐ１が必要となる。しかし、２段選択モードでは、１段目処理部１５１が省略されるので、ｋ＋１０番目フレームでの左肩関節の推定位置Ｐ１が算出されない。
【００８０】
そこで、推定部１２は、直近の数フレームにおいて（例えば、ｋ＋９番目フレーム〜ｋ＋６番目フレーム）、１段目処理部１５１が、入力画像Ｉｍを用いて算出した左肩関節の推定位置Ｐ１を用いて、左肩関節の推定位置Ｐ１を算出する（ステップＳ２２）。これは、図１６に示す左肩関節の推定位置Ｐ２−６の算出と同様の方法（外挿、物体追跡、深層学習等）で算出する。
【００８１】
ステップＳ２２後、２段目処理部１５３は、矩形領域を入力画像Ｉｍ−２に設定する。図２２は、その矩形領域２９が設定された入力画像Ｉｍ−２の一例を示す模式図である。矩形領域２９は、ステップＳ２２で算出された左肩関節の推定位置Ｐ１を含む。
【００８２】
２段目処理部１５３は、図２２に示す入力画像Ｉｍ−２のうち、矩形領域２９で囲まれた部分を切り出し、２段目用切り出し画像Ｉｍ２−６を生成する（ステップＳ２３）。図２３は、２段目用切り出し画像Ｉｍ２−６の一例を示す模式図である。２段目用切り出し画像Ｉｍ２−６には、左肩を含む人物２１の一部分が写されている。
【００８３】
２段目処理部１５３は、図２３に示す２段目用切り出し画像Ｉｍ２−６に対して、深層学習を用いた画像認識処理をし、左肩関節の推定位置Ｐ２−７を算出する（ステップＳ２４）。図２４は、ステップＳ２４で算出された左肩関節の推定位置Ｐ２−７と２段目用切り出し画像Ｉｍ２−６との関係の一例を示す模式図である。
【００８４】
カスケード型処理部１５は、ステップＳ２４で算出された左肩関節の推定位置Ｐ２−７を示す情報を記憶する。２段目処理部１５３は、その情報を出力する（ステップＳ２５）。
【００８５】
ステップＳ９〜ステップＳ１１は、図４Ａに示すステップＳ９〜ステップＳ１１と同じである。図１に示す信頼度判定部１７は、左肩関節の現在の推定位置（ステップＳ１１で出力された情報）と左肩関節の過去の推定位置とを用いて信頼度を判定する（ステップＳ２６）。信頼度判定部１７が、信頼度が高いと判定したとき、段数決定部１９は、次のフレームに対して、最終段選択モードを選択する。信頼度判定部１７が、信頼度が中位と判定したとき、段数決定部１９は、次のフレームに対して、２段選択モードを選択する。信頼度判定部１７が、信頼度が低いと判定したとき、段数決定部１９は、次のフレームに対して、全段選択モードを選択する。
【００８６】
第２変形例を説明する。図２及び図３に示すように、実施形態に係る画像認識装置１は、３段目処理部１５５が算出した関節の推定位置を示す情報をカスケード型処理部１５の出力とし、これを関節の現在の推定位置とする。第２変形例は、第１モード、第２モード、第３モードのいずれかを選択できる。第１モードは、１段目処理部１５１が算出した関節の推定位置を示す情報をカスケード型処理部１５の出力とし、これを関節の現在の推定位置とするモードである。第２モードは、２段目処理部１５３が算出した関節の推定位置を示す情報をカスケード型処理部１５の出力とし、これを関節の現在の推定位置とするモードである。第３モードは、３段目処理部１５５が算出した関節の推定位置を示す情報をカスケード型処理部１５の出力とし、これを関節の現在の推定位置とするモードである。
【００８７】
図２５は、第２変形例で実行される第１モードを説明する説明図である。図２６は、第２変形例で実行される第２モードを説明する説明図である。図２７は、第２変形例で実行される第３モードを説明する説明図である。第２変形例において、図１に示すカスケード型処理部１５は、スイッチＳ１及びスイッチＳ２を備える。これらのスイッチは、ソフトウェアスイッチである。スイッチＳ１は、１段目処理部１５１の出力部と２段目処理部１５３の入力部との接続と、１段目処理部１５１の出力部とカスケード型処理部１５の出力部との接続とを切り替える。スイッチＳ２は、２段目処理部１５３の出力部と３段目処理部１５５の入力部との接続と、２段目処理部１５３の出力部とカスケード型処理部１５の出力部との接続とを切り替える。
【００８８】
図２５を参照して、第１モードの場合、段数決定部１９は、スイッチＳ１を制御して、１段目処理部１５１の出力部とカスケード型処理部１５の出力部とを接続させる。スイッチＳ２によって、２段目処理部１５３の出力部と３段目処理部１５５の入力部とが接続されているが、２段目処理部１５３の出力部とカスケード型処理部１５の出力部とが接続されていてもよい。第１モードは、図２に示す１段目処理部１５１が算出した関節の推定位置を示す情報を、カスケード型処理部１５の出力とするモードと言うことができる。
【００８９】
図２６を参照して、第２モードの場合、段数決定部１９は、スイッチＳ１を制御して、１段目処理部１５１の出力部と２段目処理部１５３の入力部とを接続させ、かつ、スイッチＳ２を制御して、２段目処理部１５３の出力部とカスケード型処理部１５の出力部とを接続させる。第２モードは、図２に示す２段目処理部１５３が算出した関節の推定位置を示す情報を、カスケード型処理部１５の出力とするモードと言うことができる。
【００９０】
図２７を参照して、第３モードの場合、段数決定部１９は、スイッチＳ１を制御して、１段目処理部１５１の出力部と２段目処理部１５３の入力部とを接続させ、かつ、スイッチＳ２を制御して、２段目処理部１５３の出力部と３段目処理部１５５の入力部とを接続させる。第３モードは、図２に示す３段目処理部１５５が算出した関節の推定位置を示す情報を、カスケード型処理部１５の出力とするモードと言うことができる（すなわち、全段選択モードである）。
【００９１】
図２５に示す第１モードは、１段目処理部１５１が関節の推定位置を算出し、２段目処理部１５３及び３段目処理部１５５が省略される。このため、関節の現在の推定位置の信頼度は低いが、関節の現在の推定位置の算出速度は速い。
【００９２】
図２７に示す第３モードは、１段目処理部１５１、２段目処理部１５３及び３段目処理部１５５が関節の推定位置を算出する。このため、関節の現在の推定位置の信頼度は高いが、関節の現在の推定位置の算出速度は遅い。
【００９３】
図２６に示す第２モードは、１段目処理部１５１及び２段目処理部１５３が関節の推定位置を算出し、３段目処理部１５５が省略される。このため、関節の現在の推定位置の信頼度は、第１モードと比べて高いが、第３モードと比べて低い。関節の現在の推定位置の算出速度は、第１モードより遅いが、第３モードより速い。
【００９４】
画像認識装置１に入力する動画（図１）の解像度が高いとき、図２７に示す第３モードでは、関節の現在の推定位置をリアルタイムに算出することが困難となる。そこで、関節の現在の推定位置をリアルタイムに算出できるようにするために、段数決定部１９は、動画の解像度に応じて、第１モード〜第３モードのいずれかを選択する。解像度のしきい値として、第１のしきい値と第２のしきい値とがある。第１のしきい値が第２のしきい値より小さいとする。
【００９５】
段数決定部１９は、画像認識装置１に入力する動画の解像度が、第１のしきい値より小さいとき、図２７に示す第３モードを選択する。段数決定部１９は、画像認識装置１に入力する動画の解像度が、第１のしきい値以上、かつ、第２のしきい値より小さいとき、図２６に示す第２モードを選択する。段数決定部１９は、画像認識装置１に入力する動画の解像度が、第２のしきい値より大きいとき、図２５に示す第１モードを選択する。
【００９６】
なお、ユーザが第１モード、第２モード、第３モードのいずれかを選択できるようにしてもよい。ユーザが第１モードを選択する入力を画像認識装置１に入力したとき、段数決定部１９は、第１モードを選択する。ユーザが第２モードを選択する入力を画像認識装置１に入力したとき、段数決定部１９は、第２モードを選択する。ユーザが第３モードを選択する入力を画像認識装置１に入力したとき、段数決定部１９は、第３モードを選択する。
【符号の説明】
【００９７】
１  画像認識装置
１２  推定部
１５  カスケード型処理部（処理部の一例）
１７  信頼度判定部（判定部の一例）
１９  段数決定部（決定部の一例）
２１  人物
２３，２５，２７  矩形領域
Ｉｍ  入力画像
Ｉｍ２  ２段目用切り出し画像
Ｉｍ３  ３段目用切り出し画像
Ｐ０  左肩関節の実際位置
Ｐ１  １段目処理部が算出した左肩関節の推定位置
Ｐ２  ２段目処理部が算出した左肩関節の推定位置
Ｐ３  ３段目処理部が算出した左肩関節の推定位置
【図１】
2018088057.tif 000003
【図２】
2018088057.tif 000004
【図３】
2018088057.tif 000005
【図４Ａ】
2018088057.tif 000006
【図４Ｂ】
2018088057.tif 000007
【図５】
2018088057.tif 000008
【図６】
2018088057.tif 000009
【図７】
2018088057.tif 000010
【図８】
2018088057.tif 000011
【図９】
2018088057.tif 000012
【図１０】
2018088057.tif 000013
【図１１】
2018088057.tif 000014
【図１２】
2018088057.tif 000015
【図１３】
2018088057.tif 000016
【図１４】
2018088057.tif 000017
【図１５】
2018088057.tif 000018
【図１６】
2018088057.tif 000019
【図１７】
2018088057.tif 000020
【図１８】
2018088057.tif 000021
【図１９】
2018088057.tif 000022
【図２０】
2018088057.tif 000023
【図２１】
2018088057.tif 000024
【図２２】
2018088057.tif 000025
【図２３】
2018088057.tif 000026
【図２４】
2018088057.tif 000027
【図２５】
2018088057.tif 000028
【図２６】
2018088057.tif 000029
【図２７】
2018088057.tif 000030