(57)【要約】      （修正有）【課題】計算量を減らすことができ、かつ、認識対象の範囲が明確でなくても、認識対象を示す領域を画像に設定することができる画像認識装置を提供する。【解決手段】画像認識装置１において、処理部３２１は、画像に写されている物体の一部を示す領域（右肩関節領域）の候補となる領域候補（右肩関節領域候補）を、複数算出する第１処理と、複数の領域候補のそれぞれのサイズを、画像に写されている物体を基にして決定する第２処理と、を機械学習によって実行する。決定部３２２は、複数の領域候補（右肩関節領域候補）の中から、予め定められた基準を用いて、領域（右肩関節領域）を決定する。【選択図】図１
2019003299.tif 000002
【特許請求の範囲】
【請求項１】
画像に写されている物体の一部を示す領域の候補となる領域候補を、複数算出する第１処理と、前記複数の領域候補のそれぞれのサイズを、前記画像に写されている前記物体を基にして決定する第２処理と、を機械学習によって実行する処理部と、
前記複数の領域候補の中から、予め定められた基準を用いて、前記領域を決定する決定部と、を備える画像認識装置。
【請求項２】
前記処理部は、前記領域が設定された、前記物体が写された画像を複数用いて、前記領域を検出する第３処理と、前記画像に写されている前記物体を基にして前記領域のサイズを決定する処理を、前記複数の画像のそれぞれについて実行する第４処理と、を機械学習によって実行することにより構築された学習モデルを予め記憶しており、前記学習モデルを用いて、前記第１処理および前記第２処理を実行する、請求項１に記載の画像認識装置。
【請求項３】
前記処理部に前記第１処理および前記第２処理をさせる場合において、前記画像に写されている前記物体が１つのとき、画像認識装置の操作者が、前記物体が１つであることを、前記処理部に設定する命令を入力する入力部をさらに備え、
前記処理部は、前記複数の領域候補のそれぞれについて、前記領域候補が前記領域である尤度を算出する処理を、機械学習によって実行し、
前記決定部は、前記複数の領域候補のうち、前記尤度が一番高い前記領域候補を、前記領域と決定する、請求項１又は２に記載の画像認識装置。
【請求項４】
前記処理部に前記第１処理および前記第２処理をさせる場合において、前記画像に写されている前記物体が２以上のとき、画像認識装置の操作者が、前記物体が２以上であることを、前記処理部に設定する命令を入力する入力部をさらに備え、
前記処理部は、前記画像に写されている前記２以上の物体のそれぞれについて、前記物体に外接する矩形領域の候補となる矩形領域候補を複数算出する処理を、機械学習によって実行し、
前記処理部は、前記複数の領域候補のそれぞれについて、前記領域候補が前記複数の矩形領域候補のいずれに属するかを表す分類確率を、機械学習によって算出し、
前記処理部は、前記２以上の物体のそれぞれについて、前記物体に外接する前記矩形領域を前記複数の矩形領域候補の中から決定し、
前記処理部は、前記複数の領域候補のそれぞれについて、前記領域候補が前記領域である尤度を算出する処理を、機械学習によって実行し、
前記決定部は、前記複数の領域候補のそれぞれが、前記矩形領域に決定された前記矩形領域候補に属する前記分類確率と、前記複数の領域候補のそれぞれの前記尤度とを基にして、２以上の前記矩形領域のそれぞれについて、前記矩形領域に属する前記領域を、前記複数の領域候補の中から決定する、請求項１又は２に記載の画像認識装置。
【請求項５】
画像に写されている物体の一部を示す領域の候補となる領域候補を、複数算出する第１処理と、前記複数の領域候補のそれぞれのサイズを、前記画像に写されている前記物体を基にして決定する第２処理と、を機械学習によって実行する処理ステップと、
前記複数の領域候補の中から、予め定められた基準を用いて、前記領域を決定する決定ステップと、を備える画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習を用いて、画像認識をする技術に関する。
【背景技術】
【０００２】
例えば、非特許文献１および非特許文献２は、機械学習を用いて人間の画像を解析することにより、その人間の関節の位置を検出し、関節の位置からその人間の姿勢を推定する技術を開示している。これらの文献に記載の技術は、関節位置の尤度を画素単位で算出した尤度マップを作成する。このため、計算量が多く、関節位置を高速で検出するのが難しい。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】エイドリアン・ブラート（Ａｄｒｉａｎ  Ｂｕｌａｔ）、他１名、「畳み込み部分ヒートマップ回帰による人間姿勢推定（Ｈｕｍａｎ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｖｉａ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｐａｒｔ  Ｈｅａｔｍａｐ  Ｒｅｇｒｅｓｓｉｏｎ）」、［ｏｎｌｉｎｅ ］、ｐ．２、［平成２９年５月１３日検索］、インターネット〈ＵＲＬ：https://arxiv.org/pdf/1609.01743〉
【非特許文献２】ヂゥー・ツァオ（Ｚｈｅ  Ｃａｏ）、他３名、「パートアフィニティフィールドを用いたリアルタイム複数人２Ｄ姿勢推定（Ｒｅａｌｔｉｍｅ  Ｍｕｌｔｉ−Ｐｅｒｓｏｎ  ２Ｄ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ  ｕｓｉｎｇ  Ｐａｒｔ  Ａｆｆｉｎｉｔｙ  Ｆｉｅｌｄｓ）」、［ｏｎｌｉｎｅ ］、ｐ．２、［平成２９年５月１３日検索］、インターネット〈ＵＲＬ：https://arxiv.org/pdf/1611.08050〉
【発明の概要】
【発明が解決しようとする課題】
【０００４】
計算量が比較的少ない画像認識の１つとして、ＹＯＬＯ（Ｙｏｕ  ｏｎｌｙ  ｌｏｏｋ  ｏｎｃｅ）が知られている。ＹＯＬＯは、画像を複数のグリッド（例えば、７×７画素）に分割し、物体（例えば、人）が存在するグリッドに、バウンディングボックスと称される物体に外接する矩形領域（物体を示す領域）を設定する。
【０００５】
認識対象が物体の場合、範囲が明確なので、バウンディングボックスを定義するのが容易である。認識対象が物体の一部の場合、例えば、頭部は、範囲が明確なので、バウンディングボックスを定義するのが容易である。しかし、例えば、関節は、範囲が明確でないので、バウンディングボックスを定義することが難しく、画像認識では、関節が点として扱われる。
【０００６】
本発明の目的は、計算量を減らすことができ、かつ、認識対象の範囲が明確でなくても、認識対象を示す領域を画像に設定することができる画像認識装置および画像認識方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明の第１局面に係る画像認識装置は、画像に写されている物体の一部を示す領域の候補となる領域候補を、複数算出する第１処理と、前記複数の領域候補のそれぞれのサイズを、前記画像に写されている前記物体を基にして決定する第２処理と、を機械学習によって実行する処理部と、前記複数の領域候補の中から、予め定められた基準を用いて、前記領域を決定する決定部と、を備える。
【０００８】
処理部は、機械学習によって、画像に写されている物体の一部を示す領域の候補となる領域候補を複数算出する（例えば、物体の一部が人間の右肩関節の場合、領域候補は右肩関節領域候補である）。このように、本発明の第１局面に係る画像認識装置によれば、物体の一部（右肩関節）が、画素単位で検出されるのではなく、領域候補（右肩関節領域候補）の単位で検出されるので、機械学習での計算量を減らすことができる。
【０００９】
複数の領域候補の位置は互いに異なっている。処理部は、複数の領域候補毎に、サイズを決定（予測）するので、複数の領域候補のサイズは必ずしも同じにならない。
【００１０】
決定部は、複数の領域候補の中から、予め定められた基準を用いて、領域を決定する（例えば、領域候補が右肩関節領域候補の場合、領域は右肩関節領域である）。機械学習によって、複数の領域候補が算出されたときに、複数の領域候補のそれぞれついて、尤度（すなわち、領域候補が領域である尤度）が算出されている。例えば、決定部は、一番高い尤度を有する領域候補を、領域と決定する。また、例えば、決定部は、複数の領域候補の中から尤度が高い順にいくつか選択し、機械学習によって、これらの領域候補のそれぞれついて、尤度（領域候補が領域である尤度）を算出し、一番高い尤度を有する領域候補を、領域と決定する。
【００１１】
以上説明したように、本発明の第１局面に係る画像認識装置によれば、認識対象（物体の一部）の範囲が明確でなくても、認識対象（物体の一部）を示す領域を画像に設定することができる。
【００１２】
上記構成において、前記処理部は、前記領域が設定された、前記物体が写された画像を複数用いて、前記領域を検出する第３処理と、前記画像に写されている前記物体を基にして前記領域のサイズを決定する処理を、前記複数の画像のそれぞれについて実行する第４処理と、を機械学習によって実行することにより構築された学習モデルを予め記憶しており、前記学習モデルを用いて、前記第１処理および前記第２処理を実行する。
【００１３】
この構成は、第１処理および第２処理に用いられる学習モデルについて規定する。第４処理は、例えば、画像に写されている物体を用いて定義できるサイズと正の相関関係を有するサイズを、領域のサイズと決定する処理を、複数の画像のそれぞれについて実行する。この学習がされることにより、処理部は、第２処理において、画像に写されている物体を用いて定義できるサイズを算出することなく、画像に写されている物体から直接、領域のサイズを決定（予測）することができる。具体的に説明すると、物体が人間であり、物体の一部が右肩関節の場合、第４処理は、画像に写されている人間の頭部のバウンディングボックスのサイズの例えば０．４倍を、右肩関節領域のサイズと決定する処理を、複数の画像のそれぞれについて実行する。この学習がされることにより、処理部は、第２処理において、画像に写されている人間の頭部のバウンディングボックスのサイズを算出することなく、画像に写されている人間から直接、右肩関節領域候補のサイズを決定（予測）することができる。
【００１４】
上記構成において、前記処理部に前記第１処理および前記第２処理をさせる場合において、前記画像に写されている前記物体が１つのとき、画像認識装置の操作者が、前記物体が１つであることを、前記処理部に設定する命令を入力する入力部をさらに備え、前記処理部は、前記複数の領域候補のそれぞれについて、前記領域候補が前記領域である尤度を算出する処理を、機械学習によって実行し、前記決定部は、前記複数の領域候補のうち、前記尤度が一番高い前記領域候補を、前記領域と決定する。
【００１５】
画像に写されている物体が１つの場合、この物体以外に、画像に物体が写されていないので（例えば、画像に写されている人間が一人の場合、この人間以外に画像に人間が写されていない）、一番高い尤度を有する領域候補（右肩関節領域候補）が、物体の一部を示す領域（右肩関節領域）として妥当である。
【００１６】
上記構成において、前記処理部に前記第１処理および前記第２処理をさせる場合において、前記画像に写されている前記物体が２以上のとき、画像認識装置の操作者が、前記物体が２以上であることを、前記処理部に設定する命令を入力する入力部をさらに備え、前記処理部は、前記画像に写されている前記２以上の物体のそれぞれについて、前記物体に外接する矩形領域の候補となる矩形領域候補を複数算出する処理を、機械学習によって実行し、前記処理部は、前記複数の領域候補のそれぞれについて、前記領域候補が前記複数の矩形領域候補のいずれに属するかを表す分類確率を、機械学習によって算出し、前記処理部は、前記２以上の物体のそれぞれについて、前記物体に外接する前記矩形領域を前記複数の矩形領域候補の中から決定し、前記処理部は、前記複数の領域候補のそれぞれについて、前記領域候補が前記領域である尤度を算出する処理を、機械学習によって実行し、前記決定部は、前記複数の領域候補のそれぞれが、前記矩形領域に決定された前記矩形領域候補に属する前記分類確率と、前記複数の領域候補のそれぞれの前記尤度とを基にして、２以上の前記矩形領域のそれぞれについて、前記矩形領域に属する前記領域を、前記複数の領域候補の中から決定する。
【００１７】
画像に写されている物体が２以上の場合、尤度だけでは、２以上の物体のそれぞれについて、物体の一部を示す領域を決定することができない。この構成では、分類確率と尤度とを基にして、画像に写されている２以上の物体のそれぞれについて、物体の一部を示す領域を決定している（２以上の矩形領域のそれぞれについて、矩形領域に属する領域が決定される）。具体例を用いて説明する。
【００１８】
（１）物体が２つ（人物Ａ、人物Ｂ）、領域候補が３つ（右肩関節領域候補Ｃ、右肩関節領域候補Ｄ、右肩関節領域候補Ｅ）、矩形領域候補が４つ（矩形領域候補Ｆ、矩形領域候補Ｇ、矩形領域候補Ｈ、矩形領域候補Ｉ）とする。
（２）処理部は、右肩関節領域候補Ｃが、矩形領域候補Ｆ〜Ｉのいずれに属するかを表す分類確率を算出し、右肩関節領域候補Ｄが、矩形領域候補Ｆ〜Ｉのいずれに属するかを表す分類確率を算出し、右肩関節領域候補Ｅが、矩形領域候補Ｆ〜Ｉのいずれに属するかを表す分類確率を算出する。
（３）処理部が、矩形領域候補Ｈを人物Ａに外接する矩形領域と決定し、矩形領域候補Ｆを人物Ｂに外接する矩形領域と決定したとする。
（４）決定部は、３つの分類確率（右肩関節領域候補Ｃが矩形領域（矩形領域候補Ｈ）に属する分類確率、右肩関節領域候補Ｄが矩形領域（矩形領域候補Ｈ）に属する分類確率、右肩関節領域候補Ｅが矩形領域（矩形領域候補Ｈ）に属する分類確率）と、３つの尤度（右肩関節領域候補Ｃが右肩関節領域である尤度、右肩関節領域候補Ｄが右肩関節領域である尤度、右肩関節領域候補Ｅが右肩関節領域である尤度）とについて、分類確率と尤度との積を算出し（積に限定されず、例えば、和でもよい）、一番大きい値となる組合せ（右肩関節領域候補と矩形領域（矩形領域候補Ｈ）との組合せ）に属する右肩関節領域候補を、人物Ａの右肩関節を示す右肩関節領域と決定する。
（５）同様に、決定部は、３つの分類確率（右肩関節領域候補Ｃが矩形領域（矩形領域候補Ｆ）に属する分類確率、右肩関節領域候補Ｄが矩形領域（矩形領域候補Ｆ）に属する分類確率、右肩関節領域候補Ｅが矩形領域（矩形領域候補Ｆ）に属する分類確率）と、上記３つの尤度と、について、分類確率と尤度との積を算出し（積に限定されず、例えば、和でもよい）、一番大きい値となる組合せ（右肩関節領域候補と矩形領域（矩形領域候補Ｆ）との組合せ）に属する右肩関節領域候補を、人物Ｂの右肩関節を示す右肩関節領域と決定する。
【００１９】
本発明の第２局面に係る画像認識方法は、画像に写されている物体の一部を示す領域の候補となる領域候補を、複数算出する第１処理と、前記複数の領域候補のそれぞれのサイズを、前記画像に写されている前記物体を基にして決定する第２処理と、を機械学習によって実行する処理ステップと、前記複数の領域候補の中から、予め定められた基準を用いて、前記領域を決定する決定ステップと、を備える。
【００２０】
本発明の第２局面に係る画像認識方法は、本発明の第１局面に係る画像認識装置を方法の観点から規定しており、本発明の第１局面に係る画像認識装置と同様の作用効果を有する。
【発明の効果】
【００２１】
本発明によれば、計算量を減らすことができ、かつ、認識対象の範囲が明確でなくても、認識対象を示す領域を画像に設定することができる。
【図面の簡単な説明】
【００２２】
【図１】実施形態に係る画像認識装置を示す機能ブロック図である。
【図２】図１に示す画像認識装置のハードウェア構成を示すブロック図である。
【図３】画像に写された人間が単数の場合に実行される、機械学習の予測・認識フェーズを説明するフローチャートである。
【図４】単数の人間が写された画像の一例を示す模式図である。
【図５】５つの右肩関節領域候補を含む画像を示す模式図である。
【図６】右肩関節領域を含む画像を示す模式図である。
【図７】画像に写された人間が複数の場合に実行される、機械学習の予測・認識フェーズを説明するフローチャートである。
【図８】複数の人間が写された画像の一例を示す模式図である。
【図９】複数の矩形領域候補を含む画像を示す模式図である。
【図１０】７つの右肩関節領域候補を含む画像を示す模式図である。
【図１１】人間に外接する矩形領域を含む画像を示す模式図である。
【図１２】人間に外接する矩形領域および右肩関節領域を含む画像を示す模式図である。
【発明を実施するための形態】
【００２３】
以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し（例えば、画像Ｉｍ）、個別の構成を指す場合には添え字を付した参照符号で示す（例えば、画像Ｉｍ−１）。
【００２４】
図１は、実施形態に係る画像認識装置１を示す機能ブロック図である。画像認識装置１は、パーソナルコンピュータ、スマートフォン、タブレット端末等であり、機能ブロックとして、画像入力部２と、制御処理部３と、入力部４と、出力部５と、を備える。
【００２５】
画像入力部２には、画像認識装置１の外部から画像Ｉｍ（例えば、図４に示す画像Ｉｍ−１）が入力される。画像入力部２は、入力された画像Ｉｍを制御処理部３へ送る。
【００２６】
制御処理部３は、機能ブロックとして、記憶部３１と、機械学習部３２と、を備える。記憶部３１には、画像入力部２から送られてきた画像Ｉｍが記憶される。
【００２７】
機械学習部３２は、画像Ｉｍに写された人間１０１（例えば、図４に示す人間１０１−１）の各関節の位置を検出し、検出した各関節の位置を基にして、人間１０１の姿勢を推定する。実施形態では、関節として、右肩関節を例にして説明する。検出された各関節の位置を基にした人間１０１の姿勢推定は、公知の技術を適用できるので、説明を省略する。
【００２８】
機械学習には、学習フェーズ（学習によるモデル作成）と、予測・認識フェーズ（モデルをデータに適用して結果を得る）と、がある。機械学習を実行する機械学習部３２は、機能ブロックとして、処理部３２１と、決定部３２２と、を備える。処理部３２１は、画像Ｉｍに写されている物体の一部を示す領域の候補となる領域候補を、複数算出する第１処理（例えば、図５に示す右肩関節領域候補１０５−１〜１０５−５が算出される）と、複数の領域候補のそれぞれのサイズを、画像Ｉｍに写されている物体を基にして決定する第２処理と、を機械学習によって実行する。これは、予測・認識フェーズである（学習フェーズについては後で説明する）。実施形態では、物体として人間１０１を例にし、物体の一部として、人間１０１の右肩関節を例にして説明する。画像Ｉｍに含まれる右肩関節領域（例えば、図６に示す右肩関節領域１０７−１）は、右肩関節を示す領域である。
【００２９】
決定部３２２は、処理部３２１が決定した複数の領域候補（右肩関節領域候補１０５）の中から、予め定められた基準を用いて、領域（右肩関節領域１０７）を決定する。例えば、決定部３２２は、一番高い尤度を有する領域候補（右肩関節領域候補１０５）を、領域（右肩関節領域１０７）として決定する。決定部３２２は、領域（右肩関節領域１０７）の中心を特徴点として出力する。出力された特徴点は、右肩関節の位置を示しており、機械学習部３２による人間１０１の姿勢の推定に用いられる。
【００３０】
入力部４は、外部からコマンド（命令）やデータ等を画像認識装置１に入力する装置である。後で説明するように、機械学習部３２に予測・認識フェーズ（前記第１処理および前記第２処理）を実行させる場合において、画像認識装置１の操作者は、画像に写されている人間が１人のとき、人間が１人であることを、機械学習部３２に設定する命令を、入力部４に入力し、画像に写されている人間が２人以上のとき、人間が２人以上であることを、機械学習部３２に設定する命令を、入力部４に入力する。出力部５は、画像認識装置１が実行した画像認識の結果（例えば、画像Ｉｍに写された人間１０１の姿勢）を出力する装置である。
【００３１】
図２は、図１に示す画像認識装置１のハードウェア構成を示すブロック図である。画像認識装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１ａ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１ｂ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１ｃ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１ｄ、液晶ディスプレイ１ｅ、画像入力インターフェイス１ｆ、キーボード等１ｇ、および、これらを接続するバス１ｈを備える。液晶ディスプレイ１ｅは、出力部５を実現するハードウェアである。液晶ディスプレイ１ｅの替わりに、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ  ｄｉｓｐｌａｙ）、プラズマディスプレイ等でもよい。画像入力インターフェイス１ｆは、画像入力部２を実現するハードウェアである。キーボード等１ｇは、入力部４を実現するハードウェアである。キーボードの替わりに、タッチパネルでもよい。
【００３２】
ＨＤＤ１ｄは、記憶部３１を実現するハードウェアである。また、ＨＤＤ１ｄには、処理部３２１および決定部３２２について、これらの機能ブロックをそれぞれ実現するためのプログラムが格納されている。これらのプログラムは、機能ブロックの定義を用いて表現される。決定部３２２および決定プログラムを例にして説明する。決定部３２２は、複数の領域候補の中から、予め定められた基準を用いて、領域を決定する。決定プログラムは、複数の領域候補の中から、予め定められた基準を用いて、領域を決定するプログラムである。
【００３３】
これらのプログラムは、ＨＤＤ１ｄに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体（例えば、磁気ディスク、光学ディスクのような外部記録媒体）が用意されており、この記録媒体に記憶されているプログラムがＨＤＤ１ｄに記憶されてもよい。また、これらのプログラムは、画像認識装置１とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがＨＤＤ１ｄに送られ、ＨＤＤ１ｄに記憶されてもよい。これらのプログラムは、ＨＤＤ１ｄの替わりにＲＯＭ１ｃに記憶してもよい。画像認識装置１は、ＨＤＤ１ｄの替わりに、フラッシュメモリを備え、これらのプログラムはフラッシュメモリに記憶してもよい。
【００３４】
ＣＰＵ１ａは、これらのプログラムを、ＨＤＤ１ｄから読み出してＲＡＭ１ｂに展開させ、展開されたプログラムを実行することによって、処理部３２１および決定部３２２が実現される。但し、処理部３２１の機能および決定部３２２の機能について、各機能の一部又は全部は、ＣＰＵ１ａによる処理に替えて、又は、これと共に、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。
【００３５】
ＣＰＵ１ａによって実行されるこれらのプログラム（処理プログラム、決定プログラム等）のフローチャートが、後で説明する図３および図７のフローチャートである。
【００３６】
機械学習部３２は、学習フェーズにおいて、人間の右肩関節を囲む領域（右肩関節と重なる領域でもよい）が設定された、単数または複数の人間が写された画像を多数（複数）用いて、右肩関節領域を検出する学習をする。この際、機械学習部３２は、画像に写されている人間の頭部に外接する矩形領域（バウンディングボックス）の０．４倍を、右肩関節領域の一辺のサイズと決定する処理を、多数（複数）の画像のそれぞれについて実行する。機械学習部３２は、このような学習モデルを構築することにより、予測・認識フェーズにおいて、単数または複数の人間が写された画像から、右肩関節領域候補を複数算出できると共に、この画像に写された人間の頭部を検出することなく（すなわち、頭部のバウンディングボックスは設定されない）、複数の右肩関節領域候補のそれぞれの一辺のサイズを、この画像から予測することができる（この予測したサイズは、頭部のバウンディングボックスの０．４倍に相当する）。
【００３７】
機械学習部３２が実行する学習フェーズを一般化すると以下の通りである。機械学習部３２は、物体の一部を示す領域が設定された、前記物体が写された画像を複数用いて、前記領域を検出する第３処理と、前記画像に写されている前記物体を基にして前記領域のサイズを決定する処理を、前記複数の画像のそれぞれについて実行する第４処理（例えば、画像に写されている物体を用いて定義できるサイズと正の相関関係を有するサイズを、領域のサイズと決定する処理を、複数の画像のそれぞれについて実行する。）と、を機械学習によって実行することにより、学習モデルを予め構築する。
【００３８】
次に、予測・認識フェーズについて説明する。画像認識装置１は、画像Ｉｍに写された人間１０１が単数の場合と、画像Ｉｍに写された人間１０１が複数の場合とで処理が異なる。図１を参照して、前者から説明する。図３は、画像Ｉｍに写された人間１０１が単数の場合に実行される、機械学習の予測・認識フェーズを説明するフローチャートである。
【００３９】
図４は、単数の人間１０１が写された画像Ｉｍ−１の一例を示す模式図である。画像Ｉｍ−１中の人間１０１の数は、一人（単数）である。画像Ｉｍ−１は、画像入力部２を介して、記憶部３１に記憶されている。図４に示す画像Ｉｍ−１は、機械学習の予測・認識フェーズの対象となる画像Ｉｍである。
【００４０】
画像認識装置１の操作者は、入力部４を操作して、画像Ｉｍ−１に写されている人間１０１が単数（１つ）であることを、処理部３２１に設定する命令を入力する。これにより、処理部３２１には、画像Ｉｍ−１に写されている人間１０１が単数である設定がされる（図３のステップＳ１）。機械学習部３２は、画像Ｉｍ−１に写された人間１０１が単数であると見なして、予測・認識フェーズを実行する。
【００４１】
処理部３２１は、記憶部３１に記憶されている画像Ｉｍ−１を読み出して、上記学習モデルに画像Ｉｍ−１を入力し、右肩関節領域候補１０５を複数算出し（図３のステップＳ２）、複数の右肩関節領域候補１０５のそれぞれについて、位置情報、サイズおよび尤度（確率）を算出する（図３のステップＳ３）。サイズは、右肩関節領域候補１０５の一辺のサイズである。ステップＳ２およびステップＳ３の処理には、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）が用いられる。ここでは、複数として、５つを例にして説明する。図５は、５つの右肩関節領域候補１０５−１〜１０５−５を含む画像Ｉｍ−１を示す模式図である。右肩関節領域候補１０５は、右肩関節領域１０７の候補となる領域である。右肩関節領域候補１０５のそれぞれには、位置情報、サイズ、および尤度（確率）が付与されている。位置情報は、その右肩関節領域候補１０５の画像Ｉｍ−１での位置である。尤度が高いと、その右肩関節領域候補１０５が右肩関節領域１０７の可能性が高いことを示し、尤度が低いと、その右肩関節領域候補１０５が右肩関節領域１０７の可能性が低いことを示す。図５において、右肩関節領域候補１０５のハッチングの密度で尤度の高低を示している。ハッチングの密度が高いと、尤度が高いことを示し、ハッチングの密度が低いと、尤度が低いことを示す。
【００４２】
決定部３２２は、ステップＳ３で算出した複数の右肩関節領域候補１０５（図５に示す５つの右肩関節領域候補１０５−１〜１０５−５）のうち、最大の尤度を有する右肩関節領域候補１０５を右肩関節領域１０７と決定する（図３のステップＳ４）。図６は、右肩関節領域１０７を含む画像Ｉｍ−１を示す模式図である。右肩関節領域候補１０５−２が、人間１０１−１の右肩関節領域１０７−１として決定されている。
【００４３】
以上説明したように、画像認識装置１によれば、画像Ｉｍに写されている人間１０１−１の右肩関節を示す右肩関節領域１０７のサイズを、画像Ｉｍに写された人間１０１−１の外観から予測し、決定するので、右肩関節の範囲が明確でなくても、右肩関節を示す右肩関節領域１０７を画像Ｉｍに設定することができる。また、画像認識装置１によれば、右肩関節が、画素単位で検出されるのではなく、図５に示す右肩関節領域候補１０５の単位で検出されるので、機械学習での計算量を減らすことができる。
【００４４】
次に、画像Ｉｍに写された人間１０１が複数の場合の処理について、図１を参照して説明する。図７は、画像Ｉｍに写された人間１０１が複数の場合に実行される、機械学習の予測・認識フェーズを説明するフローチャートである。
【００４５】
図８は、複数の人間１０１が写された画像Ｉｍ−２の一例を示す模式図である。画像Ｉｍ−２に写された人間１０１の数が２を例にして説明する。画像Ｉｍ−２は、画像入力部２を介して、記憶部３１に記憶されている。図８に示す画像Ｉｍ−２は、機械学習の予測・認識フェーズの対象となる画像Ｉｍである。
【００４６】
画像認識装置１の操作者は、入力部４を操作して、画像Ｉｍ−２に写されている人間１０１が複数（２以上）であることを、処理部３２１に設定する命令を入力する。これにより、処理部３２１には、画像Ｉｍ−２に写されている人間１０１が複数である設定がされる（図７のステップＳ１１）。機械学習部３２は、画像Ｉｍ−２に写された人間１０１が複数であると見なして、予測・認識フェーズを実行する。
【００４７】
処理部３２１は、画像Ｉｍ−２に写されている人間１０１−１および人間１０１−２のそれぞれについて、矩形領域候補１０９を複数算出する処理を、機械学習によって実行する（図７のステップＳ１２）。図９は、複数の矩形領域候補１０９を含む画像Ｉｍ−２を示す模式図である。矩形領域候補１０９の数が５つの場合を例にして説明する。矩形領域候補１０９−１，１０９−２，１０９−３は、人間１０１−１に外接する矩形領域１１１（バウンディングボックス）の候補である。矩形領域候補１０９−４，１０９−５は、人間１０１−２に外接する矩形領域１１１（バウンディングボックス）の候補である。
【００４８】
処理部３２１は、上記学習モデルに画像Ｉｍ−２を入力し、画像Ｉｍ−２に含まれる人間１０１の右肩関節領域候補１０５を複数算出し（図７のステップＳ１３）、複数の右肩関節領域候補１０５のそれぞれについて、位置情報、サイズおよび尤度（確率）を算出する（図７のステップＳ１４）。サイズは、右肩関節領域候補１０５の一辺のサイズである。ステップＳ１３およびステップＳ１４の処理には、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）が用いられる。ここでは、複数として、７つを例にして説明する。図１０は、７つの右肩関節領域候補１０５−１〜１０５−７を含む画像Ｉｍ−２を示す模式図である。画像Ｉｍに写されている人間１０１が単数の場合で説明したように、右肩関節領域候補１０５のそれぞれには、位置情報および尤度（確率）が付与されている。図１０は、図５と同様に、右肩関節領域候補１０５のハッチングの密度で尤度の高低を示している。ハッチングの密度が高いと、尤度が高いことを示し、ハッチングの密度が低いと、尤度が低いことを示す。
【００４９】
処理部３２１は、機械学習を用いて、１つの右肩関節領域候補１０５が、図９に示す５つの矩形領域候補１０９−１〜１０９−５のいずれに属するかを表す分類確率を、機械学習によって算出する（図７のステップＳ１５）。処理部３２１は、この算出を、図１０に示す７つの右肩関節領域候補１０５−１〜１０５−７のそれぞれについて実行する。右肩関節領域候補１０５−１を例にすると、処理部３２１は、右肩関節領域候補１０５−１が、５つの矩形領域候補１０９−１〜１０９−５のいずれに属するかを表す分類確率を算出する。
【００５０】
処理部３２１は、図９に示す５つの矩形領域候補１０９−１〜１０９−５の中から、人間１０１−１に外接する矩形領域１１１−１を決定し、および、５つの矩形領域候補１０９−１〜１０９−５の中から、人間１０１−２に外接する矩形領域１１１−２を決定する（図７のステップＳ１６）。図１１は、人間１０１に外接する矩形領域１１１を含む画像Ｉｍ−２を示す模式図である。矩形領域候補１０９−２が、人間１０１−１に外接する矩形領域１１１−１として決定され、矩形領域候補１０９−５が、人間１０１−２に外接する矩形領域１１１−２として決定されている。この決定には、例えば、Ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ処理が用いられる。詳しく説明すると、処理部３２１は、人間１０１−１に外接する矩形領域について、５つの矩形領域候補１０９−１〜１０９−５の中から、尤度の高い矩形領域候補１０９を選択し、選択した矩形領域候補１０９がこれよりも尤度の高い他の矩形領域候補１０９と重なっていなければ、選択した矩形領域候補１０９を人間１０１−１に外接する矩形領域１１１−１として決定する。処理部３２１は、人間１０１−２に外接する矩形領域１１１−２についても同様にして決定する。
【００５１】
決定部３２２は、人間１０１−１および人間１０１−２のそれぞれについて、右肩関節領域１０７を決定する（図７のステップＳ１７）。図１２は、人間１０１に外接する矩形領域１１１および右肩関節領域１０７を含む画像Ｉｍ−２を示す模式図である。右肩関節領域候補１０５−２が、人間１０１−１の右肩関節領域１０７−１として決定され、右肩関節領域候補１０５−７が、人間１０１−２の右肩関節領域１０７−２として決定されている。
【００５２】
右肩関節領域１０７の決定の仕方について詳しく説明する。決定部３２２は、右肩関節領域候補１０５が矩形領域１１１−１（矩形領域候補１０９−２）に属する分類確率と、右肩関節領域候補１０５の尤度との積を、図１０に示す７つの右肩関節領域候補１０５−１〜１０５−７のそれぞれについて算出し、積が最大となる右肩関節領域候補１０５を、矩形領域１１１−１に属する右肩関節領域１０７−１（人間１０１−１の右肩関節領域１０７−１）と決定する。同様に、決定部３２２は、右肩関節領域候補１０５が矩形領域１１１−２（矩形領域候補１０９−５）に属する分類確率と、右肩関節領域候補１０５の尤度との積を、７つの右肩関節領域候補１０５−１〜１０５−７のそれぞれについて算出し、積が最大となる右肩関節領域候補１０５を、矩形領域１１１−２に属する右肩関節領域１０７−２（人間１０１−２の右肩関節領域１０７−２）と決定する。
【００５３】
右肩関節領域候補１０５が矩形領域１１１−１に属する分類確率とは、右肩関節領域候補１０５が矩形領域候補１０９−２に属する分類確率である。右肩関節領域候補１０５が矩形領域１１１−２に属する分類確率とは、右肩関節領域候補１０５が矩形領域候補１０９−５に属する分類確率である。これらの分類確率は、ステップＳ１５で既に算出されている。
【００５４】
画像Ｉｍ−２に写されている人間１０１が２以上の場合、尤度だけでは、２以上の人間のそれぞれについて、右肩関節領域１０７を決定することができない。画像認識装置１によれば、分類確率と尤度とを基にして、画像Ｉｍ−２に写されている２以上の人間１０１のそれぞれについて、右肩関節領域１０７を決定している（２以上の矩形領域１１１のそれぞれについて、矩形領域１１１に属する右肩関節領域１０７が決定される）。
【符号の説明】
【００５５】
１  画像認識装置
１０１−１，１０１−２  人間
１０５−１〜１０５−７  右肩関節領域候補
１０７−１，１０７−２  右肩関節領域
１０９−１〜１０９〜５  矩形領域候補
１１１−１，１１１−２  矩形領域（全身）
Ｉｍ−１，Ｉｍ−２  画像
【図１】
2019003299.tif 000003
【図２】
2019003299.tif 000004
【図３】
2019003299.tif 000005
【図４】
2019003299.tif 000006
【図５】
2019003299.tif 000007
【図６】
2019003299.tif 000008
【図７】
2019003299.tif 000009
【図８】
2019003299.tif 000010
【図９】
2019003299.tif 000011
【図１０】
2019003299.tif 000012
【図１１】
2019003299.tif 000013
【図１２】
2019003299.tif 000014