(57)【要約】【課題】機械学習による認識結果にブレが生じ得る場合に、ユーザーが求める認識結果を得るための再学習を効率的に実現可能な画像認識装置を提供する【解決手段】被写体を映した被認識画像と、所定の認識問題に関する正解ラベル画像とを受け付ける画像受付部と、被認識画像と正解ラベル画像とに基づいて機械学習技術により学習して、被写体を認識する学習認識部１１１と、認識結果を表示する表示部と、認識結果に対する補正値を受け付ける補正値受付部１１２と、補正値による補正後の認識結果との差が所定の閾値以下の正解ラベル画像を抽出する抽出部１１３と、を有し、学習認識部は、被認識画像と、抽出された前記正解ラベル画像とに基づいて再学習する。【選択図】図４
2019003554.tif 000002
【特許請求の範囲】
【請求項１】
被写体を映した被認識画像と、前記被認識画像についての、所定の認識問題に関する正解ラベル画像とを受け付ける画像受付部と、
前記被認識画像と前記正解ラベル画像とに基づいて機械学習により前記認識問題について学習して、前記認識問題に関し前記被写体を認識する学習認識部と、
前記学習認識部による認識結果を表示する表示部と、
ユーザーによる前記認識結果に対する補正値を受け付ける補正値受付部と、
複数の前記正解ラベル画像のうち、前記補正値による補正後の前記認識結果との差が所定の閾値以下の前記正解ラベル画像を抽出する抽出部と、を有し、
前記学習認識部は、前記被認識画像と、抽出された前記正解ラベル画像とに基づいて再学習する、画像認識装置。
【請求項２】
前記表示部は、複数の前記正解ラベル画像において相互に対応する箇所のバラツキが所定値以上の特定箇所を、前記特定箇所以外の他の箇所と異なる表示態様で表示する、請求項１に記載の画像認識装置。
【請求項３】
前記抽出部は、前記補正値が受け付けられた箇所の補正後における位置、大きさ、形状、および基準となる箇所からのずれ量の少なくともいずれかとの差が前記所定の閾値以下の前記正解ラベル画像を抽出する、請求項１または２に記載の画像認識装置。
【請求項４】
前記学習認識部は、最初の学習時に、複数の前記正解ラベル画像において相互に対応する箇所のうち所定の箇所について、複数の前記正解ラベル画像の代表値に基づいて学習する、請求項１〜３のいずれか一項に記載の画像認識装置。
【請求項５】
前記正解ラベル画像は事前にクラスタリングされており、前記抽出部は、受け付けられた前記補正値に基づいて前記正解ラベル画像を抽出するクラスタを決定し、決定したクラスタから前記正解ラベル画像を抽出する、請求項１〜４のいずれか一項に記載の画像認識装置。
【請求項６】
前記抽出部は、前記特定箇所についてのみ、前記補正値による補正後の前記認識結果との差が所定の閾値以下の前記正解ラベル画像を抽出し、
前記学習認識部は、前記特定箇所に関して、抽出された正解ラベル画像で、複数の前記正解ラベル画像の代表値がラベリングされた前記正解ラベル画像を置換したものと、前記被認識画像とに基づいて再学習する、請求項２に記載の画像認識装置。
【請求項７】
被写体を映した被認識画像と、前記被認識画像についての、所定の認識問題に関する正解ラベル画像とを受け付ける段階（ａ）と、
前記被認識画像と前記正解ラベル画像とに基づいて機械学習により前記認識問題について学習して、前記認識問題に関し前記被写体を認識する段階（ｂ）と、
前記段階（ｂ）における認識結果を表示する段階（ｃ）と、
ユーザーによる前記認識結果に対する補正値を受け付ける段階（ｄ）と、
複数の前記正解ラベル画像のうち、前記補正値による補正後の前記認識結果との差が所定の閾値以下の前記正解ラベル画像を抽出する段階（ｅ）と、
前記被認識画像と、抽出された前記正解ラベル画像とに基づいて再学習する段階（ｆ）と、
を有する画像認識方法。
【請求項８】
前記段階（ｃ）は、複数の前記正解ラベル画像において相互に対応する箇所のバラツキが所定値以上の特定箇所を、前記特定箇所以外の他の箇所と異なる表示態様で表示する、請求項７に記載の画像認識方法。
【請求項９】
前記段階（ｅ）は、前記補正値が受け付けられた箇所の補正後における位置、大きさ、形状、および基準となる箇所からのずれ量の少なくともいずれかとの差が前記所定の閾値以下の前記正解ラベル画像を抽出する、請求項７または８に記載の画像認識方法。
【請求項１０】
前記段階（ｂ）は、複数の前記正解ラベル画像において相互に対応する箇所のうち所定の箇所について、複数の前記正解ラベル画像の代表値に基づいて学習する、請求項７〜９のいずれか一項に記載の画像認識方法。
【請求項１１】
前記正解ラベル画像は事前にクラスタリングされており、前記段階（ｅ）は、受け付けられた前記補正値に基づいて前記正解ラベル画像を抽出するクラスタを決定し、決定したクラスタから前記正解ラベル画像を抽出する、請求項７〜１０のいずれか一項に記載の画像認識方法。
【請求項１２】
前記段階（ｅ）は、前記特定箇所についてのみ、前記補正値による補正後の前記認識結果との差が所定の閾値以下の前記正解ラベル画像を抽出し、
前記段階（ｆ）は、前記特定箇所に関して、抽出された前記正解ラベル画像で、複数の前記正解ラベル画像の代表値がラベリングされた前記正解ラベル画像を置換したものと、前記被認識画像とに基づいて再学習する、請求項８に記載の画像認識方法。
【請求項１３】
画像認識装置を制御するための制御プログラムであって、請求項７〜１２のいずれか一項に記載の画像認識方法を、コンピューターに実行させるための画像認識装置用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置、画像認識方法、および画像認識装置用プログラムに関する。
【背景技術】
【０００２】
従来、人を被写体とする画像から人の行動や状態を、機械学習を用いて認識する技術が知られている。認識される行動としては、たとえば高齢者などの介護の見守りの現場において、被介護者の就寝、起床、立つ、座る、しゃがむ、および歩行などの日常生活における基本的な行動が挙げられる。認識される状態としては、たとえば転倒や転落などの状態が挙げられる。
【０００３】
これらの行動および状態は、人の姿勢の変化を捉えることで認識することが可能である。たとえば、就寝の行動としては、人がベッドに歩いて近づき、一旦座ってから横たわることが考えられる。この際、立位、座位、臥位の順に人の姿勢が変化する。行動および状態を認識するためには正確な姿勢を認識することが重要である。
【０００４】
下記非特許文献１には、次の従来技術が記載されている。すなわち、赤子の学習プロセスを取り入れ、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いて、初期学習、正例の画像認識による再学習、およびビデオ映像の認識による再学習を行う。そして、認識結果を学習データとして加えていく。これにより、対象物の概念を、少ないサンプルによる学習によって高精度に認識できる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Xiaodan Liang, et al. ”Towards Computational Baby Learning: A Weakly-supervised Approach for Object Detection”, ICCV2015, <URL：http://pamitc.org/iccv15/program.php>
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般的に、機械学習を用いた画像認識においては、画像の認識精度を向上させるために、当該画像についての正解ラベル画像を用いた再学習を繰り返し行う。しかし、画像認識問題は多様であり、たとえば画像に映ったものが何かを認識するというものや、物体の形状や姿勢を認識するというものがある。後者においては、物体の形状を切り出す際の境界線を物体の一番外側の部分にとるか、物体の背景の部分で当該物体に最も近い部分にとるかで画像認識にブレが生じる。また、物体の一部分が当該物体の他の部分に隠れている場合に、当該一部分の姿勢に関し画像認識にブレが生じ得る。このような画像認識のブレは、正解ラベル画像が人手で作成される以上、常に生じる可能性がある。このため、画像認識の結果と、医師や介護者などの感覚とでずれが生じる可能性がある。画像認識の結果が、医師や介護者などの感覚と大きくずれていると被介護者について正しい判断ができない場合がある。特定のユーザーが求める認識結果を得るためには、当該ユーザーが正解ラベル画像を作成し、正解ラベル画像を用いて再学習を行う必要がある。しかし、機械学習は統計的な処理であるため、適切に機能させるためには大量の正解ラベル画像が必要となり当該ユーザーの負担が非常に大きくなるという問題がある。
【０００７】
上記非特許文献１に記載された従来技術は、認識結果を医師や介護者などの感覚と合せることについて考慮されておらず、上述の問題を解決できない。
【０００８】
本発明は、このような問題を解決するためになされたものである。すなわち、機械学習による認識結果にブレが生じ得る場合に、ユーザーが求める認識結果を得るための再学習を効率的に実現可能な画像認識装置、画像認識方法、および画像認識装置用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の上記課題は、以下の手段によって解決される。
【００１０】
（１）被写体を映した被認識画像と、前記被認識画像についての、所定の認識問題に関する正解ラベル画像とを受け付ける画像受付部と、前記被認識画像と前記正解ラベル画像とに基づいて機械学習により前記認識問題について学習して、前記認識問題に関し前記被写体を認識する学習認識部と、前記学習認識部による認識結果を表示する表示部と、ユーザーによる前記認識結果に対する補正値を受け付ける補正値受付部と、複数の前記正解ラベル画像のうち、前記補正値による補正後の前記認識結果との差が所定の閾値以下の前記正解ラベル画像を抽出する抽出部と、を有し、前記学習認識部は、前記被認識画像と、抽出された前記正解ラベル画像とに基づいて再学習する、画像認識装置。
【００１１】
（２）前記表示部は、複数の前記正解ラベル画像において相互に対応する箇所のバラツキが所定値以上の特定箇所を、前記特定箇所以外の他の箇所と異なる表示態様で表示する、上記（１）に記載の画像認識装置。
【００１２】
（３）前記抽出部は、前記補正値が受け付けられた箇所の補正後における位置、大きさ、形状、および基準となる箇所からのずれ量の少なくともいずれかとの差が前記所定の閾値以下の前記正解ラベル画像を抽出する、上記（１）または（２）に記載の画像認識装置。
【００１３】
（４）前記学習認識部は、最初の学習時に、複数の前記正解ラベル画像において相互に対応する箇所のうち所定の箇所について、複数の前記正解ラベル画像の代表値に基づいて学習する、上記（１）〜（３）のいずれかに記載の画像認識装置。
【００１４】
（５）前記正解ラベル画像は事前にクラスタリングされており、前記抽出部は、受け付けられた前記補正値に基づいて前記正解ラベル画像を抽出するクラスタを決定し、決定したクラスタから前記正解ラベル画像を抽出する、上記（１）〜（４）のいずれかに記載の画像認識装置。
【００１５】
（６）前記抽出部は、前記特定箇所についてのみ、前記補正値による補正後の前記認識結果との差が所定の閾値以下の前記正解ラベル画像を抽出し、前記学習認識部は、前記特定箇所に関して、抽出された正解ラベル画像で、複数の前記正解ラベル画像の代表値がラベリングされた前記正解ラベル画像を置換したものと、前記被認識画像とに基づいて再学習する、上記（２）に記載の画像認識装置。
【００１６】
（７）被写体を映した被認識画像と、前記被認識画像についての、所定の認識問題に関する正解ラベル画像とを受け付ける段階（ａ）と、前記被認識画像と前記正解ラベル画像とに基づいて機械学習により前記認識問題について学習して、前記認識問題に関し前記被写体を認識する段階（ｂ）と、前記段階（ｂ）における認識結果を表示する段階（ｃ）と、ユーザーによる前記認識結果に対する補正値を受け付ける段階（ｄ）と、複数の前記正解ラベル画像のうち、前記補正値による補正後の前記認識結果との差が所定の閾値以下の前記正解ラベル画像を抽出する段階（ｅ）と、前記被認識画像と、抽出された前記正解ラベル画像とに基づいて再学習する段階（ｆ）と、を有する画像認識方法。
【００１７】
（８）前記段階（ｃ）は、複数の前記正解ラベル画像において相互に対応する箇所のバラツキが所定値以上の特定箇所を、前記特定箇所以外の他の箇所と異なる表示態様で表示する、上記（７）に記載の画像認識方法。
【００１８】
（９）前記段階（ｅ）は、前記補正値が受け付けられた箇所の補正後における位置、大きさ、形状、および基準となる箇所からのずれ量の少なくともいずれかとの差が前記所定の閾値以下の前記正解ラベル画像を抽出する、上記（７）または（８）に記載の画像認識方法。
【００１９】
（１０）前記段階（ｂ）は、複数の前記正解ラベル画像において相互に対応する箇所のうち所定の箇所について、複数の前記正解ラベル画像の代表値に基づいて学習する、上記（７）〜（９）のいずれかに記載の画像認識方法。
【００２０】
（１１）前記正解ラベル画像は事前にクラスタリングされており、前記段階（ｅ）は、受け付けられた前記補正値に基づいて前記正解ラベル画像を抽出するクラスタを決定し、決定したクラスタから前記正解ラベル画像を抽出する、上記（７）〜（１０）のいずれかに記載の画像認識方法。
【００２１】
（１２）前記段階（ｅ）は、前記特定箇所についてのみ、前記補正値による補正後の前記認識結果との差が所定の閾値以下の前記正解ラベル画像を抽出し、前記段階（ｆ）は、前記特定箇所に関して、抽出された前記正解ラベル画像で、複数の前記正解ラベル画像の代表値がラベリングされた前記正解ラベル画像を置換したものと、前記被認識画像とに基づいて再学習する、上記（８）に記載の画像認識方法。
【００２２】
（１３）画像認識装置を制御するための制御プログラムであって、上記（７）〜（１２）のいずれかに記載の画像認識方法を、コンピューターに実行させるためのプログラム。
【発明の効果】
【００２３】
機械学習による認識結果の補正を受け付け、複数の正解ラベル画像のうち補正後の認識結果に近いものを抽出し、抽出した正解ラベル画像で再学習する。これにより、機械学習による認識結果にブレが生じ得る場合に、ユーザーが求める認識結果を得るための再学習を効率的に実現できる。
【図面の簡単な説明】
【００２４】
【図１】実施形態に係る画像認識装置を有する画像認識システムの概略構成を示す図である。
【図２】被写体の関節点の相対的位置の例を示す説明図である。
【図３】画像認識装置のハードウェア構成を示すブロック図である。
【図４】画像認識装置の機能を示すブロック図である。
【図５】初期学習において用いる正解ラベル画像の例を示す説明図である。
【図６】正解ラベル画像において位置のバラツキが比較的大きい関節点を、他の関節点と異なる表示態様で表示した認識結果の例を示す説明図である。
【図７】補正前の認識結果と補正後の認識結果の例を示す説明図である。
【図８】補正後の認識結果と正解ラベル画像との比較について説明するための説明図である。
【図９】補正後の認識結果に基づく正解ラベル画像の正規化について説明するための説明図である。
【図１０】画像認識装置による画像認識の動作を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、図面を参照して、本発明の実施形態に係る画像認識装置、画像認識方法、および画像認識装置用プログラムについて詳細に説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【００２６】
図１は、実施形態に係る画像認識装置を有する画像認識システムの概略構成を示す図である。
【００２７】
画像認識システム１０は、画像認識装置１００、撮像装置２００、通信ネットワーク３００を有する。画像認識装置１００は、通信ネットワーク３００により撮像装置２００と相互に通信可能に接続される。
【００２８】
画像認識装置１００は、撮像装置２００から受信した被写体５００の画像と正解ラベル画像に基づいて、機械学習により学習し、被写体５００の姿勢を認識し、認識結果を表示する。機械学習は、認識対象の画像（以下、「被認識画像」と称する）と被認識画像についての正解ラベル画像とに基づいて統計的にもっともらしい認識を得る際の条件を得るための手法である。被認識画像についての正解ラベル画像は、機械学習による被認識画像の画像認識に用いることができる正解ラベル画像であればよい。したがって、被認識画像についての正解ラベル画像には、被認識画像以外の画像に対し画像認識により得られた認識結果も含まれる。
【００２９】
機械学習には、深層学習の一つであるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）やＲｅｓ  Ｎｅｔなどが含まれる。なお、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）およびＲａｎｄｏｍ  Ｆｏｒｅｓｔといった深層学習以外の機械学習を利用してもよい。正解ラベル画像は、所定の認識問題に関し、被認識画像についての正解（たとえば被写体５００の各関節点の位置）がラベリングされた画像である。所定の認識問題には、たとえば被写体５００の姿勢、臓器の形状などが含まれる。被写体５００の姿勢には、たとえば人の関節点の相対的位置による姿勢が含まれる。被認識画像は、たとえば赤外線画像であるが、可視光を検知することで撮像された汎用カメラによる画像またはＸ線画像であってもよい。画像には静止画と動画が含まれる。以下、説明を簡単にするために、所定の認識問題として被写体５００の関節点の相対的位置を推定することで被写体５００の姿勢を認識する人物姿勢推定を例として説明する。人物姿勢推定の例としては、ＤｅｅｐＰｏｓｅや、マイクロソフト社のＫＩＮＥＣＴ（登録商標）によるスケルトン推定が挙げられる。
【００３０】
図２は、被写体の関節点の相対的位置の例を示す説明図である。図２においては、白抜きの丸が関節点の位置を示しており、黒い太線が骨を示している。図２の例においては、関節点の相対的位置により、被写体５００が両腕を広げた状態で直立している姿勢が認識できる。頭部、頸部、胸部、腹部における関節点５０１〜５０４は体幹を構成する。
【００３１】
撮像装置２００は、たとえば赤外線カメラであり、カメラの撮像素子が生成した画像信号をＡＤ変換して被認識画像の画像データを生成する。これにより、撮像装置２００は、被写体５００を撮像する。撮像装置２００は、生成した被認識画像を画像認識装置１００へ送信する。撮像装置２００は、被写体５００の静止画または動画を撮像する。撮像装置２００は、フレーム単位の画像データを連続して生成することで、動画の画像データを生成し得る。
【００３２】
図３は、画像認識装置のハードウェア構成を示すブロック図である。図４は、画像認識装置の機能を示すブロック図である。
【００３３】
画像認識装置１００は、制御部１１０、記憶部１２０、表示部１３０、入力部１４０、および通信部１５０を有する。これらの構成要素は、バス１６０を介して相互に接続される。画像認識装置１００は、コンピューターにより構成され得る。制御部１１０は画像認識部および抽出部を構成する。入力部１４０は補正値受付部を構成するとともに、通信部１５０とともに画像受付部を構成する。
【００３４】
制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）により構成され、プログラムにしたがって画像認識装置１００の各部の制御および演算処理を行う。制御部１１０の作用については後述する。
【００３５】
記憶部１２０は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、およびフラッシュメモリにより構成され得る。ＲＡＭは、制御部１１０の作業領域として一時的にプログラムやデータを記憶する。ＲＯＭは、あらかじめ各種プログラムや各種データを格納する。フラッシュメモリは、オペレーションシステムを含む各種プログラムおよび各種データを格納する。
【００３６】
表示部１３０は、たとえば液晶ディスプレイであり、各種情報を表示する。
【００３７】
入力部１４０は、たとえばタッチパネルや各種キーにより構成される。入力部１４０は、各種操作、入力のために使用される。入力部１４０は、正解ラベル画像を受け付ける。
【００３８】
通信部１５０は、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ  Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いられ得る。その他、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信インターフェースなどの各種ローカル接続インターフェースなどが用いられ得る。通信部１５０は、撮像装置２００から被認識画像を受信する。
【００３９】
制御部１１０の作用について説明する。
【００４０】
図４に示すように、制御部１１０は、学習認識部１１１、補正値受付部１１２、および抽出部１１３としての機能を有する。
【００４１】
学習認識部１１１は、通信部１５０により受信される被認識画像と、入力部１４０に入力される正解ラベル画像とに基づいて、機械学習により学習し、被認識画像に含まれる被写体５００の姿勢を認識する。
【００４２】
図５は、初期学習において用いる正解ラベル画像の例を示す説明図である。
【００４３】
図５の左側の図は、一つの被認識画像についての複数の正解ラベル画像を示している。各正解ラベル画像においては、関節点が黒またはグレーの丸で示されている。各正解ラベル画像において、グレーの丸で示す関節点（右腕および右足の関節点）は、複数の正解ラベル画像において位置のバラツキが比較的大きい関節点を示している。黒い丸で示す関節点（右腕および右足の関節点以外の関節点）は複数の正解ラベル画像において位置のバラツキが少ない関節点を示している。なお、当該バラツキが比較的大きい関節点を結ぶ骨はグレーの点線で示されている。図５の例においては、右腕の関節点の位置や右足の関節点の位置のバラツキが大きいことが判る。
【００４４】
機械学習においては、所定の認識問題に関する学習の後に被認識画像について画像認識が行われる。したがって、被認識画像についての画像認識の前に最初の学習である初期学習が行われる。
【００４５】
初期学習に用いる複数の正解ラベル画像において関節点の位置のバラツキが比較的大きい箇所がある場合、図５の右側の図に示すように、当該箇所については初期学習に用いる正解ラベル画像において、関節点の位置の代表値を用い得る。すなわち、複数の正解ラベル画像における所定の関節点の位置については代表値がラベリングされた正解ラベル画像を用いて行い得る。代表値としては、たとえば、複数の正解ラベル画像における対応する関節点の位置の中央値、最頻値、および平均値が挙げられる。
【００４６】
学習認識部１１１は、認識した被写体５００の姿勢の画像（以下、単に「姿勢の認識画像」と称する）を認識結果として表示部１３０に表示する。姿勢の認識画像には、たとえば被写体５００の姿勢として認識された被写体５００の関節点の位置の画像が含まれる。姿勢の認識画像は、被認識画像に、被写体５００の姿勢として認識された被写体５００の関節点の位置の画像が重畳された画像であってもよい。図４においては、被認識画像に、被写体５００の関節点の位置の画像が被認識画像に重畳された画像が姿勢の認識画像として例示されている。表示部１３０に表示された姿勢の認識画像はユーザーにより確認される。
【００４７】
図６は、正解ラベル画像において位置のバラツキが比較的大きい関節点を、他の関節点と異なる表示態様で表示した認識結果の例を示す説明図である。なお、図６においては、すべての関節点を同じ表示態様で表示した認識結果（左図）も併せて示されている。
【００４８】
学習認識部１１１は、機械学習に使用した複数の正解ラベル画像において、位置のバラツキが比較的大きい関節点があった場合、他の関節点と異なる表示態様で表示する。すなわち、学習認識部１１１は、複数の正解ラベル画像において、相互に対応する箇所のバラツキが所定値以上の特定箇所を、特定箇所以外の他の箇所と異なる表示態様で表示する。当該所定値は任意の値に設定し得る。たとえば、当該所定値は、複数の正解ラベル画像において対応する関節点の位置の分布の変動係数において、０．３〜０．５とし得る。表示態様には、たとえば色およびその組合せ、形状、線種が含まれる。
【００４９】
図６の中央の図の例においては、位置のバラツキが比較的大きい右足の関節点が白抜きの丸により表示され、他の関節点は黒色の丸により表示されている。なお、図６の中央の図に示すように、位置のバラツキが比較的大きい関節点を結ぶ右足の骨についても、他の骨（グレー）と異なる表示態様（白抜き）で表示され得る。図６の右図の例においては、位置のバラツキが比較的大きい右足の関節点が白抜きの星印により表示され、他の関節点は黒色の丸により表示されている。また、位置のバラツキが比較的大きい関節点を結ぶ右足の骨が白抜きの破線で表示され、他の関節点を結ぶ骨はグレーの実線で表示されている。
【００５０】
補正値受付部１１２は、ユーザーにより入力部１４０に入力された、認識結果に対する補正値の入力を受け付ける。表示部１３０に表示された姿勢の認識画像が、ユーザーが求める画像でない場合は、ユーザーは認識結果を補正するための補正値を入力できる。すなわち、ユーザーは認識結果として表示された姿勢の認識画像が、たとえば自らの経験に基づく感覚とずれがあるような場合は、認識結果を補正するための補正値を入力できる。補正値の入力は、たとえば表示部１３０と入力部１４０とを兼ねるタッチパネルに表示された姿勢の認識画像において、補正しようとする関節点の位置をタッチパネル上でドラッグして移動させることで行い得る。補正値の入力は、入力部１４０から補正後の関節点の座標を入力することで行ってもよい。補正値受付部１１２は、補正値に基づいて認識結果を補正し、補正後の認識結果を補正結果として表示部１３０に表示する。
【００５１】
図７は、補正前の認識結果と補正後の認識結果の例を示す説明図である。
【００５２】
図７の左図には、補正前の認識結果として表示された補正前の姿勢の認識画像が示され、右図には、補正後の認識結果として表示された補正後の姿勢の認識画像が示されている。図７の例においては、黒線で囲んで示すように、右腕の関節点の位置が補正されている。
【００５３】
抽出部１１３は、補正後の認識結果に基づいて、複数の正解ラベル画像のうち、補正後の認識結果との差が所定の閾値以下の正解ラベル画像を新正解ラベル画像として抽出する。たとえば、抽出部１１３は、被写体５００である人の体幹を基準として、正解ラベル画像における関節点の位置と、補正後の認識結果における補正後の関節点の位置との差（距離）が所定の閾値以下の正解ラベル画像を抽出し得る。所定の閾値は、任意に設定され得る。たとえば、所定の閾値は、複数の正解ラベル画像において、正解ラベル画像における関節点の位置と、補正後の認識結果における補正後の関節点の位置との差が小さい順に並べた場合の上位２５％が抽出されるように設定され得る。新正解ラベル画像は、補正された個所の補正結果と正解ラベル画像との差のみに基づいて抽出されてもよい。また、複数の正解ラベル画像においてバラツキがある特定箇所が一部の関節点のみであった場合は、すべての関節点についての正解ラベル画像を抽出しなくてもよい。すなわち、初期学習に用いた、各関節点の代表値がラベリングされた正解ラベル画像を利用して、体幹の関節点のようにバラツキの少ない関節点については代表値のままとする。そして、バラツキのある関節点についてのみ、補正後の認識結果との差が所定の閾値以下の正解ラベル画像を抽出し、抽出した正解ラベル画像における関節点の位置で当該代表値がラベリングされた正解ラベル画像を置換したものを新正解ラベル画像とし得る。
【００５４】
抽出部１１３は、補正値が受け付けられた箇所の補正後における大きさ、形状、および基準となる箇所からのずれ量の少なくともいずれかとの差が、所定の閾値以下の正解ラベル画像を抽出してもよい。補正値が受け付けられた箇所の大きさおよび形状には、たとえば臓器の大きさおよび形状が含まれる。基準となる箇所からのずれ量には、たとえば、体幹における所定の箇所（たとえば胸部）からのずれ量が含まれる。
【００５５】
複数の正解ラベル画像は、事前にクラスタリングされ得る。抽出部１１３は、受け付けられた補正値に基づいて抽出するクラスタを決定し、決定したクラスタに含まれる正解ラベル画像の全部または一部を抽出してもよい。正解ラベル画像は、たとえば座った姿勢なのか立った姿勢なのかといった姿勢の特徴により複数の正解ラベル群にクラスタリングされ得る。
【００５６】
なお、抽出部１１３は、ユーザーにより補正後の認識結果と見た目が似ているとして入力部１４０において選択された正解ラベル画像を抽出してもよい。
【００５７】
図８は、補正後の認識結果と正解ラベル画像との比較について説明するための説明図である。
【００５８】
図８においては、左図に示す補正後の認識結果との差が所定の閾値以下の正解ラベル画像が、右図において四角で囲まれて示されている。このように、複数の正解ラベル画像のうち、補正後の認識結果との差が所定の閾値以下の正解ラベル画像が新正解ラベル画像として抽出され得る。
【００５９】
抽出部１１３は、被認識画像について正解ラベル画像がない場合であっても、被認識画像以外の画像についての正解ラベル画像から、被認識画像の画像認識のための再学習に用いる正解ラベル画像を抽出し得る。この場合、被認識画像以外の画像についての正解ラベル画像について、体幹を基準として各関節点の相対位置を算出する。被認識画像の補正後の認識結果についても、体幹を基準として各関節点の相対位置を算出する。そして、被認識画像以外の画像についての正解ラベル画像における各関節点の相対位置と、被認識画像の補正後の認識結果における各関節点の相対位置との差が所定の閾値以下の正解ラベル画像を新正解ラベル画像として抽出し得る。体幹を基準として各関節点の相対位置を算出するのは、体幹については比較的人による正解ラベル画像の差が小さく、体幹における関節点の位置の変動が少ないため安定していると考えられるからである。被認識画像以外の画像についての正解ラベル画像における各関節点の相対位置と、被認識画像の補正後の認識結果における各関節点の相対位置との比較においては、当該正解ラベル画像について正規化を行い得る。
【００６０】
図９は、補正後の認識結果に基づく正解ラベル画像の正規化について説明するための説明図である。
【００６１】
被認識画像以外の画像についての正解ラベル画像は、補正後の認識結果と適切な比較ができるように、正規化が行われ得る。図９においては、被認識画像以外の画像についての正解ラベル画像に対し、補正後の認識結果と、体幹の向きおよび大きさが共通するように正規化が行われる例が示されている。正規化後の正解ラベル画像のうち、補正後の認識結果における関節点の位置との差が所定の閾値以下のものが、抽出される新正解ラベル画像として四角で囲まれて示されている。
【００６２】
なお、正解ラベル画像の抽出は、他の方法によってもよい。たとえば、被写体５００の大きさ、形状、および姿勢が再学習を繰り返すことである程度定まっている場合、基準となる平均値からのずれが類似しているものを抽出してもよい。
【００６３】
抽出部１１３により抽出された新正解ラベル画像は、学習認識部１１１による再学習に用いられる。新正解ラベル画像は、補正後の認識結果との差が比較的小さい正解ラベル画像である。したがって、新正解ラベル画像による再学習がなされることにより、認識結果が、ユーザーが求める認識結果により近づく。
【００６４】
図１０は、画像認識装置による画像認識の動作を示すフローチャートである。本フローチャートは、記憶部１２０に記憶されたプログラムにしたがい、制御部１１０により実行され得る。
【００６５】
制御部１１０は、被認識画像と正解ラベル画像を受け付ける（Ｓ１０１）。
【００６６】
制御部１１０は、被認識画像と正解ラベル画像とに基づいて機械学習により学習し、所定の認識問題について被認識画像を認識する（Ｓ１０２）。
【００６７】
制御部１１０は、表示部１３０に認識結果を表示する（Ｓ１０３）。
【００６８】
制御部１１０は、認識結果に対するユーザーによる補正値の入力があるかどうか判断する（Ｓ１０４）。制御部１１０は、認識結果に対する補正値の入力がないと判断したときは（Ｓ１０４：ＮＯ）、被認識画像に対する画像認識の手順を終了する。
【００６９】
制御部１１０は、認識結果に対する補正値の入力があると判断したときは（Ｓ１０４：ＹＥＳ）、補正値に基づいて認識結果を補正し、補正後の認識結果を表示部１３０に表示する（Ｓ１０５）。
【００７０】
制御部１１０は、補正後の認識結果と正解ラベル画像とを比較し、差が所定の閾値以下の正解ラベル画像を抽出する（Ｓ１０６）。
【００７１】
制御部１１０は、被認識画像と抽出した正解ラベル画像とに基づいて機械学習により再学習し、所定の認識問題について被認識画像を認識し（Ｓ１０７）、認識結果を表示する（Ｓ１０８）。
【００７２】
本実施形態は、以下の効果を奏する。
【００７３】
機械学習による認識結果の補正を受け付け、複数の正解ラベル画像のうち補正後の認識結果に近いものを抽出し、抽出した正解ラベル画像で再学習する。これにより、機械学習による認識結果にブレが生じ得る場合に、ユーザーが求める認識結果を得るための再学習を効率的に実現できる。
【００７４】
認識結果を表示する際、複数の正解ラベル画像において相互に対応する箇所のバラツキが所定値以上の特定箇所を、他の箇所と異なる表示態様で表示する。これにより、正解ラベル画像においてブレが比較的大きい箇所を明示して、補正の際にユーザーが注目しやすくすることで、認識結果の補正を容易かつ効率的に行うことができる。
【００７５】
補正された箇所の補正後の位置、大きさ、形状、および基準となる箇所からのずれ量の少なくともいずれかの補正前との差が所定の閾値以下の正解ラベル画像を抽出する。これにより、ユーザーが求める認識結果に特性が近い正解ラベル画像を再学習に用いることで、再学習を簡単かつ効率的に実現できる。
【００７６】
初期学習において、複数の正解ラベル画像において相互に対応する箇所のうち所定の箇所について、代表値に基づいて学習する。これにより、正解ラベル画像においてブレが比較的大きい箇所について代表値に基づいて学習できるため、初期学習の段階でも比較的安定した認識結果を得ることができる。
【００７７】
正解ラベル画像を事前にクラスタリングし、補正値に基づいて正解ラベル画像を抽出するクラスタを決定する。これにより、画像認識における正解としてユーザーの感覚に近い正解ラベル画像の群から再学習に用いる正解ラベル画像を効率的に抽出できる。さらに、補正後の認識結果と正解ラベル画像との差を個々の正解ラベル画像について算出するために必要な演算量を削減できる。
【００７８】
本発明に係る画像認識装置、画像認識方法、および画像認識装置用プログラムは、上述した実施形態に限定されない。
【００７９】
たとえば、画像認識問題は、人の臓器の形状および大きさであってもよい。この場合、臓器の境界線を臓器の一番外側の部分にとることで臓器の形状および大きさを認識したか、当該境界線を臓器の周辺の臓器の最も近い部分にとることで臓器の形状および大きさを認識したかによって抽出する正解ラベル画像を決定し得る。この場合、補正後の認識結果における臓器の形状および大きさとの差が所定の閾値以下の正解ラベル画像を新正解ラベル画像として抽出し得る。
【００８０】
また、実施形態においてプログラムにより実行される処理の一部または全部を回路などのハードウェアに置き換えて実施されてもよい。
【符号の説明】
【００８１】
１０    画像認識システム、
１００    画像認識装置、
１１０    制御部、
１１１    学習認識部、
１１２    補正部、
１１３    抽出部、
１２０    記憶部、
１３０    表示部、
１４０    入力部、
１５０    通信部、
１６０    バス、
２００    撮像装置、
３００    通信ネットワーク、
５００    被写体、
５０１〜５０４    関節点。
【図１】
2019003554.tif 000003
【図２】
2019003554.tif 000004
【図３】
2019003554.tif 000005
【図４】
2019003554.tif 000006
【図５】
2019003554.tif 000007
【図６】
2019003554.tif 000008
【図７】
2019003554.tif 000009
【図８】
2019003554.tif 000010
【図９】
2019003554.tif 000011
【図１０】
2019003554.tif 000012