(57)【要約】 【課題】画像に写り込んだ人物の認識精度を向上させる。【解決手段】本発明の情報処理装置は取得部と抽出部と記憶部と判定部と算出部と決定部とを備える。取得部は画像を取得する。抽出部は画像から人物領域を抽出する。記憶部は関連情報を記憶する。判定部は、人物領域から、複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した第２特徴情報と、関連情報内の第１特徴情報との一致度合いを判定する。算出部は、関連情報内の１つの人物識別情報と、該１つの人物識別情報に関連付けられた１つの第１特徴情報との組み合わせごとに、判定部により判定された一致度合いに応じた第１評価値を算出し、関連情報内の人物識別情報ごとに、該人物識別情報に関連付けられた複数の第１特徴情報と１対１に対応する複数の第１評価値に基づく所定の演算を行って第２評価値を算出する。決定部は、人物識別情報ごとに算出された第２評価値に基づいて、人物領域に対応する人物を決定する。【選択図】図２
2016207167.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する取得部と、
前記画像から、人物が写り込んだ領域を示す人物領域を抽出する抽出部と、
複数の人物のうちの何れかをそれぞれが識別する複数の人物識別情報ごとに、複数の特徴と１対１に対応する複数の第１特徴情報を関連付けた関連情報を記憶する記憶部と、
前記人物領域から、前記複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した前記第２特徴情報と、前記関連情報に含まれる前記第１特徴情報との一致度合いを判定する判定部と、
前記関連情報に含まれる複数の前記人物識別情報のうちの何れか１つの前記人物識別情報と、該１つの前記人物識別情報に関連付けられた複数の前記第１特徴情報のうちの何れか１つの前記第１特徴情報との組み合わせごとに、前記判定部により判定された前記一致度合いに応じた値を示す第１評価値を算出し、前記関連情報に含まれる複数の前記人物識別情報ごとに、該人物識別情報に関連付けられた複数の前記第１特徴情報と１対１に対応する複数の前記第１評価値に基づく所定の演算を行って第２評価値を算出する算出部と、
前記人物識別情報ごとに算出された前記第２評価値に基づいて、前記人物領域に対応する人物を決定する決定部と、を備える、
情報処理システム。
【請求項２】
前記第１評価値は、前記第１特徴情報と前記第２特徴情報との一致度合いが大きいほど大きい値を示し、
前記決定部は、対応する前記第２評価値が閾値を超える前記人物識別情報で識別される人物を、前記人物領域に対応する人物として決定する、
請求項１に記載の情報処理システム。
【請求項３】
対応する前記第２評価値が前記閾値を超える前記人物識別情報が複数存在する場合は、該複数の前記人物識別情報と１対１に対応する複数の人物情報を、対応する前記第２評価値が高い順に表示するとともに、該複数の人物情報のうちの何れかを選択するための第１選択画面を表示する第１表示部をさらに備え、
前記決定部は、前記第１選択画面から選択された人物情報が表す人物を、前記人物領域に対応する人物として決定する、
請求項２に記載の情報処理システム。
【請求項４】
前記第１評価値は、前記第１特徴情報と前記第２特徴情報との一致度合いが大きいほど大きい値を示し、
前記決定部は、対応する前記第２評価値が最も高い値を示す前記人物識別情報で識別される人物を、前記人物領域に対応する人物として決定する、
請求項１に記載の情報処理システム。
【請求項５】
前記画像のうち、前記人物領域の近傍に、前記決定部が決定した人物を表す人物情報を表示する第２表示部をさらに備える、
請求項２乃至４のうちの何れか１項に記載の情報処理システム。
【請求項６】
前記第２表示部が表示した人物情報を選択する操作を受け付けた場合、前記関連情報に含まれる所定数の前記人物識別情報と１対１に対応する複数の人物情報を、対応する前記第２評価値が高い順に表示するとともに、該複数の人物情報のうちの何れかを選択するための第２選択画面を表示する第３表示部をさらに備え、
前記決定部は、前記第２選択画面から選択された人物情報が表す人物を、前記人物領域に対応する人物として決定する、
請求項５に記載の情報処理システム。
【請求項７】
前記算出部は、前記関連情報に含まれる複数の前記人物識別情報ごとに、該人物識別情報に関連付けられた複数の前記第１特徴情報と１対１に対応する複数の前記第１評価値を重み付き加算して前記第２評価値を算出する、
請求項１乃至６のうちの何れか１項に記載の情報処理システム。
【請求項８】
前記取得部が取得した前記画像と、該画像のうち前記抽出部が抽出した前記人物領域に対応する領域と、前記決定部が決定した人物とを関連付けたタグ情報を記録する記録部をさらに備える、
請求項１乃至７のうちの何れか１項に記載の情報処理システム。
【請求項９】
前記抽出部は、前記取得部が取得した前記画像のうち、ユーザが指示した位置を含む所定領域から前記人物領域を抽出する、
請求項１乃至８のうちの何れか１項に記載の情報処理システム。
【請求項１０】
前記抽出部は、前記取得部が取得した前記画像から順次に前記人物領域を抽出し、抽出した前記人物領域に対応する人物が決定されると、次の前記人物領域を抽出する、
請求項１乃至８のうちの何れか１項に記載の情報処理システム。
【請求項１１】
画像を取得する取得ステップと、
前記画像から、人物が写り込んだ領域を示す人物領域を抽出する抽出ステップと、
前記人物領域から、複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した前記第２特徴情報と、複数の人物のうちの何れかをそれぞれが識別する複数の人物識別情報の各々と、前記複数の特徴と１対１に対応する複数の第１特徴情報とを関連付けた関連情報に含まれる前記第１特徴情報との一致度合いを判定する判定ステップと、
前記関連情報に含まれる複数の前記人物識別情報のうちの何れか１つの前記人物識別情報と、該１つの前記人物識別情報に関連付けられた複数の前記第１特徴情報のうちの何れか１つの前記第１特徴情報との組み合わせごとに、前記判定ステップにより判定された前記一致度合いに応じた第１評価値を算出し、前記関連情報に含まれる複数の前記人物識別情報ごとに、該人物識別情報に関連付けられた複数の前記第１特徴情報と１対１に対応する複数の前記第１評価値に基づく所定の演算を行って第２評価値を算出する算出ステップと、
前記人物識別情報ごとに算出された前記第２評価値に基づいて、前記人物領域に対応する人物を決定する決定ステップと、を含む、
情報処理方法。
【請求項１２】
コンピュータに、
画像を取得する取得ステップと、
前記画像から、人物が写り込んだ領域を示す人物領域を抽出する抽出ステップと、
前記人物領域から、複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した前記第２特徴情報と、複数の人物のうちの何れかをそれぞれが識別する複数の人物識別情報の各々と、前記複数の特徴と１対１に対応する複数の第１特徴情報とを関連付けた関連情報に含まれる前記第１特徴情報との一致度合いを判定する判定ステップと、
前記関連情報に含まれる複数の前記人物識別情報のうちの何れか１つの前記人物識別情報と、該１つの前記人物識別情報に関連付けられた複数の前記第１特徴情報のうちの何れか１つの前記第１特徴情報との組み合わせごとに、前記判定ステップにより判定された前記一致度合いに応じた第１評価値を算出し、前記関連情報に含まれる複数の前記人物識別情報ごとに、該人物識別情報に関連付けられた複数の前記第１特徴情報と１対１に対応する複数の前記第１評価値に基づく所定の演算を行って第２評価値を算出する算出ステップと、
前記人物識別情報ごとに算出された前記第２評価値に基づいて、前記人物領域に対応する人物を決定する決定ステップと、を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理システム、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、カメラなどの撮像装置で撮像した画像（撮像画像）に対して、その画像の中に「何が写っているのか」を示す情報を付加する技術が知られている。
【０００３】
例えば特許文献１に開示された技術では、選手名と背番号と顔パターン(顔を表す情報)とを対応付けて記憶するデータベースを用意し、カメラで撮像した画像に対して顔検出や背番号検出を行う。そして、該データベースの中に、顔検出により検出された顔パターンと一致する顔パターンが存在する場合、または、背番号検出により検出された背番号（顔の近傍に存在する数字）と一致する背番号がデータベースに存在する場合、検出された顔パターンまたは検出された背番号を有する被写体の人物は、データベースにおいて該顔パターンまたは該背番号に対応付けられた選手名で識別される選手であると認識する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−８１６８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術は、１つの特徴（顔または背番号）のみを判断材料として、画像に写り込んだ人物を認識する技術であるため、その認識精度が不十分であるという問題がある。
【０００６】
本発明は、上記に鑑みてなされたものであって、画像に写り込んだ人物の認識精度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、画像を取得する取得部と、前記画像から、人物が写り込んだ領域を示す人物領域を抽出する抽出部と、複数の人物のうちの何れかをそれぞれが識別する複数の人物識別情報ごとに、複数の特徴と１対１に対応する複数の第１特徴情報を関連付けた関連情報を記憶する記憶部と、前記人物領域から、前記複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した前記第２特徴情報と、前記関連情報に含まれる前記第１特徴情報との一致度合いを判定する判定部と、前記関連情報に含まれる複数の前記人物識別情報のうちの何れか１つの前記人物識別情報と、該１つの前記人物識別情報に関連付けられた複数の前記第１特徴情報のうちの何れか１つの前記第１特徴情報との組み合わせごとに、前記判定部により判定された前記一致度合いに応じた値を示す第１評価値を算出し、前記関連情報に含まれる複数の前記人物識別情報ごとに、該人物識別情報に関連付けられた複数の前記第１特徴情報と１対１に対応する複数の前記第１評価値に基づく所定の演算を行って第２評価値を算出する算出部と、前記人物識別情報ごとに算出された前記第２評価値に基づいて、前記人物領域に対応する人物を決定する決定部と、を備える。
【０００８】
また、本発明は、画像を取得する取得ステップと、前記画像から、人物が写り込んだ領域を示す人物領域を抽出する抽出ステップと、前記人物領域から、複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した前記第２特徴情報と、複数の人物のうちの何れかをそれぞれが識別する複数の人物識別情報の各々と、前記複数の特徴と１対１に対応する複数の第１特徴情報とを関連付けた関連情報に含まれる前記第１特徴情報との一致度合いを判定する判定ステップと、前記関連情報に含まれる複数の前記人物識別情報のうちの何れか１つの前記人物識別情報と、該１つの前記人物識別情報に関連付けられた複数の前記第１特徴情報のうちの何れか１つの前記第１特徴情報との組み合わせごとに、前記判定ステップにより判定された前記一致度合いに応じた値を示す情報に関連付けられた複数の前記第１特徴情報と１対１に対応する複数の前記第１評価値に基づく所定の演算を行って第２評価値を算出する算出ステップと、前記人物識別情報ごとに算出された前記第２評価値に基づいて、前記人物領域に対応する人物を決定する決定ステップと、を含む情報処理方法である。
【０００９】
また、本発明は、コンピュータに、画像を取得する取得ステップと、前記画像から、人物が写り込んだ領域を示す人物領域を抽出する抽出ステップと、前記人物領域から、複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した前記第２特徴情報と、複数の人物のうちの何れかをそれぞれが識別する複数の人物識別情報の各々と、前記複数の特徴と１対１に対応する複数の第１特徴情報とを関連付けた関連情報に含まれる前記第１特徴情報との一致度合いを判定する判定ステップと、前記関連情報に含まれる複数の前記人物識別情報のうちの何れか１つの前記人物識別情報と、該１つの前記人物識別情報に関連付けられた複数の前記第１特徴情報のうちの何れか１つの前記第１特徴情報との組み合わせごとに、前記判定ステップにより判定された前記一致度合いに応じた値を示す第１評価値を算出し、前記関連情報に含まれる複数の前記人物識別情報ごとに、該人物識別情報に関連付けられた複数の前記第１特徴情報と１対１に対応する複数の前記第１評価値に基づく所定の演算を行って第２評価値を算出する算出ステップと、前記人物識別情報ごとに算出された前記第２評価値に基づいて、前記人物領域に対応する人物を決定する決定ステップと、を実行させるためのプログラムである。
【発明の効果】
【００１０】
本発明によれば、画像に写り込んだ人物の認識精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施形態の情報処理システムの概略構成の一例を示す図である。
【図２】図２は、情報処理装置のハードウェア構成の一例を示す図である。
【図３】図３は、情報処理装置が有する機能の一例を示す図である。
【図４】図４は、関連情報の一例を示す図である。
【図５】図５は、第１選択画面の一例を示す図である。
【図６】図６は、人物情報の一例を示す図である。
【図７】図７は、情報処理装置の動作例を示すフローチャートである。
【図８】図８は、変形例の情報処理装置が有する機能の一例を示す図である。
【図９】図９は、第２選択画面の一例を示す図である。
【図１０】図１０は、候補画面の一例を示す図である。
【図１１】図１１は、変形例における人物決定の様子を示す模式図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照しながら、本発明にかかる情報処理システム、情報処理方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
【００１３】
図１は、本実施形態の情報処理システム１の概略構成の一例を示す図である。図１に示すように、情報処理システム１は、撮像装置１０と、情報処理装置２０とを含む。
【００１４】
撮像装置１０は撮像を行う装置であり、例えばカメラで構成される。本明細書において、「撮像」とは、レンズなどの光学系により結像された撮像対象の像を、電気信号に変換することを指す。本実施形態の情報処理システム１は、スポーツの試合が開催される会場（例えば野球場、サッカースタジアム、テニスコート、体育館等）に撮像装置１０を設置して試合の様子を撮像し、その撮像で得られた画像（撮像画像）を情報処理装置２０で処理するシステムである。
【００１５】
次に、情報処理装置２０の構成を説明する。図２は、情報処理装置２０のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置２０は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、操作表示部１０４と、機器Ｉ／Ｆ部１０５と、ネットワークＩ／Ｆ部１０６とを備え、これらはバス１０７を介して相互に接続される。
【００１６】
ＣＰＵ１０１は、情報処理装置２０の動作を統括的に制御する。ＣＰＵ１０１は、ＲＯＭ１０２などの記憶装置からプログラムを読み出し、その読み出したプログラムをＲＡＭ１０３上で実行することで、後述する各種の機能を実現する演算装置である。
【００１７】
ＲＯＭ１０２は、不揮発性の半導体メモリ（記憶装置）であり、各種のプログラムやデータを記憶する。ＲＡＭ１０３は、揮発性の半導体メモリ（記憶装置）であり、ＣＰＵ１０１が実行する処理の作業領域（ワークエリア）として機能する。
【００１８】
操作表示部１０４は、ユーザによる操作を受け付けるとともに各種の情報を表示するデバイスである。この例では、操作表示部１０４はタッチパネルで構成され、タッチパネルに表示される画面上の任意の位置を指示する入力（画面に対するタッチ操作による入力）を受け付けることができる。
【００１９】
機器Ｉ／Ｆ部１０５は、外部機器（撮像装置１０等）と接続するためのインタフェースである。ネットワークＩ／Ｆ部１０６は、例えばインターネットなどのネットワークと接続するためのインタフェースである。
【００２０】
図３は、情報処理装置２０が有する機能の一例を示す図である。図２に示すように、情報処理装置２０は、取得部１１１と、抽出部１１２と、記憶部１１３と、判定部１１４と、算出部１１５と、決定部１１６と、第１表示部１１７と、第２表示部１１８と、記録部１１９とを有する。
【００２１】
取得部１１１は画像を取得する。より具体的には、取得部１１１は、撮像装置１０による撮像が行われるたびに、その撮像により得られた画像（撮像画像）を撮像装置１０から取得し、その取得した撮像画像を操作表示部１０４に表示する。
【００２２】
抽出部１１２は、取得部１１１が取得した画像から、人物が写り込んだ領域を示す人物領域を抽出する。本実施形態では、抽出部１１２は、取得部１１１が取得した画像のうち、ユーザが指示した位置（この例では操作表示部１０４に表示された画像のうち、ユーザによるタッチ操作が行われた位置）を含む所定領域から人物領域を抽出する。画像から人物領域を抽出する技術としては公知の様々な技術を利用することができ、例えば肌色を検出することで人物領域を抽出する方法などを用いることができる。
【００２３】
記憶部１１３は、複数の人物のうちの何れかをそれぞれが識別する複数の人物識別情報ごとに、複数の特徴と１対１に対応する第１特徴情報を関連付けた関連情報を記憶する。図４は、関連情報の一例を示す図である。図４の例では、関連情報は、複数の選手（人物の一例）のうちの何れかをそれぞれが識別する複数の選手ＩＤ（人物識別情報の一例）ごとに、背番号、顔、選手名およびユニフォームの４つの特徴と１対１に対応する４つの第１特徴情報（背番号を表す数字、顔を表す顔情報（パターン）を識別する顔ＩＤ番号、選手名を表す文字列、ユニフォームの模様を表すユニフォーム情報）を関連付けている。なお、これに限らず、選手ＩＤごとに関連付けられる第１特徴情報の種類や数は任意に変更可能である。例えば選手の携行品（例えば靴、グローブ、キャプテンマーク、ヘッドバンド、リストバンド等）を表す情報や、選手の体型を表す情報などが第１特徴情報として選手ＩＤに関連付けられていてもよい。
【００２４】
判定部１１４は、人物領域から、複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した第２特徴情報と、関連情報に含まれる第１特徴情報（より具体的には、その検出した第２特徴情報に対応する特徴に対応する第１特徴情報）との一致度合いを判定する。この例では、判定部１１４は、抽出部１１２が抽出した人物領域から、「背番号」という特徴に対応する第２特徴情報（背番号を表す数字）、「顔」という特徴に対応する第２特徴情報（顔を表す顔情報）、「選手名」という特徴に対応する第２特徴情報（選手名を表す文字列）、「ユニフォーム」という特徴に対応する第２特徴情報（ユニフォームの模様）をそれぞれ検出する。例えば人物領域から背番号を表す数字を検出した場合（例えば顔の近傍の数字を、背番号を表す数字として検出することができる）、判定部１１３は、関連情報において複数の選手ＩＤと１対１に対応する複数の背番号を表す数字ごとに、人物領域から検出した背番号を表す数字との一致度合いを判定する。人物領域から、顔情報、選手名を表す文字列、ユニフォームの模様を検出した場合についても同様である。
【００２５】
算出部１１５は、関連情報に含まれる複数の選手ＩＤのうちの何れか１つの選手ＩＤと、該１つの選手ＩＤに関連付けられた４つの第１特徴情報のうちの何れか１つの第１特徴情報との組み合わせごとに、判定部１１４により判定された一致度合いに応じた値を示す第１評価値を算出する。この例では、第１評価値は、第１特徴情報と第２特徴情報との一致度合いが大きいほど大きい値を示す。
【００２６】
本実施形態では、算出部１１５は、第１特徴情報と第２特徴情報とが一致した場合（完全一致に限らず、両者の差分が基準値未満の場合も一致しているとみなしてもよい）は、対応する特徴に応じて予め定められた値を第１評価値として算出する。一方、一致しない場合は、第１評価値として「０」を算出する。ただし、これに限られるものではない。例えば第１評価値は、第１特徴情報と第２特徴情報との一致度合いに応じて連続的に変化する値であってもよい。本実施形態では、第１特徴情報と第２特徴情報とが一致した場合の第１評価値として、「顔」という特徴に対しては「１０」という値が予め設定され、「ユニフォーム」という特徴に対しては「８」という値が予め設定され、「背番号」という特徴に対しては「６」という値が予め設定され、「選手名」という特徴に対しては「４」という値が予め設定されている。
【００２７】
また、本実施形態では、算出部１１５は、関連情報に含まれる複数の選手ＩＤごとに、該選手ＩＤに関連付けられた４つの第１特徴情報と１対１に対応する４つの第１評価値に基づく所定の演算を行って第２評価値を算出する。より具体的には、算出部１１５は、４つの第１特徴情報と１対１に対応する４つの第１評価値を加算して第２評価値を算出する。上述したように、本実施形態では、上記第１評価値は、対応する特徴の重みを反映した値に設定されている。つまり、算出部１１５は、関連情報に含まれる選手ＩＤごとに、該選手ＩＤに関連付けられた４つ第１特徴情報と１対１に対応する４つの第１評価値を重み付き加算して第２評価値を算出していると考えることができる。なお、これに限らず、例えば重み付き加算を行わずに、単純加算を行う形態（例えば第１特徴情報と第２特徴情報とが一致した場合の第１評価値が、対応する特徴の種類によらずに同一の値に設定される形態）であってもよい。
【００２８】
ここで、抽出部１１２が抽出した人物領域から、「顔」に対応する第２特徴情報として、顔ＩＤ番号「１」で識別される顔情報が検出され、「ユニフォーム」に対応する第２特徴情報として、「ＪＨ１」というユニフォームを表す模様が検出され、「背番号」に対応する第２特徴情報として、「１」という数字が検出され、「選手名」に対応する第２特徴情報は検出されなかった（検出に失敗した）場合を想定する。
【００２９】
この場合、算出部１１５は、図４に示す関連情報に含まれる選手ＩＤ「Ａ」と顔ＩＤ番号「１」との組み合わせに対する第１評価値として「１０」を算出する。その他の選手ＩＤと顔ＩＤ番号との組み合わせに対する第１評価値は何れも「０」と算出される。
【００３０】
また、算出部１１５は、図４に示す関連情報に含まれる選手ＩＤ「Ａ」とユニフォーム情報「ＪＨ１」との組み合わせ、選手ＩＤ「Ｂ」とユニフォーム情報「ＪＨ１」との組み合わせ、および、選手ＩＤ「Ｃ」とユニフォーム情報「ＪＨ１」との組み合わせの各々に対する第１評価値として「８」を算出する。その他の選手ＩＤとユニフォーム情報との組み合わせに対する第１評価値は何れも「０」と算出される。
【００３１】
さらに、算出部１１５は、図４に示す関連情報に含まれる選手ＩＤ「Ｃ」と背番号を表す数字「１」との組み合わせに対する第１評価値として「６」を算出する。その他の選手ＩＤと背番号を表す数字との組み合わせに対する第１評価値は何れも「０」と算出される。
【００３２】
なお、「選手名」に対応する第２特徴情報は検出されなかったので、選出ＩＤと選手名を表す文字列との組み合わせに対する第１評価値は何れも「０」と算出される。
【００３３】
そして、算出部１１５は、図４に示す関連情報に含まれる選手ＩＤごとに、該選手ＩＤに関連付けられた４つの第１特徴情報と１対１に対応する４つの第１評価値を加算して第２評価値を算出する。上記の場合、選手ＩＤ「Ａ」に着目すると、該選手ＩＤ「Ａ」に関連付けられた背番号を表す数字「１１」に対応する第１評価値は「０」、顔ＩＤ番号「１」に対応する第１評価値は「１０」、選手名を表す文字列に対応する第１評価値は「０」、ユニフォーム情報「ＪＨ１」に対応する第１評価値は「８」と算出されるので、選手ＩＤ「Ａ」に対応する第２評価値は１０＋０＋０＋８＝１８と算出される。
【００３４】
次に、選手ＩＤ「Ｂ」に着目すると、該選手ＩＤ「Ｂ」に関連付けられた背番号を表す数字「４」に対応する第１評価値は「０」、顔ＩＤ番号「２」に対応する第１評価値は「０」、選手名を表す文字列に対応する第１評価値は「０」、ユニフォーム情報「ＪＨ１」に対応する第１評価値は「８」と算出されるので、選手ＩＤ「Ｂ」に対応する第２評価値は０＋０＋０＋８＝８と算出される。
【００３５】
次に、選手ＩＤ「Ｃ」に着目すると、該選手ＩＤ「Ｃ」に関連付けられた背番号を表す数字「１」に対応する第１評価値は「６」、顔ＩＤ番号「３」に対応する第１評価値は「０」、選手名を表す文字列に対応する第１評価値は「０」、ユニフォーム情報「ＪＨ１」に対応する第１評価値は「８」と算出されるので、選手ＩＤ「Ｃ」に対応する第２評価値は６＋０＋０＋８＝１４と算出される。
【００３６】
その他の選手ＩＤに関連付けられた４つの第１特徴情報と１対１に対応する４つの第１評価値は何れも「０」なので、第２評価値も「０」と算出される。
【００３７】
図３の説明を続ける。決定部１１６は、算出部１１５によって選手ＩＤごとに算出された第２評価値に基づいて、人物領域に対応する人物を決定する。より具体的には、決定部１１６は、対応する第２評価値が閾値を超える選手ＩＤで識別される選手を、人物領域に対応する選手として決定する。上記の一例において、例えば上記閾値が「１５」であれば、決定部１１６は、対応する第２評価値が「１５」を超える選手ＩＤ「Ａ」で識別される選手を、人物領域に対応する選手（人物領域に写っている選手）として決定することができる。
【００３８】
なお、例えば上記閾値を設けずに、決定部１１６は、対応する第２評価値が最も高い値を示す選手ＩＤで識別される選手を、人物領域に対応する選手として決定する形態であってもよい。
【００３９】
図３の説明を続ける。第１表示部１１７は、対応する第２評価値が上記閾値を超える選手ＩＤが複数存在する場合は、該複数の選手ＩＤと１対１に対応する複数の人物情報（人物を表す情報、例えば選手ＩＤそのものであってもよい）を、対応する第２評価値が高い順に表示するとともに、該複数の人物情報のうちの何れかを選択するための第１選択画面を表示（取得部１１１が取得した画像に重畳して表示）する。上記の場合において、例えば上記閾値が「１０」であれば、対応する第２評価値が閾値を超える選手ＩＤとして、選手ＩＤ「Ａ」および選手ＩＤ「Ｂ」が該当するので、第１表示部１１７は、図５に示すような第１選択画面を表示する制御を行う。図５の第１選択画面において一番上に表示された「ＴＮ」は選手ＩＤ「Ａ」で識別される選手を表す人物情報の一例であり、該選手の略称を表している。同様に、図５の第１選択画面において「ＴＮ」の下に表示された「ＳＡ」は選手ＩＤ「Ｂ」で識別される選手を表す人物情報の一例であり、該選手の略称を表している。また、略称ではなく選手名を表す文字列を人物情報として表示しても良い。この例では、ユーザは、第１選択画面のうち、表示された複数の人物情報のうちの何れかに対応する領域をタッチする操作を行うことにより、該領域に対応する人物情報を選択することができる。
【００４０】
そして、決定部１１６は、上記第１選択画面から選択された人物情報が表す選手を、人物領域に対応する選手として決定することができる。
【００４１】
第２表示部１１８は、取得部１１１が取得した画像のうち、抽出部１１２が抽出した人物領域の近傍に、決定部１１６が決定した選手を表す人物情報を表示する。例えば決定部１１６によって、人物領域に対応する選手として選手ＩＤ「Ａ」で識別される選手が決定された場合、図６に示すように、第２表示部１１８は、人物領域の近傍に、選手ＩＤ「Ａ」で識別される選手の略称「ＴＮ」を人物情報として表示することもできる。また、略称ではなく選手名を表す文字列を人物情報として表示しても良い。
【００４２】
図３の説明を続ける。記録部１１９は、取得部１１１が取得した画像と、該画像のうち抽出部１１２が抽出した人物領域に対応する領域と、決定部１１６が決定した人物とを関連付けたタグ情報を記録する。タグ情報は、例えばＲＯＭ１０２等の記憶装置に蓄積されていく。
【００４３】
本実施形態では、上述した情報処理装置２０の各部の機能（取得部１１１、抽出部１１２、判定部１１４、算出部１１５、決定部１１６、第１表示部１１７、第２表示部１１８、記録部１１９）は、ＣＰＵ１０１がＲＯＭ１０２等の記憶装置に格納されたプログラムを実行することにより実現される。なお、これに限らず、例えば上述した情報処理装置２０の各部の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）で実現されてもよい。
【００４４】
図７は、本実施形態の情報処理装置２０の動作例を示すフローチャートである。図７に示すように、まず取得部１１１が撮像装置１０から画像を取得すると（ステップＳ１）、その取得した画像を操作表示部１０４に表示する。次に、抽出部１１２は、操作表示部１０４に表示された画像のうち、ユーザによるタッチ操作が行われた位置を含む所定領域から人物領域を抽出する（ステップＳ２）。
【００４５】
次に、情報処理装置２０は、図４に示す関連情報に含まれる複数の選手ＩＤごとに第２評価値を算出する（ステップＳ３）。この具体的な内容は上述したとおりであるが、判定部１１４は、ステップＳ２で抽出した人物領域から、４つの特徴（この例では、顔、背番号、選手名、ユニフォーム）ごとに、該特徴に対応する第２特徴情報を検出し、検出した第２特徴情報と、関連情報に含まれる該特徴に対応する第１特徴情報との一致度合いを判定する。また、算出部１１５は、図４に示す関連情報に含まれる何れか１つの選手ＩＤと、該１つの選手ＩＤに関連付けられた４つの第１特徴情報のうちの何れか１つの第１特徴情報との組み合わせごとに、判定部１１４により判定された一致度合いに応じた第１評価値を算出する。そして、算出部１１５は、関連情報に含まれる複数の選手ＩＤごとに、該選手ＩＤに関連付けられた４つの第１特徴情報と１対１に対応する４つの第１評価値を加算（この例では重み付き加算）して第２評価値を算出する。
【００４６】
次に、決定部１１６は、対応する第２評価値が閾値を超える選手ＩＤが存在するか否かを判断する（ステップＳ４）。ステップＳ４の結果が肯定の場合（ステップＳ４：Ｙｅｓ）、決定部１１６は、対応する第２評価値が閾値を超える選手ＩＤが複数存在するか否かを判断する（ステップＳ５）。
【００４７】
ステップＳ５の結果が肯定の場合（ステップＳ５：Ｙｅｓ）、決定部１１６は、第１表示部１１７に対して第１選択画面の表示を依頼し、この依頼を受けた第１表示部１１７は、第１選択画面を表示する（ステップＳ６）。そして、決定部１１６は、第１選択画面から選択された人物情報が表す選手を、人物領域に対応する選手として決定する（ステップＳ７）。
【００４８】
一方、ステップＳ５の結果が否定の場合（ステップＳ５：Ｎｏ）、決定部１１６は、対応する第２評価値が閾値を超えている１つの選手ＩＤで識別される選手を、人物領域に対応する選手として決定する（ステップＳ８）。
【００４９】
ステップＳ７またはステップＳ８の後、第２表示部１１８は、ステップＳ７またはステップＳ８で決定した選手を表す人物情報を表示する（ステップＳ９）。次に、記録部１１９は、タグ情報を記録する（ステップＳ１０）。具体的な内容は上述したとおりである。
【００５０】
以上に説明したように、本実施形態では、複数の選手ＩＤごとに、４つの特徴（この例では、顔、背番号、選手名、ユニフォーム）と１対１に対応する複数の第１特徴情報を関連付けた関連情報を記憶する記憶部１１３を有する。そして、ユーザの指示に応じて画像（取得部１１１が取得した画像）から抽出した人物領域から、４つの特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した第２特徴情報と、関連情報に含まれる第１特徴情報との一致度合いを判定する。そして、関連情報に含まれる複数の選手ＩＤのうちの何れか１つの選手ＩＤと、該１つの選手ＩＤに関連付けられた４つの第１特徴情報のうちの何れか１つの第１特徴情報との組み合わせごとに、上記一致度合いに応じた第１評価値を算出し、関連情報に含まれる複数の選手ＩＤごとに、該選手ＩＤに関連付けられた４つの第１特徴情報と１対１に対応する４つの第１評価値に基づく所定の演算（この例では重み付き加算）を行って第２評価値を算出する。そして、選手ＩＤごとに算出された第２評価値に基づいて、人物領域に対応する人物を決定する。
【００５１】
すなわち、本実施形態では、上記４つの特徴を総合的に考慮して、人物領域に対応する人物を決定するので、画像に写り込んだ人物の認識精度を向上させることができる。
【００５２】
以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【００５３】
例えば図８に示すように、情報処理装置２０は、第３表示部１２０をさらに有する形態であってもよい。第３表示部１２０は、第２表示部１１８が表示した人物情報を選択する操作を受け付けた場合、関連情報に含まれる所定数（関連情報に含まれる全ての選手ＩＤの数であってもよいし、対応する第２評価値が高い順の一定数であってもよい）の選手ＩＤと１対１に対応する複数の人物情報を、対応する第２評価値が高い順に表示するとともに、該複数の人物情報のうちの何れかを選択するための第２選択画面を表示する。
【００５４】
例えば上記の一例において、図６に示す人物情報を選択する操作を受け付けた場合、第３表示部１２０は、図９に示すような第２選択画面を表示する。図９の第２選択画面において一番上に表示された「ＴＮ」は選手ＩＤ「Ａ」で識別される選手を表す人物情報の一例であり、該選手の略称を表している。同様に、図９の第２選択画面において「ＴＮ」の下に表示された「ＳＡ」は選手ＩＤ「Ｂ」で識別される選手を表す人物情報の一例であり、該選手の略称を表している。同様に、図９の第２選択画面において「ＳＡ」の下に表示された「ＭＹ」は選手ＩＤ「Ｃ」で識別される選手を表す人物情報の一例であり、該選手の略称を表している。また、略称ではなく選手名を表す文字列を人物情報として表示しても良い。この例では、ユーザは、第２選択画面のうち、表示された複数の人物情報のうちの何れかに対応する領域をタッチする操作を行うことにより、該領域に対応する人物情報を選択することができる。そして、決定部１１６は、上記第２選択画面から選択された人物情報が表す選手を、人物領域に対応する選手として決定する（決定し直す）ことができる。以上のようにして、決定部１１６による決定を修正することもできる。
【００５５】
また、例えば決定部１１６による決定前の段階において、算出部１１５は、対応する第１評価値の加算値が高い順に、関連情報に含まれる所定数の選手ＩＤと１対１に対応する複数の人物情報を示す候補画面を表示することもできる。例えば上記の一例において、最初に、人物領域から、「ＪＨ１」というユニフォームを表す模様が検出された場合、算出部１１５は、図１０の（Ａ）のような候補画面を表示することもできる。次に、人物領域から、背番号を表す数字として「１」という数字が検出された場合、算出部１１５は、図１０の（Ｂ）のような候補画面を表示することもできる。次に、人物領域から、顔ＩＤ番号「１」で識別される顔情報が検出された場合、算出部１１５は、図１０の（Ｃ）のような候補画面を表示することもできる。
【００５６】
また、例えば抽出部１１２は、取得部１１１が取得した画像から順次に人物領域を抽出し（ユーザの指示によらずに自動的に抽出し）、抽出した人物領域に対応する人物が決定されると、次の人物領域を抽出する形態であってもよい。例えば図１１のように、取得部１１１が取得した画像の中に、３人の選手（選手ＩＤ「Ａ」で識別される選手、選手ＩＤ「Ｂ」で識別される選手、選手ＩＤ「Ｃ」で識別される選手）が写り込んでいる場合を想定する。
【００５７】
この例では、まず抽出部１１２は、画像に含まれる３つの人物領域（左上の人物領域、中央の人物領域、右上の人物領域）のうち左上の人物領域を抽出する。抽出部１１２による人物領域の抽出が行われると、上述の実施形態で説明した方法により、その人物領域に対応する選手が決定される。この例では、選手ＩＤ「Ａ」で識別される選手が、左上の人物領域に対応する選手として決定され、図１１の（Ａ）に示すように、左上の人物領域の近傍に、選手ＩＤ「Ａ」で識別される選手の略称「ＴＮ」が人物情報として表示される。また、略称ではなく選手名を表す文字列を人物情報として表示しても良い。
【００５８】
次に、抽出部１１２は中央の人物領域を抽出する。そして、上述の実施形態で説明した方法により、抽出された中央の人物領域に対応する選手が決定される。この例では、選手ＩＤ「Ｂ」で識別される選手が、左上の人物領域に対応する選手として決定され、図１１の（Ｂ）に示すように、中央の人物領域の近傍に、選手ＩＤ「Ｂ」で識別される選手の略称「ＳＡ」が人物情報として表示される。また、略称ではなく選手名を表す文字列を人物情報として表示しても良い。
【００５９】
次に、抽出部１１２は右上の人物領域を抽出する。そして、上述の実施形態で説明した方法により、抽出された右上の人物領域に対応する選手が決定される。この例では、選手ＩＤ「Ｃ」で識別される選手が、右上の人物領域に対応する選手として決定され、図１１の（Ｃ）に示すように、右上の人物領域の近傍に、選手ＩＤ「Ｃ」で識別される選手の略称「ＭＹ」が人物情報として表示される。なお、画像の中に映り込んでいる選手が、選手ＩＤ「Ａ」で識別される選手、選手ＩＤ「Ｂ」で識別される選手、選手ＩＤ「Ｃ」で識別される選手の３人であることが予め分かっている場合は、２人の選手を決定（認識）した段階で、残りの選手を決定することもできる。
【００６０】
（プログラム）
また、上述の情報処理装置２０で実行されるプログラム（ＣＰＵ１０１が実行するプログラム）を、インターネット等のネットワークに接続された外部装置上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の情報処理装置２０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。さらに、上述の情報処理装置２０で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。さらに、本実施形態では第２評価値は第１評価値の加算で求めたが、これに限らず、例えば第１評価値の積や所定の演算式や所定のテーブルから求めても良い。例えば、選手ＩＤ「Ａ」に関連付けられた背番号を表す数字「１１」に対応する第１評価値を「０」、顔ＩＤ番号「１」に対応する第１評価値を「１０」、選手名を表す文字列に対応する第１評価値を「０」、ユニフォーム情報「ＪＨ１」に対応する第１評価値は「８」とすると、選手ＩＤ「Ａ」に対応する第２評価値を１０＋（０＋０）＊８＝１０等と算出しても良い。
【符号の説明】
【００６１】
１      情報処理システム
１０    撮像装置
２０    情報処理装置
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  操作表示部
１０５  機器Ｉ／Ｆ部
１０６  ネットワークＩ／Ｆ部
１０７  バス
１１１  取得部
１１２  抽出部
１１３  記憶部
１１４  判定部
１１５  算出部
１１６  決定部
１１７  第１表示部
１１８  第２表示部
１１９  記録部
１２０  第３表示部
【図１】
2016207167.tif 000003
【図２】
2016207167.tif 000004
【図３】
2016207167.tif 000005
【図４】
2016207167.tif 000006
【図５】
2016207167.tif 000007
【図６】
2016207167.tif 000008
【図７】
2016207167.tif 000009
【図８】
2016207167.tif 000010
【図９】
2016207167.tif 000011
【図１０】
2016207167.tif 000012
【図１１】
2016207167.tif 000013