(57)【要約】      （修正有）【課題】映像の画像フレームにおける人物の位置情報を取得すること。【解決手段】画像解析装置１０は、映像を取得する画像取得部１３２と、画像取得部１３２が取得する映像に映る人物であって、名前が予め特定されている人物の顔を含む第１画像領域の特徴量を記憶する記憶部１２と、画像取得部１３２が取得した映像の画像フレームから、人物の顔を含む第２画像領域を特定する領域特定部１１２１と、第２画像領域の特徴量を算出する特徴量算出部１１２２と、第１画像領域の特徴量と、第２画像領域の特徴量とを比較して、第１画像領域と、第２画像領域との類似性を判定する判定部１１２３と、判定部１１２３が類似すると判定した場合、第１画像領域に含まれる人物の名前を、第２画像領域と対応付ける人物位置特定部と、を備える。【選択図】図１０
2017033390.tif 000002
【特許請求の範囲】
【請求項１】
映像を取得する画像取得部と、
前記画像取得部が取得する映像に映る人物であって、名前が予め特定されている人物の顔を含む第１画像領域の特徴量を記憶する記憶部と、
前記画像取得部が取得した映像の画像フレームから、人物の顔を含む第２画像領域を特定する領域特定部と、
前記第２画像領域の特徴量を算出する特徴量算出部と、
前記第１画像領域の特徴量と、前記第２画像領域の特徴量とを比較して、前記第１画像領域と、前記第２画像領域との類似性を判定する判定部と、
前記判定部が類似すると判定した場合、前記第１画像領域に含まれる人物の名前を、前記第２画像領域と対応付ける人物位置特定部と、
を備える画像解析装置。
【請求項２】
前記画像取得部が取得した映像の画像フレームの中から、カットが切り替わる画像フレームを検出する検出部
を備え、
前記人物位置特定部は、前記検出部が検出したカット点によって区切られたカットごとに、前記第１画像領域に含まれる人物の名前と前記第２画像領域との対応関係をまとめる
請求項１に記載の画像解析装置。
【請求項３】
前記第１画像領域と、前記第２画像領域とは、それぞれ、人物の顔と体幹部分とを含む矩形の画像領域である
請求項１又は請求項２に記載の画像解析装置。
【請求項４】
前記画像取得部が取得した映像の画像フレームのうち、人物が映り、且つ、当該人物の名前がスーパーインポーズされた画像フレームから、当該人物の顔を含む前記第１画像領域の特徴量と、スーパーインポーズされた名前と、を対応付けて前記記憶部に記憶させるリファレンス生成部
を備える請求項１から請求項３までのいずれか一項に記載の画像解析装置。
【請求項５】
コンピュータを、請求項１から請求項４までのいずれか一項に記載の画像解析装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析装置及びプログラムに関する。
【背景技術】
【０００２】
近年、パターン認識技術や計算機速度の向上により、映像内の特定オブジェクトを検出、追跡する技術の精度が高まっている。例えば、非特許文献１では、機械学習を用いて試合映像からサッカーボールを頑健に検出、追跡する手法が提案されている。
また、映像表現として、吹き出し、アニメーション効果等を用いることが考えられている。例えば、特許文献１には、映像を編集するに際し、編集者の制作意図（編集意図）を反映するのが容易なマンガという表現形態を利用し、意図する表現をマンガで構成し、そのマンガを作る過程で静止画に加えた加工、配置などの操作を編集命令に置き換え、その編集命令に従ってマンガの元になった静止画と対応する映像区間を自動編集することが開示されている。
【０００３】
また、特許文献２には、吹き出しによる字幕付きの映像コンテンツを提供するために必要なデータを作成するためのコンテンツ作成装置であって、元データとなる映像コンテンツデータに基づく映像内において、吹き出しを表示すべき時間を抽出する吹き出し時間抽出手段と、前記吹き出し時間抽出手段が抽出した時間における映像内において、吹き出しの表示に適した吹き出し領域を決定する吹き出し領域決定手段と、前記吹き出し領域決定手段が決定した前記吹き出し領域に合成する吹き出し画像を決定する吹き出し画像決定手段と、前記吹き出し画像決定手段が決定した前記吹き出し画像に合成する字幕文字を決定する字幕文字決定手段と、前記吹き出しを表示すべき時間に関する情報、前記吹き出し領域に関する情報、前記吹き出し画像に関する情報、および前記字幕文字に関する情報の内、少なくとも一つの情報をデータ化することによって吹き出しデータを作成する吹き出しデータ作成手段とを備え、前記吹き出しデータ作成手段によって作成された吹き出しデータは、前記映像コンテンツデータと共に再生されることによって、吹き出しによる字幕付きの映像コンテンツを提供することとを特徴とする、コンテンツ作成装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２６００４１号公報
【特許文献２】特開２００５−１２４１６９公報
【非特許文献】
【０００５】
【非特許文献１】高橋  正樹、中村  俊之、三科  智之、「機械学習を利用した複数視点映像からのサッカーボール追跡」、映像情報メディア学会技術報告、Ｖｏｌ．３８、Ｎｏ．５１、ＭＥ２０１４−１０５（Ｄｅｃ．２０１４）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、映像表現として、吹き出し、アニメーション効果等を用いる場合には、吹き出しを配置する位置、アニメーション効果を用いる位置等を特定するために、映像の被写体である人物の位置情報が必要となることがある。映像における人物の位置、サイズの情報は、手動アノテーションにより得ることが可能であるが、映像の全フレームにおいて人物各々の位置、サイズをアノテーションするのは膨大な作業量であり、現実的ではない。
【０００７】
そこで、映像内の人物を検出、追跡する技術を適用し、映像における人物各々の位置、サイズを機械的にアノテーションすることが考えられる。しかしながら、映像内の特定オブジェクトを検出、追跡する技術の多くにおいて、検出、追跡対象のオブジェクトは、ボール等の非剛体に限定されている。また、映像内の人物を追跡する技術においても、人物を十分遠方から撮影していることが多く、被写体の「見え」に関する特徴の変化が少ない映像を解析対象としていることが多い。
このように、映像の画像フレームから、人物の位置、サイズの情報を機械的に取得することが求められているが、近距離から人物を撮影した映像の画像フレームから、人物の位置、サイズ等の情報を取得することは難しかった。
【０００８】
本発明のいくつかの態様は、映像の画像フレームにおける人物の位置情報を取得することができる画像解析装置及びプログラムを提供することを目的の一つとする。
【０００９】
また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする画像解析装置及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【００１０】
（１）上述した課題を解決するために、本発明の一態様は、映像を取得する画像取得部と、前記画像取得部が取得する映像に映る人物であって、名前が予め特定されている人物の顔を含む第１画像領域の特徴量を記憶する記憶部と、前記画像取得部が取得した映像の画像フレームから、人物の顔を含む第２画像領域を特定する領域特定部と、前記第２画像領域の特徴量を算出する特徴量算出部と、前記第１画像領域の特徴量と、前記第２画像領域の特徴量とを比較して、前記第１画像領域と、前記第２画像領域との類似性を判定する判定部と、前記判定部が類似すると判定した場合、前記第１画像領域に含まれる人物の名前を、前記第２画像領域と対応付ける人物位置特定部と、を備える画像解析装置である。
【００１１】
（２）また、本発明の一態様は、上述の（１）に記載の画像解析装置であって、前記画像取得部が取得した映像の画像フレームの中から、カットが切り替わる画像フレームを検出する検出部を備え、前記人物位置特定部は、前記検出部が検出したカット点によって区切られたカットごとに、前記第１画像領域に含まれる人物の名前と前記第２画像領域との対応関係をまとめる画像解析装置である。
【００１２】
（３）また、本発明の一態様は、上述の（１）又は（２）に記載の画像解析装置において、前記第１画像領域と、前記第２画像領域とは、それぞれ、人物の顔と体幹部分とを含む矩形の画像領域である。
【００１３】
（４）また、本発明の一態様は、上述の（１）から（３）までのいずれかに記載の画像解析装置であって、前記画像取得部が取得した映像の画像フレームのうち、人物が映り、且つ、当該人物の名前がスーパーインポーズされた画像フレームから、当該人物の顔を含む前記第１画像領域の特徴量と、スーパーインポーズされた名前と、を対応付けて前記記憶部に記憶させるリファレンス生成部を備える画像解析装置である。
【００１４】
（５）また、本発明の一態様は、コンピュータを、上記の（１）から（４）までのいずれかに記載の画像解析装置として機能させるためのプログラムである。
【発明の効果】
【００１５】
本発明によれば、映像の画像フレームにおける人物の位置情報を取得することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る画像解析装置の対象画像を説明するための模式図である。
【図２】同実施形態に係る画像解析装置による処理の概要を示す模式図である。
【図３】同実施形態に係るリファレンス画像を示す図である。
【図４】同実施形態に係る特徴量抽出領域を示す図である。
【図５】同実施形態に係るメタデータを示す図である。
【図６】同実施形態に係るリファレンスリストを示す図である。
【図７】同実施形態に係るフレーム単位人物位置名前リストを示す図である。
【図８】同実施形態に係るカット点リストを示す図である。
【図９】同実施形態に係るカット単位人物位置名前リストを示す図である。
【図１０】同実施形態に係る画像解析装置の概略機能構成を示すブロック図である。
【図１１】同実施形態に係る画像解析装置による全体的な処理の流れを示すフローチャートである。
【図１２】同実施形態に係る画像解析装置によるリファレンス生成処理の流れを示すフローチャートである。
【図１３】同実施形態に係る画像解析装置によるフレーム単位位置特定処理の流れを示すフローチャートである。
【図１４】同実施形態に係る画像解析装置による解析結果を示す図である。
【図１５】同実施形態に係る特徴量抽出領域の設定の変化に応じた識別精度の変化を示す図である。
【図１６】同実施形態に係る画像特徴量に応じた識別精度の比較結果を示す図である。
【図１７】同実施形態に係る画像解析装置による識別精度を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態について、図面を参照して説明する。
［第１の実施形態］
〔画像解析装置の概要〕
本発明の第１の実施形態について説明する。
本実施形態に係る画像解析装置１０は、映像に映る人物の位置を解析する装置である。
図１は、本実施形態に係る画像解析装置１０の対象画像を説明するための模式図である。
本実施形態において、解析対象とする映像は、図１に示す画像Ｇ１のように、人物の顔が映る映像である。解析対象の映像は、人物の顔が視認できる程度の距離から撮像されている。また、解析対象の映像は、人物の体幹（胴体）の少なくとも一部が映る程度の距離から撮像されている。ただし、解析対象の映像の全長において、常に人物が撮像されている必要はない。上記の距離から撮像されたフレームが映像の一部にでも存在していればよい。ここでは、一例として、情報番組を解析対象の映像とする場合について説明する。
【００１８】
図１に示す画像Ｇ１には、３人の出演者Ｃ１〜Ｃ３が撮像されている。画像解析装置１０は、これら３人の出演者Ｃ１〜Ｃ３の名前と、顔の位置情報とを解析する。従って、例えば字幕等の各出演者Ｃ１〜Ｃ３の発話内容の情報があれば、吹き出しＡ１〜Ａ３を、それぞれ、各出演者Ｃ１〜Ｃ３の口元に表示することができる。これにより、静的な字幕表示を動的に演出することできるため、放送番組をより躍動的に、魅力的に改善することが可能になる。
【００１９】
次に、画像解析装置１０による顔の位置情報の解析処理の概要について説明する。
以下では一例として、解析対象の映像のデータがＲＧＢの色空間で表されている場合について説明する。ただし、映像のデータは、ＨＳＶ、ＹＣｂＣｒ等の色空間で表されていてもよい。
図２は、本実施形態に係る画像解析装置１０による処理の概要を示す模式図である。
まず、画像解析装置１０は、解析対象の番組映像の画像フレームＦ１〜ＦＡ（Ａは、映像の総フレーム数）の中から、リファレンス画像フレームＩ１〜ＩＮ（Ｎは、映像の出演者数）を取得する。ここで、リファレンス画像とは、出演者の特定のための基準とする画像である。リファレンス画像の詳細については後述する。
【００２０】
また、画像解析装置１０は、解析対象の番組のメタデータを参照し、解析対象番組の出演者の名前を取得する。画像解析装置１０は、リファレンス画像フレームＩ１〜ＩＮから、各出演者の顔、首、襟元等が含まれる画像領域を特定する。以下では、この画像領域を、リファレンス領域と称する。１つの画像フレームにおいて、１人の出演者に対応するリファレンス領域は１つである。画像解析装置１０は、各出演者のリファレンス領域から画像特徴量Ｒ１〜ＲＮを抽出する。以下では、リファレンス画像フレームから、各出演者のリファレンス領域について抽出された画像特徴量をリファレンス特徴量と称する。
【００２１】
他方、画像解析装置１０は、番組映像のフレームＦ１〜ＦＡの中から、解析対象画像フレームＦｑを取得する。画像解析装置１０は、解析対象画像フレームＦｑから出演者の顔が撮像された領域を特定し、当該出演者の服の襟元付近等が含まれる画像領域を設定する。つまり、画像解析装置１０は、出演者が撮像されている候補領域を設定する。以下では、リファレンス領域と、候補領域とを総称して特徴量抽出領域と称する。画像解析装置１０は、解析対象画像フレームの候補領域各々から特徴量Ｃｑ１〜Ｃｑｋを抽出する。以下では、各候補領域から抽出される特徴量を候補特徴量と称する。
【００２２】
画像解析装置１０は、候補特徴量Ｃｑ１〜Ｃｑｋをリファレンス特徴量Ｒ１〜ＲＮと比較して、類似度を算出する。これにより、候補領域がリファレンス領域のいずれと類似するかが判定される。すなわち、候補領域にいずれの出演者が撮像されているかが判定され、解析対象画像フレームにおける出演者の位置が特定される。画像解析装置１０は、フレーム単位人物位置名前リストを出力する。このフレーム単位人物位置名前リストとは、候補領域と、当該候補領域に含まれると判定された出演者の名前とを、解析対象フレームごとに対応付けたリストである。
【００２３】
また、画像解析装置１０は、番組映像のフレームＦ１〜ＦＡの中から、カットが切り替わる画像フレームを検出する。以下では、カットが切り替われる画像フレームをカット点と称する。つまり、カット点とは、番組映像において、連続する２つのカットの間に位置する画像フレームである。画像解析装置１０は、カット点リストを出力する。カット点リストとは、放送番組のカット点に該当する画像フレームの識別情報のリストである。
【００２４】
画像解析装置１０は、フレーム単位人物位置名前リストと、カット点リストとに基づいて、画像フレームごとの出演者の位置情報を、カットごとにまとめる。例えば、出演者が比較的近距離から撮像される情報番組等の映像では、各カットにおいて、出演者が大きく位置を変えることは少ない。そのため、カットごとに出演者の位置情報を集約することにより、一部のフレームに誤判定が生じた場合であっても、カット全体の判定の傾向に基づいて、位置情報を設定することができるため、位置情報の精度を向上させることができる。
【００２５】
このように、画像解析装置１０は、映像から、名前が予め特定されている出演者の顔を含むリファレンス領域のリファレンス特徴量を取得する。また、画像解析装置１０は、映像の画像フレームから、人物の顔を含む候補領域を特定し、候補特徴量を取得する。そして、画像解析装置１０は、リファレンス特徴量と、候補特徴量とを比較して、リファレンス領域と、候補領域との類似性を判定し、類似すると判定した場合に、リファレンス領域の出演者の名前を、候補領域と対応付ける。
これにより、出演者の名前と、候補領域とが対応付けられるため、画像フレームにおける出演者の位置が特定される。従って、画像解析装置１０は、映像の画像フレームにおける出演者の位置情報を取得することができる。
以上が、画像解析装置１０による処理の概要の説明である。
【００２６】
〔リファレンス画像〕
次に、上述した処理において参照、出力されるデータについて説明する。
まず、リファレンス画像について説明する。
図３は、本実施形態に係るリファレンス画像の一例を示す図である。
本実施形態では、上述したように出演者の顔と服の一部とを含む画像領域を用いて出演者の特定のための画像認識処理を行う。そのため、この画像認識における基準となるリファレンス画像は、出演者の顔が視認できる程度の距離から撮像されていること、出演者の体幹の少なくとも一部が映る程度の距離から撮像されていることが望ましい。これにより、出演者の顔と服の少なくとも一部とが移る画像領域を設定することができる。図３に示す画像Ｇ２は、出演者Ｃ１〜Ｃ３の顔が視認できる程度の距離から撮像されていること、及び、出演者Ｃ１〜Ｃ３の服が映る程度の距離から撮像されていることから、出演者Ｃ１、Ｃ２、Ｃ３のリファレンス画像として採用してよい。なお、リファレンス画像は、出演者ごとに複数用意されてもよい。リファレンス画像を出演者ごとに用意する場合、例えば、出演者の顔の向きが異なる画像を用いてもよい。また、リファレンス画像を出演者ごとに１つずつ用意する場合は、例えば、出演者が概ね正面（すなわち撮像面）の方向を向いている画像を、リファレンス画像として採用してよい。
以上が、リファレンス画像の説明である。
【００２７】
〔リファレンス領域、候補領域〕
次に、リファレンス領域と、候補領域とについて説明する。
図４は、本実施形態に係るリファレンス領域と、候補領域とを示す図である。
図４において、出演者Ｃ３は、その顔が画像フレームの中央付近に位置するように撮像されている。リファレンス領域、又は、候補領域の設定では、まず、顔検出処理を行う。顔検出処理は、任意の手法により行われてよい。ここでは、一例として、Ｈａａｒ−ｌｉｋｅ検出器を用いた顔検出処理を行うものとする。
【００２８】
次に、顔検出処理により特定した顔の輪郭Ｏ１の外接矩形を拡張して、出演者の顔と、出演者が着用する服の少なくとも一部とを含む領域をリファレンス領域、又は、候補領域として設定する。一般に映像は、水平を画像の横軸方向（図４におけるＸ軸方向）と合わせて撮像されるため、出演者の背丈方向は、画像の縦軸方向（図４におけるＹ軸方向）に概ね一致する。従って、顔の輪郭Ｏ１の外接矩形を画像の縦軸方向下向き（図４におけるＹ軸の正の方向）に拡張することにより、多くの場合、出演者の顔と、服の一部（例えば、襟元付近）とを含む画像領域を特定することができる。一般的な人体の首の長さは、背丈方向における顔の長さ（例えば、図４における「ｈｅｉｇｈｔ」）に比して短い。従って、画像の縦軸方向下向きに、顔の長さの２倍程度、顔の輪郭Ｏ１の外接矩形を拡張することにより、出演者の顔と、出演者が着用する服の一部とを含む領域を設定することができる。
以上が、リファレンス領域、候補領域の説明である。
【００２９】
〔メタデータ〕
次に、解析対象の映像のメタデータについて説明する。
図５は、本実施形態に係るメタデータを示す図である。
本実施形態では、上述したように、一例として、放送番組を解析対象に採用している。従って、図５には、放送番組のメタデータの例を示す。図５に示す例において、メタデータは、番組ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）と、放送開始日時情報と、放送終了日時情報と、放送チャンネル情報と、番組名情報と、出演者名情報と、番組概要文情報と、を互いに対応付けた複数のレコードの集合として構成される。図５に示す例において、各情報は、左から番組ＩＤ（図５における「番組ＩＤ」）、放送開始日時情報（図５における「放送開始日時」）、放送終了日時情報（図５における「放送終了日時」）、放送チャンネル情報（図５における「放送チャンネル」）、番組名情報（図５における「番組名」）、出演者名情報（図５における「出演者名」）、番組概要文情報（図５における「ＥＰＧテキスト（番組概要文）」の順に記述されている。
【００３０】
番組ＩＤとは、放送番組を固有に識別する情報である。
放送開始日時情報と、放送終了日時情報とは、放送番組の放送時間を表す情報である。
放送チャンネル情報とは、放送番組が放送されるチャンネルを表す情報である。
番組名情報とは、放送番組の番組名を表す情報である。
【００３１】
出演者名とは、放送番組の出演者の名前を表す情報である。出演者名には、放送番組の少なくとも一部に出演する出演者の名前が記述される。出演者名には、１以上の名前が記述されてよい。
番組概要文情報とは、放送番組の概要を表す情報である。番組概要文情報は、例えば、テキストにより放送番組の概要が記述される。
【００３２】
画像解析装置１０は、メタデータの番組ＩＤ、又は、番組名情報を参照することにより、放送番組を特定することができる。また、画像解析装置１０は、出演者名情報を参照することにより、出演者の名前を特定することができる。また、放送番組の概要に出演者名が現れることもあるため、画像解析装置１０は、番組概要文情報を参照して、出演者の名前を特定してもよい。
【００３３】
メタデータは、例えば、ＥＰＧ（電子番組表、Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ）の生成に用いられるＭＨ−ＥＩＴ（ＭＨ−イベント情報テーブル）等に記述される情報であってもよいし、放送番組ごとに、人手により作成された情報であってもよい。
以上が、メタデータの説明である。
【００３４】
〔リファレンスリスト〕
次に、リファレンスリストについて説明する。
リファレンスリストとは、各出演者のリファレンス特徴量を表すリストである。
図６は、本実施形態に係るリファレンスリストを示す図である。
図６に示す例において、リファレンスリストは、人物ＩＤと、名前情報と、ＬＢＰ（ローカル・バイナリ・パターン、Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）特徴量情報と、色特徴量情報と、を互いに対応付けたリストである。図６に示す例において、リファレンスリストには、人物ＩＤ（図６における「人物ＩＤ」）、名前情報（図６における「名前」）、ＬＢＰ特徴量情報（図６における「ＬＢＰ特徴量」）、色特徴量情報（図６における「色特徴量」）が左から順に記述されている。
【００３５】
人物ＩＤとは、人物を固有に識別する情報である。人物ＩＤは、放送番組において出演者を識別できるものであればよい。例えば、Ｎ（正の整数）人の出演者がいる場合には、人物ＩＤは、１〜Ｎの番号等であってもよい。
名前情報とは、人物の名前を表す情報である。
【００３６】
ＬＢＰ特徴量情報と、色特徴量情報とは、リファレンス特徴量を表す情報である。ここでは、一例として、画像の特徴量として、ＬＢＰ特徴のヒストグラムと、色ヒストグラムとを抽出する場合について説明する。ただし、画像から抽出される特徴量は、ＬＢＰ特徴と、色ヒストグラムに限られず、任意に選択されてよい。
【００３７】
ＬＢＰ特徴量情報とは、リファレンス画像のＬＢＰ画像特徴を表す情報である。ＬＢＰ特徴とは、テクスチャ解析で用いられるパターンベースの特徴量である。図６には、一例として、注目画素の周囲８画素を参照して、ＬＢＰ特徴を抽出する場合のリファレンスリストのデータ構成を示す。注目画素の周囲８画素を参照する場合、ＬＢＰ特徴は、２５６次元の特徴量となる。
【００３８】
色特徴量情報とは、リファレンス画像の色ヒストグラムを表す情報である。図６には、一例として、ＨＳＶ色空間における色相情報のＨｕｅ要素のヒストグラムを、色特徴量情報として記述する場合のリファレンスリストの構成を示す。Ｈｕｅ要素は０［°］〜３５９［°］の角度として表されるため、１［°］単位でヒストグラムを生成する場合、色特徴量は、３６０次元の特徴量となる。
以上が、リファレンスリストの説明である。
【００３９】
〔フレーム単位人物位置名前リスト〕
次に、フレーム単位人物位置名前リストについて説明する。
図７は、本実施形態に係るフレーム単位人物位置名前リストを示す図である。
図７に示す例において、フレーム単位人物位置名前リストは、フレーム番号情報と、顔番号情報と、識別結果情報と、類似度情報と、顔左上位置情報と、顔幅高さ情報と、を互いに対応付けたリストである。図７に示す例において、フレーム単位人物位置名前リストには、フレーム番号情報（図７における「フレーム番号」）、顔番号情報（図７における「顔番号」）、識別結果情報（図７における「識別結果」）、類似度情報（図７における「類似度」）、顔左上位置情報（図７における「顔左上位置（ｘ，ｙ）」）、顔幅高さ情報（図７における「顔幅高さ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）」が、左から順に記述されている。
【００４０】
フレーム番号情報とは、放送番組の画像フレームを固有に識別する情報である。
顔番号情報とは、画像フレームにおいて特定された出演者の顔領域、すなわち候補領域を識別する情報である。顔番号情報は、各画像フレームにおいて、各候補領域に固有であればよい。
【００４１】
識別結果情報とは、候補領域と、リファレンス領域との類似性の判定結果を表す情報である。識別結果情報には、候補領域に類似すると判定されたリファレンス領域を表す情報が記述される。具体的には、識別結果情報には、例えば、候補領域に類似すると判定されたリファレンス領域に対応する出演者の人物ＩＤ等が記述されてよい。
【００４２】
類似度情報とは、候補領域の特徴量と、リファレンス領域の特徴量との類似度を表す情報である。類似度情報には、例えば、候補領域と、複数の出演者に対応するリファレンス領域との比較により得られた類似度のうち、最も高い類似度が記述される。つまり、類似度情報には、識別結果情報に記述されるリファレンス領域と、候補領域との類似度が記述される。
【００４３】
顔左上位置情報とは、画像フレームにおける候補領域の左上の座標を表す情報である。顔左上位置情報は、例えば、画像フレームの左上を原点とし、画像の横方向をＸ軸（例えば、図４に示すＸ軸）、画像の縦方向をＹ軸（例えば、図４に示すＹ軸）とする直交座標系における座標値として記述される。
【００４４】
顔幅高さ情報とは、画像フレームにおける出演者の顔の外接矩形の大きさを表す情報である。つまり、顔幅高さ情報とは、画像フレームにおける候補領域の大きさを表す情報である。画像の横方向を顔幅方向、画像の縦方向を顔の高さ方向と仮定した場合、顔幅高さ情報には、候補領域の幅（例えば、図４におけるｗｉｄｔｈ）と、候補領域の高さ（例えば、図４におけるｈｅｉｇｈｔ）が記述される。
以上が、フレーム単位人物位置名前リストの説明である。
【００４５】
〔カット点リスト〕
次に、カット点リストについて説明する。
図８は、本実施形態に係るカット点リストを示す図である。
図８に示される例において、カット点リストは、フレーム番号情報と、カットフラグ情報とを、互いに対応付けたリストである。図８に示される例において、カット点リストには、フレーム番号情報（図８における「フレーム番号」）、カットフラグ情報（図８における「カットフラグ」）が、左から順に記述されている。
【００４６】
フレーム番号情報は、図７を参照して説明したフレーム番号情報と同様である。
カットフラグ情報とは、画像フレームがカット点であるか否かを表す情報である。カットフラグ情報は、例えば、「０」又は「１」等の２値で記述され、当該２値のいずれかが画像フレームがカット点であることを表す。
以上が、カット点リストの説明である。
【００４７】
〔カット単位人物位置名前リスト〕
次に、カット単位人物位置名前リストについて説明する。
図９は、本実施形態に係るカット単位人物位置名前リストを示す図である。
図９に示す例において、カット単位人物位置名前リストは、カット番号情報と、人物ＩＤと、顔左上位置情報と、顔幅高さ情報と、を互いに対応付けたリストである。図９に示す例において、カット単位人物位置名前リストには、カット番号情報（図９における「カット番号」）、人物ＩＤ（図９における「人物ＩＤ」）、顔左上位置情報（図９における「顔左上位置（ｘ，ｙ）」）、顔幅高さ情報（図９における「顔幅高さ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）」）が、左から順に記述されている。
【００４８】
人物ＩＤ、顔左上位置情報、顔幅高さ情報は、それぞれ、図７を参照して説明した人物ＩＤ、顔左上位置情報、顔幅高さ情報と同様である。
カットＩＤは、放送番組のカットを固有に識別する情報である。カットＩＤは、各放送番組において固有であればよい。
以上が、カット単位人物位置名前リストの説明である。
【００４９】
〔画像解析装置の構成〕
次に、画像解析装置１０の構成について説明する。
図１０は、本実施形態に係る画像解析装置１０の概略機能構成を示すブロック図である。
画像解析装置１０は、記憶部１２と、通信部１３と、制御部１１０と、を備える。
通信部１３は、例えば、イーサネット（登録商標）ポートやＵＳＢ（ユニバーサル・シリアル・バス、Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）等のデジタル入出力ポート等を含んで構成され、ネットワークを介して間接的に、又は、直接的に接続される他の装置（メタデータ管理装置、映像データ管理装置）等と通信を行う。また、通信部１３は、メタデータ取得部１３１と、画像取得部１３２と、を備える。
【００５０】
メタデータ取得部１３１は、例えば、画像解析装置１０に接続されたメタデータ管理装置から、解析対象の映像コンテンツに対応するメタデータを取得する。メタデータ取得部１３１は、取得したメタデータを制御部１１０に出力する。
画像取得部１３２は、例えば、画像解析装置１０に接続された映像データ管理装置から、解析対象の映像コンテンツの映像データを取得する。
【００５１】
記憶部１２は、例えば、ＨＤＤ（ハード・ディスク・ドライブ、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（ソリッド・ステート・ドライブ、Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ＥＥＰＲＯＭ（エレクトリカリ・イレーサブル・プログラマブル・リード・オンリ・メモリ、Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＯＭ（リード・オンリ・メモリ、Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（ランダム・アクセス・メモリ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を含み、画像解析装置１０が処理する各種情報や後述する各機能を実現するための画像解析プログラムを記憶する。
【００５２】
また、記憶部１２は、リファレンスリスト記憶部１２１と、フレーム単位リスト記憶部１２２と、カット点リスト記憶部１２３と、カット単位リスト記憶部１２４と、を備える。
リファレンスリスト記憶部１２１は、リファレンスリストを記憶する。
フレーム単位リスト記憶部１２２は、フレーム単位人物位置名前リストを記憶する。
カット点リスト記憶部１２３は、カット点リストを記憶する。
カット単位人物位置名前リストは、カット単位人物位置名前リストを記憶する。
【００５３】
制御部１１０は、例えば、記憶部１２に予め記憶された画像解析プログラムを、画像解析装置１０が備えるＣＰＵ（中央処理装置、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１が実行することにより実現される。なお、制御部１１０の一部又は全部は、ＬＳＩ（大規模集積回路、Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）やＡＳＩＣ（特定用途向け集積回路、Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等のハードウェアの集積回路として実現されてもよい。
【００５４】
制御部１１０は、リファレンス生成部１１１と、フレーム単位位置特定部１１２と、カット検出部１１３と、カット単位位置特定部１１４と、を備える。
リファレンス生成部１１１は、リファレンス生成処理を実行し、メタデータ取得部１３１が取得するメタデータと、画像取得部１３２が取得するリファレンス画像とに基づいて、リファレンスリストを生成する。リファレンス生成部１１１は、生成したリファレンスリストをリファレンスリスト記憶部１２１に記憶させる。
フレーム単位位置特定部１１２は、フレーム単位位置特定処理を実行し、リファレンス生成部１１１が生成したリファレンスリストと、画像取得部１３２が取得した解析対象の映像の各画像フレームとに基づいて、フレーム単位人物位置名前リストを生成する。フレーム単位位置特定部１１２は、生成したフレーム単位人物位置名前リストをフレーム単位リスト記憶部１２２に記憶させる。
【００５５】
カット検出部１１３は、カット点検出処理を実行し、画像取得部１３２が取得した解析対象の映像の各画像フレームからカット点を検出する。まず、カット検出部１１３は、各画像フレームの全画素を対象としてＲＧＢ色ヒストグラムを生成する。ＲＧＢの各要素の分割数を２５６とした場合、２５６×２５６×２５６［ｂｉｎ］の色ヒストグラムが得られる。次に、カット検出部１１３は、各ｂｉｎの値を、画素数で正規化する。カット検出部１１３は、解析対象の映像の各画像フレームについて、正規化した色ヒストグラムを生成する。そして、連続する２つの画像フレームについて、色ヒストグラム間の距離（例えばユークリッド距離）を算出し、距離が所定の閾値ＴＣを超えた場合に、後者の画像フレームをカット点と判定する。カット検出部１１３は、判定結果に基づいてカット点リストを生成し、生成したカット点リストをカット点リスト記憶部１２３に記憶させる。
【００５６】
カット単位位置特定部１１４は、カット単位位置特定処理を実行し、フレーム単位位置特定部１１２が生成したフレーム単位人物位置名前リストと、カット検出部１１３が生成したカット点リストとに基づいて、カット単位人物位置名前リストを生成する。具体的には、カット単位位置特定部１１４は、各カットにおいて検出された出演者ｉの信頼度Ｌｉを下記の式（１）により算出する。
【００５７】
【数１】
2017033390.tif 000003
【００５８】
ここで、フレーム数Ｍは各カットにおいて出演者ｉが存在すると判定されたフレーム数である。また、類似度Ｓｉｍは画像フレームｍの候補領域と出演者ｉのリファレンス領域との類似度である。
カット単位位置特定部１１４は、同じカット内の異なる画像フレームにおいて、領域が重複する複数の候補領域の間で判定結果が異なる場合は、信頼度の値が高い出演者の判定結果を優先し、信頼度が低い出演者の判定結果を却下する。これにより、カット単位で出演者の位置の判定結果をまとめることができる。カット単位位置特定部１１４は、信頼度に基づいてカット単位人物位置名前リストを生成し、生成したカット単位人物位置名前リストをカット単位リスト記憶部１２４に記憶させる。
【００５９】
次に、リファレンス生成部１１１についてより詳細に説明する。
リファレンス生成部１１１は、名前特定部１１１１と、領域特定部１１１２と、特徴量算出部１１１３と、リファレンスリスト生成部１１１４とを備える。
名前特定部１１１１は、リファレンス領域に対応する出演者の名前を特定する。名前特定部１１１１は、画像フレームにスーパーインポーズされた出演者の名前を解析することにより、解析対象の映像の出演者の名前を取得する。
【００６０】
ここで、画像フレームにスーパーインポーズされた出演者の名前の解析について説明する。
放送番組の場合、放送番組の冒頭等において、出演者を紹介する目的で出演者の名前がスーパーインポーズされる。例えば、図３に示す画像Ｇ２には、出演者Ｃ１〜Ｃ３の名前Ｎ１〜Ｎ３がそれぞれスーパーインポーズされている。名前特定部１１１１は、スーパーインポーズされた文字列を解析し、出演者の名前を取得する。ここで、名前特定部１１１１は、任意の方法により、出演者の名前がスーパーインポーズされたフレームを特定し、文字列を解析してよい。具体的には、エッジ検出に基づいて出演者の名前がスーパーインポーズされたフレームを特定し、ＯＣＲ（光学文字認識、Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）により文字列を解析する手法を採用してもよい（参考文献：Ｈｅ  ＨＵＡＮＧ，  Ｐｉｎｇ  ＳＨＩ１，“Ａ  Ｍｅｔｈｏｄ  ｏｆ  Ｃａｐｔｉｏｎ  Ｄｅｔｅｃｔｉｏｎ  ｉｎ  Ｎｅｗｓ  Ｖｉｄｅ”，３ｒｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｔｅｃｈｎｏｌｏｇｙ、２０１３）。
【００６１】
出演者の名前がスーパーインポーズされる場合、出演者の名前は、各出演者の頭部の下部又は上部に表示されることが一般的である。図３に示すリファレンス画像Ｇ２の場合は、各出演者Ｃ１〜Ｃ３の名前Ｎ１〜Ｎ３が、各出演者Ｃ１〜Ｃ３の胴体付近に表示されている。従って、リファレンス画像として、出演者の名前がスーパーインポーズされた画像を採用することにより、リファレンス領域と出演者の名前とを、その位置関係に基づいて機械的に対応付けることができる。
【００６２】
具体的には、出演者の名前がスーパーインポーズされた画像をリファレンス画像として採用する場合、名前特定部１１１１は、名前と、該名前を抽出した領域の縦方向（すなわち、図３におけるＹ軸方向）に位置するリファレンス領域とを対応付ける。また、画像フレームから抽出された名前には、ＯＣＲの精度等に起因する誤りがある可能性があるため、名前特定部１１１１は、メタデータに記述された出演者の名前のうち、画像フレームから抽出した名前と同一、又は、最も類似する名前を、リファレンス領域と対応付ける。文字列の類似性の判定には、任意の手法が用いられてよい。
以上が、画像フレームにスーパーインポーズされた出演者の名前の解析について説明する。
【００６３】
領域特定部１１１２は、リファレンス領域を設定する。領域特定部１１１２は、リファレンス画像に対して顔検出処理を実行し、出演者の顔領域の左上の位置（ｘ，ｙ）及び顔領域の輻と高さ（ｗｉｄｔｈ、ｈｅｉｇｈｔ）を取得する。そして、領域特定部１１１２は、例えば、座標（ｘ，ｙ）、（ｘ＋ｗｉｄｔｈ，ｙ）、（ｘ，ｙ＋ｈｅｉｇｈｔ×２）、（ｘ＋ｗｉｄｔｈ，ｙ＋ｈｅｉｇｈｔ×２）の４点を頂点とする矩形の領域をリファレンス領域として設定する。このように、出演者の服の一部が含まれるようにリファレンス領域を設定することにより、出演者の服からも画像特徴量を抽出することができるため、判定精度を向上させることができる。
【００６４】
特徴量算出部１１１３は、領域特定部１１１２が設定したリファレンス領域から画像特徴量、すなわちリファレンス特徴量を抽出する。ここでは、一例として、画像特徴量として、ＬＢＰ特徴と、色ヒストグラムとを抽出する場合について説明する。
まず、ＬＢＰ特徴の抽出について説明する。
ＬＢＰ特徴は識別精度の高さや計算コストの低さから近年注目されている。ＬＢＰ特徴量は、注目画素の周囲の半径をＲ、近傍領域の画素（参照画素）数をＰとして、以下の式（２）に基づいて算出される。
【００６５】
【数２】
2017033390.tif 000004
【００６６】
ここで、ｇｃは注目画素の画素値である。また、ｇｐは参照画素の画素値である。半径Ｒが１（Ｒ＝１）の場合、近傍領域は３×３画素の領域である。この場合、Ｐの最大は８となる。特徴量算出部１１１３は、注目画素ｇｃと近傍領域の画素値ｇｐとの大小比較を行い、２Ｐ種類のパターンＬＢＰＰ：Ｒを算出する。ＬＢＰ特徴は、この２Ｐ種類のパターンの頻度を記述したヒストグラムの特徴量である。ここでは、一例として、Ｒ=１、Ｐ＝８の２５６次元のＬＢＰ特徴を採用する。特徴量算出部１１１３は、画像フレームについて、注目画素をラスタスキャンしてＬＢＰ特徴を算出する。
以上がＬＢＰ特徴の説明である。
【００６７】
色ヒストグラムは、例えば、ＲＧＢ色空間をＨＳＶ色空間へ変換し、色相情報であるＨｕｅ要素のヒストグラムを作成することにより得られる。上述したようにＨｕｅは０［°］〜３５９［°］の角度として表される。ここでは、特徴量算出部１１１３は、一例として、次元数３６０の色頻度を算出し、色ヒストグラムを取得する。
特徴量算出部１１１３は、上記２５６次元のＬＢＰ特徴と、３６０次元の色ヒストグラムとを組み合わせ、合計６１６次元のリファレンス特徴を取得する。特徴量算出部１１１３は、リファレンス特徴を位置の特定を行う対象の出演者の数だけ作成する。
【００６８】
リファレンスリスト生成部１１１４は、出演者の名前と、リファレンス特徴とを対応付けて、リファレンスリストを生成する。リファレンスリスト生成部１１１４は、生成したリファレンスリストをリファレンスリスト記憶部１２１に記憶させる。
以上が、リファレンス生成部１１１の説明である。
【００６９】
次に、フレーム単位位置特定部１１２について説明する。
フレーム単位位置特定部１１２は、領域特定部１１２１と、特徴量算出部１１２２と、類似性判定部１１２３と、フレーム単位リスト生成部１１２４と、を備える。
領域特定部１１２１は、解析対象の画像フレームにおいて、候補領域を設定する。領域特定部１１２１による候補領域の設定は、上述した領域特定部１１１２によるリファレンス領域の設定と同様である。
特徴量算出部１１２２は、領域特定部１１２１が設定した候補領域から画像特徴量、すなわち候補特徴量を抽出する。特徴量算出部１１２２による画像特徴量の抽出処理は、上述した特徴量算出部１１１３による画像特徴量の抽出と同様である。
【００７０】
類似性判定部１１２３は、候補特徴量と、リファレンス特徴量との類似性を判定する。
ここでは、一例として、ヒストグラム交差法により類似度を算出し、類似性を判定する場合について説明する。ヒストグラム交差法では、次元数が等しい２つのヒストグラムＨａ、Ｈｂがある場合、類似度Ｓａｂは下記の式（３）により算出される。
【００７１】
【数３】
2017033390.tif 000005
【００７２】
ここで、ｍｉｎ（ｘ，ｙ）は、要素ｘ、ｙのうち小さな要素を示す。この評価法によると、２つのヒストグラムＨａ、Ｈｂが完全に同じヒストグラムである場合、類似度Ｓａｂの値は、１．０（Ｓａｂ＝１．０）となる。つまり、類似度Ｓａｂの値が１．０に近い程、２つのヒストグラムＨａ、Ｈｂは類似している。
【００７３】
類似性判定部１１２３は、各画像フレームにおいて検出された数の候補領域と、出演者数のリファレンス特徴との間で、類似度を算出する。類似性判定部１１２３は、各画像フレームにおいて検出された各候補領域に対して、最も高い類似度を示したリファレンス領域を対応付ける。つまり、各候補領域に、リファレンス領域の出演者が撮像されていると判定する。ただし、類似性判定部１１２３は、最も高い類似度が所定の閾値ＴＲを下回った場合は、候補領域には、リファレンス領域の出演者が撮像されていないと判定する。また、１つの画像フレームに複数の候補領域が存在する場合には、類似度が高い候補領域と出演者との対応付けを優先して行い、１つの画像フレームにおいて、複数の候補領域が同一の出演者に対応しないようにする。
【００７４】
フレーム単位リスト生成部１１２４は、類似性判定部１１２３による判定結果に基づいて、フレーム単位人物位置名前リストを生成する。具体的には、フレーム単位リスト生成部１１２４は、各候補領域と最も高い類似度を示したリファレンス領域の人物ＩＤを、識別結果情報に記述して、各候補領域の顔番号情報と対応付ける。他方、候補領域に対応する出演者がいないと判定された場合、候補領域には、出演者名の情報がない人物を表す情報を対応付ける。フレーム単位リスト生成部１１２４は、生成したフレーム単位人物位置名前リストを、フレーム単位リスト記憶部１２２に記憶させる。そして、フレーム単位人物位置名前リストが表すフレーム単位の位置情報は、上述したカット単位位置特定部１１４により、カット単位の位置情報にまとめられる。
以上が、フレーム単位位置特定部１１２の説明であり、画像解析装置１０の構成についての説明である。
【００７５】
〔画像解析装置の動作〕
次に、画像解析装置１０の動作について説明する。
図１１は、本実施形態に係る画像解析装置１０による全体的な処理の流れを示すフローチャートである。
（ステップＳ１００）リファレンス生成部１１１は、リファレンス生成処理を実行する。リファレンス生成部１１１は、生成したリファレンスリストを、リファレンスリスト記憶部１２１に記憶させる。その後、制御部１１０は、ステップＳ１０２に処理を進める。
（ステップＳ１０２）フレーム単位位置特定部１１２は、フレーム単位位置特定処理を実行する。フレーム単位位置特定部１１２は、生成したフレーム単位人物位置名前リストを、フレーム単位リスト記憶部１２２に記憶させる。その後、制御部１１０は、ステップＳ１０４に処理を進める。
【００７６】
（ステップＳ１０４）カット検出部１１３は、カット検出処理を実行する。カット検出部１１３は、生成したカット点リストを、カット点リスト記憶部１２３に記憶させる。その後、制御部１１０は、ステップＳ１０６に処理を進める。
（ステップＳ１０６）カット単位位置特定部１１４は、カット単位位置特定処理を実行する。カット単位位置特定部１１４は、生成したカット単位人物位置名前リストを、カット単位リスト記憶部１２４に記憶させる。その後、制御部１１０は、図１１に示す処理を終了する。
なお、ステップＳ１０２の処理と、ステップＳ１０６の処理とは、順序を入れ替えて実行されてもよいし、並行して実行されてもよい。
【００７７】
次に、リファレンス生成処理の流れについて説明する。
図１２は、本実施形態に係る画像解析装置１０によるリファレンス生成処理の流れを示すフローチャートである。
以下では、一例として、ここでは、一例として、出演者の名前がスーパーインポーズされた画像をリファレンス画像とする例について説明する。
【００７８】
（ステップＳ１２０）リファレンス生成部１１１は、メタデータ取得部１３１からメタデータを取得する。その後、リファレンス生成部１１１は、ステップＳ１２２に処理を進める。
（ステップＳ１２２）リファレンス生成部１１１は、画像取得部１３２から、位置を特定する対象の出演者が撮像されたリファレンス画像を取得する。その後、リファレンス生成部１１１は、ステップＳ１２４に処理を進める。
【００７９】
（ステップＳ１２４）リファレンス生成部１１１は、取得した全てのリファレンス画像について、ステップＳ１２６からステップＳ１３６の処理を実行する。そして、リファレンス生成部１１１は、図１２に示す処理を終了する。
（ステップＳ１２６）名前特定部１１１１は、リファレンス画像にスーパーインポーズされた各出演者の名前を抽出する。その後、リファレンス生成部１１１は、ステップＳ１２８に処理を進める。
【００８０】
（ステップＳ１２８）名前特定部１１１１は、メタデータを参照し、メタデータに記述された各出演者の名前と、抽出した各出演者の名前との整合を確認する。名前特定部１１１１は、名前が整合しない場合は、メタデータに記述された名前を採用する。その後、リファレンス生成部１１１は、ステップＳ１３０に処理を進める。
（ステップＳ１３０）領域特定部１１１２は、リファレンス画像に対して、顔検出処理を実行し、各出演者の顔領域を特定する。その後、リファレンス生成部１１１は、ステップＳ１３２に処理を進める。
【００８１】
（ステップＳ１３２）領域特定部１１１２は、特定した各顔領域を拡張し、リファレンス領域を切り出す。その後、リファレンス生成部１１１は、ステップＳ１３４に処理を進める。
（ステップＳ１３４）特徴量算出部１１１３は、各リファレンス領域からリファレンス特徴量を算出する。その後、リファレンス生成部１１１は、ステップＳ１３６に処理を進める。
（ステップＳ１３６）リファレンスリスト生成部１１１４は、出演者の名前と、リファレンス特徴量とを対応付けてリファレンスリストを生成、更新する。
【００８２】
なお、ステップＳ１２０の処理は、ステップＳ１２８の処理に合わせて行われてもよい。また、ステップＳ１２６、Ｓ１２８の処理と、ステップＳ１３０、Ｓ１３２、Ｓ１３４の処理とは、順序を入れ替えて実行されてもよいし、並行して実行されてもよい。
【００８３】
次に、フレーム単位位置特定処理の流れについて説明する。
図１３は、本実施形態に係る画像解析装置１０によるフレーム単位位置特定処理の流れを示すフローチャートである。
（ステップＳ１４０）フレーム単位位置特定部１１２は、画像取得部１３２から解析対象の映像の画像を取得する。その後、フレーム単位位置特定部１１２は、ステップＳ１４２に処理を進める。
（ステップＳ１４２）フレーム単位位置特定部１１２は、取得した全ての解析対象画像について、ステップＳ１４４からステップＳ１５４の処理を実行する。そして、フレーム単位位置特定部１１２は、図１３に示す処理を終了する。
【００８４】
（ステップＳ１４４）領域特定部１１２１は、解析対象画像に対して、顔検出処理を実行し、各出演者の顔領域を特定する。その後、フレーム単位位置特定部１１２は、ステップＳ１４６に処理を進める。
（ステップＳ１４６）領域特定部１１２１は、特定した各顔領域を拡張し、候補領域を切り出す。その後、フレーム単位位置特定部１１２は、ステップＳ１４８に処理を進める。
（ステップＳ１４８）特徴量算出部１１２２は、各候補領域から候補特徴量を算出する。その後、フレーム単位位置特定部１１２は、ステップＳ１５０に処理を進める。
【００８５】
（ステップＳ１５０）類似性判定部１１２３は、リファレンスリストを参照し、各出演者のリファレンス特徴量と、解析対象画像の各候補特徴量との類似度を算出する。その後、フレーム単位位置特定部１１２は、ステップＳ１５２に処理を進める。
（ステップＳ１５２）フレーム単位リスト生成部１１２４は、出演者の名前と、リファレンス特徴量とを対応付けてリファレンスリストを生成、更新する。
以上が、画像解析装置１０の動作の説明である。
【００８６】
〔第１の実施形態のまとめ〕
以上説明してきたように、本実施形態による画像解析装置１０は、映像を取得する画像取得部１３２と、画像取得部１３２が取得する映像に映る人物であって、名前が予め特定されている人物の顔を含む第１画像領域（例えば、リファレンス領域）の特徴量（例えば、リファレンス特徴量）を記憶する記憶部１２と、画像取得部１３２が取得した映像の画像フレームから、人物の顔を含む第２画像領域（例えば、候補領域）を特定する領域特定部１１２１と、第２画像領域の特徴量（例えば、候補特徴量）を算出する特徴量算出部１１２２と、第１画像領域の特徴量と、第２画像領域の特徴量とを比較して、第１画像領域と、第２画像領域との類似性を判定する類似性判定部１１２３と、類似性判定部１１２３が類似すると判定した場合、第１画像領域に含まれる人物の名前を、第２画像領域と対応付けるフレーム単位リスト生成部１１２４と、を備える。
【００８７】
これにより、画像解析装置１０は、人物の名前と、映像の画像フレームにおける人物の顔の領域とを対応付けることができる。つまり、画像解析装置１０は、人物の位置と名前とを推定することができる。従って、画像解析装置１０は、映像の画像フレームにおける人物の位置情報を取得することができる。
【００８８】
画像解析装置１０が取得する位置情報を用いて、例えば、マンガのような画面レイアウトで演出したり、複数の出演者の発言を各出演者の位置に合わせて同時に表示したりすることが考えられる。また、画像解析装置１０が取得する位置情報を、メタデータとして記録しておくことにより、映像検索や番組推薦等へ幅広く利用できる。
【００８９】
また、画像解析装置１０は、画像取得部１３２が取得した映像の画像フレームの中から、カットが切り替わる画像フレームを検出するカット検出部１１３を備え、フレーム単位リスト生成部１１２４は、カット検出部１１３が検出したカット点によって区切られたカットごとに、第１画像領域に含まれる人物の名前と第２画像領域との対応関係をまとめる。
【００９０】
これにより、同じカット内の一部の画像フレームにおいて、出演者の向きが変わること等によって、画像フレーム内の領域と出演者の名前との対応付けに誤りがあった場合であっても、同じカット内での大部分における対応付けが正しければ、誤った対応付けを排除することができる。また、多くの映像コンテンツでは、同じカット内で出演者の位置が変化することが少ない。従って、画像解析装置１０は、映像の画像フレームにおける人物の位置情報の判定精度を向上させ、人物の位置と名前との推定の頑健性を向上させることができる。つまり、画像解析装置１０は、画像フレームごとに独立した推定を行うだけでなく、複数の画像フレームに渡るカット内での追跡処理により、出演者の位置を推定するため、高い頑健性で出演者の位置を推定することができる。
【００９１】
また、第１画像領域と、第２画像領域とは、それぞれ、人物の顔と体幹部分とを含む矩形の画像領域である。
これにより、画像解析装置１０は、人物の顔だけでなく、服装に基づいて、画像領域に映る人物の判定を行うことができる。また、多くの映像コンテンツでは、同じ放送番組で出演者の服装が変わることは少ない。従って、画像解析装置１０は、映像の画像フレームにおける人物の位置情報の判定精度を向上させることができる
【００９２】
また、画像解析装置１０は、画像取得部１３２が取得した映像の画像フレームのうち、人物が映り、且つ、当該人物の名前がスーパーインポーズされた画像フレームから、当該人物の顔を含む第１画像領域の特徴量と、スーパーインポーズされた名前と、を対応付けて記憶部１２に記憶させるリファレンス生成部１１１、を備える。
これにより、画像解析装置１０は、人手に依らず機械的に、比較の基準となる画像領域に対して、その画像領域に映る人物の名前を対応付けることができる。従って、画像解析装置１０は、映像の画像フレームにおける人物の位置情報を取得において、ユーザの負担を軽減することができる。
【００９３】
次に、画像解析装置１０による解析結果について説明する。
図１４は、本実施形態に係る画像解析装置１０による解析結果を示す図である。
図１４に示される画像Ｇ４には、３人の出演者Ｃ１〜Ｃ３が撮像されている。各出演者Ｃ１〜Ｃ３の顔領域Ｏ１１〜Ｏ３１は、顔検出処理により検出され、候補領域Ｏ３１〜Ｏ３２がそれぞれ設定されている。そして、各候補領域Ｏ３１〜Ｏ３２には、出演者Ｃ１〜Ｃ３のリファレンス領域との類似性判定により、名前Ｎ１’〜Ｎ３’が対応付けられている。このように、画像解析装置１０は、画像フレーム内の出演者の位置に対して、名前を対応付けるため、どの出演者がどの位置にいるのかを特定することができる。
以上が、画像解析装置１０による解析結果の説明である。
【００９４】
次に、候補領域の設定に応じた識別精度の変化について説明する。
図１５は、本実施形態に係る特徴量抽出領域の設定の変化に応じた識別精度の変化を示す図である。
図１５に示す例では、特徴量抽出領域のサイズ（図１５における「領域サイズ」）ごとの３人の出演者Ａ〜Ｃ（図１５における「Ａ」、「Ｂ」、「Ｃ」）の識別精度と、当該３人の出演者Ａ〜Ｃの識別精度の平均値（図１５における「平均」）とを示す。また、図１５の「領域サイズ」の項目において、「ｗ」は顔の幅（例えば、図４における「ｗｉｄｔｈ」）を表し、「ｈ」は顔の長さ（例えば、図４における「ｈｅｉｇｈｔ」）を表す。つまり、「領域サイズ」の項目は、顔の幅と、顔の長さとを基準とし、これらの比率を変更したときの特徴量抽出領域の設定を表す。
【００９５】
図１５を参照すると、候補領域の幅を顔の幅と等倍とした場合には、候補領域の高さを顔の長さの２倍、３倍とすることにより精度が向上することが確認できる。これは、顔のみでなく、出演者の服装まで含めて判定を行った方が、判定精度が高まることによる。また、顔の長さを２倍とした場合には、候補領域の幅は、顔の幅の等倍〜２倍とした場合に精度が高いことが確認できる。これは、候補領域の幅を大きく取り過ぎると、個人の特定には無関係な背景まで特徴量抽出領域に含まれてしまうため、候補領域の２倍程度までとした方が、判定精度が高まることによる。
以上が、候補領域の設定に応じた識別精度の変化についての説明である。
【００９６】
次に、画像特徴量に応じた識別精度の差について説明する。
図１６は、本実施形態に係る画像特徴量に応じた識別精度の比較結果を示す図である。
図１６に示す例では、判定に用いる画像特徴量（図１６における「画像特徴量」）ごとの３人の出演者Ａ〜Ｃ（図１６における「Ａ」、「Ｂ」、「Ｃ」）の識別精度と、当該３人の出演者Ａ〜Ｃの識別精度の平均値（図１６における「平均」）とを示す。また、図１６の「画像特徴量」の項目において、「ＳＵＲＦ」はＳＵＲＦ（スピーデッド・アップ・ロバスト・フィーチャ、Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）特徴量を表し、「ＬＢＰ」はＬＢＰ特徴を表し、「色ヒストグラム」は色ヒストグラムを表し、「ＬＢＰ＋色ヒストグラム」はＬＢＰ特徴と色ヒストグラムとの併用を表す。
【００９７】
図１６を参照すると、画像特徴量として、ＬＢＰ特徴と色ヒストグラムとを併用した場合の識別精度が、他の画像特徴量を用いた場合に比して、顕著に高い。これは、出演者の顔領域の識別では画像パターンに関する特徴が有効であるのに対して、服の識別では色に関する特徴が有効であるためである。つまり、画像解析装置１０が出演者の顔と服とを含む領域から出演者の識別を行う場合には、画像パターンに関する特徴量と、色とに関する特徴量との併用が特に好適であり、画像解析装置１０は、色特徴と輝度勾配特徴を組み合わせているため、出演者を高い精度で識別できる。
以上が、画像特徴量に応じた識別精度の差についての説明である。
【００９８】
次に、画像解析装置１０の識別精度について説明する。
図１７は、本実施形態に係る画像解析装置１０による識別精度を示す図である。
図１７に示す例では、８人の出演者Ａ〜Ｈ（図１７における「Ａ〜Ｈ」）の識別精度についての混同行列（Ｃｏｎｆｕｓｉｏｎ  Ｍａｔｒｉｘ）を示す。図１７において、「ｍｉｓｓ」は顔の検出に失敗したカットの割合を示す。
図１７を参照すると、顔の検出に失敗した場合を除くと、８人の出演者Ａ〜Ｈは、それぞれ、他の出演者に特定されることはほとんど無いことが確認できる。実際に、顔の検出に失敗した場合を除くと、全体の識別精度は０．９２であり、画像解析装置１０は、高い精度で判定を行えることが確認された。
以上が、画像解析装置１０の識別精度についての説明である。
【００９９】
［変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の実施形態において説明した各構成は、任意に組み合わせてもよいし、別体の装置に分離して備えられていてもよい。
【０１００】
なお、上述した実施形態において、特徴量抽出領域を、顔の幅と、顔の長さとを基準として設定する場合について説明したが、これには限られない。例えば、特徴量抽出領域の高さは、顔の幅（図４における「ｗｉｄｔｈ」）を基準として設定されてもよい。また、顔以外にも、肩幅等の人体のその他の特徴を用いて特徴量抽出領域を設定してもよい。ただし、肩幅等を用いる場合には、別途肩幅等を検出する処理が発生するのに対し、顔の幅や顔の長さは顔検出処理により、顔の位置の特定とともに得られるので、顔の幅、顔の長さを基準に特徴量抽出領域を設定した方が、処理の負荷を軽減することができる。
【０１０１】
なお、上述した実施形態では、信頼度をカット内における類似度の最大値として算出したが、これには限定されない。例えば、画像解析装置１０は、信頼度を類似度の平均値として算出してもよい。この場合は、例えば、下記の式（４）により、信頼度を算出する。
【０１０２】
【数４】
2017033390.tif 000006
【０１０３】
ここで、フレーム数Ｋは、カット内において、出演者ｉに対応すると判定された候補領域を含むフレーム数である。また、類似度Ｓｉｋはフレームｋの候補領域と、該候補領域に対応する出演者ｉのリファレンス領域との類似度である。また、フレーム数Ｎｆはカットに含まれる総フレーム数である。従って、式（４）によれば、フレーム数Ｋが多い程、又は、類似度Ｓｉｋが高い程、信頼度Ｌｉは大きな値となる。
このように、信頼度の算出には、任意の方法が採用されてよい。
【０１０４】
なお、上述した実施形態では、スーパーインポーズされた名前を解析することによりリファレンス領域と名前との対応付けを行う場合について説明したが、これには限られない。例えば、リファレンス領域と、名前との対応付けは人手により行われてもよい。
なお、リファレンス画像は、カットごとに用意されてもよいし、番組ごとに共通であってもよい。同じ番組では、出演者の服装が変化することは少ないため、番組ごとに共通のリファレンス画像を用いた場合であっても、識別精度が低下することは少ない。この場合、画像解析装置１０は、リファレンス特徴の抽出に要する処理の負荷を軽減することができる。
【０１０５】
なお、画像解析装置１０は、各出演者について、複数のリファレンス領域からリファレンス特徴量を抽出してもよい。この場合は、例えば、同一の出演者が撮像された複数のリファレンス画像フレームの各々においてリファレンス領域を設定し、各リファレンス領域からリファレンス特徴量を取得する。そして、各出演者について取得した複数のリファレンス特徴量を、平均値を算出したり、中央値を取得したりすること等により集約する。これにより、例えば、リファレンス特徴量が特定の画像フレームに映る出演者の向き等に依存してしまうことを防ぐことができるため、精度を向上させることができる。
【０１０６】
なお、上述した実施形態では、画像解析装置１０、ヒストグラム交差法により、候補領域と、リファレンス領域との類似性を判定する場合について説明したが、これには限られない。画像解析装置１０は、例えば、教師あり学習の枠組みでＳＶＭ（サポート・ベクター・マシン、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）回帰等を利用して候補領域と、リファレンス領域との類似性を判定してもよい。また、類似度を算出する場合であっても、ユークリッド距離、バタッチャリヤ距離等のヒストグラム間距離を算出してもよい。このように、候補領域と、リファレンス領域との類似性は、任意の手法により判定されてよい。
【０１０７】
また、上述の画像解析装置１０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像解析装置１０としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳ（オペレーティング・システム、Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ（広域通信網、Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＡＮ（ローカル・エリア・ネットワーク、Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。
【０１０８】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。
【０１０９】
さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【０１１０】
１０…画像解析装置、１１０…制御部、１１１…リファレンス生成部、１１１１…名前特定部、１１１２…領域特定部、１１１３…特徴量算出部、１１１４…リファレンスリスト生成部、１１２…フレーム単位位置特定部、１１２１…領域特定部、１１２２…特徴量算出部、１１２３…類似性判定部、１１２４…フレーム単位リスト生成部、１１３…カット検出部、１１４…カット単位位置特定部、１２１…リファレンスリスト記憶部、１２２…フレーム単位リスト記憶部、１２３…カット点リスト記憶部、１２４…カット単位リスト記憶部
【図１】
2017033390.tif 000007
【図２】
2017033390.tif 000008
【図３】
2017033390.tif 000009
【図４】
2017033390.tif 000010
【図５】
2017033390.tif 000011
【図６】
2017033390.tif 000012
【図７】
2017033390.tif 000013
【図８】
2017033390.tif 000014
【図９】
2017033390.tif 000015
【図１０】
2017033390.tif 000016
【図１１】
2017033390.tif 000017
【図１２】
2017033390.tif 000018
【図１３】
2017033390.tif 000019
【図１４】
2017033390.tif 000020
【図１５】
2017033390.tif 000021
【図１６】
2017033390.tif 000022
【図１７】
2017033390.tif 000023