(57)【要約】  映像解析装置であって、シーン毎に、撮影されている各被撮影者を識別する識別部と、少なくとも一の被撮影者が撮影されているシーンのシーン評価値を算出するシーン評価値算出部と、全てのシーンの中から、前記識別部により識別された全被撮影者のうち前記一の被撮影者に関するシーンを選択するシーン選択部と、シーン選択部により選択されたシーンのシーン評価値を合計し、前記一の被撮影者に関する人物評価値を算出する人物評価値算出部とを備える。
2009016833.tif 000002
【特許請求の範囲】
【請求項１】
シーン毎に、撮影されている各被撮影者を識別する識別手段と、
少なくとも一の被撮影者が撮影されているシーンのシーン評価値を算出するシーン評価値算出手段と、
全てのシーンの中から、前記識別手段により識別された全被撮影者のうち前記一の被撮影者に関するシーンを選択するシーン選択手段と、
シーン選択手段により選択されたシーンのシーン評価値を合計し、前記一の被撮影者に関する人物評価値を算出する人物評価値算出手段と
を備える映像解析装置。
【請求項２】
前記人物評価値は、前記一の被撮影者が撮影されているシーンの撮影者と前記一の被撮影者との間の親密関係を示す値であり、前記人物評価値が大きいほど、親密度が高いことを示す
請求項１記載の映像解析装置。
【請求項３】
前記一の被撮影者に関するシーンは、前記一の被撮影者と他の被撮影者とが共に撮影されているシーンであり、
前記人物評価値は、前記一の被撮影者と前記他の被撮影者との間の親密関係を示す値であり、前記人物評価値が大きいほど、親密度が高いことを示す
請求項１記載の映像解析装置。
【請求項４】
各シーンには、撮影時間を示す時間情報が含まれ、
前記シーン評価値算出手段は、時間情報に基づいてシーン評価値を算出する
請求項１記載の映像解析装置。
【請求項５】
前記シーン評価値算出手段は、前記時間情報から得られるシーンの長さに応じてシーン評価値を算出し、
シーン評価値は、シーンの長さが長いほど大きくなる
請求項４記載の映像解析装置。
【請求項６】
前記シーン評価値算出手段は、前記時間情報から得られるシーンの撮影時間帯に応じてシーン評価値を算出する
請求項４に記載の映像解析装置。
【請求項７】
前記シーン評価値算出手段は、それぞれのシーンに撮影されている被撮影者の人数に応じてシーン評価値を算出し、
シーン評価値は、撮影されている被撮影者の人数が少ないほど大きくなる
請求項１に記載の映像解析装置。
【請求項８】
各シーンには、撮影場所を示す場所情報が含まれ、
前記シーン評価値算出手段は、場所情報に基づいてシーン評価値を算出する
請求項１記載の映像解析装置。
【請求項９】
撮影場所の種類毎に親密度を示す評価値を対応付けた評価値対応テーブルと、場所情報と当該場所情報により示される場所の種類とを対応付けた場所対応テーブルと、を記憶している記憶手段と、
前記場所対応テーブルを参照して、前記場所情報に対応する撮影場所の種類を特定する場所特定手段と、を更に備え、
前記シーン評価値算出手段は、前記評価値対応テーブルを参照して、撮影場所の種類に対応する評価値を特定し、特定した評価値に基づいてシーン評価値を算出する
請求項８記載の映像解析装置。
【請求項１０】
前記場所情報に基づいて、予め記憶されている基準場所から撮影場所までの距離を特定する距離特定手段を更に備え、
前記シーン評価値算出手段は、特定された距離に応じてシーン評価値を算出し、
シーン評価値は、特定された距離が長いほど大きくなる
請求項８に記載の映像解析装置。
【請求項１１】
各シーンには、撮影時間を示す時間情報及び撮影場所を示す場所情報が含まれ、
前記シーン評価値算出手段は、時間情報、場所情報、及びシーンに撮影されている被撮影者の人数のうち少なくとも１つに基づいて、シーン評価値を算出する
請求項１に記載の映像解析装置。
【請求項１２】
各シーンは、当該シーンの撮影時刻、当該シーンに撮影されている被撮影者、及び当該シーンの撮影場所というシーン情報のうち少なくとも一のシーン情報を含んでおり、
他の映像データに係るシーンである蓄積シーン毎に、当該蓄積シーンの撮影時刻、当該蓄積シーンの撮影されている被撮影者、及び当該蓄積シーンの撮影場所という蓄積シーン情報のうち少なくとも一の蓄積シーン情報を蓄積している蓄積手段と、
前記少なくとも一の被撮影者が撮影されているシーンのシーン情報と一致あるいは類似する蓄積シーン情報を蓄積手段から一以上抽出する抽出手段と、を更に備え、
前記シーン評価値算出手段は、抽出された各蓄積シーン情報に基づいて、前記シーンのシーン評価値を算出する
請求項１に記載の映像解析装置。
【請求項１３】
各シーンに含まれるシーン情報は、当該シーンに撮影されている被撮影者を示し、
各蓄積シーン情報は、対応する蓄積シーンに撮影されている被撮影者を示し、
前記シーン評価値算出手段は、前記少なくとも一の被撮影者が撮影されているシーンのシーン評価値を、当該一の被撮影者が前記抽出手段により抽出された全蓄積シーン情報にどれだけ含まれているかに応じて算出し、
シーン評価値は、当該一の被撮影者が含まれる数が多いほど大きくなる
請求項１２に記載の映像解析装置。
【請求項１４】
各シーンに含まれるシーン情報は、当該シーンの撮影時刻を示し、
各蓄積シーン情報は、対応する蓄積シーンの撮影時刻を示し、
前記シーン評価値算出手段は、前記少なくとも一の被撮影者が撮影されているシーンのシーン評価値を、前記抽出手段により抽出された全蓄積シーン情報により示される撮影時刻のうち予め設定されている所定時間帯にどれだけ収まるかに応じて算出し、
シーン評価値は、収まる数が多いほど大きくなる
請求項１２に記載の映像解析装置。
【請求項１５】
各シーンに含まれるシーン情報は、当該シーンの撮影時刻を示し、
各蓄積シーン情報は、対応する蓄積シーンの撮影時刻を示し、
前記シーン評価値算出手段は、前記少なくとも一の被撮影者が撮影されているシーンのシーン評価値を、前記抽出手段により抽出された各蓄積シーン情報が示す撮影時刻の周期性に応じて算出し、
シーン評価値は、周期性が強いほど大きくなる
請求項１２に記載の映像解析装置。
【請求項１６】
前記少なくとも一の被撮影者が撮影されているシーンの撮影者を示す撮影者情報を受け付ける受付手段を更に備え、
前記人物評価値算出手段は、前記撮影者情報により示される撮影者と前記一の被撮影者との間の親密関係を示す人物評価値を算出し、人物評価値が大きいほど、親密度が高いことを示す
請求項１に記載の映像解析装置。
【請求項１７】
各シーンは、動画データを時間軸方向で区切ったもの、または複数の静止画データの集合である
請求項１記載の映像解析装置。
【請求項１８】
シーン毎に、撮影されている各被撮影者を識別する識別ステップと、
少なくとも一の被撮影者が撮影されているシーンのシーン評価値を算出するシーン評価値算出ステップと、
全てのシーンの中から、識別された全被撮影者のうち前記一の被撮影者に関するシーンを選択するシーン選択ステップと、
選択されたシーンのシーン評価値を合計し、前記一の被撮影者に関する人物評価値を算出する人物評価値算出ステップと、
を含む評価値算出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データの解析技術に関し、特に、映像データの解析により、映像データを分類及び整理する指標を得る技術に関する。
【背景技術】
【０００２】
近年、映像データのデジタル化に伴い、映像データの蓄積量が飛躍的に増大している。そのため、低労力で映像データを分類及び整理する技術が必要となっている。【０００３】
従来、静止画像データについては、分類及び整理を支援するアルバムソフトが提供されている。ＪＰＥＧ形式の静止画データには、撮影時刻やＧＰＳにより取得された位置情報（以下、ＧＰＳデータ）等を含むＥｘｉｆ情報が付随しており、従来のアルバムソフトには、Ｅｘｉｆ情報に含まれる情報を、分類及び整理の指標に利用しているものがある。【０００４】
また、静止画像データの他の分類方法として、画像解析を用いた分類法がある（例えば特許文献１）。特許文献１に開示の技術では、顔認識技術などを利用して、静止画データに撮影されている人物を認識し、ある人物が撮影されている静止画データの枚数に応じて人物間の関係を見積もり、見積もった人物間の関係を示す値を静止画データの分類及び整理の指標に利用している。【０００５】
かかる技術において分類及び整理の対象となる静止画像データは、個人的な用途で撮影される静止画像データであり、撮影者が意図した時点で撮影機材を構え、能動的に画像の構図を決定して撮影される記念撮影等で得られる。記念撮影等で得られる個人用途の静止画像データは、撮影時点が時間的に離散しているが、その画面内に撮影現場に同行した人物が適切に写し込まれることが予想される。ゆえに、撮影時の人物間の関係を、見積もることができる。
【特許文献１】特開２００６−８１０２１号公報（第５項、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、映像データとして例えば動画データは、時間的に幅をもつ期間中に連続して撮影された多くの静止画像（以下、フレーム画像）を含む。【０００７】
しかし、カメラワークや被撮影者の移動により、ある撮影期間を通して全てのフレーム画像で、同じ被写体人物が撮影され続けるとは限らない。そのため、撮影場所には同行しているが、時には撮影範囲外に同行者が存在することになり、画像内にその人物が写し込まれないフレーム画像もある。【０００８】
ここで特許文献１に開示の技術を動画データに適用し、動画データに含まれるフレーム画像毎に撮影されている人物を認識して、ある人物が撮影されているフレーム画像の枚数に応じて人物間の関係を見積もると、撮影場所には同行しているにもかかわらず、低く評価される恐れがある。【０００９】
したがって、かかる技術を動画データに適用することによって得られる指標値は、動画データを分類及び整理する適切な指標とはなりえない。【００１０】
特に、ウェアラブル端末での撮影においては、ユーザが能動的に撮影動作を執り行うことがないため、この問題は顕著になる。【００１１】
本発明は、映像データを分類及び整理するに適した指標を映像解析により得る映像解析装置、並びに、映像データを分類及び整理するのに適した指標を得るための評価値算出方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の一実施態様である映像解析装置は、  シーン毎に、撮影されている各被撮影者を識別する識別手段と、少なくとも一の被撮影者が撮影されているシーンのシーン評価値を算出するシーン評価値算出手段と、全てのシーンの中から、前記識別手段により識別された全被撮影者のうち前記一の被撮影者に関するシーンを選択するシーン選択手段と、シーン選択手段により選択されたシーンのシーン評価値を合計し、前記一の被撮影者に関する人物評価値を算出する人物評価値算出手段とを備える。【００１３】
ここで、シーンとは、例えば、動画像データにおいて複数のフレーム画像からなる部分や、複数の静止画データの集合等が該当する。
【発明の効果】
【００１４】
上記課題を解決するための手段に記載の構成により、フレーム画像単位ではなく、シーン単位で被撮影者を識別することができ、識別された被撮影者に関する人物評価値はシーン毎に算出されたシーン評価値を合計することにより算出することができる。【００１５】
したがって、例えば、あるシーンにおいて識別された被撮影者に、当該シーンにおいて撮影されていない期間があったとしても、シーン毎にシーン評価値は算出されるため、当該シーンにおけるシーン評価値は当該シーンにおいて識別された全ての被撮影者で一律である。【００１６】
ゆえに、撮影場所には同行しているにもかかわらず撮影されていない期間があるために、撮影者との関係が極端に低く見積もられるという可能性は低く、映像データを分類及び整理するのに適した指標を得ることができる。【００１７】
ところで、撮影者自身は、画像データの中に写り込むことはないが、実際にはその撮影場所に同行しているはずである。しかし、特許文献１に開示の技術では、被写体人物間の関係を対象としており、被写体と画像中に出現しない撮影者との間の関係を評価することはできない。【００１８】
そこで、本発明の一実施態様である映像解析装置では、前記人物評価値は、前記一の被撮影者が撮影されているシーンの撮影者と前記一の被撮影者との間の親密関係を示す値であり、前記人物評価値が大きいほど、親密度が高いことを示す、とするのが望ましい。【００１９】
これにより、一の被撮影者が撮影されているシーンの撮影者と当該一の被撮影者との間の関係を人物評価値として算出することができる。したがって、例えば、動画データを複数人により交代で撮影した場合であっても、各撮影者と所定の被撮影者との間の親密関係を人物評価値として算出することができる。【００２０】
また、本発明の一実施態様である映像解析装置では、前記一の被撮影者に関するシーンは、前記一の被撮影者と他の被撮影者とが共に撮影されているシーンであり、前記人物評価値は、前記一の被撮影者と前記他の被撮影者との間の親密関係を示す値であり、前記人物評価値が大きいほど、親密度が高いことを示す、としてもよい。【００２１】
これにより、一の被撮影者と他の被撮影者との間の親密関係を人物評価値として算出することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係る映像解析装置２が適用された分類整理システムを示す図である。
【図２】映像解析装置２のハードウェア構成を示す図である。
【図３】映像解析装置２の機能構成を示すブロック図である。
【図４】映像解析装置２の機能構成の詳細を示すブロック図である。
【図５】映像解析装置２の機能構成の詳細を示すブロック図である。
【図６】プロフィール情報を示す図である。
【図７】基準場所情報のデータ構造を示す図である。
【図８】動画像データと当該動画像データを構成するフレーム画像とシーンとの関係を示す図である。
【図９】シーン時間情報を示す図である。
【図１０】シーン参加者情報を示す図である。
【図１１】シーン場所情報を示す図である。
【図１２】シーン撮影者情報を示す図である。
【図１３】シーンＩＤと対応付けられた時間重み値を示す図である。
【図１４】シーンＩＤと対応付けられた参加人数重み値を示す図である。
【図１５】シーンＩＤと対応付けられた場所重み値を示す図である。
【図１６】類似シーン情報を示す図である。
【図１７】撮影者−参加者間共有シーン情報を示す図である。
【図１８】撮影者−参加者間評価値情報を示す図である。
【図１９】参加者間共有シーン情報を示す図である。
【図２０】参加者間評価値情報を示す図である。
【図２１】評価値情報を示す図である。
【図２２】表示方法の一例を示す図である。
【図２３】表示方法の一例を示す図である。
【図２４】映像解析装置２の全体的な動作を示すフローチャートである。
【図２５】シーン分割処理を示すフローチャートである。
【図２６】シーン情報抽出処理を示すフローチャートである。
【図２７】シーン内撮影者―参加者間評価値算出処理を示すフローチャートである。
【図２８】シーン内撮影者―参加者間評価値算出処理を示すフローチャートである。
【図２９】シーン内参加者間評価値算出処理を示すフローチャートである。
【図３０】シーン内参加者間評価値算出処理を示すフローチャートである。
【図３１】映像解析装置２ａの機能構成を示すブロック図である。
【図３２】撮影者情報を示す図である。
【図３３】参加者情報を示す図である。
【図３４】評価値情報を示す図である。
【図３５】映像解析装置２ａの動作を示すフローチャートである。
【符号の説明】
【００２３】
１  データ記録装置
２  映像解析装置
２０１  ＣＰＵ
２０２  ＲＯＭ
２０３  ＣＲＴ
２０４  キーボード
２０５  通信Ｉ/Ｆ
２０６  ＲＡＭ
２０７  ＨＤＤ
２０８  マウス
３１０  データベース部
３１１  動画像データ格納部
３１２  音声・顔情報格納部
３１３  地図情報格納部
３１４  基準場所情報格納部
３１５  撮影者情報格納部
３２０  記録情報解析部
３２１  シーン時間情報生成部
３２２  シーン参加者情報生成部
３２２ａ  参加者情報生成部
３２３  シーン場所情報生成部
３２４  シーン撮影者情報生成部
３２４ａ  撮影者情報生成部
３３０  シーン重み値算出部
３３１  シーン時間重み値算出部
３３２  シーン参加人数重み値算出部
３３３  シーン場所重み値算出部
３４０  類似シーン情報抽出部
３４１  抽出部
３４２  シーン情報蓄積部
３５０  シーン内撮影者−参加者間評価値算出部
３５０ａ  撮影者−参加者間評価値算出部
３５１  共有シーン検出部
３５２  シーン内評価値算出部
３６０  シーン内参加者間評価値算出部
３６０ａ  参加者間評価値算出部
３６１  共有シーン検出部
３６２  シーン内評価値算出部
３７０、３７０ａ  評価値情報格納部
【発明を実施するための最良の形態】
【００２４】
以下、図面に基づき本発明の実施の形態を説明する。
〔第１実施形態〕
１．全体構成
まず、分類整理システムの概要について説明する。【００２５】
図１は、本発明に係る映像解析装置２が適用された分類整理システムを示している。プログラムを読み込んで映像解析装置として機能するパソコン２は、ＵＳＢケーブルなどを介して、ウェアラブルカメラやビデオカメラなどのデータ記録装置１と接続されている。【００２６】
データ記録装置１は、カメラやマイクロホンを含んで構成され、カメラやマイクロホンによって撮影された動画像データを記録媒体に記録する。また、記録した動画像データを映像解析装置２に出力する。【００２７】
映像解析装置２は、データ記録装置１から入力された動画像データを解析し、動画像データを分類及び整理するための指標を得る。具体的には、動画像データを所定の時間区間で区切ったシーン毎に、撮影されている被撮影者を識別するとともに、シーン評価値を算出する。ここで、撮影されている被撮影者とは、当該シーンを構成するフレーム画像に一定数以上写っている被撮影者、または一定割合以上写っている被撮影者をいう。そして、全てのシーンのうち、識別された被撮影者の何れか一の被撮影者に関するシーンを検出し、検出したシーンのシーン評価値を合計することにより、一の被撮影者に関する人物評価値を算出する。【００２８】
また、映像解析装置２は、各被撮影者に関する人物評価値に基づいて、動画像データを分類及び整理する。【００２９】
なお、本実施の形態では、特に、ウェアラブルカメラで撮影された動画像データを映像解析の対象とする。【００３０】
以下、本実施の形態における映像解析装置２について、図面を用いて詳細に説明する。
２．映像解析装置２の構成
２．１．ハードウェア構成
図２は、映像解析装置２のハードウェア構成を示す図である。映像解析装置２は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０６、ＣＲＴディスプレイ２０３、キーボード２０４、通信インターフェース２０５、ハードディスク２０７、マウス２０８を含んで構成され、これらはバスを介して相互に通信可能に接続されている。【００３１】
通信インターフェース２０５は、例えば、ＵＳＢケーブルなどと接続されていて、データ記録装置１から動画像データを取り込む。【００３２】
ハードディスク２０７には、ＯＳの他、アルバムソフト、画像認識ソフト、シーン分割、シーン重み値の生成、シーン情報の抽出、及び評価値の算出等の映像解析に関する制御プログラム、ウェアラブルカメラやビデオカメラ等のデータ記録装置１と通信し、それらの機器から動画像データ等を読み込んだり、それらの機器へ動画像データ等を出力したりするアプリケーションソフト、並びにブラウザといったプログラムなど、さらには映像解析に用いられる各種データや閾値が格納されている。そして、電源のオンとともにＯＳを起動し、続いてキーボード２０４やマウス２０８からの起動指示により、指定されたプログラムをＲＡＭ２０６上に読み出し、ＣＰＵ２０１が解読し実行する。【００３３】
２．２．機能構成
続いて、ハードディスク２０７に格納されている制御プログラムにしたがってＣＰＵ２０１が動作することにより達成される機能について説明する。図３は、映像解析装置２の機能構成の一例を示すブロック図である。同図に示すように、映像解析装置２は、データベース部３１０、記録情報解析部３２０、シーン重み値算出部３３０、類似シーン情報抽出部３４０、シーン内撮影者−参加者間評価値算出部３５０、シーン内参加者間評価値算出部３６０、及び評価値情報格納部３７０を含んで構成される。【００３４】
データベース部３１０は、具体的には、ハードディスク２０７等を含んで構成され、動画像データ等、本発明に用いられる各種データを格納している。各種データの詳細は“２．２．１．データベース部３１０”で説明する。【００３５】
記録情報解析部３２０は、データベース部３１０から動画像データを読み出し、読み出した動画像データを解析して、シーン重み値算出部３３０による重み値の算出、及び類似シーン情報抽出部３４０による類似シーンの抽出の際に用いられる、シーンに関する各種情報を生成する。生成した各種情報をシーン重み値算出部３３０及び類似シーン情報抽出部３４０に出力する。動画像データの解析方法、及び解析に基づき生成される各種情報の詳細は“２．２．２．記録情報解析部３２０”で説明する。【００３６】
シーン重み値算出部３３０は、記録情報解析部３２０から入力された各種情報を用いて、シーン毎に重み値を算出し、撮影者−参加者間評価値算出部３５０及び参加者間評価値算出部３６０に出力する。詳細は“２．２．３．シーン重み値算出部３３０”で説明する。【００３７】
類似シーン情報抽出部３４０は、記録情報解析部３２０から入力された各種情報に基づいて、データベース部３１０に蓄積されている、他の動画像データに係るシーンのシーン情報から、解析対象である動画像データに係るシーンのシーン情報と類似するシーン情報を抽出し、抽出結果を撮影者−参加者間評価値算出部３５０及び参加者間評価値算出部３６０に出力する。【００３８】
シーン内撮影者−参加者間評価値算出部３５０は、シーン重み値算出部３３０から入力されたシーン毎の重み値と、類似シーン情報抽出部３４０から入力されたシーン情報とに基づいて、解析の対象となった動画像データを撮影した人物である撮影者と、撮影対象としてシーンに参加している参加者との間の関係を示す評価値を算出し、評価値情報格納部３７０に出力する。【００３９】
シーン内参加者間評価値算出部３６０は、シーン重み値算出部３３０から入力されたシーン毎の重み値と、類似シーン情報抽出部３４０から入力されたシーン情報とに基づいて、撮影対象としてシーンに参加している参加者同士の間の関係を示す評価値を算出し、評価値情報格納部３７０に出力する。【００４０】
評価値情報格納部３７０は、撮影者−参加者間評価値算出部３５０より入力された撮影者−参加者間の評価値と、参加者間評価値算出部３６０より入力された参加者同士間の評価値とを対応付けて格納する。詳細は“２．２．７．評価値情報格納部３７０”で説明する。【００４１】
以下、各機能ブロックについて、図４、５を用いて、さらに詳細に説明する。図４、５は図３の機能ブロック図をさらに詳細にしたものである。【００４２】
２．２．１．データベース部３１０
データベース部３１０は、図４に示すように、動画像データ格納部３１１、音声・顔情報格納部３１２、地図情報格納部３１３、基準場所情報格納部３１４、及び撮影者情報格納部３１５を含んで構成される。【００４３】
動画像データ格納部３１１は、データ記録装置１により撮影された動画像データを、データ記録装置１に備えられたＧＰＳにより取得された位置情報（緯度及び経度）と対応付けて格納している。【００４４】
音声・顔情報格納部３１２は、認証の際に用いられる複数の人物のプロフィール情報を格納している。図６は、プロフィール情報を示す図である。プロフィール情報は、図６に示すように、顔画像認証の際に利用される複数の人物の顔情報及び話者認証の際に利用される複数の人物の音声情報と、人物を識別するための人物識別子とを対応付けたものである。【００４５】
地図情報格納部３１３は、位置情報とその位置の名称（以下、「ランドマーク情報」という）や種別とを対応付けた地図情報を格納している。【００４６】
基準場所情報格納部３１４は、基準場所情報を格納している。図７は、基準場所情報のデータ構造を示す図である。基準場所情報は、図７に示すように、例えば、自宅や会社等、ユーザが普段よくいる場所等を、その位置情報と対応付けたものである。【００４７】
撮影者情報格納部３１５は、映像を撮影した人物を識別するための人物識別子を格納している。ウェアラブルカメラで映像が撮影された場合には、当該ウェアラブルカメラの所有者を示す人物識別子が、撮影者として予め格納されている。【００４８】
２．２．２．記録情報解析部３２０
記録情報解析部３２０は、図４に示すように、シーン時間情報生成部３２１、シーン参加者情報生成部３２２、シーン場所情報生成部３２３、及びシーン撮影者情報生成部３２４を含んで構成される。【００４９】
シーン時間情報生成部３２１は、動画像データ格納部３１１から解析すべき動画像データを読み出し、読み出した動画像データを複数のシーンに区切り、シーン時間情報を生成する。生成したシーン時間情報をシーン参加者情報生成部３２２、シーン場所情報生成部３２３、シーン撮影者情報生成部３２４、抽出部３４１、及び時間重み値算出部３３１に出力する。【００５０】
動画像データを複数のシーンに区切る際、例えば、画像情報に基づきシーンに区切る場合には、シーン時間情報生成部３２１は、動画像データを構成するフレーム画像毎に画像情報を順次解析していき、撮影画像の全体的な色の変化に基づいて分割点を決定する。詳細は、“４．２．シーン分割処理”で説明する。【００５１】
図８は、動画像データと当該動画像データを構成するフレーム画像とシーンとの関係を示す図である。図８に示すように、動画像データ格納部３１１に格納されているファイル名ａａａの動画像データは、例えば、時刻１０：００、１５：００、１８：００でそれぞれシーンに区切られる。それぞれの点はフレーム画像の全体的な色が大きく変化した点である。このように、ファイル名ａａａの動画像データは、当該動画像データを時間軸方向で区切った４つのシーンから構成され、各シーンは複数のフレーム画像から構成されているのがわかる。【００５２】
図９は、シーン時間情報を示す図である。シーン時間情報は、図９に示すように、複数のシーンのそれぞれについて、当該シーンを識別するシーン識別子（ＩＤ）と、当該シーンの時間情報（開始時刻及び終了時刻）とを対応付けたものである。ここで、シーンＩＤとは、それぞれのシーンについて一意となるべく定められた値であってよい。【００５３】
シーン参加者情報生成部３２２は、動画像データ格納部３１１から解析すべき動画像データを読み出すと、シーン時間情報生成部３２１から入力されたシーン時間情報により示されるシーン毎に、当該シーンを撮影者と共に行動していた人物を参加者として特定し、シーン参加者情報を生成する。生成した参加者情報を参加人数重み値算出部３３２、抽出部３４１、及び共有シーン検出部３５１、３６１に出力する。【００５４】
各シーンにおける参加者を特定するためには、まず当該シーンを構成するフレーム画像毎に、人物の顔画像の検出を行う。具体的には、輪郭抽出処理や色分布分析処理等の公知の画像処理を行い、当該画像に含まれる１以上の被写体を検出し、検出した各被写体を示す画像から人物の顔に固有の特徴量を検出することにより、当該画像から人物の顔を示す部分画像を検出する。【００５５】
そして、顔画像認識技術を用いて、検出した人物の顔画像が音声・顔情報格納部３１２に格納されている人物の顔画像の何れかに該当するか否かを判定する。当該シーンにおいて、該当すると判定した人物の顔画像を含むフレーム画像が、一定数以上ある場合、その人物は当該シーンの参加者であると判定する。【００５６】
なお、音声・顔情報格納部３１２に顔画像が格納されていない人物であっても、所定数以上そのシーンに登場しているならば、参加者として判定してもよく、その場合には、参加者と判定された人物の顔画像を音声・顔情報格納部３１２に新たに追加してもよい。【００５７】
図１０は、シーン参加者情報を示す図である。シーン参加者情報は、図１０に示すように、複数のシーンのそれぞれについて、当該シーンを識別するシーン識別子（ＩＤ）と、当該シーンの参加者と判定された人物を示す参加者ＩＤとを対応付けたものである。ここで、参加者ＩＤとは、それぞれの参加者について一意となるべく定められた値であってよい。【００５８】
シーン場所情報生成部３２３は、動画像データ格納部３１１から解析すべき動画像データに対応する位置情報を読み出すと、位置情報に基づいて、シーン時間情報生成部３２１から入力されたシーン時間情報により示されるシーン毎に、シーン場所情報を生成し、生成したシーン場所情報を抽出部３４１、及び場所重み値算出部３３３に出力する。【００５９】
具体的には、動画像データ格納部３１１に格納されている動画像データに対応付けられたＧＰＳデータから、各シーンに該当する時刻の位置情報を検出し、当該位置情報を地図情報格納部３１３に格納されている地図情報と照らし合わせ、地図情報から当該位置情報に対応するランドマーク情報を得る。【００６０】
図１１は、シーン場所情報を示す図である。シーン場所情報は、図１１に示すように、複数のシーンのそれぞれについて、当該シーンを識別するシーン識別子（ＩＤ）、当該シーンの緯度及び経度、並びにランドマーク情報を対応付けたものである。【００６１】
シーン撮影者情報生成部３２４は、動画像データ格納部３１１から解析すべき動画像データを読み出すと、シーン時間情報生成部３２１から入力されたシーン時間情報により示されるシーン毎に、当該シーンを撮影した人物を撮影者として特定し、シーン撮影者情報を生成する。【００６２】
具体的には、撮影者情報格納部３１５に格納されているシーン撮影者情報により示される人物を、当該シーンを撮影した撮影者であると判定する。なお、シーン撮影者情報は、動画像データの撮影の際に、ユーザ入力により当該動画データに対応付けて予め格納されるものとする。【００６３】
図１２は、シーン撮影者情報を示す図である。シーン撮影者情報は、図１２に示すように、複数のシーンのそれぞれについて、当該シーンを識別するシーン識別子（ＩＤ）と、当該シーンの撮影者と判定された人物を示す撮影者ＩＤとを対応付けたものである。ここで、撮影者ＩＤとは、それぞれのシーンについて一意となるべく定められた値であってよい。本実施の形態では、ウェアラブルカメラで撮影された動画像データを対象としているので、撮影者はシーンによらず一定であるとする。【００６４】
２．２．３．シーン重み値算出部３３０
シーン重み値算出部３３０は、図４、５に示されるように、シーン時間重み値算出部３３１、シーン参加人数重み値算出部３３２、及びシーン場所重み値算出部３３３を含んで構成される。【００６５】
シーン時間重み値算出部３３１は、シーン時間情報生成部３２１から入力されたシーン時間情報に基づいて、シーン毎に時間重み値を算出する。具体的には、各シーンＩＤに対応する時間情報に基づき時間長をそれぞれ生成し、時間長に基づいて各シーンにおける時間重み値を算出する。例えば、時間長が長ければ長いほど、より重み付けを高くするとした場合には、時間重み値RTは以下の（数１）で表されるように、シーンの時間長Tに定数α（ここでは０．２とする）を乗じた値となる。
RT＝αT・・・（数１）
図１３は、シーンＩＤと対応付けられた時間重み値を示す図である。ここでは、シーンＩＤ２、３、４の時間重み値はそれぞれ１．０、０．６、０．２である。【００６６】
シーン時間重み値算出部３３１は、それぞれの時間重み値をシーン内評価値算出部３５２、３６２に出力する。【００６７】
シーン参加人数重み値算出部３３２は、シーン参加者情報生成部３２２から入力されたシーン参加者情報に基づいて、シーン毎に参加人数重み値を算出する。具体的には、参加人数重み値を算出するために、まず、シーン毎に参加者の人数を合計する。このとき、撮影者本人も参加人数としてカウントする。次に、参加人数に応じて、各シーンにおける参加人数重み値を算出する。例えば、シーンにおける参加人数が少なければ少ないほど、より重み付けを高くするとした場合には、参加人数重み値RNは以下の（数２）で表されるように、シーン参加人数Nの逆数に定数β（ここでは２とする）を乗じた値となる。
RN＝β（１／N）・・・（数２）
図１４は、シーンＩＤと対応付けられた参加人数重み値を示す図である。ここでは、シーンＩＤ２、３、４の参加人数重み値はそれぞれ０．６６、０．５、１．０である。【００６８】
シーン参加人数重み値算出部３３２は、それぞれの参加人数重み値をシーン内評価値算出部３５２、３６２に出力する。【００６９】
シーン場所重み値算出部３３３は、シーン場所情報生成部３２３から入力されたシーン場所情報、及び基準場所情報格納部３１４から入力された基準場所情報に基づいて、シーン毎に場所重み値を算出する。具体的には、シーン場所情報の各シーンの緯度及び経度と、基準場所情報に示される場所の緯度及び経度とに基づいて、２点間の距離を算出した後、各シーンにおける位置と基準位置との間の距離に応じて、各シーンにおける場所重み値を算出する。例えば、基準位置からの距離が遠ければ遠いほど重み付けを高くし、逆に、基準位置でシーンを共有した場合には重み付けを低くするとした場合には、場所重み付け係数RLは以下の（数３）で表されるように、基準位置からの距離Lに定数γ（ここでは０．１とする）を乗じた値となる。
RL＝γL・・・（数３）
図１５は、シーンＩＤと対応付けられた場所重み値を示す図である。ここでは、シーンＩＤ２、３、４の場所重み値はそれぞれ０、１．０、０．５である。【００７０】
シーン場所重み値算出部３３３は、それぞれの場所重み値をシーン内評価値算出部３５２、３６２に出力する。【００７１】
２．２．４．類似シーン情報抽出部３４０
類似シーン情報抽出部３４０は、図４に示すように、抽出部３４１と、シーン情報蓄積部３４２とを含んで構成される。【００７２】
抽出部３４１は、記録情報解析部３２０からシーンに関する各種情報を受け取ると、シーン情報蓄積部３４２に蓄積されている、過去の他の動画像データに係るシーンのシーン情報にアクセスし、当該シーン情報と解析対象である動画像データに係るシーンのシーン情報との類似度を算出する。シーン情報の類似度としては、時間類似度、参加者類似度、及び場所類似度が算出される。【００７３】
時間類似度は、シーンの記録された年月日、及び時間帯の類似性により算出される。【００７４】
参加者類似度は、シーン参加者情報の一致度により算出される。【００７５】
場所類似度は、シーン場所情報に示される距離の近さや、ランドマーク情報の類似性により算出される。【００７６】
抽出部３４１は、シーン情報蓄積部３４２に蓄積されているシーン情報のうち、算出した各類似度が高い上位一定数のシーン情報を、類似シーン情報として、撮影者−参加者間評価値算出部３５０及び参加者間評価値算出部３６０に出力する。【００７７】
図１６は、類似シーン情報を示す図である。類似シーン情報は、図１６に示すように、シーンID、シーン時間情報、シーン参加者情報、及びシーン場所情報から構成される。各類似シーン情報は、類似度の高いものから順に並べられた形式で出力される。なお、各類似シーン情報の類似度を示す数値を併せて出力しても良い。【００７８】
シーン情報蓄積部３４２は、過去の他の動画像データに係るシーンのシーン情報を蓄積している。【００７９】
２．２．５．シーン内撮影者−参加者間評価値算出部３５０
シーン内撮影者−参加者間評価値算出部３５０は、図５に示すように、共有シーン検出部３５１、及びシーン内評価値算出部３５２を含んで構成される。【００８０】
共有シーン検出部３５１は、シーン参加者情報生成部３２２から入力されたシーン参加者情報とシーン撮影者情報生成部３２４から入力されたシーン撮影者情報とに基づいて、撮影者を除く参加者数が一人以上存在するシーンを、共有シーンとして検出し、撮影者−参加者間共有シーン情報を生成する。生成した撮影者−参加者間共有シーン情報をシーン内評価値算出部３５２に送信する。【００８１】
図１７は、撮影者−参加者間共有シーン情報を示す図である。全てのシーンには、撮影者が参加しているため、各シーンについて、撮影者と各参加者との組みが生成される。なお、撮影者を除く参加者数が０のシーンについては、評価値算出処理は行わないため、共有シーンとして検出されることはない。したがって、シーンＩＤ１のシーンは、撮影者を除く参加者が存在しないため、撮影者−参加者間の組み合わせが存在せず、共有シーンとして検出されずに除外される。【００８２】
シーン内評価値算出部３５２は、シーン重み値算出部３３０から入力された各重み値と類似シーン情報抽出部３４０から入力された類似シーン情報と共有シーン検出部３５１から入力された撮影者−参加者間共有シーン情報とに基づいて、シーン内撮影者−参加者間評価値情報を算出し、評価値情報格納部３７０に出力する。処理の詳細は“４．４．シーン内撮影者−参加者間評価値算出処理”で説明する。【００８３】
図１８は、シーン内撮影者−参加者間評価値情報を示す図である。シーン内撮影者−参加者間評価値情報は、撮影者−参加者間共有シーン情報に加え、シーン評価値（時間重み値、参加人数重み値、場所重み値、及び類似シーン情報に基づきシーン毎に算出されるシーン重み係数）と、参加者評価値（各シーンにおける参加者毎に算出される参加者重み係数）とを含んで構成される。【００８４】
各シーンの参加者毎のシーン評価値は、該シーンの時間重み値、参加人数重み値、場所重み値、シーン重み係数、及び参加者重み係数の合計値を算出することにより得ることができる。【００８５】
なお、シーン評価値を算出する際に、時間重み値、参加人数重み値、及び場所重み値に対し重み付けを行った後に、合計値を算出するとしてもよい。詳細は“４．４．シーン内撮影者−参加者間評価値算出処理”で説明する。ここでは簡単のため、重み付けを行わずにそれぞれの値の合計値を算出するものとして、説明を続ける。【００８６】
ここで、あるシーンSにおける撮影者Xと参加者Aとの評価値をRASとすると、全シーンにおける撮影者Xと参加者Aとの評価値RAは、（数５）に示すように、各共有シーンの評価値RAnの総和により算出される。
RA  ＝  ΣRAn・・・（数５）
すなわち、全シーンにおいて同じ撮影者と参加者との組の評価値を合計することにより、最終的に、参加者ＩＤＡ、Ｂ、Ｃ、Ｄのそれぞれについて、評価値５．７６、２．６６、５．８、２．８５を得ることができる。【００８７】
２．２．６．シーン内参加者間評価値算出部３６０
シーン内参加者間評価値算出部３６０は、図５に示すように、共有シーン検出部３６１、及びシーン内評価値算出部３６２を含んで構成される。【００８８】
共有シーン検出部３６１は、シーン参加者情報生成部３２２から入力されたシーン参加者情報に基づいて、撮影者を除く参加者数が二人以上存在するシーンを共有シーンとして検出し、参加者間共有シーン情報を生成する。生成した参加者間共有シーン情報をシーン内評価値算出部３６２に送信する。【００８９】
図１９は、参加者間共有シーン情報を示す図である。撮影者を除く参加者が一人以下のシーンについては、参加者間の評価値算出処理は行わないため、共有シーンとして検出されることはない。したがって、シーンＩＤ４のシーンは、撮影者以外の参加者が一人であったため、参加者間の組み合わせが存在せず、共有シーンとして検出されずに除外される。参加者数が３人以上の場合、全ての参加者同士の組み合わせが生成される。【００９０】
シーン内評価値算出部３６２は、シーン重み値算出部３３０から入力された各重み値と類似シーン情報抽出部３４０から入力された類似シーン情報と共有シーン検出部３６１から入力された参加者間共有シーン情報とに基づいて、シーン内参加者間評価値情報を算出し、評価値情報格納部３７０に出力する。処理の詳細は“４．５．シーン内参加者間評価値算出処理”で説明する。【００９１】
図２０は、シーン内参加者間評価値情報を示す図である。シーン内参加者間評価値情報は、参加者間共有シーン情報に加え、シーン評価値（時間重み値、参加人数重み値、場所重み値、及び類似シーン情報に基づきシーン毎に算出されるシーン重み係数）と、参加者評価値（各シーンにおける参加者毎に算出される参加者重み係数）とを含んで構成される。【００９２】
各シーンの参加者同士の組み合わせ毎のシーン評価値は、該シーンの時間重み値、参加人数重み値、場所重み値、シーン重み係数、及び参加者重み係数の合計値を算出することにより得ることができる。【００９３】
なお、シーン評価値を算出する際に、時間重み値、参加人数重み値、及び場所重み値に対し重み付けを行った後に、合計値を算出するとしてもよい。詳細は“４．５．シーン内参加者間評価値算出処理”で説明する。ここでは簡単のため、重み付けを行わずにそれぞれの値の合計値を算出するものとして、説明を続ける。【００９４】
ここで、あるシーンSにおける参加者Aと参加者Bとの間の評価値をRA-BSとすると、全シーンにおける参加者Aと参加者Bとの間の評価値RA-Bは、（数６）に示すように、各共通シーンの評価値RA-Bnの総和により算出される。
RA-B  ＝  ΣRA-Bn・・・（数６）
すなわち、全シーンにおいて同じ参加者同士の組の評価値を合計することにより、最終的に、参加者ＡとＢとの間の評価値は２．４１となり、同様に参加者ＡとＣとの間の評価値は２．９、参加者ＡとＤとの間の評価値は２．８５、参加者ＢとＣ及び参加者ＢとＤとの間の評価値は０、参加者ＣとＤとの間の評価値は２．８５となる。【００９５】
２．２．７．評価値情報格納部３７０
評価値情報格納部３７０は、シーン内評価値算出部３５２、３６２から入力された評価値情報を格納する。図２１は、格納される評価値情報を示す図である。図２１に示すように、シーン内撮影者−参加者間評価値情報とシーン内参加者間評価値情報とを統合して格納する。
３．ユーザインタフェース（ＵＩ）
続いて、本実施の形態において示した評価値算出方法によって実現しうる表示方法の一例について説明する。【００９６】
図２２は、各参加者を表すアイコン１００１〜１００４を、評価値の数値が大きいものから順に並べて表示したものである。最も評価値が高い人物C（アイコン１００１）が、最上位に表示される。アイコンは、参加者の顔画像を用いてもよいし、氏名を文字で表示してもよい。このように、図２２に示す表示方法を用いることにより、撮影者はどの人物の評価値が高いかを容易に判断することができ、各人物との親密さを推定することができる。【００９７】
図２２左側に示す画面おいて、ユーザにより人物を表すアイコン１００１〜１００４のいずれかが選択されると、図２２右側に示す画面に遷移する。図２２右側に示す画面は、人物Cが選択された場合の例である。選択人物表示領域１００５に、選択された人物を示すアイコン１００１を表示し、また、選択された人物が参加したシーンについて、評価値の数値が大きいものから順に並べて表示する（１００６〜１００８）。ここでは、最も評価値が高かったシーン３（１００６）が、最上位に表示される。各シーンを表す領域内には、シーン内に含まれる画像データのうちのいくつかがサムネイル画像（１００９、１０１０）として表示される。サムネイル画像としては、選択された人物Cが写っているものを選択することが望ましい。このように、図２２に示す表示方法を用いることにより、撮影者は選択人物と最も親密に行動したシーンがどれであったかを容易に判断することが可能となる。【００９８】
図２２右側に示す画面において、シーン１００６〜１００８のいずれかを選択すると、そのシーンの先頭時刻に撮影された動画像データから順に表示する。【００９９】
続いて、図２３は撮影者Ｘ（１１０２）と参加者Ａ、Ｂ、Ｃ、Ｄ（１１０３〜１１０６）を表すアイコンを、各人物同士の組み合わせにおける評価値を基に、表示エリア１１０１内に配置して表示したものである。評価値が高い組み合わせほど、アイコン同士の距離を近づけて表示する。逆に、評価値が低い組み合わせや、評価値が発生していない、すなわち、シーンを共有したことが無い人物同士は、距離を遠ざけて表示する。このように、図２３に示す表示方法を用いることにより、撮影者と参加者との組み合わせにおいて、どの人物とどの人物との間の評価値が高いかを、視覚的に容易に把握することが可能となる。【０１００】
なお、図２３において人物を表すアイコン１１０２〜１１０６を選択することで、図２２右側に示すような選択人物の参加したシーンを表示する画面に遷移させてもよい。
４．映像解析装置２の動作
４．１．メインルーチン
続いて、本発明にかかる映像解析装置２の動作について説明する。図２４は映像解析装置２の全体的な動作を示すフローチャートである。本フローチャートにおいて、ｊは解析対象となる動画像データにおいて一のシーンを特定するための変数であり、Ｎは当該動画像データにおけるシーン総数を示す。【０１０１】
まず、シーン時間情報生成部３２１は、動画像データ格納部３１１に格納されている動画像データに対し、後述するシーン分割処理を行い、当該動画像データを複数のシーンに区切る（ステップＳ１０１）。【０１０２】
シーン分割処理の後、何番目のシーンかを特定するための変数ｊの値を１に初期化し（ステップＳ１０２）、ｊ番目のシーンについて、シーン参加者情報、シーン場所情報、及びシーン撮影者情報を生成する（ステップＳ１０３）。【０１０３】
変数ｊの値がシーン総数Ｎに達しているか否かを判定し（ステップＳ１０４）、シーン総数Ｎに達していない場合には（ステップＳ１０４でＮｏ）、変数ｊを１計数し（ステップＳ１０５）、ステップＳ１０３に移行する。【０１０４】
シーン総数Ｎに達している場合には（ステップＳ１０４でＹｅｓ）、時間重み値、参加人数重み値、及び場所重み値をそれぞれ算出すると共に（ステップＳ１０６）、後述するシーン情報抽出処理を行う（ステップＳ１０７）。【０１０５】
シーン情報抽出処理の後、後述するシーン内撮影者−参加者間評価値算出処理及びシーン内参加者間評価値算出処理を行い（ステップＳ１０８、１０９）、それらの処理により算出された評価値情報を、評価値情報格納部３７０に格納する（ステップＳ１１０）。【０１０６】
４．２．シーン分割処理
続いて、シーン分割処理について説明する。図２５は、シーン分割処理を示すフローチャートである。本フローチャートにおいて、ｉは解析対象となる動画像データにおいて一のフレーム画像を特定するための変数であり、Ｍは当該動画像データにおけるフレーム画像の総数を示す。【０１０７】
まず、シーン時間情報生成部３２１は、何番目のフレーム画像かを特定するための変数ｉの値を１に初期化し（ステップＳ２０１）、ｉ番目のフレーム画像における各画素が持つ輝度の積算値を算出する（ステップＳ２０２）。【０１０８】
算出した積算値が予め定められた所定の閾値以上か否かを判定し（ステップＳ２０３）、積算値が閾値未満の場合には（ステップＳ２０３でＮｏ）、ｉを１計数し（ステップＳ２０４）、ステップＳ２０２に移行する。【０１０９】
積算値が閾値以上の場合には（ステップＳ２０３でＹｅｓ）、当該ｉ番目のフレーム画像をシーンの分割点とする（ステップＳ２０５）。【０１１０】
ｉの値がフレーム画像の総数Ｍに達しているか否かを判定し（ステップＳ２０６）、達していない場合には（ステップＳ２０６でＮｏ）、ｉを１計数し（ステップＳ２０４）、ステップＳ２０２に移行する。【０１１１】
達している場合には（ステップＳ２０６でＹｅｓ）、分割点と判定したフレーム画像を基にシーン時間情報を生成する（ステップＳ２０７）。【０１１２】
４．３．シーン情報抽出処理
続いて、シーン情報抽出処理について説明する。図２６は、シーン情報抽出処理を示すフローチャートである。本フローチャートにおいて、ｊは解析対象となる動画像データにおいて一のシーン情報を特定するための変数であり、ｋはシーン情報蓄積部３４２に蓄積されている、過去の一のシーン情報を示す変数であり、Ｎは解析対象となる動画像データのシーン情報の総数を示し、Ｐは過去のシーン情報の総数を示す。【０１１３】
まず、類似シーン情報抽出部３４０は、記録情報解析部３２０よりシーン時間情報、シーン参加者情報、及びシーン場所情報を取得する（ステップＳ３０１）。【０１１４】
何番目のシーン情報かを特定するための変数ｊの値と何番目の過去シーン情報かを特定するための変数ｋの値とをそれぞれ１に初期化し（ステップＳ３０２、３０３）、ｋ番目の過去シーン情報とｊ番目のシーン情報との各種類似度を算出する（ステップＳ３０４）。算出された各種類似度の合計値を算出し（ステップＳ３０５）、ｋの値が過去のシーン情報の総数Ｐに達しているか否かを判定する（ステップＳ３０６）。【０１１５】
達していない場合には（ステップＳ３０６でＮｏ）、ｋを１計数し（ステップＳ３０７）、ステップＳ３０４に移行する。【０１１６】
達している場合には（ステップＳ３０６でＹｅｓ）、各類似度の合計値の大きさにより、各過去シーン情報のソーティングを行い（ステップＳ３０８）、ソート結果に基づいて、類似度の値が所定の閾値以上の過去シーン情報を上位から所定数選択する（ステップＳ３０９）。【０１１７】
ｊの値がシーン情報の総数Ｎに達しているか否かを判定し（ステップＳ３１０）、達していない場合には（ステップＳ３１０でＮｏ）、ｊを１計数し（ステップＳ３１１）、ステップＳ３０３に移行する。【０１１８】
達している場合には（ステップＳ３１０でＹｅｓ）、シーン毎に選択された過去シーン情報を、類似シーン情報として、シーン内評価値算出部３５２、３６２へ出力する（ステップＳ３１２）。【０１１９】
４．４．シーン内撮影者―参加者間評価値算出処理
続いて、シーン内撮影者−参加者間評価値算出部３５０において、撮影者と参加者との間の評価値Rを算出する際の処理について、図２７、２８を用いて説明する。図２７、２８は、シーン内撮影者―参加者間評価値算出処理を示すフローチャートである。本フローチャートにおいて、ｍは評価値の算出対象となり得る一のシーンを示す変数であり、ｎはシーンｍにおいて一の参加者を特定する変数であり、Ｓは評価値の算出対象となり得るシーンの総数を示し、Ｔmはシーンｍにおける参加者数の総数を示す。【０１２０】
まず、シーン内評価値算出部３５２は、シーン毎に抽出された類似シーン情報を類似シーン情報抽出部３４０から取得し（ステップＳ４０１）、変数ｍの値を１に初期化する（ステップＳ４０２）。ｍ番目のシーンに対応する類似シーン情報に基づいて、類似シーンのうち過去の所定期間内に含まれているシーン数をカウントし（ステップＳ４０３）、カウントした数に応じたシーン重み係数WSを算出する（ステップＳ４０４）。例えば、過去１年以内に類似のシーンを共有する頻度が高かったならば、そのシーンの評価値はより高い値となるように調整する。【０１２１】
類似シーン情報に基づいて、ｍ番目のシーンのランドマーク情報と一致する類似シーン数をカウントし（ステップＳ４０５）、その数に応じた場所重み係数WLを算出する（ステップＳ４０６）。例えば、過去に同じ場所で撮影された類似シーンが多いならば、その場所で撮影されたシーンに対する評価値はより高い値となるように調整する。【０１２２】
シーン重み値算出部３３０から各シーンの時間重み値RT、参加人数重み値RN、場所重み値RLを取得し、各重み値を正規化した後、それぞれ重み係数を乗じて加算し、さらに、シーン重み係数WSを加算することにより、シーンｍにおけるシーン評価値Rを算出する（ステップＳ４０７）。ここで、シーン重み係数WS、及び場所重み係数WLについては、ステップＳ４０４、４０６において算出した値を用いる。時間重み係数WTおよび参加人数重み係数WNについては、個々の項目のいずれかを重視して評価値を算出したい場合に設定される。【０１２３】
ステップＳ４０７におけるシーン評価値Rの算出式を（数４）に示す。
R＝WS  ＋  WTRT  ＋  WNRN  ＋  WLRL・・・（数４）
次に、変数ｎの値を１に初期化し（ステップＳ４０８）、類似シーン情報に基づいて、参加者ｎが含まれる類似シーン数をカウントする（ステップＳ４０９）。カウントした数に応じた参加者重み係数WHnを算出して（ステップＳ４１０）、シーン評価値Rnに加算することにより、参加者ｎ毎の評価値Rnが算出される（ステップＳ４１１）。例えば、過去の類似シーンによく登場する参加者ほど、より高い評価値が算出されるように調整する。【０１２４】
ｎの値がシーンｍにおける参加者数の総数Ｔmに達しているか否かを判定し（ステップＳ４１２）、達していない場合には（ステップＳ４１２でＮｏ）、ｎを１計数し（ステップＳ４１３）、ステップＳ４０９に移行する。【０１２５】
達している場合には（ステップＳ４１２でＹｅｓ）、ｍの値がＳに達しているか否かを判定し（ステップＳ４１４）、達していない場合には（ステップＳ４１４でＮｏ）、ｍを１計数し（ステップＳ４１５）、ステップＳ４０３に移行する。達している場合には（ステップＳ４１４でＹｅｓ）、それぞれの撮影者と参加者との組において、同じ撮影者と参加者との組の評価値を合計する（ステップＳ４１６）。【０１２６】
４．５．シーン内参加者間評価値算出処理
続いて、シーン内参加者間評価値算出部３６０において、参加者同士の評価値Rを算出する際の動作について、図２９、３０を用いて説明する。図２９、３０は、シーン内参加者間評価値算出処理を示すフローチャートである。本フローチャートにおいて、ｍは評価値の算出対象となり得る一のシーンを示す変数であり、ｌはシーンｍにおいて一の参加者の組み合わせを特定する変数であり、Ｓは評価値の算出対象となり得るシーンの総数を示し、Ｕmはシーンｍにおける参加者の組み合わせの総数を示す。ステップＳ５０１〜５０７については、シーン内撮影者−参加者間評価値算出部３５０のステップＳ４０１〜４０７までと同様であるので説明を省略する。【０１２７】
ステップＳ５０７において、シーン評価値Ｒを算出した後、変数ｌの値を１に初期化し（ステップＳ５０８）、類似シーン情報に基づいて、変数ｌにより示される参加者の組が含まれる類似シーン数をカウントする（ステップＳ５０９）。【０１２８】
カウントした数に応じた参加者重み係数WHlを算出して（ステップＳ５１０）、シーン評価値Rlに加算することにより、変数ｌにより示される参加者間の評価値Rlが算出される（ステップＳ５１１）。例えば、過去に類似のシーンにおいて共によく登場する参加者同士ほど、より高い評価値が算出されるように調整する。【０１２９】
ｌの値がシーンｍにおける参加者の組み合わせの総数Ｕｍに達しているか否かを判定し（ステップＳ５１２）、達していない場合には（ステップＳ５１２でＮｏ）、ｌを１計数し（ステップＳ５１３）、ステップＳ５０９に移行する。【０１３０】
達している場合には（ステップＳ５１２でＹｅｓ）、ｍの値がＳに達しているか否かを判定し（ステップＳ５１４）、達していない場合には（ステップＳ５１４でＮｏ）、ｍを１計数し（ステップＳ５１５）、ステップＳ５０３に移行する。達している場合には（ステップＳ５１４でＹｅｓ）、それぞれの参加者の組において、同じ参加者同士の組の評価値を合計する（ステップＳ５１６）。【０１３１】
以上のように本実施の形態によれば、動画データを時間軸方向で区切ったシーン単位で識別された一の参加者に関する評価値、すなわち、当該動画データの撮影者と前記一の参加者との間の評価値、及び前記一の参加者と他の参加者との間の評価値を算出することができる。算出した評価値を用いて動画像データを分類及び整理することにより、当該動画像データに関連する人物間の関係を適切に表現することができる。【０１３２】
また、評価値の算出の際に、各シーンの時間の長さや参加人数、位置情報に基づき各シーンに対し重み付けするとともに、当該シーンにおける参加者毎に重み付けすることにより、算出される評価値に対する信頼性を向上させることができる。
〔第２実施形態〕
実施の形態１では、データ記録装置１により撮影された動画像データを映像解析の対象としたが、本実施の形態では、複数の静止画像データ（以下、「フレーム画像」ともいう）を映像解析の対象とする。したがって、本実施の形態におけるデータ記録装置１には、例えば、デジタルスチルカメラ（DSC）等が該当する。
５．映像解析装置２ａの構成
図３１は、本実施の形態における映像解析装置２ａの機能構成を示すブロック図である。映像解析装置２ａは、データベース部３１０ａ、参加者情報生成部３２２ａ、撮影者情報生成部３２４ａ、撮影者−参加者間評価値算出部３５０ａ、参加者間評価値算出部３６０ａ、及び評価値情報格納部３７０ａを含んで構成される。【０１３３】
データベース部３１０ａは、デジタルスチルカメラ（DSC）により撮影された複数の静止画像データを、当該静止画像データが撮影された位置を示す位置情報に対応付けて格納している。【０１３４】
撮影者情報生成部３２４ａは、データベース部３１０ａから複数の静止画像データを読み出し、静止画像データ毎に、当該静止画像データを撮影した人物の情報を示す撮影者情報を生成し、撮影者−参加者間評価値算出部３５０ａに出力する。具体的には、撮影者となり得る複数の人物と撮影機器とのそれぞれに短距離無線タグを付帯しておき、撮影時に撮影機器からの距離が最も近く、かつ、撮影画像に写っていない人物を撮影者として検出する。【０１３５】
図３２は、撮影者情報を示す図である。撮影者情報は、図３２に示すように、複数の画像のそれぞれについて、当該画像を識別する画像識別子（ＩＤ）と、当該画像の撮影者と判定された人物を示す撮影者ＩＤとを対応付けたものである。【０１３６】
参加者情報生成部３２２ａは、データベース部３１０ａから複数の静止画像データを読み出し、静止画像データ毎に、当該静止画像データに写っている人物の情報を示す参加者情報を生成し、撮影者−参加者間評価値算出部３５０ａ及び参加者間評価値算出部３６０ａに出力する。【０１３７】
図３３は、参加者情報を示す図である。参加者情報は、図３３に示すように、複数の画像のそれぞれについて、当該画像を識別する画像識別子（ＩＤ）と、当該画像の参加者と判定された人物を示す参加者ＩＤとを対応付けたものである。撮影者以外の参加者がいない場合には、参加者ＩＤは付与されない。【０１３８】
撮影者−参加者間評価値算出部３５０ａは、撮影者情報生成部３２４ａから入力された撮影者情報、及び参加者情報生成部３２２ａから入力された参加者情報に基づいて、各画像における撮影者と参加者との間の評価値を算出し、評価値情報格納部３７０ａに出力する。具体的には、評価値は、撮影者と参加者とが写っている画像の枚数に応じて算出される。【０１３９】
参加者間評価値算出部３６０ａは、参加者情報生成部３２２ａから入力された参加者情報に基づいて、各画像における参加者同士の間の評価値を算出し、評価値情報格納部３７０ａに出力する。具体的には、評価値は、参加者同士が写っている画像の枚数に応じて算出される。【０１４０】
評価値情報格納部３７０ａは、撮影者−参加者間評価値算出部３５０ａ及び参加者間評価値算出部３６０ａからそれぞれ入力された評価値を対応付けて格納する。図３４は、評価値情報を示す図である。例えば、人物Ｘと人物Ａとの組み合わせについては、画像ＩＤ２において、人物Ｘが撮影者、人物Ａが参加者として評価値が１増加し、画像ＩＤ３、４において、人物Ａが撮影者、人物Ｘが参加者となり評価値が２増加するため、全体では人物Ａと人物Ｘとの間の評価値は３となる。
６．映像解析装置２ａの動作
続いて、本発明にかかる映像解析装置２ａの動作について説明する。図３５は映像解析装置２ａの動作を示すフローチャートである。本フローチャートにおいて、ｉは複数のフレーム画像のうち一のフレーム画像を特定するための変数であり、Ｎはフレーム画像の総数を示す。【０１４１】
まず、何番目のフレーム画像かを特定するための変数ｉの値を１に初期化し（ステップＳ６０１）、ｉ番目のシーンについて、撮影者情報と参加者情報とを生成する（ステップＳ６０２、６０３）。【０１４２】
変数ｉの値がフレーム画像総数Ｎに達しているか否かを判定し（ステップＳ６０４）、フレーム画像Ｎに達していない場合には（ステップＳ６０４でＮｏ）、変数ｉを１計数し（ステップＳ６０５）、ステップＳ６０２に移行する。【０１４３】
フレーム画像総数Ｎに達している場合には（ステップＳ６０４でＹｅｓ）、撮影者−参加者間評価値を算出し（ステップＳ６０６）、参加者間評価値を算出する（ステップＳ６０７）。そして、算出されたそれぞれの評価値を、評価値情報格納部３７０ａに格納する（ステップＳ６０８）。【０１４４】
以上のように本実施の形態によれば、複数の撮影者（X、A）により静止画データが撮影された場合であっても、撮影者情報及び参加者情報に基づき、各撮影者と参加者との間の評価値を算出することができる。
〔その他の変形例〕
尚、本発明を上記の実施形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
（１）上記実施の形態１では、画像情報に基づき動画像データをシーンに分割したが、画像情報、音声情報、及びセンサ情報のいずれかまたは全てを解析し、その特徴量の変化する時点をシーン分割点と判定するとしてもよい。【０１４５】
例えば、音声情報に基づき動画像データをシーンに分割する場合には、周囲の音声状況が大きく変化した時点で分割を行い、センサ情報に基づき動画像データをシーンに分割する場合には、センサ情報として例えば、GPSセンサにより取得された位置情報に基づき、撮影場所が大きく変化した時点で分割を行うとしてもよい。【０１４６】
また、シーン分割方法は必ずしも自動である必要はなく、予め設定された時間長にしたがって分割したり、ユーザが手動によりシーン分割を行うとしたりしてもよい。
（２）上記実施の形態では、参加者の判定方法に顔画像認識技術を用いたが、それ以外の方法を用いても良い。例えば、音声情報に対して、話者認識技術を用いて、予め登録されている人物の音声情報と比較し、該当する声の人物がそのシーンに含まれていたとき、シーンの参加者と判定してもよい。【０１４７】
また、データ記録装置１がGPSのような位置情報取得センサを付帯している場合には、撮影者との位置情報の差分が一定距離内であった人物を、参加者として判定してもよい。【０１４８】
さらに、データ記録装置１、及びその周辺の人物が短距離無線タグのようなセンサを付帯している場合には、シーンにおいて一定時間無線通信可能な距離範囲内にいた人物を、参加者として判定してもよい。【０１４９】
なお、参加者の判定方法は必ずしも自動である必要はなく、ユーザが手動により参加者を入力するとしてもよい。
（３）上記実施の形態では、参加者か否かの判定は、所定の人物が撮影されている画像があるシーンを構成するフレーム画像に一定枚数以上あるか否かにより判定したが、該シーンにおけるフレーム画像のうち一定の割合以上で所定の人物が撮影されている場合、参加者であると判定してもよい。
（４）上記実施の形態では、GPSに基づいて場所情報を検出したが、場所情報の検出方法としてGPS情報以外のものを用いても良い。例えば、携帯電話や公衆無線LAN等の固定基地局からの電波情報を取得し、固定基地局の位置情報を、各シーンの場所情報として付与してもよい。【０１５０】
なお、場所情報の検出方法は必ずしも自動である必要はなく、ユーザにより手動で、経度及び緯度、並びにランドマーク情報を付与してもよい。
（５）上記実施の形態１では、シーン撮影者情報は、ユーザ入力により予め格納されている構成としたが、撮影者情報が格納されていない場合、シーンから音声情報を検出し、話者認識技術を用いて、検出した音声情報と音声・顔情報記憶部３１２に予め記憶されている人物の音声情報とを比較し、一致するか否かを判定するとともに、当該シーンを構成するフレーム画像毎に人物の顔画像の検出を行い、顔画像認識技術を用いて、検出した人物の顔画像が音声・顔情報格納部３１２に格納されている人物の顔画像の何れかに該当するか否かを判定するとしてもよい。【０１５１】
各判定の結果、検出した音声情報が、記憶されている人物の音声情報の何れかに該当し、かつ、該シーンにおいて、検出した音声情報に該当する声の人物が全く写っていない場合、その人物は該シーンの撮影者であると判定する。【０１５２】
また、撮影者情報の判定方法として、話者認識技術以外の手法を用いても良い。例えば、撮影者となり得る複数の人物と撮影機器とにそれぞれ短距離無線タグのようなセンサを付帯している場合、各シーンにおいて、撮影機器からの距離が撮影可能な範囲内に一定時間いた人物を、撮影者として判定してもよい。
（６）上記実施の形態では、時間長に基づき時間重み値を算出したが、時間長を利用するのではなく、シーンの時間帯に基づき時間重み値を算出してもよい。例えば、平日の昼間よりも、休日や夜間のシーンに対してより大きな重み付けを行うようにしてもよい。
（７）上記実施の形態では、位置情報の差分値に基づいて場所重み値を算出したが、位置情報の差分値ではなく、シーンに付与されたランドマーク情報に示される場所の種類に基づいて、場所重み値を算出してもよい。具体的には、ランドマーク情報に示される場所の種類毎に親密度を示す評価値を対応付けた評価値対応テーブルと、ランドマーク情報に示される場所と当該場所の種類とを対応付けた場所対応テーブルと、を予め記憶しておく。そして、場所対応テーブルを参照して、ランドマーク情報に示される場所に基づいて撮影場所の種類を特定し、さらに、評価値対応テーブルを参照して、撮影場所の種類に対応する評価値を特定し、特定した評価値に基づいてシーン評価値を算出する。評価値対応テーブルに関しては、例えば、遊園地のような行楽地ほど、より大きな重み付けを行うようにしてもよい。
（８）上記実施の形態１では、撮影者は全てのシーンで同一の人物であるとしたが、必ずしも撮影者は全てのシーンで同一であるとは限らないため、あるシーンにおいて参加者であった人物が、別のシーンでは撮影者になることもありうる。その場合には、データ記録装置１にて撮影を行う際に、撮影を行うユーザは自身の撮影者情報を予め入力しておくとしてもよい。
（９）上記実施の形態では、時間、人数、及び場所の各重み値を加算することにより評価値を算出したが、時間、人数、及び場所の各重み値を加算するのではなく、乗算して評価値を算出してもよい。【０１５３】
また、各重み値は、全て使用する必要はなく、任意にいずれかを組み合わせることにより、評価値を算出してもよい。【０１５４】
また、過去の類似シーン情報を用いずに、各種重み係数を設定して、評価値を算出してもよい。
（１０）上記実施の形態では、シーン情報蓄積部３４２に記録された全ての過去シーン情報について類似度を算出したが、指定時間範囲内の過去シーン情報について、類似度を算出するとしてもよい。
（１１）上記実施の形態では、所定時間内に含まれる類似シーン数をカウントすることにより、シーン重み係数WSを算出したが、類似シーン情報の時間情報を基に、類似シーンの時間的な周期性を検出してシーン重み係数WSを算出してもよい。すなわち、毎日同じ時刻に発生するシーンについては、日常的なシーンであるとして、重み係数WSを低い値にしてもよい。
（１２）上記実施の形態では、参加人数重み係数WNは、参加人数重み係数WNを重視して評価値を算出したい場合に設定されるとしたが、具体的には、一の被撮影者が含まれる蓄積シーン数をカウントし、その数に応じて参加人数重み係数WNを算出するとしてもよい。その際、参加人数重み係数WNは、当該一の被撮影者が含まれる数が多いほど大きくなるとしてもよい。【０１５５】
また、シーン重み係数WS及び場所重み係数WLを必要に応じて増減させてもよい。例えば、場所による評価値をより重視したい場合は、場所評価値の重みWLを増加させた上で、評価値を加算する。
（１３）シーン内撮影者−参加者間評価値算出部３５０により算出された評価値と、シーン内参加者間評価値算出部３６０により算出された評価値とに、それぞれ異なる重み付けを施してもよい。
（１４）上記実施の形態１では、映像解析の対象を時間的に連続して記録された動画像データとしたが、複数の静止画像としてもよい。この場合、上述のように、静止画像の画像情報に基づいて、複数の静止画像を各シーンに区分してもよいし、時間情報や場所情報に基づいて、各シーンに区分してもよい。時間情報に基づいてシーンに区分する場合には、例えば、所定の時間帯に撮影された静止画像を同じシーンに区分する。また、場所情報に基づいてシーンに区分する場合には、例えば、場所情報が同一の静止画像を同じシーンに区分する。【０１５６】
シーン単位で評価値を算出することにより、動画像データの場合と同様の効果を得ることができる。
（１５）上記実施形態及び上記変形例をそれぞれ組み合わせるとしてもよい。【０１５７】
また、本発明に係る映像解析装置は、その範囲を逸脱することなく本発明の趣旨に沿って様々な変形または修正が可能であることは言うまでもない。
【産業上の利用可能性】
【０１５８】
本発明は、ウェアラブル端末やビデオカメラ、DSC等により撮影された個人コンテンツを分類及び整理する際に、人物間の関係を示す評価値を指標として、分類及び整理するコンテンツビューワソフトウェアにおいて、特に有用である。
【図１】
2009016833.tif 000003
【図２】
2009016833.tif 000004
【図３】
2009016833.tif 000005
【図４】
2009016833.tif 000006
【図５】
2009016833.tif 000007
【図６】
2009016833.tif 000008
【図７】
2009016833.tif 000009
【図８】
2009016833.tif 000010
【図９】
2009016833.tif 000011
【図１０】
2009016833.tif 000012
【図１１】
2009016833.tif 000013
【図１２】
2009016833.tif 000014
【図１３】
2009016833.tif 000015
【図１４】
2009016833.tif 000016
【図１５】
2009016833.tif 000017
【図１６】
2009016833.tif 000018
【図１７】
2009016833.tif 000019
【図１８】
2009016833.tif 000020
【図１９】
2009016833.tif 000021
【図２０】
2009016833.tif 000022
【図２１】
2009016833.tif 000023
【図２２】
2009016833.tif 000024
【図２３】
2009016833.tif 000025
【図２４】
2009016833.tif 000026
【図２５】
2009016833.tif 000027
【図２６】
2009016833.tif 000028
【図２７】
2009016833.tif 000029
【図２８】
2009016833.tif 000030
【図２９】
2009016833.tif 000031
【図３０】
2009016833.tif 000032
【図３１】
2009016833.tif 000033
【図３２】
2009016833.tif 000034
【図３３】
2009016833.tif 000035
【図３４】
2009016833.tif 000036
【図３５】
2009016833.tif 000037
【手続補正書】
【提出日】平成22年1月18日(2010.1.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データの解析技術に関し、特に、映像データの解析により、映像データを分類及び整理する指標を得る技術に関する。
【背景技術】
【０００２】
近年、映像データのデジタル化に伴い、映像データの蓄積量が飛躍的に増大している。そのため、低労力で映像データを分類及び整理する技術が必要となっている。
従来、静止画像データについては、分類及び整理を支援するアルバムソフトが提供されている。ＪＰＥＧ形式の静止画データには、撮影時刻やＧＰＳにより取得された位置情報（以下、ＧＰＳデータ）等を含むＥｘｉｆ情報が付随しており、従来のアルバムソフトには、Ｅｘｉｆ情報に含まれる情報を、分類及び整理の指標に利用しているものがある。
【０００３】
また、静止画像データの他の分類方法として、画像解析を用いた分類法がある（例えば特許文献１）。特許文献１に開示の技術では、顔認識技術などを利用して、静止画データに撮影されている人物を認識し、ある人物が撮影されている静止画データの枚数に応じて人物間の関係を見積もり、見積もった人物間の関係を示す値を静止画データの分類及び整理の指標に利用している。
【０００４】
かかる技術において分類及び整理の対象となる静止画像データは、個人的な用途で撮影される静止画像データであり、撮影者が意図した時点で撮影機材を構え、能動的に画像の構図を決定して撮影される記念撮影等で得られる。記念撮影等で得られる個人用途の静止画像データは、撮影時点が時間的に離散しているが、その画面内に撮影現場に同行した人物が適切に写し込まれることが予想される。ゆえに、撮影時の人物間の関係を、見積もることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−８１０２１号公報（第５項、第１図）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、映像データとして例えば動画データは、時間的に幅をもつ期間中に連続して撮影された多くの静止画像（以下、フレーム画像）を含む。
しかし、カメラワークや被撮影者の移動により、ある撮影期間を通して全てのフレーム画像で、同じ被写体人物が撮影され続けるとは限らない。そのため、撮影場所には同行しているが、時には撮影範囲外に同行者が存在することになり、画像内にその人物が写し込まれないフレーム画像もある。
【０００７】
ここで特許文献１に開示の技術を動画データに適用し、動画データに含まれるフレーム画像毎に撮影されている人物を認識して、ある人物が撮影されているフレーム画像の枚数に応じて人物間の関係を見積もると、撮影場所には同行しているにもかかわらず、低く評価される恐れがある。
したがって、かかる技術を動画データに適用することによって得られる指標値は、動画データを分類及び整理する適切な指標とはなりえない。
【０００８】
特に、ウェアラブル端末での撮影においては、ユーザが能動的に撮影動作を執り行うことがないため、この問題は顕著になる。
本発明は、映像データを分類及び整理するに適した指標を映像解析により得る映像解析装置、並びに、映像データを分類及び整理するのに適した指標を得るための評価値算出方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一実施態様である映像解析装置は、  シーン毎に、撮影されている各被撮影者を識別する識別手段と、少なくとも一の被撮影者が撮影されているシーンのシーン評価値を算出するシーン評価値算出手段と、全てのシーンの中から、前記識別手段により識別された全被撮影者のうち前記一の被撮影者に関するシーンを選択するシーン選択手段と、シーン選択手段により選択されたシーンのシーン評価値を合計し、前記一の被撮影者に関する人物評価値を算出する人物評価値算出手段とを備える。
【００１０】
ここで、シーンとは、例えば、動画像データにおいて複数のフレーム画像からなる部分や、複数の静止画データの集合等が該当する。
【発明の効果】
【００１１】
上記課題を解決するための手段に記載の構成により、フレーム画像単位ではなく、シーン単位で被撮影者を識別することができ、識別された被撮影者に関する人物評価値はシーン毎に算出されたシーン評価値を合計することにより算出することができる。
したがって、例えば、あるシーンにおいて識別された被撮影者に、当該シーンにおいて撮影されていない期間があったとしても、シーン毎にシーン評価値は算出されるため、当該シーンにおけるシーン評価値は当該シーンにおいて識別された全ての被撮影者で一律である。
【００１２】
ゆえに、撮影場所には同行しているにもかかわらず撮影されていない期間があるために、撮影者との関係が極端に低く見積もられるという可能性は低く、映像データを分類及び整理するのに適した指標を得ることができる。
ところで、撮影者自身は、画像データの中に写り込むことはないが、実際にはその撮影場所に同行しているはずである。しかし、特許文献１に開示の技術では、被写体人物間の関係を対象としており、被写体と画像中に出現しない撮影者との間の関係を評価することはできない。
【００１３】
そこで、本発明の一実施態様である映像解析装置では、前記人物評価値は、前記一の被撮影者が撮影されているシーンの撮影者と前記一の被撮影者との間の親密関係を示す値であり、前記人物評価値が大きいほど、親密度が高いことを示す、とするのが望ましい。
これにより、一の被撮影者が撮影されているシーンの撮影者と当該一の被撮影者との間の関係を人物評価値として算出することができる。したがって、例えば、動画データを複数人により交代で撮影した場合であっても、各撮影者と所定の被撮影者との間の親密関係を人物評価値として算出することができる。
【００１４】
また、本発明の一実施態様である映像解析装置では、前記一の被撮影者に関するシーンは、前記一の被撮影者と他の被撮影者とが共に撮影されているシーンであり、前記人物評価値は、前記一の被撮影者と前記他の被撮影者との間の親密関係を示す値であり、前記人物評価値が大きいほど、親密度が高いことを示す、としてもよい。
これにより、一の被撮影者と他の被撮影者との間の親密関係を人物評価値として算出することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る映像解析装置２が適用された分類整理システムを示す図である。
【図２】映像解析装置２のハードウェア構成を示す図である。
【図３】映像解析装置２の機能構成を示すブロック図である。
【図４】映像解析装置２の機能構成の詳細を示すブロック図である。
【図５】映像解析装置２の機能構成の詳細を示すブロック図である。
【図６】プロフィール情報を示す図である。
【図７】基準場所情報のデータ構造を示す図である。
【図８】動画像データと当該動画像データを構成するフレーム画像とシーンとの関係を示す図である。
【図９】シーン時間情報を示す図である。
【図１０】シーン参加者情報を示す図である。
【図１１】シーン場所情報を示す図である。
【図１２】シーン撮影者情報を示す図である。
【図１３】シーンＩＤと対応付けられた時間重み値を示す図である。
【図１４】シーンＩＤと対応付けられた参加人数重み値を示す図である。
【図１５】シーンＩＤと対応付けられた場所重み値を示す図である。
【図１６】類似シーン情報を示す図である。
【図１７】撮影者−参加者間共有シーン情報を示す図である。
【図１８】撮影者−参加者間評価値情報を示す図である。
【図１９】参加者間共有シーン情報を示す図である。
【図２０】参加者間評価値情報を示す図である。
【図２１】評価値情報を示す図である。
【図２２】表示方法の一例を示す図である。
【図２３】表示方法の一例を示す図である。
【図２４】映像解析装置２の全体的な動作を示すフローチャートである。
【図２５】シーン分割処理を示すフローチャートである。
【図２６】シーン情報抽出処理を示すフローチャートである。
【図２７】シーン内撮影者―参加者間評価値算出処理を示すフローチャートである。
【図２８】シーン内撮影者―参加者間評価値算出処理を示すフローチャートである。
【図２９】シーン内参加者間評価値算出処理を示すフローチャートである。
【図３０】シーン内参加者間評価値算出処理を示すフローチャートである。
【図３１】映像解析装置２ａの機能構成を示すブロック図である。
【図３２】撮影者情報を示す図である。
【図３３】参加者情報を示す図である。
【図３４】評価値情報を示す図である。
【図３５】映像解析装置２ａの動作を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面に基づき本発明の実施の形態を説明する。
〔第１実施形態〕
１．全体構成
まず、分類整理システムの概要について説明する。
図１は、本発明に係る映像解析装置２が適用された分類整理システムを示している。プログラムを読み込んで映像解析装置として機能するパソコン２は、ＵＳＢケーブルなどを介して、ウェアラブルカメラやビデオカメラなどのデータ記録装置１と接続されている。
【００１７】
データ記録装置１は、カメラやマイクロホンを含んで構成され、カメラやマイクロホンによって撮影された動画像データを記録媒体に記録する。また、記録した動画像データを映像解析装置２に出力する。
映像解析装置２は、データ記録装置１から入力された動画像データを解析し、動画像データを分類及び整理するための指標を得る。具体的には、動画像データを所定の時間区間で区切ったシーン毎に、撮影されている被撮影者を識別するとともに、シーン評価値を算出する。ここで、撮影されている被撮影者とは、当該シーンを構成するフレーム画像に一定数以上写っている被撮影者、または一定割合以上写っている被撮影者をいう。そして、全てのシーンのうち、識別された被撮影者の何れか一の被撮影者に関するシーンを検出し、検出したシーンのシーン評価値を合計することにより、一の被撮影者に関する人物評価値を算出する。
【００１８】
また、映像解析装置２は、各被撮影者に関する人物評価値に基づいて、動画像データを分類及び整理する。
なお、本実施の形態では、特に、ウェアラブルカメラで撮影された動画像データを映像解析の対象とする。
以下、本実施の形態における映像解析装置２について、図面を用いて詳細に説明する。
２．映像解析装置２の構成
２．１．ハードウェア構成
図２は、映像解析装置２のハードウェア構成を示す図である。映像解析装置２は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０６、ＣＲＴディスプレイ２０３、キーボード２０４、通信インターフェース２０５、ハードディスク２０７、マウス２０８を含んで構成され、これらはバスを介して相互に通信可能に接続されている。
【００１９】
通信インターフェース２０５は、例えば、ＵＳＢケーブルなどと接続されていて、データ記録装置１から動画像データを取り込む。
ハードディスク２０７には、ＯＳの他、アルバムソフト、画像認識ソフト、シーン分割、シーン重み値の生成、シーン情報の抽出、及び評価値の算出等の映像解析に関する制御プログラム、ウェアラブルカメラやビデオカメラ等のデータ記録装置１と通信し、それらの機器から動画像データ等を読み込んだり、それらの機器へ動画像データ等を出力したりするアプリケーションソフト、並びにブラウザといったプログラムなど、さらには映像解析に用いられる各種データや閾値が格納されている。そして、電源のオンとともにＯＳを起動し、続いてキーボード２０４やマウス２０８からの起動指示により、指定されたプログラムをＲＡＭ２０６上に読み出し、ＣＰＵ２０１が解読し実行する。
【００２０】
２．２．機能構成
続いて、ハードディスク２０７に格納されている制御プログラムにしたがってＣＰＵ２０１が動作することにより達成される機能について説明する。図３は、映像解析装置２の機能構成の一例を示すブロック図である。同図に示すように、映像解析装置２は、データベース部３１０、記録情報解析部３２０、シーン重み値算出部３３０、類似シーン情報抽出部３４０、シーン内撮影者−参加者間評価値算出部３５０、シーン内参加者間評価値算出部３６０、及び評価値情報格納部３７０を含んで構成される。
【００２１】
データベース部３１０は、具体的には、ハードディスク２０７等を含んで構成され、動画像データ等、本発明に用いられる各種データを格納している。各種データの詳細は“２．２．１．データベース部３１０”で説明する。
記録情報解析部３２０は、データベース部３１０から動画像データを読み出し、読み出した動画像データを解析して、シーン重み値算出部３３０による重み値の算出、及び類似シーン情報抽出部３４０による類似シーンの抽出の際に用いられる、シーンに関する各種情報を生成する。生成した各種情報をシーン重み値算出部３３０及び類似シーン情報抽出部３４０に出力する。動画像データの解析方法、及び解析に基づき生成される各種情報の詳細は“２．２．２．記録情報解析部３２０”で説明する。
【００２２】
シーン重み値算出部３３０は、記録情報解析部３２０から入力された各種情報を用いて、シーン毎に重み値を算出し、撮影者−参加者間評価値算出部３５０及び参加者間評価値算出部３６０に出力する。詳細は“２．２．３．シーン重み値算出部３３０”で説明する。
類似シーン情報抽出部３４０は、記録情報解析部３２０から入力された各種情報に基づいて、データベース部３１０に蓄積されている、他の動画像データに係るシーンのシーン情報から、解析対象である動画像データに係るシーンのシーン情報と類似するシーン情報を抽出し、抽出結果を撮影者−参加者間評価値算出部３５０及び参加者間評価値算出部３６０に出力する。
【００２３】
シーン内撮影者−参加者間評価値算出部３５０は、シーン重み値算出部３３０から入力されたシーン毎の重み値と、類似シーン情報抽出部３４０から入力されたシーン情報とに基づいて、解析の対象となった動画像データを撮影した人物である撮影者と、撮影対象としてシーンに参加している参加者との間の関係を示す評価値を算出し、評価値情報格納部３７０に出力する。
【００２４】
シーン内参加者間評価値算出部３６０は、シーン重み値算出部３３０から入力されたシーン毎の重み値と、類似シーン情報抽出部３４０から入力されたシーン情報とに基づいて、撮影対象としてシーンに参加している参加者同士の間の関係を示す評価値を算出し、評価値情報格納部３７０に出力する。
評価値情報格納部３７０は、撮影者−参加者間評価値算出部３５０より入力された撮影者−参加者間の評価値と、参加者間評価値算出部３６０より入力された参加者同士間の評価値とを対応付けて格納する。詳細は“２．２．７．評価値情報格納部３７０”で説明する。
【００２５】
以下、各機能ブロックについて、図４、５を用いて、さらに詳細に説明する。図４、５は図３の機能ブロック図をさらに詳細にしたものである。
２．２．１．データベース部３１０
データベース部３１０は、図４に示すように、動画像データ格納部３１１、音声・顔情報格納部３１２、地図情報格納部３１３、基準場所情報格納部３１４、及び撮影者情報格納部３１５を含んで構成される。
【００２６】
動画像データ格納部３１１は、データ記録装置１により撮影された動画像データを、データ記録装置１に備えられたＧＰＳにより取得された位置情報（緯度及び経度）と対応付けて格納している。
音声・顔情報格納部３１２は、認証の際に用いられる複数の人物のプロフィール情報を格納している。図６は、プロフィール情報を示す図である。プロフィール情報は、図６に示すように、顔画像認証の際に利用される複数の人物の顔情報及び話者認証の際に利用される複数の人物の音声情報と、人物を識別するための人物識別子とを対応付けたものである。
【００２７】
地図情報格納部３１３は、位置情報とその位置の名称（以下、「ランドマーク情報」という）や種別とを対応付けた地図情報を格納している。
基準場所情報格納部３１４は、基準場所情報を格納している。図７は、基準場所情報のデータ構造を示す図である。基準場所情報は、図７に示すように、例えば、自宅や会社等、ユーザが普段よくいる場所等を、その位置情報と対応付けたものである。
【００２８】
撮影者情報格納部３１５は、映像を撮影した人物を識別するための人物識別子を格納している。ウェアラブルカメラで映像が撮影された場合には、当該ウェアラブルカメラの所有者を示す人物識別子が、撮影者として予め格納されている。
２．２．２．記録情報解析部３２０
記録情報解析部３２０は、図４に示すように、シーン時間情報生成部３２１、シーン参加者情報生成部３２２、シーン場所情報生成部３２３、及びシーン撮影者情報生成部３２４を含んで構成される。
【００２９】
シーン時間情報生成部３２１は、動画像データ格納部３１１から解析すべき動画像データを読み出し、読み出した動画像データを複数のシーンに区切り、シーン時間情報を生成する。生成したシーン時間情報をシーン参加者情報生成部３２２、シーン場所情報生成部３２３、シーン撮影者情報生成部３２４、抽出部３４１、及び時間重み値算出部３３１に出力する。
【００３０】
動画像データを複数のシーンに区切る際、例えば、画像情報に基づきシーンに区切る場合には、シーン時間情報生成部３２１は、動画像データを構成するフレーム画像毎に画像情報を順次解析していき、撮影画像の全体的な色の変化に基づいて分割点を決定する。詳細は、“４．２．シーン分割処理”で説明する。
図８は、動画像データと当該動画像データを構成するフレーム画像とシーンとの関係を示す図である。図８に示すように、動画像データ格納部３１１に格納されているファイル名ａａａの動画像データは、例えば、時刻１０：００、１５：００、１８：００でそれぞれシーンに区切られる。それぞれの点はフレーム画像の全体的な色が大きく変化した点である。このように、ファイル名ａａａの動画像データは、当該動画像データを時間軸方向で区切った４つのシーンから構成され、各シーンは複数のフレーム画像から構成されているのがわかる。
【００３１】
図９は、シーン時間情報を示す図である。シーン時間情報は、図９に示すように、複数のシーンのそれぞれについて、当該シーンを識別するシーン識別子（ＩＤ）と、当該シーンの時間情報（開始時刻及び終了時刻）とを対応付けたものである。ここで、シーンＩＤとは、それぞれのシーンについて一意となるべく定められた値であってよい。
シーン参加者情報生成部３２２は、動画像データ格納部３１１から解析すべき動画像データを読み出すと、シーン時間情報生成部３２１から入力されたシーン時間情報により示されるシーン毎に、当該シーンを撮影者と共に行動していた人物を参加者として特定し、シーン参加者情報を生成する。生成した参加者情報を参加人数重み値算出部３３２、抽出部３４１、及び共有シーン検出部３５１、３６１に出力する。
【００３２】
各シーンにおける参加者を特定するためには、まず当該シーンを構成するフレーム画像毎に、人物の顔画像の検出を行う。具体的には、輪郭抽出処理や色分布分析処理等の公知の画像処理を行い、当該画像に含まれる１以上の被写体を検出し、検出した各被写体を示す画像から人物の顔に固有の特徴量を検出することにより、当該画像から人物の顔を示す部分画像を検出する。
【００３３】
そして、顔画像認識技術を用いて、検出した人物の顔画像が音声・顔情報格納部３１２に格納されている人物の顔画像の何れかに該当するか否かを判定する。当該シーンにおいて、該当すると判定した人物の顔画像を含むフレーム画像が、一定数以上ある場合、その人物は当該シーンの参加者であると判定する。
なお、音声・顔情報格納部３１２に顔画像が格納されていない人物であっても、所定数以上そのシーンに登場しているならば、参加者として判定してもよく、その場合には、参加者と判定された人物の顔画像を音声・顔情報格納部３１２に新たに追加してもよい。
【００３４】
図１０は、シーン参加者情報を示す図である。シーン参加者情報は、図１０に示すように、複数のシーンのそれぞれについて、当該シーンを識別するシーン識別子（ＩＤ）と、当該シーンの参加者と判定された人物を示す参加者ＩＤとを対応付けたものである。ここで、参加者ＩＤとは、それぞれの参加者について一意となるべく定められた値であってよい。
【００３５】
シーン場所情報生成部３２３は、動画像データ格納部３１１から解析すべき動画像データに対応する位置情報を読み出すと、位置情報に基づいて、シーン時間情報生成部３２１から入力されたシーン時間情報により示されるシーン毎に、シーン場所情報を生成し、生成したシーン場所情報を抽出部３４１、及び場所重み値算出部３３３に出力する。
具体的には、動画像データ格納部３１１に格納されている動画像データに対応付けられたＧＰＳデータから、各シーンに該当する時刻の位置情報を検出し、当該位置情報を地図情報格納部３１３に格納されている地図情報と照らし合わせ、地図情報から当該位置情報に対応するランドマーク情報を得る。
【００３６】
図１１は、シーン場所情報を示す図である。シーン場所情報は、図１１に示すように、複数のシーンのそれぞれについて、当該シーンを識別するシーン識別子（ＩＤ）、当該シーンの緯度及び経度、並びにランドマーク情報を対応付けたものである。
シーン撮影者情報生成部３２４は、動画像データ格納部３１１から解析すべき動画像データを読み出すと、シーン時間情報生成部３２１から入力されたシーン時間情報により示されるシーン毎に、当該シーンを撮影した人物を撮影者として特定し、シーン撮影者情報を生成する。
【００３７】
具体的には、撮影者情報格納部３１５に格納されているシーン撮影者情報により示される人物を、当該シーンを撮影した撮影者であると判定する。なお、シーン撮影者情報は、動画像データの撮影の際に、ユーザ入力により当該動画データに対応付けて予め格納されるものとする。
図１２は、シーン撮影者情報を示す図である。シーン撮影者情報は、図１２に示すように、複数のシーンのそれぞれについて、当該シーンを識別するシーン識別子（ＩＤ）と、当該シーンの撮影者と判定された人物を示す撮影者ＩＤとを対応付けたものである。ここで、撮影者ＩＤとは、それぞれのシーンについて一意となるべく定められた値であってよい。本実施の形態では、ウェアラブルカメラで撮影された動画像データを対象としているので、撮影者はシーンによらず一定であるとする。
【００３８】
２．２．３．シーン重み値算出部３３０
シーン重み値算出部３３０は、図４、５に示されるように、シーン時間重み値算出部３３１、シーン参加人数重み値算出部３３２、及びシーン場所重み値算出部３３３を含んで構成される。
シーン時間重み値算出部３３１は、シーン時間情報生成部３２１から入力されたシーン時間情報に基づいて、シーン毎に時間重み値を算出する。具体的には、各シーンＩＤに対応する時間情報に基づき時間長をそれぞれ生成し、時間長に基づいて各シーンにおける時間重み値を算出する。例えば、時間長が長ければ長いほど、より重み付けを高くするとした場合には、時間重み値RTは以下の（数１）で表されるように、シーンの時間長Tに定数α（ここでは０．２とする）を乗じた値となる。
【００３９】
【数１】
2009016833.tif 000038
【００４０】
図１３は、シーンＩＤと対応付けられた時間重み値を示す図である。ここでは、シーンＩＤ２、３、４の時間重み値はそれぞれ１．０、０．６、０．２である。
シーン時間重み値算出部３３１は、それぞれの時間重み値をシーン内評価値算出部３５２、３６２に出力する。
シーン参加人数重み値算出部３３２は、シーン参加者情報生成部３２２から入力されたシーン参加者情報に基づいて、シーン毎に参加人数重み値を算出する。具体的には、参加人数重み値を算出するために、まず、シーン毎に参加者の人数を合計する。このとき、撮影者本人も参加人数としてカウントする。次に、参加人数に応じて、各シーンにおける参加人数重み値を算出する。例えば、シーンにおける参加人数が少なければ少ないほど、より重み付けを高くするとした場合には、参加人数重み値RNは以下の（数２）で表されるように、シーン参加人数Nの逆数に定数β（ここでは２とする）を乗じた値となる。
【００４１】
【数２】
2009016833.tif 000039
【００４２】
図１４は、シーンＩＤと対応付けられた参加人数重み値を示す図である。ここでは、シーンＩＤ２、３、４の参加人数重み値はそれぞれ０．６６、０．５、１．０である。
シーン参加人数重み値算出部３３２は、それぞれの参加人数重み値をシーン内評価値算出部３５２、３６２に出力する。
シーン場所重み値算出部３３３は、シーン場所情報生成部３２３から入力されたシーン場所情報、及び基準場所情報格納部３１４から入力された基準場所情報に基づいて、シーン毎に場所重み値を算出する。具体的には、シーン場所情報の各シーンの緯度及び経度と、基準場所情報に示される場所の緯度及び経度とに基づいて、２点間の距離を算出した後、各シーンにおける位置と基準位置との間の距離に応じて、各シーンにおける場所重み値を算出する。例えば、基準位置からの距離が遠ければ遠いほど重み付けを高くし、逆に、基準位置でシーンを共有した場合には重み付けを低くするとした場合には、場所重み付け係数RLは以下の（数３）で表されるように、基準位置からの距離Lに定数γ（ここでは０．１とする）を乗じた値となる。
【００４３】
【数３】
2009016833.tif 000040
【００４４】
図１５は、シーンＩＤと対応付けられた場所重み値を示す図である。ここでは、シーンＩＤ２、３、４の場所重み値はそれぞれ０、１．０、０．５である。
シーン場所重み値算出部３３３は、それぞれの場所重み値をシーン内評価値算出部３５２、３６２に出力する。
２．２．４．類似シーン情報抽出部３４０
類似シーン情報抽出部３４０は、図４に示すように、抽出部３４１と、シーン情報蓄積部３４２とを含んで構成される。
【００４５】
抽出部３４１は、記録情報解析部３２０からシーンに関する各種情報を受け取ると、シーン情報蓄積部３４２に蓄積されている、過去の他の動画像データに係るシーンのシーン情報にアクセスし、当該シーン情報と解析対象である動画像データに係るシーンのシーン情報との類似度を算出する。シーン情報の類似度としては、時間類似度、参加者類似度、及び場所類似度が算出される。
【００４６】
時間類似度は、シーンの記録された年月日、及び時間帯の類似性により算出される。
参加者類似度は、シーン参加者情報の一致度により算出される。
場所類似度は、シーン場所情報に示される距離の近さや、ランドマーク情報の類似性により算出される。
抽出部３４１は、シーン情報蓄積部３４２に蓄積されているシーン情報のうち、算出した各類似度が高い上位一定数のシーン情報を、類似シーン情報として、撮影者−参加者間評価値算出部３５０及び参加者間評価値算出部３６０に出力する。
【００４７】
図１６は、類似シーン情報を示す図である。類似シーン情報は、図１６に示すように、シーンID、シーン時間情報、シーン参加者情報、及びシーン場所情報から構成される。各類似シーン情報は、類似度の高いものから順に並べられた形式で出力される。なお、各類似シーン情報の類似度を示す数値を併せて出力しても良い。
シーン情報蓄積部３４２は、過去の他の動画像データに係るシーンのシーン情報を蓄積している。
【００４８】
２．２．５．シーン内撮影者−参加者間評価値算出部３５０
シーン内撮影者−参加者間評価値算出部３５０は、図５に示すように、共有シーン検出部３５１、及びシーン内評価値算出部３５２を含んで構成される。
共有シーン検出部３５１は、シーン参加者情報生成部３２２から入力されたシーン参加者情報とシーン撮影者情報生成部３２４から入力されたシーン撮影者情報とに基づいて、撮影者を除く参加者数が一人以上存在するシーンを、共有シーンとして検出し、撮影者−参加者間共有シーン情報を生成する。生成した撮影者−参加者間共有シーン情報をシーン内評価値算出部３５２に送信する。
【００４９】
図１７は、撮影者−参加者間共有シーン情報を示す図である。全てのシーンには、撮影者が参加しているため、各シーンについて、撮影者と各参加者との組みが生成される。なお、撮影者を除く参加者数が０のシーンについては、評価値算出処理は行わないため、共有シーンとして検出されることはない。したがって、シーンＩＤ１のシーンは、撮影者を除く参加者が存在しないため、撮影者−参加者間の組み合わせが存在せず、共有シーンとして検出されずに除外される。
【００５０】
シーン内評価値算出部３５２は、シーン重み値算出部３３０から入力された各重み値と類似シーン情報抽出部３４０から入力された類似シーン情報と共有シーン検出部３５１から入力された撮影者−参加者間共有シーン情報とに基づいて、シーン内撮影者−参加者間評価値情報を算出し、評価値情報格納部３７０に出力する。処理の詳細は“４．４．シーン内撮影者−参加者間評価値算出処理”で説明する。
【００５１】
図１８は、シーン内撮影者−参加者間評価値情報を示す図である。シーン内撮影者−参加者間評価値情報は、撮影者−参加者間共有シーン情報に加え、シーン評価値（時間重み値、参加人数重み値、場所重み値、及び類似シーン情報に基づきシーン毎に算出されるシーン重み係数）と、参加者評価値（各シーンにおける参加者毎に算出される参加者重み係数）とを含んで構成される。
【００５２】
各シーンの参加者毎のシーン評価値は、該シーンの時間重み値、参加人数重み値、場所重み値、シーン重み係数、及び参加者重み係数の合計値を算出することにより得ることができる。
なお、シーン評価値を算出する際に、時間重み値、参加人数重み値、及び場所重み値に対し重み付けを行った後に、合計値を算出するとしてもよい。詳細は“４．４．シーン内撮影者−参加者間評価値算出処理”で説明する。ここでは簡単のため、重み付けを行わずにそれぞれの値の合計値を算出するものとして、説明を続ける。
【００５３】
ここで、あるシーンSにおける撮影者Xと参加者Aとの評価値をRASとすると、全シーンにおける撮影者Xと参加者Aとの評価値RAは、（数５）に示すように、各共有シーンの評価値RAnの総和により算出される。
【００５４】
【数５】
2009016833.tif 000041
【００５５】
すなわち、全シーンにおいて同じ撮影者と参加者との組の評価値を合計することにより、最終的に、参加者ＩＤＡ、Ｂ、Ｃ、Ｄのそれぞれについて、評価値５．７６、２．６６、５．８、２．８５を得ることができる。
２．２．６．シーン内参加者間評価値算出部３６０
シーン内参加者間評価値算出部３６０は、図５に示すように、共有シーン検出部３６１、及びシーン内評価値算出部３６２を含んで構成される。
【００５６】
共有シーン検出部３６１は、シーン参加者情報生成部３２２から入力されたシーン参加者情報に基づいて、撮影者を除く参加者数が二人以上存在するシーンを共有シーンとして検出し、参加者間共有シーン情報を生成する。生成した参加者間共有シーン情報をシーン内評価値算出部３６２に送信する。
図１９は、参加者間共有シーン情報を示す図である。撮影者を除く参加者が一人以下のシーンについては、参加者間の評価値算出処理は行わないため、共有シーンとして検出されることはない。したがって、シーンＩＤ４のシーンは、撮影者以外の参加者が一人であったため、参加者間の組み合わせが存在せず、共有シーンとして検出されずに除外される。参加者数が３人以上の場合、全ての参加者同士の組み合わせが生成される。
【００５７】
シーン内評価値算出部３６２は、シーン重み値算出部３３０から入力された各重み値と類似シーン情報抽出部３４０から入力された類似シーン情報と共有シーン検出部３６１から入力された参加者間共有シーン情報とに基づいて、シーン内参加者間評価値情報を算出し、評価値情報格納部３７０に出力する。処理の詳細は“４．５．シーン内参加者間評価値算出処理”で説明する。
【００５８】
図２０は、シーン内参加者間評価値情報を示す図である。シーン内参加者間評価値情報は、参加者間共有シーン情報に加え、シーン評価値（時間重み値、参加人数重み値、場所重み値、及び類似シーン情報に基づきシーン毎に算出されるシーン重み係数）と、参加者評価値（各シーンにおける参加者毎に算出される参加者重み係数）とを含んで構成される。
【００５９】
各シーンの参加者同士の組み合わせ毎のシーン評価値は、該シーンの時間重み値、参加人数重み値、場所重み値、シーン重み係数、及び参加者重み係数の合計値を算出することにより得ることができる。
なお、シーン評価値を算出する際に、時間重み値、参加人数重み値、及び場所重み値に対し重み付けを行った後に、合計値を算出するとしてもよい。詳細は“４．５．シーン内参加者間評価値算出処理”で説明する。ここでは簡単のため、重み付けを行わずにそれぞれの値の合計値を算出するものとして、説明を続ける。
【００６０】
ここで、あるシーンSにおける参加者Aと参加者Bとの間の評価値をRA−BSとすると、全シーンにおける参加者Aと参加者Bとの間の評価値RA−Bは、（数６）に示すように、各共通シーンの評価値RA−Bnの総和により算出される。
【００６１】
【数６】
2009016833.tif 000042
【００６２】
すなわち、全シーンにおいて同じ参加者同士の組の評価値を合計することにより、最終的に、参加者ＡとＢとの間の評価値は２．４１となり、同様に参加者ＡとＣとの間の評価値は２．９、参加者ＡとＤとの間の評価値は２．８５、参加者ＢとＣ及び参加者ＢとＤとの間の評価値は０、参加者ＣとＤとの間の評価値は２．８５となる。
２．２．７．評価値情報格納部３７０
評価値情報格納部３７０は、シーン内評価値算出部３５２、３６２から入力された評価値情報を格納する。図２１は、格納される評価値情報を示す図である。図２１に示すように、シーン内撮影者−参加者間評価値情報とシーン内参加者間評価値情報とを統合して格納する。
３．ユーザインタフェース（ＵＩ）
続いて、本実施の形態において示した評価値算出方法によって実現しうる表示方法の一例について説明する。
【００６３】
図２２は、各参加者を表すアイコン１００１〜１００４を、評価値の数値が大きいものから順に並べて表示したものである。最も評価値が高い人物C（アイコン１００１）が、最上位に表示される。アイコンは、参加者の顔画像を用いてもよいし、氏名を文字で表示してもよい。このように、図２２に示す表示方法を用いることにより、撮影者はどの人物の評価値が高いかを容易に判断することができ、各人物との親密さを推定することができる。
【００６４】
図２２左側に示す画面おいて、ユーザにより人物を表すアイコン１００１〜１００４のいずれかが選択されると、図２２右側に示す画面に遷移する。図２２右側に示す画面は、人物Cが選択された場合の例である。選択人物表示領域１００５に、選択された人物を示すアイコン１００１を表示し、また、選択された人物が参加したシーンについて、評価値の数値が大きいものから順に並べて表示する（１００６〜１００８）。ここでは、最も評価値が高かったシーン３（１００６）が、最上位に表示される。各シーンを表す領域内には、シーン内に含まれる画像データのうちのいくつかがサムネイル画像（１００９、１０１０）として表示される。サムネイル画像としては、選択された人物Cが写っているものを選択することが望ましい。このように、図２２に示す表示方法を用いることにより、撮影者は選択人物と最も親密に行動したシーンがどれであったかを容易に判断することが可能となる。
【００６５】
図２２右側に示す画面において、シーン１００６〜１００８のいずれかを選択すると、そのシーンの先頭時刻に撮影された動画像データから順に表示する。
続いて、図２３は撮影者Ｘ（１１０２）と参加者Ａ、Ｂ、Ｃ、Ｄ（１１０３〜１１０６）を表すアイコンを、各人物同士の組み合わせにおける評価値を基に、表示エリア１１０１内に配置して表示したものである。評価値が高い組み合わせほど、アイコン同士の距離を近づけて表示する。逆に、評価値が低い組み合わせや、評価値が発生していない、すなわち、シーンを共有したことが無い人物同士は、距離を遠ざけて表示する。このように、図２３に示す表示方法を用いることにより、撮影者と参加者との組み合わせにおいて、どの人物とどの人物との間の評価値が高いかを、視覚的に容易に把握することが可能となる。
【００６６】
なお、図２３において人物を表すアイコン１１０２〜１１０６を選択することで、図２２右側に示すような選択人物の参加したシーンを表示する画面に遷移させてもよい。
４．映像解析装置２の動作
４．１．メインルーチン
続いて、本発明にかかる映像解析装置２の動作について説明する。図２４は映像解析装置２の全体的な動作を示すフローチャートである。本フローチャートにおいて、ｊは解析対象となる動画像データにおいて一のシーンを特定するための変数であり、Ｎは当該動画像データにおけるシーン総数を示す。
【００６７】
まず、シーン時間情報生成部３２１は、動画像データ格納部３１１に格納されている動画像データに対し、後述するシーン分割処理を行い、当該動画像データを複数のシーンに区切る（ステップＳ１０１）。
シーン分割処理の後、何番目のシーンかを特定するための変数ｊの値を１に初期化し（ステップＳ１０２）、ｊ番目のシーンについて、シーン参加者情報、シーン場所情報、及びシーン撮影者情報を生成する（ステップＳ１０３）。
【００６８】
変数ｊの値がシーン総数Ｎに達しているか否かを判定し（ステップＳ１０４）、シーン総数Ｎに達していない場合には（ステップＳ１０４でＮｏ）、変数ｊを１計数し（ステップＳ１０５）、ステップＳ１０３に移行する。
シーン総数Ｎに達している場合には（ステップＳ１０４でＹｅｓ）、時間重み値、参加人数重み値、及び場所重み値をそれぞれ算出すると共に（ステップＳ１０６）、後述するシーン情報抽出処理を行う（ステップＳ１０７）。
【００６９】
シーン情報抽出処理の後、後述するシーン内撮影者−参加者間評価値算出処理及びシーン内参加者間評価値算出処理を行い（ステップＳ１０８、１０９）、それらの処理により算出された評価値情報を、評価値情報格納部３７０に格納する（ステップＳ１１０）。
４．２．シーン分割処理
続いて、シーン分割処理について説明する。図２５は、シーン分割処理を示すフローチャートである。本フローチャートにおいて、ｉは解析対象となる動画像データにおいて一のフレーム画像を特定するための変数であり、Ｍは当該動画像データにおけるフレーム画像の総数を示す。
【００７０】
まず、シーン時間情報生成部３２１は、何番目のフレーム画像かを特定するための変数ｉの値を１に初期化し（ステップＳ２０１）、ｉ番目のフレーム画像における各画素が持つ輝度の積算値を算出する（ステップＳ２０２）。
算出した積算値が予め定められた所定の閾値以上か否かを判定し（ステップＳ２０３）、積算値が閾値未満の場合には（ステップＳ２０３でＮｏ）、ｉを１計数し（ステップＳ２０４）、ステップＳ２０２に移行する。
【００７１】
積算値が閾値以上の場合には（ステップＳ２０３でＹｅｓ）、当該ｉ番目のフレーム画像をシーンの分割点とする（ステップＳ２０５）。
ｉの値がフレーム画像の総数Ｍに達しているか否かを判定し（ステップＳ２０６）、達していない場合には（ステップＳ２０６でＮｏ）、ｉを１計数し（ステップＳ２０４）、ステップＳ２０２に移行する。
【００７２】
達している場合には（ステップＳ２０６でＹｅｓ）、分割点と判定したフレーム画像を基にシーン時間情報を生成する（ステップＳ２０７）。
４．３．シーン情報抽出処理
続いて、シーン情報抽出処理について説明する。図２６は、シーン情報抽出処理を示すフローチャートである。本フローチャートにおいて、ｊは解析対象となる動画像データにおいて一のシーン情報を特定するための変数であり、ｋはシーン情報蓄積部３４２に蓄積されている、過去の一のシーン情報を示す変数であり、Ｎは解析対象となる動画像データのシーン情報の総数を示し、Ｐは過去のシーン情報の総数を示す。
【００７３】
まず、類似シーン情報抽出部３４０は、記録情報解析部３２０よりシーン時間情報、シーン参加者情報、及びシーン場所情報を取得する（ステップＳ３０１）。
何番目のシーン情報かを特定するための変数ｊの値と何番目の過去シーン情報かを特定するための変数ｋの値とをそれぞれ１に初期化し（ステップＳ３０２、３０３）、ｋ番目の過去シーン情報とｊ番目のシーン情報との各種類似度を算出する（ステップＳ３０４）。算出された各種類似度の合計値を算出し（ステップＳ３０５）、ｋの値が過去のシーン情報の総数Ｐに達しているか否かを判定する（ステップＳ３０６）。
【００７４】
達していない場合には（ステップＳ３０６でＮｏ）、ｋを１計数し（ステップＳ３０７）、ステップＳ３０４に移行する。
達している場合には（ステップＳ３０６でＹｅｓ）、各類似度の合計値の大きさにより、各過去シーン情報のソーティングを行い（ステップＳ３０８）、ソート結果に基づいて、類似度の値が所定の閾値以上の過去シーン情報を上位から所定数選択する（ステップＳ３０９）。
【００７５】
ｊの値がシーン情報の総数Ｎに達しているか否かを判定し（ステップＳ３１０）、達していない場合には（ステップＳ３１０でＮｏ）、ｊを１計数し（ステップＳ３１１）、ステップＳ３０３に移行する。
達している場合には（ステップＳ３１０でＹｅｓ）、シーン毎に選択された過去シーン情報を、類似シーン情報として、シーン内評価値算出部３５２、３６２へ出力する（ステップＳ３１２）。
【００７６】
４．４．シーン内撮影者―参加者間評価値算出処理
続いて、シーン内撮影者−参加者間評価値算出部３５０において、撮影者と参加者との間の評価値Rを算出する際の処理について、図２７、２８を用いて説明する。図２７、２８は、シーン内撮影者―参加者間評価値算出処理を示すフローチャートである。本フローチャートにおいて、ｍは評価値の算出対象となり得る一のシーンを示す変数であり、ｎはシーンｍにおいて一の参加者を特定する変数であり、Ｓは評価値の算出対象となり得るシーンの総数を示し、Ｔｍはシーンｍにおける参加者数の総数を示す。
【００７７】
まず、シーン内評価値算出部３５２は、シーン毎に抽出された類似シーン情報を類似シーン情報抽出部３４０から取得し（ステップＳ４０１）、変数ｍの値を１に初期化する（ステップＳ４０２）。ｍ番目のシーンに対応する類似シーン情報に基づいて、類似シーンのうち過去の所定期間内に含まれているシーン数をカウントし（ステップＳ４０３）、カウントした数に応じたシーン重み係数WSを算出する（ステップＳ４０４）。例えば、過去１年以内に類似のシーンを共有する頻度が高かったならば、そのシーンの評価値はより高い値となるように調整する。
【００７８】
類似シーン情報に基づいて、ｍ番目のシーンのランドマーク情報と一致する類似シーン数をカウントし（ステップＳ４０５）、その数に応じた場所重み係数WLを算出する（ステップＳ４０６）。例えば、過去に同じ場所で撮影された類似シーンが多いならば、その場所で撮影されたシーンに対する評価値はより高い値となるように調整する。
シーン重み値算出部３３０から各シーンの時間重み値RT、参加人数重み値RN、場所重み値RLを取得し、各重み値を正規化した後、それぞれ重み係数を乗じて加算し、さらに、シーン重み係数WSを加算することにより、シーンｍにおけるシーン評価値Rを算出する（ステップＳ４０７）。ここで、シーン重み係数WS、及び場所重み係数WLについては、ステップＳ４０４、４０６において算出した値を用いる。時間重み係数WTおよび参加人数重み係数WNについては、個々の項目のいずれかを重視して評価値を算出したい場合に設定される。
【００７９】
ステップＳ４０７におけるシーン評価値Rの算出式を（数４）に示す。
【００８０】
【数４】
2009016833.tif 000043
【００８１】
次に、変数ｎの値を１に初期化し（ステップＳ４０８）、類似シーン情報に基づいて、参加者ｎが含まれる類似シーン数をカウントする（ステップＳ４０９）。カウントした数に応じた参加者重み係数WＨｎを算出して（ステップＳ４１０）、シーン評価値Rｎに加算することにより、参加者ｎ毎の評価値Rｎが算出される（ステップＳ４１１）。例えば、過去の類似シーンによく登場する参加者ほど、より高い評価値が算出されるように調整する。
【００８２】
ｎの値がシーンｍにおける参加者数の総数Ｔｍに達しているか否かを判定し（ステップＳ４１２）、達していない場合には（ステップＳ４１２でＮｏ）、ｎを１計数し（ステップＳ４１３）、ステップＳ４０９に移行する。
達している場合には（ステップＳ４１２でＹｅｓ）、ｍの値がＳに達しているか否かを判定し（ステップＳ４１４）、達していない場合には（ステップＳ４１４でＮｏ）、ｍを１計数し（ステップＳ４１５）、ステップＳ４０３に移行する。達している場合には（ステップＳ４１４でＹｅｓ）、それぞれの撮影者と参加者との組において、同じ撮影者と参加者との組の評価値を合計する（ステップＳ４１６）。
【００８３】
４．５．シーン内参加者間評価値算出処理
続いて、シーン内参加者間評価値算出部３６０において、参加者同士の評価値Rを算出する際の動作について、図２９、３０を用いて説明する。図２９、３０は、シーン内参加者間評価値算出処理を示すフローチャートである。本フローチャートにおいて、ｍは評価値の算出対象となり得る一のシーンを示す変数であり、ｌはシーンｍにおいて一の参加者の組み合わせを特定する変数であり、Ｓは評価値の算出対象となり得るシーンの総数を示し、Ｕｍはシーンｍにおける参加者の組み合わせの総数を示す。ステップＳ５０１〜５０７については、シーン内撮影者−参加者間評価値算出部３５０のステップＳ４０１〜４０７までと同様であるので説明を省略する。
【００８４】
ステップＳ５０７において、シーン評価値Ｒを算出した後、変数ｌの値を１に初期化し（ステップＳ５０８）、類似シーン情報に基づいて、変数ｌにより示される参加者の組が含まれる類似シーン数をカウントする（ステップＳ５０９）。
カウントした数に応じた参加者重み係数WＨｌを算出して（ステップＳ５１０）、シーン評価値Rｌに加算することにより、変数ｌにより示される参加者間の評価値Rｌが算出される（ステップＳ５１１）。例えば、過去に類似のシーンにおいて共によく登場する参加者同士ほど、より高い評価値が算出されるように調整する。
【００８５】
ｌの値がシーンｍにおける参加者の組み合わせの総数Ｕｍに達しているか否かを判定し（ステップＳ５１２）、達していない場合には（ステップＳ５１２でＮｏ）、ｌを１計数し（ステップＳ５１３）、ステップＳ５０９に移行する。
達している場合には（ステップＳ５１２でＹｅｓ）、ｍの値がＳに達しているか否かを判定し（ステップＳ５１４）、達していない場合には（ステップＳ５１４でＮｏ）、ｍを１計数し（ステップＳ５１５）、ステップＳ５０３に移行する。達している場合には（ステップＳ５１４でＹｅｓ）、それぞれの参加者の組において、同じ参加者同士の組の評価値を合計する（ステップＳ５１６）。
【００８６】
以上のように本実施の形態によれば、動画データを時間軸方向で区切ったシーン単位で識別された一の参加者に関する評価値、すなわち、当該動画データの撮影者と前記一の参加者との間の評価値、及び前記一の参加者と他の参加者との間の評価値を算出することができる。算出した評価値を用いて動画像データを分類及び整理することにより、当該動画像データに関連する人物間の関係を適切に表現することができる。
【００８７】
また、評価値の算出の際に、各シーンの時間の長さや参加人数、位置情報に基づき各シーンに対し重み付けするとともに、当該シーンにおける参加者毎に重み付けすることにより、算出される評価値に対する信頼性を向上させることができる。
〔第２実施形態〕
実施の形態１では、データ記録装置１により撮影された動画像データを映像解析の対象としたが、本実施の形態では、複数の静止画像データ（以下、「フレーム画像」ともいう）を映像解析の対象とする。したがって、本実施の形態におけるデータ記録装置１には、例えば、デジタルスチルカメラ（DSC）等が該当する。
５．映像解析装置２ａの構成
図３１は、本実施の形態における映像解析装置２ａの機能構成を示すブロック図である。映像解析装置２ａは、データベース部３１０ａ、参加者情報生成部３２２ａ、撮影者情報生成部３２４ａ、撮影者−参加者間評価値算出部３５０ａ、参加者間評価値算出部３６０ａ、及び評価値情報格納部３７０ａを含んで構成される。
【００８８】
データベース部３１０ａは、デジタルスチルカメラ（DSC）により撮影された複数の静止画像データを、当該静止画像データが撮影された位置を示す位置情報に対応付けて格納している。
撮影者情報生成部３２４ａは、データベース部３１０ａから複数の静止画像データを読み出し、静止画像データ毎に、当該静止画像データを撮影した人物の情報を示す撮影者情報を生成し、撮影者−参加者間評価値算出部３５０ａに出力する。具体的には、撮影者となり得る複数の人物と撮影機器とのそれぞれに短距離無線タグを付帯しておき、撮影時に撮影機器からの距離が最も近く、かつ、撮影画像に写っていない人物を撮影者として検出する。
【００８９】
図３２は、撮影者情報を示す図である。撮影者情報は、図３２に示すように、複数の画像のそれぞれについて、当該画像を識別する画像識別子（ＩＤ）と、当該画像の撮影者と判定された人物を示す撮影者ＩＤとを対応付けたものである。
参加者情報生成部３２２ａは、データベース部３１０ａから複数の静止画像データを読み出し、静止画像データ毎に、当該静止画像データに写っている人物の情報を示す参加者情報を生成し、撮影者−参加者間評価値算出部３５０ａ及び参加者間評価値算出部３６０ａに出力する。
【００９０】
図３３は、参加者情報を示す図である。参加者情報は、図３３に示すように、複数の画像のそれぞれについて、当該画像を識別する画像識別子（ＩＤ）と、当該画像の参加者と判定された人物を示す参加者ＩＤとを対応付けたものである。撮影者以外の参加者がいない場合には、参加者ＩＤは付与されない。
撮影者−参加者間評価値算出部３５０ａは、撮影者情報生成部３２４ａから入力された撮影者情報、及び参加者情報生成部３２２ａから入力された参加者情報に基づいて、各画像における撮影者と参加者との間の評価値を算出し、評価値情報格納部３７０ａに出力する。具体的には、評価値は、撮影者と参加者とが写っている画像の枚数に応じて算出される。
【００９１】
参加者間評価値算出部３６０ａは、参加者情報生成部３２２ａから入力された参加者情報に基づいて、各画像における参加者同士の間の評価値を算出し、評価値情報格納部３７０ａに出力する。具体的には、評価値は、参加者同士が写っている画像の枚数に応じて算出される。
評価値情報格納部３７０ａは、撮影者−参加者間評価値算出部３５０ａ及び参加者間評価値算出部３６０ａからそれぞれ入力された評価値を対応付けて格納する。図３４は、評価値情報を示す図である。例えば、人物Ｘと人物Ａとの組み合わせについては、画像ＩＤ２において、人物Ｘが撮影者、人物Ａが参加者として評価値が１増加し、画像ＩＤ３、４において、人物Ａが撮影者、人物Ｘが参加者となり評価値が２増加するため、全体では人物Ａと人物Ｘとの間の評価値は３となる。
６．映像解析装置２ａの動作
続いて、本発明にかかる映像解析装置２ａの動作について説明する。図３５は映像解析装置２ａの動作を示すフローチャートである。本フローチャートにおいて、ｉは複数のフレーム画像のうち一のフレーム画像を特定するための変数であり、Ｎはフレーム画像の総数を示す。
【００９２】
まず、何番目のフレーム画像かを特定するための変数ｉの値を１に初期化し（ステップＳ６０１）、ｉ番目のシーンについて、撮影者情報と参加者情報とを生成する（ステップＳ６０２、６０３）。
変数ｉの値がフレーム画像総数Ｎに達しているか否かを判定し（ステップＳ６０４）、フレーム画像Ｎに達していない場合には（ステップＳ６０４でＮｏ）、変数ｉを１計数し（ステップＳ６０５）、ステップＳ６０２に移行する。
【００９３】
フレーム画像総数Ｎに達している場合には（ステップＳ６０４でＹｅｓ）、撮影者−参加者間評価値を算出し（ステップＳ６０６）、参加者間評価値を算出する（ステップＳ６０７）。そして、算出されたそれぞれの評価値を、評価値情報格納部３７０ａに格納する（ステップＳ６０８）。
以上のように本実施の形態によれば、複数の撮影者（X、A）により静止画データが撮影された場合であっても、撮影者情報及び参加者情報に基づき、各撮影者と参加者との間の評価値を算出することができる。
〔その他の変形例〕
尚、本発明を上記の実施形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
（１）上記実施の形態１では、画像情報に基づき動画像データをシーンに分割したが、画像情報、音声情報、及びセンサ情報のいずれかまたは全てを解析し、その特徴量の変化する時点をシーン分割点と判定するとしてもよい。
【００９４】
例えば、音声情報に基づき動画像データをシーンに分割する場合には、周囲の音声状況が大きく変化した時点で分割を行い、センサ情報に基づき動画像データをシーンに分割する場合には、センサ情報として例えば、GPSセンサにより取得された位置情報に基づき、撮影場所が大きく変化した時点で分割を行うとしてもよい。
また、シーン分割方法は必ずしも自動である必要はなく、予め設定された時間長にしたがって分割したり、ユーザが手動によりシーン分割を行うとしたりしてもよい。
（２）上記実施の形態では、参加者の判定方法に顔画像認識技術を用いたが、それ以外の方法を用いても良い。例えば、音声情報に対して、話者認識技術を用いて、予め登録されている人物の音声情報と比較し、該当する声の人物がそのシーンに含まれていたとき、シーンの参加者と判定してもよい。
【００９５】
また、データ記録装置１がGPSのような位置情報取得センサを付帯している場合には、撮影者との位置情報の差分が一定距離内であった人物を、参加者として判定してもよい。
さらに、データ記録装置１、及びその周辺の人物が短距離無線タグのようなセンサを付帯している場合には、シーンにおいて一定時間無線通信可能な距離範囲内にいた人物を、参加者として判定してもよい。
【００９６】
なお、参加者の判定方法は必ずしも自動である必要はなく、ユーザが手動により参加者を入力するとしてもよい。
（３）上記実施の形態では、参加者か否かの判定は、所定の人物が撮影されている画像があるシーンを構成するフレーム画像に一定枚数以上あるか否かにより判定したが、該シーンにおけるフレーム画像のうち一定の割合以上で所定の人物が撮影されている場合、参加者であると判定してもよい。
（４）上記実施の形態では、GPSに基づいて場所情報を検出したが、場所情報の検出方法としてGPS情報以外のものを用いても良い。例えば、携帯電話や公衆無線LAN等の固定基地局からの電波情報を取得し、固定基地局の位置情報を、各シーンの場所情報として付与してもよい。
【００９７】
なお、場所情報の検出方法は必ずしも自動である必要はなく、ユーザにより手動で、経度及び緯度、並びにランドマーク情報を付与してもよい。
（５）上記実施の形態１では、シーン撮影者情報は、ユーザ入力により予め格納されている構成としたが、撮影者情報が格納されていない場合、シーンから音声情報を検出し、話者認識技術を用いて、検出した音声情報と音声・顔情報記憶部３１２に予め記憶されている人物の音声情報とを比較し、一致するか否かを判定するとともに、当該シーンを構成するフレーム画像毎に人物の顔画像の検出を行い、顔画像認識技術を用いて、検出した人物の顔画像が音声・顔情報格納部３１２に格納されている人物の顔画像の何れかに該当するか否かを判定するとしてもよい。
【００９８】
各判定の結果、検出した音声情報が、記憶されている人物の音声情報の何れかに該当し、かつ、該シーンにおいて、検出した音声情報に該当する声の人物が全く写っていない場合、その人物は該シーンの撮影者であると判定する。
また、撮影者情報の判定方法として、話者認識技術以外の手法を用いても良い。例えば、撮影者となり得る複数の人物と撮影機器とにそれぞれ短距離無線タグのようなセンサを付帯している場合、各シーンにおいて、撮影機器からの距離が撮影可能な範囲内に一定時間いた人物を、撮影者として判定してもよい。
（６）上記実施の形態では、時間長に基づき時間重み値を算出したが、時間長を利用するのではなく、シーンの時間帯に基づき時間重み値を算出してもよい。例えば、平日の昼間よりも、休日や夜間のシーンに対してより大きな重み付けを行うようにしてもよい。
（７）上記実施の形態では、位置情報の差分値に基づいて場所重み値を算出したが、位置情報の差分値ではなく、シーンに付与されたランドマーク情報に示される場所の種類に基づいて、場所重み値を算出してもよい。具体的には、ランドマーク情報に示される場所の種類毎に親密度を示す評価値を対応付けた評価値対応テーブルと、ランドマーク情報に示される場所と当該場所の種類とを対応付けた場所対応テーブルと、を予め記憶しておく。そして、場所対応テーブルを参照して、ランドマーク情報に示される場所に基づいて撮影場所の種類を特定し、さらに、評価値対応テーブルを参照して、撮影場所の種類に対応する評価値を特定し、特定した評価値に基づいてシーン評価値を算出する。評価値対応テーブルに関しては、例えば、遊園地のような行楽地ほど、より大きな重み付けを行うようにしてもよい。
（８）上記実施の形態１では、撮影者は全てのシーンで同一の人物であるとしたが、必ずしも撮影者は全てのシーンで同一であるとは限らないため、あるシーンにおいて参加者であった人物が、別のシーンでは撮影者になることもありうる。その場合には、データ記録装置１にて撮影を行う際に、撮影を行うユーザは自身の撮影者情報を予め入力しておくとしてもよい。
（９）上記実施の形態では、時間、人数、及び場所の各重み値を加算することにより評価値を算出したが、時間、人数、及び場所の各重み値を加算するのではなく、乗算して評価値を算出してもよい。
【００９９】
また、各重み値は、全て使用する必要はなく、任意にいずれかを組み合わせることにより、評価値を算出してもよい。
また、過去の類似シーン情報を用いずに、各種重み係数を設定して、評価値を算出してもよい。
（１０）上記実施の形態では、シーン情報蓄積部３４２に記録された全ての過去シーン情報について類似度を算出したが、指定時間範囲内の過去シーン情報について、類似度を算出するとしてもよい。
（１１）上記実施の形態では、所定時間内に含まれる類似シーン数をカウントすることにより、シーン重み係数WSを算出したが、類似シーン情報の時間情報を基に、類似シーンの時間的な周期性を検出してシーン重み係数WSを算出してもよい。すなわち、毎日同じ時刻に発生するシーンについては、日常的なシーンであるとして、重み係数WSを低い値にしてもよい。
（１２）上記実施の形態では、参加人数重み係数WNは、参加人数重み係数WNを重視して評価値を算出したい場合に設定されるとしたが、具体的には、一の被撮影者が含まれる蓄積シーン数をカウントし、その数に応じて参加人数重み係数WNを算出するとしてもよい。その際、参加人数重み係数WNは、当該一の被撮影者が含まれる数が多いほど大きくなるとしてもよい。
【０１００】
また、シーン重み係数WS及び場所重み係数WLを必要に応じて増減させてもよい。例えば、場所による評価値をより重視したい場合は、場所評価値の重みWLを増加させた上で、評価値を加算する。
（１３）シーン内撮影者−参加者間評価値算出部３５０により算出された評価値と、シーン内参加者間評価値算出部３６０により算出された評価値とに、それぞれ異なる重み付けを施してもよい。
（１４）上記実施の形態１では、映像解析の対象を時間的に連続して記録された動画像データとしたが、複数の静止画像としてもよい。この場合、上述のように、静止画像の画像情報に基づいて、複数の静止画像を各シーンに区分してもよいし、時間情報や場所情報に基づいて、各シーンに区分してもよい。時間情報に基づいてシーンに区分する場合には、例えば、所定の時間帯に撮影された静止画像を同じシーンに区分する。また、場所情報に基づいてシーンに区分する場合には、例えば、場所情報が同一の静止画像を同じシーンに区分する。
【０１０１】
シーン単位で評価値を算出することにより、動画像データの場合と同様の効果を得ることができる。
（１５）上記実施形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
また、本発明に係る映像解析装置は、その範囲を逸脱することなく本発明の趣旨に沿って様々な変形または修正が可能であることは言うまでもない。
【産業上の利用可能性】
【０１０２】
本発明は、ウェアラブル端末やビデオカメラ、DSC等により撮影された個人コンテンツを分類及び整理する際に、人物間の関係を示す評価値を指標として、分類及び整理するコンテンツビューワソフトウェアにおいて、特に有用である。
【符号の説明】
【０１０３】
１  データ記録装置
２  映像解析装置
２０１  ＣＰＵ
２０２  ＲＯＭ
２０３  ＣＲＴ
２０４  キーボード
２０５  通信Ｉ/Ｆ
２０６  ＲＡＭ
２０７  ＨＤＤ
２０８  マウス
３１０  データベース部
３１１  動画像データ格納部
３１２  音声・顔情報格納部
３１３  地図情報格納部
３１４  基準場所情報格納部
３１５  撮影者情報格納部
３２０  記録情報解析部
３２１  シーン時間情報生成部
３２２  シーン参加者情報生成部
３２２ａ  参加者情報生成部
３２３  シーン場所情報生成部
３２４  シーン撮影者情報生成部
３２４ａ  撮影者情報生成部
３３０  シーン重み値算出部
３３１  シーン時間重み値算出部
３３２  シーン参加人数重み値算出部
３３３  シーン場所重み値算出部
３４０  類似シーン情報抽出部
３４１  抽出部
３４２  シーン情報蓄積部
３５０  シーン内撮影者−参加者間評価値算出部
３５０ａ  撮影者−参加者間評価値算出部
３５１  共有シーン検出部
３５２  シーン内評価値算出部
３６０  シーン内参加者間評価値算出部
３６０ａ  参加者間評価値算出部
３６１  共有シーン検出部
３６２  シーン内評価値算出部
３７０、３７０ａ  評価値情報格納部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
シーン毎に、撮影されている各被撮影者を識別する識別手段と、
少なくとも一の被撮影者が撮影されているシーンのシーン評価値を算出するシーン評価値算出手段と、
全てのシーンの中から、前記識別手段により識別された全被撮影者のうち前記一の被撮影者に関するシーンを選択するシーン選択手段と、
シーン選択手段により選択されたシーンのシーン評価値を合計し、前記一の被撮影者に関する人物評価値を算出する人物評価値算出手段と
を備える映像解析装置。
【請求項２】
前記人物評価値は、前記一の被撮影者が撮影されているシーンの撮影者と前記一の被撮影者との間の親密関係を示す値であり、前記人物評価値が大きいほど、親密度が高いことを示す
請求項１記載の映像解析装置。
【請求項３】
前記一の被撮影者に関するシーンは、前記一の被撮影者と他の被撮影者とが共に撮影されているシーンであり、
前記人物評価値は、前記一の被撮影者と前記他の被撮影者との間の親密関係を示す値であり、前記人物評価値が大きいほど、親密度が高いことを示す
請求項１記載の映像解析装置。
【請求項４】
各シーンには、撮影時間を示す時間情報が含まれ、
前記シーン評価値算出手段は、時間情報に基づいてシーン評価値を算出する
請求項１記載の映像解析装置。
【請求項５】
前記シーン評価値算出手段は、前記時間情報から得られるシーンの長さに応じてシーン評価値を算出し、
シーン評価値は、シーンの長さが長いほど大きくなる
請求項４記載の映像解析装置。
【請求項６】
前記シーン評価値算出手段は、前記時間情報から得られるシーンの撮影時間帯に応じてシーン評価値を算出する
請求項４に記載の映像解析装置。
【請求項７】
前記シーン評価値算出手段は、それぞれのシーンに撮影されている被撮影者の人数に応じてシーン評価値を算出し、
シーン評価値は、撮影されている被撮影者の人数が少ないほど大きくなる
請求項１に記載の映像解析装置。
【請求項８】
各シーンには、撮影場所を示す場所情報が含まれ、
前記シーン評価値算出手段は、場所情報に基づいてシーン評価値を算出する
請求項１記載の映像解析装置。
【請求項９】
撮影場所の種類毎に親密度を示す評価値を対応付けた評価値対応テーブルと、場所情報と当該場所情報により示される場所の種類とを対応付けた場所対応テーブルと、を記憶している記憶手段と、
前記場所対応テーブルを参照して、前記場所情報に対応する撮影場所の種類を特定する場所特定手段と、を更に備え、
前記シーン評価値算出手段は、前記評価値対応テーブルを参照して、撮影場所の種類に対応する評価値を特定し、特定した評価値に基づいてシーン評価値を算出する
請求項８記載の映像解析装置。
【請求項１０】
前記場所情報に基づいて、予め記憶されている基準場所から撮影場所までの距離を特定する距離特定手段を更に備え、
前記シーン評価値算出手段は、特定された距離に応じてシーン評価値を算出し、
シーン評価値は、特定された距離が長いほど大きくなる
請求項８に記載の映像解析装置。
【請求項１１】
各シーンには、撮影時間を示す時間情報及び撮影場所を示す場所情報が含まれ、
前記シーン評価値算出手段は、時間情報、場所情報、及びシーンに撮影されている被撮影者の人数のうち少なくとも１つに基づいて、シーン評価値を算出する
請求項１に記載の映像解析装置。
【請求項１２】
各シーンは、当該シーンの撮影時刻、当該シーンに撮影されている被撮影者、及び当該シーンの撮影場所というシーン情報のうち少なくとも一のシーン情報を含んでおり、
他の映像データに係るシーンである蓄積シーン毎に、当該蓄積シーンの撮影時刻、当該蓄積シーンの撮影されている被撮影者、及び当該蓄積シーンの撮影場所という蓄積シーン情報のうち少なくとも一の蓄積シーン情報を蓄積している蓄積手段と、
前記少なくとも一の被撮影者が撮影されているシーンのシーン情報と一致あるいは類似する蓄積シーン情報を蓄積手段から一以上抽出する抽出手段と、を更に備え、
前記シーン評価値算出手段は、抽出された各蓄積シーン情報に基づいて、前記シーンのシーン評価値を算出する
請求項１に記載の映像解析装置。
【請求項１３】
各シーンに含まれるシーン情報は、当該シーンに撮影されている被撮影者を示し、
各蓄積シーン情報は、対応する蓄積シーンに撮影されている被撮影者を示し、
前記シーン評価値算出手段は、前記少なくとも一の被撮影者が撮影されているシーンのシーン評価値を、当該一の被撮影者が前記抽出手段により抽出された全蓄積シーン情報にどれだけ含まれているかに応じて算出し、
シーン評価値は、当該一の被撮影者が含まれる数が多いほど大きくなる
請求項１２に記載の映像解析装置。
【請求項１４】
各シーンに含まれるシーン情報は、当該シーンの撮影時刻を示し、
各蓄積シーン情報は、対応する蓄積シーンの撮影時刻を示し、
前記シーン評価値算出手段は、前記少なくとも一の被撮影者が撮影されているシーンのシーン評価値を、前記抽出手段により抽出された全蓄積シーン情報により示される撮影時刻のうち予め設定されている所定時間帯にどれだけ収まるかに応じて算出し、
シーン評価値は、収まる数が多いほど大きくなる
請求項１２に記載の映像解析装置。
【請求項１５】
各シーンに含まれるシーン情報は、当該シーンの撮影時刻を示し、
各蓄積シーン情報は、対応する蓄積シーンの撮影時刻を示し、
前記シーン評価値算出手段は、前記少なくとも一の被撮影者が撮影されているシーンのシーン評価値を、前記抽出手段により抽出された各蓄積シーン情報が示す撮影時刻の周期性に応じて算出し、
シーン評価値は、周期性が強いほど大きくなる
請求項１２に記載の映像解析装置。
【請求項１６】
前記少なくとも一の被撮影者が撮影されているシーンの撮影者を示す撮影者情報を受け付ける受付手段を更に備え、
前記人物評価値算出手段は、前記撮影者情報により示される撮影者と前記一の被撮影者との間の親密関係を示す人物評価値を算出し、人物評価値が大きいほど、親密度が高いことを示す
請求項１に記載の映像解析装置。
【請求項１７】
各シーンは、動画データを時間軸方向で区切ったもの、または複数の静止画データの集合である
請求項１記載の映像解析装置。
【請求項１８】
シーン毎に、撮影されている各被撮影者を識別する識別ステップと、
少なくとも一の被撮影者が撮影されているシーンのシーン評価値を算出するシーン評価値算出ステップと、
全てのシーンの中から、識別された全被撮影者のうち前記一の被撮影者に関するシーンを選択するシーン選択ステップと、
選択されたシーンのシーン評価値を合計し、前記一の被撮影者に関する人物評価値を算出する人物評価値算出ステップと、
を含む評価値算出方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009016833.tif 000044
【図２】
2009016833.tif 000045
【図３】
2009016833.tif 000046
【図４】
2009016833.tif 000047
【図５】
2009016833.tif 000048
【図６】
2009016833.tif 000049
【図７】
2009016833.tif 000050
【図８】
2009016833.tif 000051
【図９】
2009016833.tif 000052
【図１０】
2009016833.tif 000053
【図１１】
2009016833.tif 000054
【図１２】
2009016833.tif 000055
【図１３】
2009016833.tif 000056
【図１４】
2009016833.tif 000057
【図１５】
2009016833.tif 000058
【図１６】
2009016833.tif 000059
【図１７】
2009016833.tif 000060
【図１８】
2009016833.tif 000061
【図１９】
2009016833.tif 000062
【図２０】
2009016833.tif 000063
【図２１】
2009016833.tif 000064
【図２２】
2009016833.tif 000065
【図２３】
2009016833.tif 000066
【図２４】
2009016833.tif 000067
【図２５】
2009016833.tif 000068
【図２６】
2009016833.tif 000069
【図２７】
2009016833.tif 000070
【図２８】
2009016833.tif 000071
【図２９】
2009016833.tif 000072
【図３０】
2009016833.tif 000073
【図３１】
2009016833.tif 000074
【図３２】
2009016833.tif 000075
【図３３】
2009016833.tif 000076
【図３４】
2009016833.tif 000077
【図３５】
2009016833.tif 000078
【国際調査報告】
2009016833.tif 000079
2009016833.tif 000080
2009016833.tif 000081
2009016833.tif 000082