(57)【要約】  【課題】  多視点で撮影された映像のうち、ある映像で被写体を特定する被写体の特徴が映っていなくても、被写体が特定できて、自動的に被写体情報の索引付けができる、多視点映像に映る被写体情報の索引付け装置を提供する。  【解決手段】  多視点映像に映る同一被写体を同定する被写体同定手段１１１と、多視点映像のうち何れかの映像に映る被写体の特徴を取得して被写体を特定する被写体特定手段１１２と、同定する被写体について特定した被写体の情報を索引付けする被写体情報索引付け手段１１３とを備える多視点映像に映る被写体情報の索引付け装置１１０を提供する。【選択図】  図１
2006025306.tif 000002
【特許請求の範囲】
【請求項１】
多視点映像に映る同一被写体を同定する被写体同定手段と、
多視点映像のうち何れかの映像に映る前記被写体の特徴を取得して被写体を特定する被写体特定手段と、
前記同定する被写体について前記特定した被写体の情報を索引付けする被写体情報索引付け手段とを備えることを特徴とする多視点映像に映る被写体情報の索引付け装置。
【請求項２】
前記被写体特定手段は、前記被写体を特定する被写体情報を格納した被写体情報格納手段を用いて被写体を特定することを特徴とする請求項１に記載の多視点映像に映る被写体情報の索引付け装置。
【請求項３】
前記被写体特定手段が特定した被写体と前記被写体同定手段が同定した被写体について整合性を判定する整合性判定手段を備えることを特徴とする請求項１または２に記載の多視点映像に映る被写体情報の索引付け装置。
【請求項４】
前記整合性判定手段が前記特定した被写体と前記同定した被写体について整合性がないと判定した場合に不整合性の原因を判定する不整合性原因判定手段を備えることを特徴とする請求項３に記載の多視点映像に映る被写体情報の索引付け装置。
【請求項５】
前記不整合性原因判定手段で判定した結果に基づいて前記特定した被写体について補正を行う補正手段を備えることを特徴とする請求項４に記載の多視点映像に映る被写体情報の索引付け装置。
【請求項６】
前記被写体情報索引付け手段が索引付けした情報を格納する被写体索引付け情報格納手段を備えることを特徴とする請求項１乃至５の何れかに記載の多視点映像に映る被写体情報の索引付け装置。
【請求項７】
多視点映像に映る同一被写体を同定する被写体同定ステップと、
多視点映像のうち何れかの映像に映る前記被写体の特徴を取得して被写体を特定する被写体特定ステップと、
前記同定する被写体について前記特定した被写体の情報を索引付けする被写体情報索引付けステップとを有することを特徴とする多視点映像に映る被写体情報の索引付け方法。
【請求項８】
コンピュータを、
多視点映像に映る同一被写体を同定する被写体同定手段、
多視点映像のうち何れかの映像に映る前記被写体の特徴を取得して被写体を特定する被写体特定手段、
及び前記同定する被写体について前記特定した被写体の情報を索引付けする被写体情報索引付け手段として機能させることを特徴とする多視点映像に映る被写体情報の索引付けプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された映像から被写体を特定して、被写体情報の索引付けを行う、多視点映像に映る被写体情報の索引付け装置及びその方法及びそのプログラムに関する。
【背景技術】
【０００２】
従来、複数カメラの映像から計算される被写体の位置及び特徴を用いて被写体の実世界位置を抽出し、動きを抽出する技術が知られている（特許文献１参照）。一方、映像に映る背番号を認識して被写体を特定する技術も知られている（非特許文献１参照）。
【特許文献１】特開２００１−２７３５０３
【非特許文献１】“オブジェクト追跡と背番号認識の連携による動画像用スポーツ選手同定方法”ＦＩＴ２００３
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前者は、撮影された映像から被写体の位置や動きは抽出できるものの、被写体自身の特定（例えば、被写体の名前の特定）に関する解決は為されておらず、映像に映っている被写体に関する情報の索引付けはできない。一方、後者は、映像に映る被写体の特徴（背番号）を認識することができれば被写体を特定できるので、被写体の情報から被写体名を索引付けすることができる。ただし、映像に背番号が映っていない場合は、背番号を認識することはできないので、後者は、被写体を特定する被写体情報（背番号）が映っていない場合には被写体情報の索引付けができないという問題があった。
【０００４】
このような問題に着目し、本発明は、多視点で撮影された映像のうち、ある映像で被写体を特定する被写体の特徴が映っていなくても、被写体が特定できて、自動的に被写体情報の索引付けができる、多視点映像に映る被写体情報の索引付け装置及びその方法及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の請求項１に記載の発明は、多視点映像に映る同一被写体を同定する被写体同定手段と、多視点映像のうち何れかの映像に映る前記被写体の特徴を取得して被写体を特定する被写体特定手段と、前記同定する被写体について前記特定した被写体の情報を索引付けする被写体情報索引付け手段とを備えることを特徴とする多視点映像に映る被写体情報の索引付け装置である。
【０００６】
本発明の請求項２に記載の発明は、請求項１に記載の多視点映像に映る被写体情報の索引付け装置について、前記被写体特定手段は、前記被写体を特定する被写体情報を格納した被写体情報格納手段を用いて被写体を特定することを特徴とする。
【０００７】
本発明の請求項３に記載の発明は、請求項１または２に記載の多視点映像に映る被写体情報の索引付け装置について、前記被写体特定手段が特定した被写体と前記被写体同定手段が同定した被写体について整合性を判定する整合性判定手段を備えることを特徴とする。
【０００８】
本発明の請求項４に記載の発明は、請求項３に記載の多視点映像に映る被写体情報の索引付け装置について、前記整合性判定手段が前記特定した被写体と前記同定した被写体について整合性がないと判定した場合に不整合性の原因を判定する不整合性原因判定手段を備えることを特徴とする。
【０００９】
本発明の請求項５に記載の発明は、請求項４に記載の多視点映像に映る被写体情報の索引付け装置について、前記不整合性原因判定手段で判定した結果に基づいて前記特定した被写体について補正を行う補正手段を備えることを特徴とする。
【００１０】
本発明の請求項６に記載の発明は、請求項１乃至５の何れかに記載の多視点映像に映る被写体情報の索引付け装置について、前記被写体情報索引付け手段が索引付けした情報を格納する被写体索引付け情報格納手段を備えることを特徴とする。
【００１１】
本発明の請求項７に記載の発明は、多視点映像に映る同一被写体を同定する被写体同定ステップと、多視点映像のうち何れかの映像に映る前記被写体の特徴を取得して被写体を特定する被写体特定ステップと、前記同定する被写体について前記特定した被写体の情報を索引付けする被写体情報索引付けステップとを有することを特徴とする多視点映像に映る被写体情報の索引付け方法である。
【００１２】
本発明の請求項８に記載の発明は、コンピュータを、多視点映像に映る同一被写体を同定する被写体同定手段、多視点映像のうち何れかの映像に映る前記被写体の特徴を取得して被写体を特定する被写体特定手段、及び前記同定する被写体について前記特定した被写体の情報を索引付けする被写体情報索引付け手段として機能させることを特徴とする多視点映像に映る被写体情報の索引付けプログラムである。
【発明の効果】
【００１３】
上記構成により、本発明は、多視点で撮影されたある映像で被写体を特定する被写体の特徴が映っていなくても、被写体が特定できて、自動的に被写体に関する情報の索引付けができる。また、本発明は、多視点映像に映る被写体情報の索引付けを同時に行うので、効率良く索引付けができる。本発明は、任意視点で被写体の索引付けができるので、被写体の任意視点での映像空間の検索を簡単に行うことができる。さらに、本発明は、被写体情報の索引付けを行う際、被写体の特定結果が複数あった場合に、不整合を自動的に発見して補正を行うことができるので、高精度な索引付けを実現できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態について説明する。なお、本発明は以下の実施例に何ら限定されるものではなく、その要旨を逸脱しない範囲であれば、適宜に変更及び実施できる。
【実施例１】
【００１５】
以下、本発明の第１実施例について説明する。はじめに被写体情報索引付け装置１１０の機能について説明する。被写体情報索引付け装置１１０は、その前段で得られる、多視点映像に映る被写体の位置情報を取得して同一被写体の同定を行い、一方、多視点映像のうち何れかの映像に映った被写体の特徴を取得して被写体を特定し、これらを用いて被写体の特徴が映っていない映像に対し、特定された被写体の情報を索引付けする装置である。
【００１６】
図１に示すように、被写体情報索引付け装置１１０の前段には、スポーツ等の映像を撮影する複数のカメラ１０１ａ〜ｎと、カメラ１０１ａ〜ｎにより撮影された映像及びカメラ情報等を記憶する複数の記憶部１０２ａ〜ｎと、記憶部１０２ａ〜ｎを用いて映像及びカメラ情報等を格納する複数の映像及びカメラ情報格納部１０３ａ〜ｎと、映像とカメラの設置位置、焦点距離、及び撮影角度などのカメラ情報を用いて、被写体の位置を抽出する複数の位置情報抽出部１０４ａ〜ｎとを備えている。カメラ情報は、図２に示すように、カメラのナンバー、撮影時刻、及びカメラパラメータを関連付けて管理し、さらにカメラパラメータは、カメラの設置位置、焦点距離、及び撮影角度を管理している。また、位置情報抽出部１０４では、図３に示すように、カメラのナンバー、撮影時刻、映像に映る被写体のナンバー、及びそれぞれの被写体が位置している空間座標Ｐ（Ｘ，Ｙ，Ｚ）を関連付けてそれぞれ管理している。
【００１７】
つづいて、被写体情報索引付け装置１１０の内部構成は、位置情報抽出部１０４から被写体位置情報をそれぞれ取得して多視点映像に映る同一被写体を同定する被写体同定部１１１と、映像及びカメラ情報格納部１０３に格納されている映像のうち何れかの映像に映る被写体の特徴を取得して被写体を特定する被写体特定部１１２と、被写体同定部１１１で同定する被写体について、被写体特定部１１２で特定した被写体の情報を索引付けする被写体情報索引付け部１１３とを備えている。また、被写体情報索引付け装置１１０は、被写体を特定する被写体情報を格納した被写体情報格納部１１４を備えており、被写体特定部１１２で特定される被写体は、映像及びカメラ情報格納部１０３から取得される特徴と格納されている被写体情報とでマッチングを行うことで被写体が特定される。ここで被写体の特徴とは、映像から捉えることができる被写体の特徴的な情報であり、例えば、被写体がスポーツ選手の場合は、背番号やユニフォームの色等が被写体の特徴である。また、被写体情報とは、被写体を撮影する前に予め格納されており、図４に示すように、被写体のナンバー、被写体名、人物特徴、及び物体特徴を関連付けて管理している。人物特徴は、その人物の所属、背番号等の個人ＩＤ、身長、顔特徴、髪型、及び服装等の特徴を管理している。また、物体特徴は、その物体の種類、色、及び形状等の特徴を管理している。マッチングが成功することにより、例えば、被写体名を特定し、取得する。
【００１８】
次に、図５を用いて被写体情報索引付けの全体的な処理手順を説明する。ステップ５０１ではスポーツ等を撮影する複数のカメラで撮影された映像から被写体領域をそれぞれ抽出し、ステップ５０２では抽出された被写体領域に映る被写体の位置をそれぞれ取得する。また、ステップ５０２とほぼ同時にステップ５０３では各カメラが持つカメラ情報からカメラパラメータを抽出する。そしてステップ５０４ではステップ５０２で取得した被写体の映像内の位置と、ステップ５０３で取得したカメラパラメータを用いて、被写体の実世界上の位置情報を抽出する。なお、ステップ５０１及びステップ５０２ではカメラ１０１及び記憶部１０２を用い、ステップ５０３では映像及びカメラ情報格納部１０３を用い、ステップ５０４では位置情報抽出部１０４を用い、抽出された実世界上の被写体位置情報は被写体同定部１１１に送られる。ステップ５０５では抽出した被写体位置情報を位置情報抽出部１０４ａ〜ｎからそれぞれ取得し、ステップ５０６では取得したそれぞれの被写体位置情報を用いて同一被写体を同定する処理を行う。
【００１９】
ステップ５０６の同一被写体を同定する処理手順について、図６を用いて説明する。ステップ６０１では抽出された実世界上の被写体位置情報をそれぞれ取得し、同時刻（ｔ）で一致している空間座標があるか否かを判定する。一致している空間座標がある場合はステップ６０２に進み、ない場合はステップ６０３に進む。ステップ６０２では同一被写体があると判定してステップ６０４に進む。ステップ６０４では同時刻（ｔ）の一致している空間座標について被写体同定情報を生成して被写体情報索引付け部１１３へ出力する。例えば、図３において、同時刻（１０ｓ）のカメラＮｏ．１で撮影した空間座標Ｐ１２、カメラＮｏ．２で撮影した空間座標Ｐ２１、カメラＮｏ．３で撮影した空間座標Ｐ３２が一致している場合、時刻（１０ｓ）の各カメラの空間座標について同定情報を付与する。図８（ａ）は同定ナンバーを付与した被写体同定情報を示す。一方、ステップ６０３では同一被写体がないと判定する。例えば、図３において、同時刻（１０ｓ）のカメラＮｏ．１で撮影した空間座標Ｐ１１やカメラＮｏ．２で撮影した空間座標Ｐ２２、あるいはカメラＮｏ．３で撮影した空間座標Ｐ３３が一致していない場合、いずれも同定できないので、同定ナンバーは付与されない。この場合は、取得した被写体位置情報をそのまま被写体情報索引付け部１１３へ出力する。
【００２０】
一方、ステップ５０１でカメラ１０１を用いて抽出された被写体領域は被写体特定部１１２に送られる。ステップ５０７では、被写体領域をそれぞれ取得し、被写体の特徴を取得する。ステップ５０８では、被写体情報格納部１１４に格納されている被写体情報を用いて取得された特徴とマッチングを行って被写体を特定する処理を行う。
【００２１】
ステップ５０８の被写体を特定する処理の手順について、図７を用いて説明する。ステップ７０１では、被写体の特徴及び被写体情報を取得してマッチング処理を行う。マッチング処理は、例えば、「背番号１６番」を被写体の特徴として取得した場合、図４に示す、被写体情報格納部１１４に格納されている被写体情報に「背番号１６番」があるかないかを調べる。ステップ７０２では、そのマッチング処理が成功したかしないかを判定し、マッチング処理が成功した場合はステップ７０３に進み、マッチング処理が失敗した場合はステップ７０４に進む。ステップ７０３では、被写体特定情報を生成して被写体情報索引付け部１１３へ出力する。例えば、被写体情報格納部１１４に格納されている被写体情報に「背番号１６番」があるので、この場合は、マッチング処理が成功したと判定する。そして、「背番号１６番」からは被写体名が「太郎」であることを特定でき、「太郎」について被写体特定情報を生成して被写体情報索引付け部１１３へ出力する。図８（ｂ）は時刻１０（ｓ）に被写体領域を抽出して被写体「ｏｂｊ１＿２」のマッチング処理を行った結果、「太郎」を特定した被写体特定情報を示す。一方、例えば、「背番号１９番」を被写体の特徴として取得した場合、図４に示す、被写体情報格納部１１４に格納されている被写体情報に「背番号１９番」はないので、マッチング処理が失敗したと判定する。この場合は、被写体は特定できないので、被写体特定情報は生成されず、被写体「ｏｂｊＸ＿Ｘ」については「Ｎｕｌｌ」を指定して被写体情報索引付け部１１３へ出力する。
【００２２】
ステップ５０９では、ステップ５０６で得られる被写体同定情報と、ステップ５０８で得られる被写体特定情報とを用いて、同定する被写体について特定した被写体の情報を索引付けして出力する。例えば、図８（ａ）で示した被写体同定情報と、図８（ｂ）で示した被写体特定情報とを用いて索引付けを行った場合、同定する被写体は「Ｏｂｊ１＿２」、「Ｏｂｊ２＿１」、「Ｏｂｊ３＿２」であり、特定された被写体は「Ｏｂｊ１＿２＝太郎（被写体名）」であることから、「Ｏｂｊ２＿１」、「Ｏｂｊ３＿２」の被写体も「太郎」であることが分かる。図８（ａ）及び（ｂ）に示すように、同定する被写体情報と特定された被写体情報が一致した場合、整合性があることが分かる。整合性がある場合、一致した項目を用いて索引付け値を指定し、出力する。上記の場合、被写体索引付け値に「太郎」を指定して出力する（図８（ｃ）参照）。なお、被写体が同定していない場合は、取得した被写体位置情報を用いて特定できた被写体情報から索引付け値を指定して出力する。また、被写体特定情報が得られなかった場合は取得した被写体位置情報を用いて「Ｎｕｌｌ」を索引付け値として指定して出力する。最後にステップ５１０では、生成された被写体索引付け情報を被写体索引付け部１１３に格納する（終了）。
【００２３】
以上、本実施例は、多視点で撮影された同一被写体について同定を行い、一方、多視点映像のうち何れかの映像に映る被写体の特徴を用いて被写体情報とのマッチングを行うことで被写体名を取得し、同定する被写体について取得した被写体名の索引付けをするので、被写体情報について特定できた被写体が同定していれば、被写体の特徴を映していない映像についても、取得した被写体名を索引付けすることができる。なお、本実施例で説明した処理動作は、被写体情報索引付け装置内の記憶媒体（図示しない）に格納された被写体情報索引付けプログラムを、その装置内のコンピュータが実行して処理を行っている。
【実施例２】
【００２４】
以下、本発明の第２実施例について説明する。上記実施例１では同定する被写体情報と特定された被写体情報が一致したので整合性があることが分かり、被写体の索引付けができた。本実施例では、同定する被写体情報と特定された被写体情報が一致せず、不整合が発生した場合に被写体を索引付けする例について説明する。なお、上記実施例１と重複する説明は省略する。
【００２５】
図９を用いて、図１の被写体情報索引付け部１１３の内部構成を説明する。被写体情報索引付け部１１３は、被写体同定部１１１から被写体の同定情報及び位置情報を取得する被写体同定・位置情報取得部９０１と、被写体特定部１１２から被写体の特定情報を取得する被写体特定情報取得部９０２と、同時刻の同定情報または位置情報を取得する同時刻同定・位置情報取得部９０３と、同時刻同定・位置情報取得部９０３で取得した時刻と同時刻の特定情報を取得する同時刻特定情報取得部９０４と、取得した同定情報と特定情報を用いて被写体特定結果について整合性があるかないかを判定する整合性判定部９０５と、整合性判定部９０５で整合性がないと判定した場合に不整合性の原因を判定する不整合性判定部９０６と、不整合性原因判定部９０６で判定した結果に基づいて被写体の特定情報を補正する補正部９０７を備えている。
【００２６】
つづいて図１０を用いて、図５に示したステップ５０９での被写体情報を索引付けする処理の手順について説明する。ステップ１００１では、時刻（ｔ）における複数（Ｍ）台のカメラから被写体位置情報を取得する。例えば、図３において、カメラは３台あり、時刻（１０ｓ）における被写体位置情報は、カメラＮｏ．１からはｏｂｊ１＿１＝空間座標Ｐ１１（Ｘ１１，Ｙ１１，Ｚ１１）、ｏｂｊ１＿２＝空間座標Ｐ１２（Ｘ１２，Ｙ１２，Ｚ１２）、カメラＮｏ．２からはｏｂｊ２＿１＝空間座標Ｐ２１（Ｘ２１，Ｙ２１，Ｚ２１）、ｏｂｊ２＿２＝空間座標Ｐ２２（Ｘ２２，Ｙ２２，Ｚ２２）、ｏｂｊ２＿３＝空間座標Ｐ２３（Ｘ２３，Ｙ２３，Ｚ２３）、ｏｂｊ２＿４＝空間座標Ｐ２４（Ｘ２４，Ｙ２４，Ｚ２４）、カメラＮｏ．３からはｏｂｊ３＿１＝空間座標Ｐ３１（Ｘ３１，Ｙ３１，Ｚ３１）、ｏｂｊ３＿２＝空間座標Ｐ３２（Ｘ３２，Ｙ３２，Ｚ３２）、ｏｂｊ３＿３＝空間座標Ｐ３３（Ｘ３３，Ｙ３３，Ｚ３３）を取得する。ステップ１００２では、処理するカメラの順番を決定する。本実施例では、カメラのナンバーが小さい方から順に処理する。ステップ１００３では、処理を行うカメラが被写体（ｊ）を取得する。例えば、処理を行うカメラがカメラＮｏ．１の場合、ｏｂｊ１＿１＝空間座標Ｐ１１（Ｘ１１，Ｙ１１，Ｚ１１）、及びｏｂｊ１＿２＝空間座標Ｐ１２（Ｘ１２，Ｙ１２，Ｚ１２）を取得する。ステップ１００４では、処理する被写体の順番を決定する。本実施例では、被写体のナンバーが小さい方から順に処理する。ステップ１００５では、ｊ番目の被写体に処理済マークがあるかないかを判定する。つまり、取得した処理を行う被写体について全ての処理が終わっているかいないかを判定する。全ての処理が終わっている場合はステップ１０１４に進み、終わっていない場合はステップ１００６に進む。ステップ１００６では、取得した被写体（ｊ）の同定情報を取得する。例えば、図３において、ｏｂｊ１＿２＝空間座標Ｐ１２（Ｘ１２，Ｙ１２，Ｚ１２）を取得し、ｏｂｊ２＿１＝空間座標Ｐ２１（Ｘ２１，Ｙ２１，Ｚ２１）とｏｂｊ３＿２＝空間座標Ｐ３２（Ｘ３２，Ｙ３２，Ｚ３２）が同じ空間座標である場合は、ｏｂｊ１＿２、ｏｂｊ２＿１、及びｏｂｊ３＿２を被写体同定情報として取得する。ステップ１００７では、被写体（ｊ）の同定情報があるかないかを判定する。被写体同定情報がある場合はステップ１００８に進み、ない場合はステップ１０１２に進む。ステップ１００８では、同定している被写体（ｊ）について、被写体特定情報を取得する。ステップ１００９では、被写体（ｊ）の同定情報と取得した特定情報との整合性を判定する。
【００２７】
ステップ１００９の整合性判定の処理手順について、図１１を用いて説明する。ステップ１１０１では、被写体（ｊ）の同定情報と、同定情報にある被写体と一致する被写体特定情報を取得する。ステップ１１０２では、取得結果について判定する。被写体特定情報が一つ、または複数あって同じ場合はステップ１１０３に進み、ステップ１１０３では整合性があると判定する。一方、被写体特定情報が複数あって異なる場合はステップ１１０４に進み、ステップ１１０４では不整合性が発生したと判定する。例えば、図８（ａ）に示す被写体（ｏｂｊ１＿２）の同定情報と図８（ｂ）に示す被写体特定情報から、同定情報にある被写体と一致する被写体特定情報は、「特定名＝「太郎」、カメラＮｏ．＝「１」、時刻＝「１０ｓ」、被写体Ｎｏ．＝「ｏｂｊ１＿２」」である。この場合、取得結果は、被写体特定情報が一つなので、整合性があると判定する。一方、図１４（ａ）に示す被写体（ｏｂｊ１＿２）の同定情報と図１４（ｂ）に示す被写体特定情報から、同定情報にある被写体と一致する被写体特定情報は、「特定名＝「太郎」、カメラＮｏ．＝「１」、時刻＝「１０ｓ」、被写体Ｎｏ．＝「ｏｂｊ１＿２」」と「特定名＝「花子」、カメラＮｏ．＝「２」、時刻＝「１０ｓ」、被写体Ｎｏ．＝「ｏｂｊ２＿１」」である。この場合、取得結果は、被写体特定情報が複数あって異なるので、不整合性が発生したと判定する。
【００２８】
その後、ステップ１０１０において、整合性がある場合はステップ１０１２に進み、整合性がない場合はステップ１０１１に進む。ステップ１０１１では、不整合性の原因について判定し、その結果に基づいて特定した被写体について補正を行う。不整合性原因の判定を行う際は、同定結果の正解確率Ｐ（δ）とその平均値Ｐ（ｄ）、あるいは、特定結果の正解確率Ｐ（Ｏ）とその平均値Ｐ（ｔ）を算出する。例えば、図１４（ｂ）の被写体特定情報において、「太郎」の正解確率Ｐ（Ｏ）は９０％、「花子」の正解確率Ｐ（Ｏ）は８５％と算出されている。
【００２９】
同定情報正解確率Ｐ（δ）について説明する。同定情報正解確率は、被写体同定部１１１において、ある程度の誤差を許容して空間座標が一致したと判定した２つの被写体に関して、両被写体間の空間座標上での誤差と許容閾値との比率を表したものである。たとえば、前記被写体ｏｂｊ１＿２の空間座標はＰ１２＝（Ｘ１２，Ｙ１２，Ｚ１２），ｏｂｊ２＿１の空間座標Ｐ２１＝（Ｘ２１，Ｙ２１，Ｚ２１）の場合、両被写体間空間座標上誤差δの算出は、
【００３０】
【数１】
2006025306.tif 000003
とする。また、空間座標上誤差の許容閾値はＬとする。このときの同定情報正解確率Ｐ（δ）は、
【００３１】
【数２】
2006025306.tif 000004
と定義する。
【００３２】
次に同定情報正解確率平均値Ｐ（ｄ）について説明する。Ｎ個の被写体が同定被写体と判定された場合、Ｎ個の組み合わせの個数であるＮ（Ｎ−１）／２個の同定情報正解確率Ｐ（δk）が得られる（Ｋ＝｛１，２，…，Ｎ（Ｎ−１）／２｝）。同定情報正解確率平均値Ｐ（ｄ）は、上記Ｎ（Ｎ−１）／２個の同定情報正解確率Ｐ（δk）の平均値である。
同定情報正解確率平均値Ｐ（ｄ）の算出は、
【００３３】
【数３】
2006025306.tif 000005
と定義する。
【００３４】
特定情報正解確率平均値Ｐ（ｔ）について説明する。特定情報正解確率は、被写体特定部１１２の処理結果で、個々の被写体を正しく認識した確率Ｐ（Ｏ）である。特定情報正解確率平均値Ｐ（ｔ）は、Ｎ個の被写体のうち、Ｍ個が特定できた場合、Ｍ個の特定情報正解確率Ｐ（Ｏi）の平均値である。ただし、ｉ＝｛１，２，…Ｍ｝。特定情報正解確率平均値Ｐ（ｔ）の算出は、
【００３５】
【数４】
2006025306.tif 000006
（Ｍ：特定できた被写体の数）
と定義する。
【００３６】
次に、ステップ１０１１の不整合性原因判定の処理手順について、図１２を用いて説明する。ステップ１２０１では、同定結果の正解確率平均値Ｐ（ｄ）と特定結果の正解確率平均値Ｐ（ｔ）を求め、ステップ１２０２で、求めた平均値Ｐ（ｄ）とＰ（ｔ）を比較する。ステップ１２０３では、正解確率平均値Ｐ（ｄ）と正解確率平均値Ｐ（ｔ）が何れも事前に設定した最低限界値よりも小さいかどうか判定し、小さいと判定した場合はステップ１２０４に進み、そうでないと判定した場合はステップ１２０５に進む。ステップ１２０４では、同定情報と特定情報ともに信頼性が低いと原因判定し、この場合「Ｎｕｌｌ」を被写体索引付け値として指定し、ステップ１０１２の索引付け処理に進む。一方、ステップ１２０５では、同定情報正解確率平均値Ｐ（ｄ）の方が特定情報正解確率平均値Ｐ（ｔ）よりも大きいかどうか判定し、大きいと判定した場合はステップ１２０６に進み、そうでないと判定した場合はステップ１２０７に進む。ステップ１２０６では、同定情報は信頼性が高いが、特定情報は信頼性が低いと原因判定し、この場合、ステップ１２０８に進んで特定情報の補正処理を行う。そして補正処理を行った特定情報を被写体索引付け値として指定し、ステップ１０１２の索引付け処理に進む。一方、ステップ１２０７では、同定情報は信頼性が低いが、特定情報は信頼性が高いと原因判定し、この場合、特定情報はそのまま被写体索引付け値として指定し、ステップ１０１２の索引付け処理に進む。
【００３７】
次にステップ１２０８の補正の処理手順について、図１３を用いて説明する。補正処理には、特定情報の特定名毎の多数決で比較する場合（ステップ１３０１〜１３０５）、及び正解率の平均値で比較する場合（ステップ１３１１〜１３１５）、正解率の総和で比較する場合（ステップ１３２１〜１３２５）がある。
【００３８】
特定情報の特定名毎の多数決で比較する場合、ステップ１３０１では、特定情報を取得し、ステップ１３０２では、取得した特定情報から同一の特定値を持つ被写体毎にＳｕｍ（Ｏｉ）を計算する。そして、ステップ１３０３では、各被写体毎の総数Ｓｕｍ（Ｏｉ）のうち最も高い値Ｓｕｍ’（Ｏｉ）を求め、ステップ１３０４では、Ｓｕｍ’（Ｏｉ）を最終特定値として付与する。付与された最終特定値は、ステップ１３０５で被写体及び同一被写体の索引付け値として付与される。つまり、補正された最終特定値を被写体索引付け値として指定し、ステップ１２０９に進む。
【００３９】
一方、特定情報の特定名の正解率の平均値で比較する場合、ステップ１３１１では、特定情報を取得し、ステップ１３１２では、取得した特定情報から同一の特定値を持つ被写体毎に正解率平均値Ｐａ（Ｏｉ）を計算する。そして、ステップ１３１３では、各被写体毎の正解率平均値Ｐａ（Ｏｉ）のうち最も高い値Ｐａ’（Ｏｉ）を求め、ステップ１３１４では、Ｐａ’（Ｏｉ）を最終特定値として付与する。付与された最終特定値は、ステップ１３１５で被写体及び同一被写体の索引付け値として出力される。つまり、補正された最終特定値を被写体索引付け値として指定し、ステップ１２０９に進む。
【００４０】
一方、特定情報の特定名の正解率の総和で比較する場合、ステップ１３２１では、特定情報を取得し、ステップ１３２２では、取得した特定情報から同一の特定値を持つ被写体毎に全体における割合Ｐ（Ｏｉ）を計算する。そして、ステップ１３２３では、各被写体毎の割合Ｐ（Ｏｉ）のうち最も高い値Ｐ’（Ｏｉ）を求め、ステップ１３２４では、Ｐ’（Ｏｉ）を最終特定値として付与する。付与された最終特定値は、ステップ１３２５で被写体及び同一被写体の索引付け値として出力される。つまり、補正された最終特定値を被写体索引付け値として指定し、ステップ１２０９に進む。
【００４１】
例えば、特定情報正解確率平均値が８５％、同定情報正解確率平均値が８０％と算出された場合、特定情報の信頼性の方が高いので、Ｏｂｊ１＿２＝「太郎」、Ｏｂｊ２＿１＝「花子」として特定される。結果として、Ｏｂｊ１＿２の索引付け値は「太郎」、Ｏｂｊ２＿１の索引付け値は「花子」となる。一方、例えば、特定情報正解確率がＯｂｊ１＿２＝「太郎」は８０％、Ｏｂｊ２＿１＝「花子」は６０％、Ｏｂｊ３＿２＝「花子」は７０％の被写体特定結果が得られた場合、特定情報の正解確率平均値は７０％となり、一方、同定情報の正解確率平均値は８０％である場合、特定情報の信頼性が低いので、この場合は、補正処理を行う。「花子」の特定情報正解確率平均値は６５％であり、「太郎」の特定情報正解確率平均値８０％よりも低いため、補正結果として得られる最終特定値は「太郎」であり、複数カメラ映像における同一被写体Ｏｂｊ１＿２、Ｏｂｊ２＿１、及びＯｂｊ３＿２の索引付け値は「太郎」が指定される。
【００４２】
上記、同定情報の有無、整合性の有無、及び不整合性原因判定及び補正処理を行った後、ステップ１０１２では、同定する被写体について指定された索引付け値を付与し、ステップ１０１３では、索引付け値が付与された被写体について処理済みのマークをつける。これによりステップ１００３で取得した被写体のうち一つの被写体に関する索引付け処理が終了する。ステップ１０１４では、取得した被写体の数（Ｎ）が処理する被写体の順番（ｊ）に１を加えた数より小さい場合は（ｊ＋１＞Ｎ）取得した被写体の索引付け処理は全て終了したと判定してステップ１０１５に進み、大きい場合は（ｊ＋１＜Ｎ）被写体の索引付け処理はまだ終了していないと判定し、次の被写体の処理を行うためステップ１００４に戻り、上記と同様の処理ステップ１００５〜１０１３を行う。ステップ１０１５では、ステップ１００１で取得したカメラの数（Ｍ）が処理するカメラの順番（ｉ）に１を加えた数より小さい場合は（ｉ＋１＞Ｍ）取得したカメラにおける時刻（ｔ）の索引付け処理は全て終了したと判定し（終了）、大きい場合は（ｉ＋１＜Ｍ）索引付け処理はまだ終了していないと判定し、次のカメラの処理を行うためステップ１００２に戻り、上記と同様の処理ステップ１００３〜１０１４を行う。
【００４３】
以上、本実施例は、被写体情報の索引付けを行う際、被写体の特定結果が複数あった場合に、自動的に不整合原因を判定してその結果に基づいて被写体を特定できるので、高精度な索引付けができる。なお、本実施例で説明した処理動作も、被写体情報索引付け装置内の記憶媒体（図示しない）に格納された被写体情報索引付けプログラムを、その装置内のコンピュータが実行して処理を行っている。
【００４４】
なお、本発明は、実施例に挙げたスポーツ映像以外でも、公衆場所等での監視カメラ映像において、人物などの特定にも同様な効果がある。
【産業上の利用可能性】
【００４５】
本発明は、スポーツ試合等で複数の異なる視点カメラ映像及び映像内被写体に関する索引付けを効率的かつ高精度に実現する効果を有し、また公衆場所等での監視カメラ映像において、人物などの特定にも同様な効果がある。
【図面の簡単な説明】
【００４６】
【図１】本発明の多視点映像に映る被写体情報の索引付け装置を示すブロック図
【図２】カメラ情報を示す図
【図３】被写体の位置情報を示す図
【図４】被写体情報格納部に格納されている被写体情報を示す図
【図５】本発明の多視点映像に映る被写体情報の索引付けを行う処理手順を示すフロー図
【図６】被写体の同定を行う処理手順を示すフロー図
【図７】被写体の特定を行う処理手順を示すフロー図
【図８】（ａ）被写体同定情報を示す図  （ｂ）被写体特定情報を示す図  （ｃ）索引付け情報を生成するまでの様子を示す図
【図９】被写体情報索引付け部の内部構成を示すブロック図
【図１０】被写体情報の索引付けを行う処理手順を示すフロー図
【図１１】整合性判定を行う処理手順を示すフロー図
【図１２】不整合原因判定を行う処理手順を示すフロー図
【図１３】補正を行う処理手順を示すフロー図
【図１４】（ａ）被写体同定情報を示す図  （ｂ）被写体特定情報を示す図  （ｃ）索引付け情報を生成するまでの様子を示す図
【符号の説明】
【００４７】
１０１ａ〜ｎ  カメラ
１０２ａ〜ｎ  記憶部
１０３ａ〜ｎ  映像及びカメラ情報格納部
１０４ａ〜ｎ  位置情報抽出部
１１０  被写対情報索引付け装置
１１１  被写体同定部
１１２  被写体特定部
１１３  被写体情報索引付け部
１１４  被写体情報格納部
１１５  被写体索引付け情報格納部
９０１  被写体同定情報取得部
９０２  被写体特定情報取得部
９０３  同時刻同定情報取得部
９０４  同時刻特定情報取得部
９０５  整合性判定部
９０６  不整合性原因判定部
９０７  補正部
９０８  索引付け部
９０９  索引付け情報出力部
【図１】
2006025306.tif 000007
【図２】
2006025306.tif 000008
【図３】
2006025306.tif 000009
【図４】
2006025306.tif 000010
【図５】
2006025306.tif 000011
【図６】
2006025306.tif 000012
【図７】
2006025306.tif 000013
【図８】
2006025306.tif 000014
【図９】
2006025306.tif 000015
【図１０】
2006025306.tif 000016
【図１１】
2006025306.tif 000017
【図１２】
2006025306.tif 000018
【図１３】
2006025306.tif 000019
【図１４】
2006025306.tif 000020