(57)【要約】【課題】人物名と顔画像が関連付けされたデータからネットワークを介して人物の顔画像の情報を得ることで、顔画像の情報から顔特徴量を効率良く登録して管理できる顔識別特徴量登録装置を得る。【解決手段】人物名を検索キーワードとしてネットワーク経由で前記人物の顔画像を検索する顔画像検索部１１と、顔画像検索部１１にて検索された顔画像から人物の識別に大きく影響する特徴量を抽出する顔特徴量抽出部１２と、顔画像検索部１１にて検索された顔画像と、顔特徴量抽出部１２にて抽出された顔特徴量を、前記人物名と関連付けて登録するタレント名・顔画像・特徴量データベース１３とを具備することで、手動で顔画像を検索して用意する手間を省略することができる顔識別特徴量登録装置とする。【選択図】図１
2010072708.tif 000002
【特許請求の範囲】
【請求項１】
人物名を検索キーワードとしてネットワーク経由で前記人物の顔画像を検索する顔画像検索部と、
前記顔画像検索部にて検索された顔画像から人物の識別に大きく影響する特徴量を抽出する顔特徴量抽出部と、
前記顔画像検索部にて検索された顔画像と、前記顔特徴量抽出部にて抽出された顔特徴量を、前記人物名と関連付けて登録する人物名・顔画像・特徴量データベースと
を具備することを特徴とした顔識別特徴量登録装置。
【請求項２】
前記顔画像検索部は、検索キーワードに基づきネットワーク経由で画像を検索する画像検索部と、前記画像検索部にて検索された画像から顔の存在する領域を検出する顔検出部とを備え、
前記検出部で検索された画像から顔が検出された場合に限定して顔画像を出力することで、正しく顔が含まれている画像だけを検索できるようにした請求項１に記載の顔識別特徴量登録装置。
【請求項３】
前記顔検出器部は、画像検索部にて検索された画像から顔が検出できなかった場合に、前記顔検出部から前記画像検索部に再検索要求を通知する再検索通知手段を備えて成る請求項２に記載の顔識別特徴量登録装置。
【請求項４】
テレビ放送波を受信し分離することで取得した電子テレビ番組表、又は、ネット経由で取得した電子テレビ番組表から、各テレビ番組の出演者一覧に記載されているタレント名を抽出するタレント名抽出部を備え、
前記顔画像検索部は、前記タレント名抽出部で抽出したタレント名を検索キーワードとしてネットワーク経由で前記タレント名の顔画像を検索する構成とした
請求項１乃至請求項３のいずれかに記載の顔識別特徴量登録装置。
【請求項５】
人物名を検索キーワードとしてネットワーク経由で前記人物の顔画像を検索する顔画像検索部と、
前記顔画像検索部にて検索された顔画像から人物の識別に大きく影響する特徴量を抽出する顔特徴量抽出部と、
前記顔画像検索部にて検索された顔画像と、前記顔特徴量抽出部にて抽出された顔特徴量を、前記人物名と関連付けて登録する人物名・顔画像・特徴量データベースと、
ネットワークを介して動画像を受信する画像受信部と、
前記人物名・顔画像・特徴量データベースで指定された人物名に対して、前記動画像を入力として顔の出現するフレーム画像単位で顔画像から正規化顔画像を抽出する正規化顔画像抽出部と、
前記正規化顔画像抽出部で抽出された特徴量と前記人物名・顔画像・特徴量データベースで指定された人物の特徴量との類似度を算出する顔類似度算出部と、
前記動画像からフレーム単位で顔検出し、顔検出の結果得られた顔領域の位置のフレーム間の関係から、動画映像の連続性に基づいて人物の同一性の判定を行い同一人物の登場する区間を特定する顔追跡部と、
特定人物の登場区間内でしきい値を超える類似度を示したフレームを特定し、その前後フレームの顔画像を追加画像として抽出する追加顔画像抽出部とを具備し、
前記顔特徴量抽出部は、前記追加顔画像抽出部の追加画像から特徴量を抽出し、前記人物名・顔画像・特徴量データベース内で指定された人物名の画像として前記追加画像の特徴量を前記人物名・顔画像・特徴量データベースに再登録することを特徴とした顔識別特徴量登録装置。
【請求項６】
人物名を検索キーワードとしてネットワーク経由で前記人物の顔画像を検索する顔画像検索部と、
前記顔画像検索部にて検索された顔画像から人物の識別に大きく影響する特徴量を抽出する顔特徴量抽出部と、
前記顔画像検索部にて検索された顔画像と、前記顔特徴量抽出部にて抽出された顔特徴量を、前記人物名と関連付けて登録する人物名・顔画像・特徴量データベースと、
テレビ放送波を受信してテレビ番組映像と電子テレビ番組表に分離するテレビ放送波受信部と、
前記テレビ番組映像を入力として顔の出現するフレーム画像単位で顔画像から正規化顔画像を抽出する正規化顔画像抽出部と、
前記正規化顔画像抽出部で抽出された特徴量と前記人物名・顔画像・特徴量データベースに登録された人物の特徴量との類似度を算出する顔類似度算出部と、
前記テレビ番組映像からフレーム単位で顔検出し、顔検出の結果得られた顔領域の位置のフレーム間の関係から、動画映像の連続性に基づいて人物の同一性の判定を行い同一人物の登場する区間を特定する顔追跡部と、
特定人物の登場区間内でしきい値を超える類似度を示したフレームを特定し、その前後フレームの顔画像を追加画像として抽出する追加顔画像抽出部とを具備し、
前記顔特徴量抽出部は、前記追加顔画像抽出部の追加画像から特徴量を抽出し、前記人物名・顔画像・特徴量データベース内の人物名の画像として前記追加画像の特徴量を前記人物名・顔画像・特徴量データベースに再登録することを特徴とした顔識別特徴量登録装置。
【請求項７】
前記顔類似度算出部は、前記電子テレビ番組表の出演名で識別対象を絞り込む絞り込み手段を備えた請求項６に記載の顔識別特徴量登録装置。
【請求項８】
前記テレビ放送波受信部により分離されたテレビ番組映像を記録媒体に蓄積可能な形式に変換する記録部と、
前記テレビ放送波受信部またはネット経由で取得した電子テレビ番組表から、録画対象となるテレビ番組に関する番組名・放映日時・チャンネル・ジャンル・出演タレント名一覧・番組識別子を番組情報として抽出し、これらの番組情報から各番組を識別する固有の番組識別子を生成する録画番組情報抽出部と、
前記録画番組情報抽出部にて抽出された録画されたテレビ番組に関する番組名・放映日時・チャンネル・ジャンル・出演タレント名一覧・番組識別子を関連付けて番組情報として登録する録画番組情報データベースと、
前記記録部にて変換されたテレビ番組映像に、前記録画番組情報抽出部にて生成された番組識別子に基づいて生成されたファイル名を関連付けて蓄積する動画データベースと、
前記録画番組情報データベースに登録された番組情報の中から、選択されたテレビ番組に関する番組識別子および番組に出演するタレント名の一覧を抽出する選択番組情報抽出部と、
前記選択番組情報抽出部にて生成された番組識別子に基づくファイル名のテレビ番組映像を前記動画データベースから読み込みテレビ番組映像を再生する再生部と
を備えた請求項６又は請求項７に記載の顔識別特徴量登録装置。
【請求項９】
前記顔類似度算出部及び顔追跡部にて副次的に得られる登場タレント名、同一人物の登場区間等の情報を、前記録画番組情報データベースに登録された対応するテレビ番組の番組情報にメタ情報として付与するメタ情報付与部を備えた請求項８に記載の顔識別特徴量登録装置。
【請求項１０】
人物名を検索キーワードとしてネットワーク経由で前記人物名の顔画像を検索する顔画像検索ステップと、
前記顔画像検索部にて検索された顔画像から人物の識別に大きく影響する特徴量を抽出する顔特徴量抽出ステップと、
前記顔画像検索ステップで検索された顔画像と、前記顔特徴量抽出ステップで抽出された顔特徴量を、前記人物名と関連付けて人物名・顔画像・特徴量データベースに登録する登録ステップと、
を具備することを特徴とする顔識別特徴量登録方法。
【請求項１１】
請求項１０に記載の顔識別特徴量登録方法の各ステップをコンピュータにより実行することが可能な顔識別特徴量登録プログラム。
【請求項１２】
請求項１１に記載の顔識別特徴量登録プログラムが格納されたことを特徴とするコンピュータに読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを利用して検索された顔画像から識別のための特徴量を自動的に登録する顔識別特徴量登録装置に関し、特に、テレビ映像を蓄積・視聴するためのテレビ映像記録装置を備えることで、顔識別によりテレビ番組の検索を実現するに際して、撮影された顔画像が誰であるかを識別する際に用いられる、俳優、モデル、アーティスト、キャスター等、テレビに出演するタレントの顔識別特徴量を効率良く登録できる顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録方法を実行するための顔識別特徴量登録プログラム、及び、顔識別特徴量登録プログラムが記録された記録媒体に関する。
【背景技術】
【０００２】
撮影された人物が登録されている人物の中の誰であるかを顔で識別する装置は、これまでにもいくつか提案されている。代表的な顔識別装置としては、特許文献１に開示された人物認証装置及び人物認証方法が存在する。
【特許文献１】特開平９−２５１５３４号公報
【０００３】
特許文献１に記載の顔識別装置は、図１１に示すように、撮影された顔画像から人物の特定に大きく影響する顔の特徴量を抽出する特徴量抽出部９１と、前記特徴量抽出部９１により予め抽出された特徴量を蓄積する特徴量蓄積部９２と、前記特徴量蓄積部９２に予め登録されている特徴量と比較し類似度を算出する特徴量比較部９３と、類似度に基づいて誰であるかを特定する識別部９４を基本部分として構成されている。
【０００４】
一般に、顔は姿勢・照明・表情を起因とする変動により見た目が大きく変化する。この結果、撮影された顔に登録された特徴量には含まれていない未知の変動があった場合、登録特徴量との乖離が生じ、正しく人物を識別するのが困難となる場合がある。
上記した特許文献１では、変動に強い顔識別を実現するため、顔を登録する際に起こりうる変動が付加された顔画像を予め用意し、変動を含めた特徴量を抽出することが行われていた。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
未知の顔の識別を実行する前に、予め識別させたい人物の顔の特徴量を抽出し、登録しておく必要がある。これは上記した特許文献１の顔識別装置に限らず、他の全ての顔識別装置に共通する。例えば、テレビ番組の検索を目的として顔で登場人物を識別する場合、テレビ映像に出演する可能性がある人物の名前と顔の特徴量を予め登録する必要がある。日本タレント名鑑には俳優、モデル、アーティスト、キャスター等の１５０００人もの膨大な人数の人物が登録されているため、テレビに出演する全てのタレントに関して、名前と特徴量を登録する操作を手動で行った場合、多大な手間がかかるという第１の問題点が存在した。
また、変動に強い顔識別を実現するためには、登録の際に起こりうる変動が付加された顔画像を予め用意する必要があったが、テレビに出演するタレントの顔画像を収集すること自体が一般視聴者には困難であり、収集できる状況にあったとしても一度に手に入れることは困難かつ多大な手間がかかるという第２の問題点が存在した。
【０００６】
上記した特許文献１を含む従来の顔識別装置には、これら特徴量の登録に関する上記二つの問題点に対し、特別の配慮が無かった。
【０００７】
また、顔識別装置としても、様々な未解決の問題を抱えている。その一つとして、識別の精度が未だ十分に高くないことが挙げられる。したがって、顔画像さえ映せば識別できるレベルにはまだ到達しておらず、例えば顔向きが変わっただけで、人物を識別できなくなるという問題も現実に発生している。
【０００８】
そこで、顔識別処理の精度を高めることを目的として、各種の顔特徴量登録技術が提案されている。
例えば、特許文献２には、映像中から顔が写っているフレームを検出し、前記フレームから顔画像を抽出し、抽出した全ての顔画像から同一登場人物の顔をグループ化し、登場人物別にその代表顔画像を抽出することを特徴とする画像検索方法が開示されている。
この画像検索方法によれば、映像から顔に特化した検出を行い、さらに検出した顔の識別を行うことで、映像中に登場する人物の顔を区別して表示できる。
【０００９】
特許文献３には、人物認証を行なうための画像データをフレーム単位で入力する手段と、前記画像データから顔領域を検出する手段と、前記顔領域から特徴量を検出する手段と、前記特徴量を基準値と比較することにより該特徴量が有効か否かを判定する手段と、有効と判定された特徴量を複数フレーム分蓄える手段と、前記複数フレーム分の特徴量に演算を施こすことにより認証用特徴量を得る手段と、前記認証用特徴量を予め記憶された顔特徴量と比較することにより当該人物の認証を行なう手段とを備えた人物認証装置が開示されている。
この人物認証装置によれば、頭の姿勢、表情の影響により認証精度の低下を無くし、さらに有効フレーム判定のための特徴量の計測精度を向上させることができる。
【００１０】
特許文献４には、認証本人の顔を互いに異なる複数の環境下で撮影して得られた複数の顔情報を、前記環境に対応したパターン名をつけて登録した顔認証用データベースと、この顔認証用データベースに登録されたパターン名と、このパターン名で撮影した認証本人とを対応付けた認証本人特定テーブルと、認証対象人の顔を撮影して顔情報を得るカメラと、このカメラで撮影した顔情報と、前記顔認証用データベースに登録された複数の顔情報とを照合し、最も類似度の高い顔情報を特定する認証処理手段と、この認証処理手段により特定された顔情報のパターン名から前記認証本人特定テーブルにより前記パターン名に対応する認証本人を特定する認証本人特定手段とを備えた認証システムが開示されている。
この認証システムによれば、異なる環境下での顔情報を複数用意しておくことにより、どのような環境下においても正しく認証を行うことができる。
【００１１】
特許文献５には、人物の顔画像データベースと顔特徴データベースに新規人物を登録する顔画像データベース新規登録装置において、入力画像中の人物の顔領域における複数の特徴点の位置、および前記人物の顔の向きを推定する推定手段と、前記推定手段により推定された顔の向き情報または外部から入力された顔の向き情報にしたがって、前記人物の顔が所定の向きを示すフレームを前記入力画像から選択する選択手段と、前記選択手段により選択されたフレームとその関連情報をユーザ命令を受けて表示させるユーザインタフェース手段と、前記選択手段により選択された前記フレームにおいて、前記推定手段により推定された前記複数の特徴点の近傍で前記人物の顔の特徴量を計測することで、前記入力画像中の前記人物のデータベース成分を計算する計算手段を含む構成の顔画像データベース新規登録装置が開示されている。
この顔画像データベース新規登録装置によれば、新規人物のデータベース登録作業を自動化できる。
【００１２】
特許文献６には、入力された動画像から、少なくとも一人の顔画像が連続して撮影されているシーンを抽出するシーン抽出部と、抽出されたシーンから、正面を向いた顔の画像を抽出する代表顔画像抽出部と、抽出された正面顔画像の表す人物についての他の顔画像のうち、ピックアップ条件に一致する各種の登録用顔画像をシーンから抽出する登録用顔画像抽出部と、抽出された代表顔画像と抽出された登録用顔画像とを互いに関連付けて顔画像辞書に登録する顔画像登録部とを含む構成の顔画像登録装置が開示されている。
この顔画像登録装置によれば、ユーザに手間を掛けさせることなく、認証処理に利用できる様々な顔画像を辞書に登録することができる。
【特許文献２】特開２００１−１６７１１０号公報
【特許文献３】特開平６−２５９５３４号公報
【特許文献４】特開２００５−１１５４８１号公報
【特許文献５】特開２００２−１３３４２３号公報
【特許文献６】特開２００７−２４９５８８号公報
【００１３】
顔画像を用いた認証装置において、認証性能を向上させるためには、様々な条件下で撮影された顔画像を登録することが必要である。しかし登録に適した画像を、多数の静止画から手動で選び出し登録する作業は煩雑且つ困難である。
【００１４】
また、特許文献２に記載の技術は、同一登場人物の顔をグループ化するに過ぎず、グループ化した顔をデータベースに登録する点においては何ら工夫されていない。
【００１５】
特許文献３に記載の技術は、あくまで有効フレーム判定のための特徴量の計測精度を向上させるに過ぎず、計測した特徴量をデータベースに登録する点においては何ら工夫されていない。
【００１６】
特許文献４に記載の技術は、異なる環境化での顔情報をユーザが予め用意しておく必要があり、ユーザに余計な手間を掛けさせてしまうという問題が生ずる。
【００１７】
特許文献５に記載の技術は、入力素材の各フレームにおける特徴点の位置を推定するのみであり、最終的な判断をユーザに委ねてしまっている。したがってユーザに無用な手間を掛けさせるという問題が生ずる。
【００１８】
特許文献６に記載の技術は、新規に顔特徴量を登録する手段は提供されているものの、既に登録済みの人物の登録特徴量の更新に関しては、何ら配慮されることがなかった。
また、特許文献６に記載の技術は、複数の特徴量を顔写真と関連付けて登録するだけであり、複数の特徴量と人物名を関連付けて登録することに関しては、何ら配慮されることがなかった。
【００１９】
上述したように、従来の技術を流用しても、認証装置が必要とする複数の顔画像を予め網羅することは困難であり、様々な顔特徴量の登録をユーザが手動で行うのには大変な手間がかかるという問題点があった。
【００２０】
本発明は上記実情に鑑みて提案されたもので、人物名と顔画像が関連付けされたデータからネットワークを介して人物の顔画像の情報を得ることで、顔画像の情報から顔特徴量を効率良く登録して管理できる顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録方法を実行するための顔識別特徴量登録プログラム、及び、顔識別特徴量登録プログラムが記録された記録媒体を提供することを目的としている。
【課題を解決するための手段】
【００２１】
上記した一つ目の問題点を解決するため、本発明の顔識別特徴量登録装置は、人物（例えば、テレビに出演するタレント）の顔画像の顔特徴量を登録する際に、人物名（タレント名）をキーワードとした画像検索によりネットワーク経由で人物（タレント）の顔画像を取得しデータベースに登録することで、手動で顔画像を検索して用意する手間を省略することができる構成に第１の特徴がある（顔画像の初期登録）。
【００２２】
また、上記二つ目の問題点を解決するため、本発明の顔識別特徴量登録装置は、ネットワーク又はテレビ番組映像から供給される動画の連続性に基づいて、現在登録されている特徴量との類似度が高い顔を選び出し、その前後のフレームの同周辺位置に出現する顔が同一人物の顔であると判断して、データベースに新たに顔画像を追加登録する構成に第２の特徴がある（顔画像の更新登録）。
【００２３】
ネットワークから供給される動画とは、人物名と画像とが紐づいて供給されるものを意味し、例えば、個人が撮影した映像を含むものである。
テレビ番組映像から供給される動画とは、テレビ放送波を受信して得られたテレビ番組映像による動画である。
【００２４】
更に、上述の第１及び第２の特徴として挙げた構成手段を、電子テレビ番組表の取得手段を備えたテレビ番組映像の記録装置上で実現する構成に第３の特徴がある（自動化の枠組み）。
【００２５】
すなわち、本発明の第１の特徴を有する顔識別特徴量登録装置（請求項１）の構成は、人物名を検索キーワードとしてネットワーク経由で前記人物の顔画像を検索する顔画像検索部と、前記顔画像検索部にて検索された顔画像から人物の識別に大きく影響する特徴量を抽出する顔特徴量抽出部と、前記顔画像検索部にて検索された顔画像と、前記顔特徴量抽出部にて抽出された顔特徴量を、前記人物名と関連付けて登録する人物名・顔画像・特徴量データベースとを具備することを特徴としている。
【００２６】
上記顔識別特徴量登録装置の構成において、前記顔画像検索部は、検索キーワードに基づきネットワーク経由で画像を検索する画像検索部と、前記画像検索部にて検索された画像から顔の存在する領域を検出する顔検出部とを備え、前記検出部で検索された画像から顔が検出された場合に限定して顔画像を出力することで、正しく顔が含まれている画像だけを検索できるようにする（請求項２）。
【００２７】
また、前記顔検出器部は、画像検索部にて検索された画像から顔が検出できなかった場合に、前記顔検出部から前記画像検索部に再検索要求を通知する再検索通知手段を備えて構成される（請求項３）。再探索を異なる探索方法で行うことで、顔画像の情報を得る可能性を高くするためである。
【００２８】
上記顔識別特徴量登録装置の構成において、テレビ放送波を受信し分離することで取得した電子テレビ番組表、又は、ネット経由で取得した電子テレビ番組表から、各テレビ番組の出演者一覧に記載されているタレント名を抽出するタレント名抽出部を備え、前記顔画像検索部は、前記タレント名抽出部で抽出したタレント名を検索キーワードとしてネットワーク経由で前記タレント名の顔画像を検索する構成とすることが好ましい（請求項４）。
タレント名抽出部を設けることで、電子テレビ番組表からタレント名を抽出し、顔画像を自動的に取得することができる。
【００２９】
ネットワークから供給される動画の連続性を判断して顔画像の追加を行うことで本発明の第２の特徴を有する顔識別特徴量登録装置（請求項５）の構成は、人物名を検索キーワードとしてネットワーク経由で前記人物の顔画像を検索する顔画像検索部と、前記顔画像検索部にて検索された顔画像から人物の識別に大きく影響する特徴量を抽出する顔特徴量抽出部と、前記顔画像検索部にて検索された顔画像と、前記顔特徴量抽出部にて抽出された顔特徴量を、前記人物名と関連付けて登録する人物名・顔画像・特徴量データベースと、  ネットワークを介して動画像を受信する画像受信部と、前記人物名・顔画像・特徴量データベースで指定された人物名に対して、前記動画像を入力として顔の出現するフレーム画像単位で顔画像から正規化顔画像を抽出する正規化顔画像抽出部と、前記正規化顔画像抽出部で抽出された特徴量と前記人物名・顔画像・特徴量データベースで指定された人物の特徴量との類似度を算出する顔類似度算出部と、前記動画像からフレーム単位で顔検出し、顔検出の結果得られた顔領域の位置のフレーム間の関係から、動画映像の連続性に基づいて人物の同一性の判定を行い同一人物の登場する区間を特定する顔追跡部と、特定人物の登場区間内でしきい値を超える類似度を示したフレームを特定し、その前後フレームの顔画像を追加画像として抽出する追加顔画像抽出部とを具備し、
前記顔特徴量抽出部は、前記追加顔画像抽出部の追加画像から特徴量を抽出し、前記人物名・顔画像・特徴量データベース内で指定された人物名の画像として前記追加画像の特徴量を前記人物名・顔画像・特徴量データベースに再登録することを特徴としている。
【００３０】
テレビ番組映像から供給される動画の連続性を判断して顔画像の追加を行うことで本発明の第２の特徴を有する顔識別特徴量登録装置（請求項６）の構成は、人物名を検索キーワードとしてネットワーク経由で前記人物の顔画像を検索する顔画像検索部と、前記顔画像検索部にて検索された顔画像から人物の識別に大きく影響する特徴量を抽出する顔特徴量抽出部と、前記顔画像検索部にて検索された顔画像と、前記顔特徴量抽出部にて抽出された顔特徴量を、前記人物名と関連付けて登録する人物名・顔画像・特徴量データベースと、テレビ放送波を受信してテレビ番組映像と電子テレビ番組表に分離するテレビ放送波受信部と、前記テレビ番組映像を入力として顔の出現するフレーム画像単位で顔画像から正規化顔画像を抽出する正規化顔画像抽出部と、前記正規化顔画像抽出部で抽出された特徴量と前記人物名・顔画像・特徴量データベースに登録された人物の特徴量との類似度を算出する顔類似度算出部と、前記テレビ番組映像からフレーム単位で顔検出し、顔検出の結果得られた顔領域の位置のフレーム間の関係から、動画映像の連続性に基づいて人物の同一性の判定を行い同一人物の登場する区間を特定する顔追跡部と、特定人物の登場区間内でしきい値を超える類似度を示したフレームを特定し、その前後フレームの顔画像を追加画像として抽出する追加顔画像抽出部とを具備し、
前記顔特徴量抽出部は、前記追加顔画像抽出部の追加画像から特徴量を抽出し、前記人物名・顔画像・特徴量データベース内の人物名の画像として前記追加画像の特徴量を前記人物名・顔画像・特徴量データベースに再登録することを特徴としている。
【００３１】
また、顔識別特徴量登録装置において、前記顔類似度算出部は、前記電子テレビ番組表の出演名で識別対象を絞り込む絞り込み手段を備えることが好ましい（請求項７）。
この絞り込み手段は、例えば、電子テレビ番組表の出演名を自動的に検出することで、識別対象の絞り込みを可能としている。
絞り込み手段を設けることで、誤って別人の顔特徴量との類似度が高く算出されることを防止するのと同時に、追加顔画像抽出部で抽出される顔画像の抽出精度を改善させることができる。
【００３２】
電子テレビ番組表の取得手段を備えたテレビ番組映像の記録装置上で実現する本発明の第３の特徴を有する顔識別特徴量登録装置（請求項８）の構成は、請求項６又は請求項７において、前記テレビ放送波受信部により分離されたテレビ番組映像を記録媒体に蓄積可能な形式に変換する記録部と、前記テレビ放送波受信部またはネット経由で取得した電子テレビ番組表から、録画対象となるテレビ番組に関する番組名・放映日時・チャンネル・ジャンル・出演タレント名一覧・番組識別子を番組情報として抽出し、これらの番組情報から各番組を識別する固有の番組識別子を生成する録画番組情報抽出部と、前記録画番組情報抽出部にて抽出された録画されたテレビ番組に関する番組名・放映日時・チャンネル・ジャンル・出演タレント名一覧・番組識別子を関連付けて番組情報として登録する録画番組情報データベースと、前記記録部にて変換されたテレビ番組映像に、前記録画番組情報抽出部にて生成された番組識別子に基づいて生成されたファイル名を関連付けて蓄積する動画データベースと、前記録画番組情報データベースに登録された番組情報の中から、選択されたテレビ番組に関する番組識別子および番組に出演するタレント名の一覧を抽出する選択番組情報抽出部と、前記選択番組情報抽出部にて生成された番組識別子に基づくファイル名のテレビ番組映像を前記動画データベースから読み込みテレビ番組映像を再生する再生部とを備えたことを特徴としている。
【００３３】
また、上記顔識別特徴量登録装置において、前記顔類似度算出部及び顔追跡部にて副次的に得られる登場タレント名、同一人物の登場区間等の情報を、前記録画番組情報データベースに登録された対応するテレビ番組の番組情報にメタ情報として付与するメタ情報付与部を備えることで、再生部によるテレビ番組映像の再生に際してメタ情報の表示が可能となる。
【００３４】
本発明の顔識別特徴量登録方法（請求項１０）は、
人物名を検索キーワードとしてネットワーク経由で前記人物名の顔画像を検索する顔画像検索ステップと、
前記顔画像検索部にて検索された顔画像から人物の識別に大きく影響する特徴量を抽出する顔特徴量抽出ステップと、
前記顔画像検索ステップで検索された顔画像と、前記顔特徴量抽出ステップで抽出された顔特徴量を、前記人物名と関連付けて人物名・顔画像・特徴量データベースに登録する登録ステップと、
を具備することを特徴としている。
【００３５】
本発明の顔識別特徴量登録プログラム（請求項１１）は、請求項１０に記載の顔識別特徴量登録方法の各ステップをコンピュータにより実行することを可能としている。
【００３６】
本発明の記録媒体（請求項１２）は、コンピュータに読み取り可能とするため、請求項１１に記載の顔識別特徴量登録プログラムが格納されたことを特徴とするものである。
【発明の効果】
【００３７】
本発明の第１の特徴を有する顔識別特徴量登録装置によれば、人物名（タレント名）をキーワードとした画像検索によりネットワーク経由で人物（タレント）の顔画像を取得しデータベースに登録できるので、人物（俳優、モデル、アーティスト、キャスター等、テレビに出演するタレントの他、個人であってもブログ等で画像が紐づけられた人物）の顔画像の特徴量を登録するに際して、その負担を軽減し効率良く登録することができる。
【００３８】
また、本発明の第２の特徴を有する顔識別特徴量登録装置によれば、類似すると判定されたフレームの前後フレームに出現する顔画像には、それまでの登録特徴量に含まれていなかった変動の要素が付加されている可能性が高いため、これらの顔画像を利用することで、変動を抑制する表現力の高い特徴量を登録でき、高精度な顔識別が実現できるようになる。
【００３９】
更に、本発明の第３の特徴を有する顔識別特徴量登録装置によれば、日々新たに記録される番組映像を用いることができるため、電子テレビ番組表から取得できる同番組の出演者に関する顔画像を自動的に再登録し、変動に強い顔特徴量に自動的に更新することができる。
この結果、テレビ映像を蓄積・視聴するためのテレビ映像記録装置において、特に番組内で出演者が登場する場面の特定や検索について、高精度化することができる。
【００４０】
また、本発明の顔識別特徴量登録方法によれば、前記各ステップを実行することにより、人物名（タレント名）をキーワードとした画像検索によりネットワーク経由で人物（タレント）の顔画像を取得しデータベースに登録することできる。
【００４１】
また、本発明の顔識別特徴量登録プログラム及び記録媒体によれば、前記顔識別特徴量登録方法で示された各ステップをコンピュータに読み込んで、実行することができる。
【発明を実施するための最良の形態】
【００４２】
以下、本発明を実施するための最良の形態の一例について、図面を参照しながら詳細に説明する。図1は、本発明の顔識別特徴量登録装置の全体の構成ブロック図である。顔識別特徴量登録装置は、その構成に第１の特徴部分（顔画像の初期登録）、第２の特徴部分（顔画像の更新登録）、第３の特徴部分（自動化の枠組み）を含むものである。 
【００４３】
顔識別特徴量登録装置は、後述する録画番組情報データベース１８に登録された番組情報の中から録画番組を一つ選択して出演するタレント名・番組識別子等の番組情報の抽出を行う選択番組情報抽出部１Ａと、選択番組情報抽出部１Ａで抽出された番組識別子に基づくテレビ番組映像を後述する動画データベース１９から読み込みフレーム単位でテレビ番組映像を再生する再生部１Bと、電子テレビ番組表からタレント名を抽出するタレント名抽出部１Ｃと、録画番組情報データベース１８に登録されたテレビ番組に対して各種番組情報をメタ情報として付与するメタ情報付与部１Ｄを備えて構成されている。
【００４４】
顔識別特徴量登録装置の第１の特徴部分の構成は、図１に示すように、顔画像検索部１１、顔特徴量抽出部１２、タレント名・顔画像・特徴量データベース１３及びタレント名抽出部１Ｃから構成される。顔識別特徴量登録装置は、プロバイダーを介してネットワークに接続されている。
顔画像検索部１１は、人物名（例えば、タレント名）を検索キーワードとしてネットワーク経由で人物（タレント）の顔画像を検索するものである。検索方法としては、例えばGoogle（Ｇｏｏｇｌｅ社の商標）のイメージ検索と同様の画像を想定している。すなわち、ネットワーク上にあるサーバに蓄積された画像ファイルに何等かの手段によりテキストのメタ情報が付与されており、画像検索時に入力されたキーワードと同じ又は類似したメタ情報が付与された画像を検索結果として取得するものである。
【００４５】
顔画像検索部１１は、図２に示すように、人物名（タレント名）をキーワードとしてネットワーク経由で画像を検索する画像検索部２１と、画像から顔の領域を検出する顔検出部２２から構成されている。この場合に画像検索部２１に入力される人物名（タレント名）は、タレント名抽出部１Ｃから自動的に入力される他、例えばキーボードの操作からも入力できるようになっている。
ネットワーク経由で顔画像を得る場合に、タレント名鑑のような管理されたサーバでもない限り、タレントの顔画像に正しいタレント名がメタ情報として付与されているとは限らない。中には、タレントの名前がメタ情報として付与されているにもかかわらず顔が写っていない画像もある。このような事情に対処するため、顔検出部２２において、検索された画像が顔画像であるかどうかの判定を加えることによって、顔が写っている画像のみを次段の顔特徴量検出部１２に出力し、顔が写っていない画像から次段の顔特徴量検出部１２において特徴量を作成する処理が実施されることを防ぐ。
【００４６】
顔検出部２２は、撮像画像を取り込み、撮像画像内に含まれる顔領域を顔画像として検出し、その存在位置座標と大きさを出力する。本実施形態では、非特許文献１に記載された公知の顔画像検出方法に基づき、顔領域が長方形で規定される場合、顔領域の左上座標（ｆｘ，ｆｙ）が位置座標として、また幅ｆｗ及び高さｆｈが大きさとして出力される。
【非特許文献１】P. Viola, M.J. Jones, "Robust real-time object detection," in: Second International Workshop on Theories of Visual Modeling, Learning, Computing, and Sampling, 2001.
【００４７】
また、顔検出部２２は再検索通知手段（図示せず）を備えることにより、検索された画像から顔が見つからなかった場合は、顔検出部２２から顔画像検索部１１に再検索要求を通知して画像検索部２1での画像検索を再度要求する。顔画像検索部１１による再検索では、前回と異なる顔画像検索のアリゴリズムで探索を行うことで、顔画像の情報を得る可能性を高くしている。
【００４８】
顔識別特徴量登録装置はテレビ放送波受信部１５を備え、このテレビ放送波受信部１５でテレビ放送波を受信し分離することで取得した電子テレビ番組表、及び、ネット経由で供給される電子テレビ番組表がタレント名抽出部１Ｃに入力される。タレント名抽出部１Ｃでは、電子テレビ番組表から各テレビ番組の出演者一覧に記載されているタレント名を抽出するようになっている。
電子テレビ番組表は、図３に例示するように、行方向が時間別に、列方向がチャンネル別に番組情報が掲載されている。各テレビ番組の番組情報には、番組名○○○○と出演者一覧××××が掲載されているため、タレント名抽出部１Ｃにて出演者一覧からタレント名を抽出する。
【００４９】
顔画像検索部１１（図２の画像検索部２1）においてキーワードとして用いるタレント名を電子テレビ番組表からタレント名抽出部１Ｃで自動的に取得することにより、キーボード入力等による手動でタレント名を取得する負担を省くのと同時に、芸能界に新しく出てきたタレントの登録に一早く対応できるようになる。
【００５０】
顔画像検索部１１（画像検索部２１及び顔検出部２２）においてネットワーク経由で人物名（タレント名）に対応する顔画像が得られた場合、顔画像は顔特徴量抽出部１２へ出力され、特徴量の抽出処理が行われる。
顔特徴量抽出部１２は、顔画像から人物の識別に大きく影響する特徴量を抽出するため、図４に示すように、画像から顔の存在する領域を検出する顔検出部４1と、検出された顔領域内から顔器官を抽出する顔器官抽出部４２と、抽出された顔の器官を基準として顔領域を切り出し、顔向きや大きさが一定となるように正規化して正規化顔画像を得る顔正規化部４３と、一つ以上の正規化顔画像から人物の識別に大きく影響する特徴量を生成する顔特徴量生成部４４から構成されている。
【００５１】
顔器官抽出部４２にて抽出する顔器官は両瞳を対象とする。顔の特徴量は、本出願の発明者が既に出願した特許文献７に記載されている瞳画像認識方法に基づいて、右瞳の位置座標（Ｒｘ，Ｒｙ）及び左瞳の位置座標（Ｌｘ，Ｌｙ）を出力し、これらのデータに基づいて顔領域が決定される。
【特許文献７】特願２００８−1８1３４６号公報
【００５２】
顔正規化部４３では、顔の映る大きさと顔向きは変動するため、検出された両瞳を基準点として、基準点に基づいて顔の切り出し位置を決定し、この切り出し位置から切り出された顔画像を、その大きさ（画素数）が一定となるように正規化する。
本実施形態では、図５に示したように、前記検出された両瞳Ｐ１，Ｐ２の座標（Ｒｘ，Ｒｙ）、（Ｌｘ，Ｌｙ）の距離を「１０」とし、この距離に基づいて、瞳から左右方向に距離「３」の各垂直線を顔領域の左右輪郭Ｌ１，Ｌ２、瞳から上方向に距離「６」の水平線を顔領域の上輪郭Ｌ３、瞳から下方向に距離「1４」の水平線を顔領域の下輪郭Ｌ４とし、1６：２０の画像領域が顔の切り出し領域として決定される。顔の切り出し領域が決定された後、切り出し領域の画素数が４０×５０となるように拡大または縮小することで顔画像が正規化され、正規化されたデータ（正規化顔画像）が顔特徴量生成部４４に出力される。
【００５３】
顔特徴量生成部４４では、一つ以上の正規化顔画像から人物の識別に大きく影響する顔特徴量を生成する。
本実施形態では、前述の特許文献７に記載の部分空間法により、変動を含んだ複数の正規化顔画像から人物の識別に大きく影響する特徴量を生成する。すなわち、正規化顔画像を一つのベクトルと考え、複数の正規化顔画像の分布する部分空間を特徴量として抽出し、識別時は未知の正規化顔画像の部分空間への帰属度合いを類似度として算出する。
【００５４】
部分空間法による顔識別では、帰属度合いが高い、すなわち類似度が大きい部分空間の人物であると識別する。具体的には、特徴量の蓄積容量を削減するため、部分空間を直接特徴量として登録するのではなく、部分空間を張るN個の固有ベクトルｅ1、ｅ2、・・・、ｅNを特徴量として登録する。これらの固有ベクトルは正規化画像集合からまず自己相関行列を計算し、自己相関行列から固有値、固有ベクトルを展開して求める。部分空間と未知の正規化顔画像ｆとの類似度Sは次式（数１）により算出される。
【００５５】
【数１】
2010072708.tif 000003
【００５６】
ただし、分子の（ｆ，ｅi ）は未知の正規化顔画像ｆと部分空間を張る固有ベクトルｅiとの内積、|ｆ|と|ｅi |はそれぞれｆとｅi の大きさであり、０≦Ｓ≦１である。
【００５７】
タレント名・顔画像・特徴量データベース1３（図１）では、顔画像検索部１１にて検索された顔画像と、顔特徴量抽出部1２にて抽出された顔特徴量（顔特徴量生成部４４で作成された顔特徴量）が、タレント名抽出部１Ｃで取得されたタレント名と関連付けて登録される。
【００５８】
顔識別特徴量登録装置の第１の特徴部分（顔画像の初期登録）の構成によれば、キーボードの操作から入力されたタレント名や、電子テレビ番組表からタレント名抽出部１Ｃで自動的に取得されたタレント名をキーワードとした画像検索によりネットワーク経由で該当するタレントの顔画像を取得しタレント名・顔画像・特徴量データベース１３に登録できるので、タレントの顔画像の特徴量を登録するに際して、その負担を軽減し効率良く登録することができる。
【００５９】
上記例では、タレントの顔画像についての登録を例に説明したが、ネットワーク上で人物名と顔画像とが紐づけられていれば俳優、モデル、アーティスト、キャスター等のタレントに限らず、個人であってもホームページやブログ等で画像が取得可能である人物の画像に対して人物名をキーワードとして登録することが可能となる。
【００６０】
次に、図１における顔識別特徴量登録装置の第２の特徴部分（顔画像の更新登録）の構成について説明する。
第２の特徴部分（顔画像の更新登録）は、顔特徴量抽出部1２、タレント名・顔画像・特徴量データベース1３及び変動画像抽出部1４から構成される。
変動画像抽出部1４は、再生部（デコーダ）１Ｂより出演するタレント名との対応が付いたテレビ番組映像を入力として、動画像の連続性に基づき、既に登録されている特徴量にはまだ含まれていない変動が付加された顔画像を抽出し、タレント名・顔画像・特徴量データベース1３への追加登録を行うものである。
同時に、顔特徴量抽出部1２は、再生部（デコーダ）１Ｂからタレント名・顔画像・特徴量データベース1３を介して入力された変動が付加された顔画像から、テレビ番組映像に出演しているタレントの識別に大きく影響する特徴量を新たに抽出し、合わせてタレント名・顔画像・特徴量データベース1３へ再登録する。
【００６１】
顔識別特徴量登録装置における顔画像の更新登録を行うための詳細な構成について、図６を参照して説明する。
顔画像の更新登録のための構成は、正規化顔画像抽出部６1と、顔類似度算出部６２と、顔追跡部６３と、追加顔画像抽出部６４と、顔特徴量抽出部６５と、タレント名・顔画像・特徴量データベース1３を備えている。
正規化顔画像抽出部６1は、図1に記載の顔特徴量抽出部1２の機能ブロック図（図４）から顔特徴量生成部４４を削除した構成であり、画像から顔の存在する領域を検出する顔検出部４1と、検出された顔領域内から顔器官を抽出する顔器官抽出部４２と、抽出された顔の器官を基準として顔領域を切り出し、顔向きや大きさが一定となるように正規化して正規化顔画像を得る顔正規化部４３とから構成され、テレビ番組映像を入力として顔の出現するフレーム画像単位で顔画像から正規化顔画像を抽出するようになっている。
【００６２】
顔類似度算出部６２は、正規化顔画像抽出部６１で抽出された未知の人物の正規化顔画像とタレント名・顔画像・特徴量データベース１３に登録されたタレントの特徴量をそれぞれ比較し、各タレントの顔特徴量との類似スコアを上記した数１を使って算出する。
この際、番組情報等から番組に出演するタレント名を自動的に取得し、識別の対象となるタレントを絞り込み手段で絞り込むことによって、誤識別の確率を低下させることが行われる。例えば、番組情報との対応が付いたテレビ番組映像を入力とする場合、出演者一覧に記載された内容から、本テレビ番組に出演していないと考えられるタレントとの比較を不要とする。
【００６３】
具体的に説明すると、入力されたテレビ番組に出演するタレントがＡとＢの２名だった場合は、この２名のタレントに限定して未知の人物の正規化顔画像と顔の特徴量との比較を行う。この場合、入力されたテレビ番組映像の顔の出現する画像フレーム単位で、Ａ及びＢの顔特徴量との類似度がそれぞれ算出される。
【００６４】
顔追跡部６３は，入力されたテレビ番組映像からフレーム単位で顔検出し、顔検出の結果得られた顔領域の位置のフレーム間の関係から、動画映像の連続性に基づいて人物の同一性の判定を行い同一人物の登場する区間を特定する。顔追跡部６３による機能は、本発明者が先に提案した特許文献８に開示した「動画像の顔インデックス作成装置およびその顔画像追跡方法」と同じであるので、その概要だけを説明する。
【特許文献８】特願２００７−７８７２８号公報
【００６５】
すなわち、顔追跡部６３は、テレビ番組映像から動画像をフレーム単位で順次に読み込み、複数フレームにわたって連続的に登場する同一人物の顔画像を追跡し、その連続して登場する区間を特定する。
図７は、図６の顔追跡部６３を機能的表現したブロック図である。顔追跡部６３は、今回フレームバッファ７1と、前回フレームバッファ７２と、ショットチェンジ判定部７３と、顔検出部７４と、今回検出結果バッファ７５と、前回検出結果バッファ７６と、顔間距離算出部７７と、距離依存対応付部７８と、類似度依存対応付部７９を備える。
今回フレームバッファ７1は、フレーム単位で入力されたテレビ番組映像から１フレーム分の静止画像を任意の時刻間隔で読み込み、今回読み込まれた今回フレームの静止画像を蓄積するものである。前回フレームバッファ７２は、前回読み込まれた前回フレームの静止画像を蓄積するものである。ショットチェンジ判定部７３は、今回フレームバッファ７1と前回フレームバッファ７２ に蓄積されている静止画像同士を比較し、その類似度に基づいてショット間のカメラ編集点の有無を識別するものである。
【００６６】
顔検出部７４は、今回フレームバッファ７1に蓄積された今回フレームの静止画像から顔画像を検出し、検出された顔画像ごとにその表示範囲の位置座標、幅、高さなどの空間的な位置情報を求める。
今回検出結果バッファ７５は、顔検出部７４で求められた顔画像の位置情報を蓄積する。なお、顔検出部７４で検出された直後の顔画像は、未確定の顔候補として取り扱い、次のフレームでも同じ表示位置で顔画像が検出されたときに確定顔として取り扱うこととする。また、前回検出結果バッファ７６は、前回フレームで検出された顔候補および確定顔の表示範囲の位置座標、幅、高さなどの空間的な位置情報を蓄積する。
【００６７】
顔間距離算出部７７は、顔検出部７４で検出され、今回検出結果バッファ７５に蓄積された今回フレームの各顔画像の表示位置と前回検出結果バッファ７６に蓄積されている前回フレームの各顔画像の表示位置との距離(以下、顔間距離と称す)Δdを算出する。この距離Δdは、例えば、各顔画像の左上座標間の距離を求めることにより算出できる。
【００６８】
距離依存対応付部７８は、顔間距離算出部７７で算出された顔間距離Δdが所定の閾値Δdref を下回る顔画像（顔候補および確定顔）の組み合わせに対して、今回フレームで検出された顔候補の状態を今回検出結果バッファ７５上で確定顔に更新する。同時に、前回フレームで検出された顔候補の状態を前回検出結果バッファ７６上で確定顔に更新し、さらに各顔画像を顔画像シリーズとして相互に対応付ける。ここで、所定の閾値Δdref は、前回フレームで検出された顔画像の大きさに比例した値に設定するのが好ましい。
【００６９】
類似度依存対応付部７９は、前回検出結果バッファ７６に蓄積されている前回フレームの確定顔の中で、今回フレームのいずれの顔画像とも対応付けされなかった確定顔をテンプレートとして今回フレームの画像内でテンプレートマッチングを行い、類似度が所定の閾値を超える領域の画像を新たな顔画像（確定顔）として今回検出結果バッファ７５に追加し、さらに各顔画像を顔画像シリーズとして相互に対応付ける。テンプレートマッチングの適用領域は、テンプレートマッチングでの誤検出を低減し、かつ計算量を低減するために、今回フレームの画像全体ではなく、テンプレートとして使用する確定顔の顔前フレームにおける表示位置と対応した位置およびその近傍に限定するのが好ましい。
最終的に、前回検出結果バッファ７６上には確定された顔画像とその領域座標が保持、出力される。
【００７０】
追加顔画像抽出部６４（図６）は、特定のタレント物の登場区間内で番組に出演するタレントの中で閾値を超える類似度を示したフレームとそのタレント名を特定し、その前後フレームの顔画像を追加顔画像として抽出する。
追加顔画像の抽出例について図８を参照しながら説明する。テレビ番組表から抽出したタレント名である「Ａ」について、テレビ番組映像から動画像をフレーム単位で順次に読み込み、動画の連続性に基づいて、現在登録されている「Ａ」の特徴量との類似度が高い顔が存在するフレーム（図８において黒色で表示した３枚のフレーム）を選び出し、その前後のフレームの同周辺位置に出現する顔が同一人物の顔であると判断して、前後のフレーム（この例では合計６枚）を追加画像として抽出する。
抽出された追加画像は、特定されたタレント名・顔画像・特徴量データベース1３に登録する。前後フレームに出現する顔画像はこれまでの特徴量とは高い類似度を示さなかった顔画像であるため、これまでに登録されている特徴量には含まれていない変動が多分に含まれている可能性が高いと考えられる。
【００７１】
顔特徴量抽出部６５（図６）は、図1に記載の顔特徴量抽出部1２と同様、タレント名・顔画像・特徴量データベース1３内に登録された顔画像から、番組に出演するタレント名の顔特徴量を抽出し、その顔特徴量をタレント名・顔画像・特徴量データベース1３内に再登録する。
【００７２】
顔識別特徴量登録装置の第２の特徴部分（顔画像の自動更新）の構成によれば、テレビ番組映像からの画像を使用し、特定のタレントの登場区間内で類似度を示したフレームとそのタレント名を特定し、その前後フレームの顔画像を追加顔画像として追加顔画像抽出部６４で抽出し、タレント・顔画像・特徴量データベース１３に登録するので、類似すると判定されたフレームの前後フレームに出現する顔画像には、それまでの登録特徴量に含まれていなかった変動の要素が付加されている可能性が高いため、これらの顔画像を利用することで、変動を抑制する表現力の高い特徴量を随時登録でき、高精度な顔識別の実現が可能となる。
【００７３】
また、上述した顔識別特徴量登録装置の第２の特徴部分（顔画像の自動更新）の構成においては、テレビ放送番組の映像から追加顔画像を得るようにしたが、テレビ放送波受信部１５に代えてネットワークを介して動画像を受信する画像受信部を設け、ネットワークから供給される動画の連続性を判断して顔画像の追加を行うこと顔画像の更新登録を行うものでもよい。
すなわち、タレント名・顔画像・特徴量データベース１３で指定された人物名に対して、ネットワークからの動画像を入力として顔の出現するフレーム画像単位で顔画像から正規化顔画像を抽出する正規化顔画像抽出部６１を備えることで、追加画像の特徴量をタレント名・顔画像・特徴量データベース１３への再登録を行う。
このような構造であると、例えば、個人的に撮影したビデオ映像等についてもネットワークを介した編集作業を行うに際して、ビデオ画像に対応させて撮影された人物名を画像情報に付与して記録しておくことで、当該人物について追加画像による再登録を行うことが可能となり、個人的に作成する顔画像の編集作業における顔画像の登録に応用することができる。
【００７４】
次に、図１における顔識別特徴量登録装置の第３の特徴部分（自動化の枠組）の構成について説明する。
第３の特徴部分（自動化の枠組）は、テレビ放送波受信部1５、記録部（エンコーダ）1６、録画番組情報抽出部1７、録画番組情報データベース1８、動画データベース1９、選択番組情報抽出部１A、再生部１B及びメタ情報付与部１Dから構成される。
テレビ放送波受信部1５は、テレビ放送波を受信してテレビ番組映像と電子テレビ番組表に分離する。例えば、一般的なテレビ放送はMPEG−２TS形式で搬送波に重畳されて送信されるため、テレビ番組映像部分を公知のMPEG−２ES形式に、電子テレビ番組表を公知のEPG形式に分離する。
【００７５】
記録部1６は、テレビ放送波受信部１５により分離されたテレビ番組映像を記録媒体に蓄積可能な形式に変換する。記録媒体が磁気媒体のビデオテープ又は電子媒体である場合、テレビ番組映像を公知のMPEG−２そのまま又はH.２６４形式等で符号化する。
【００７６】
録画番組情報抽出部1７は、テレビ放送波受信部１５又はネット経由で取得した電子テレビ番組表から、録画対象となるテレビ番組に関する番組名・放映日時・チャンネル・ジャンル・出演タレント名一覧を番組情報として抽出するものである。また、これらの番組情報から各番組を識別する固有の番組識別子を生成する。
【００７７】
図９に、録画番組情報抽出部1７で抽出された電子テレビ番組表を例示する。電子テレビ番組表は、行方向が時間別に、列方向がチャンネル別に番組情報が掲載されている。各テレビ番組の番組名・放映日時・チャンネル・ジャンル・出演タレント名一覧が番組情報として記載されている。
例えば、チャンネル８chの放映日時1９：００〜1９：５７の番組名は「○○○○○」であり、「××××」「××××」「××××」が出演することが記載されている。また、これらのテレビ番組情報から生成した番組識別子は「１２３４５６」であったとする。
【００７８】
録画番組情報データベース1８（図１）は、録画番組情報抽出部１７にて抽出、生成された録画されたテレビ番組に関する番組名・放映日時・チャンネル・ジャンル・出演タレント名一覧・番組識別子を関連付けて番組情報として登録するものである。図１０に録画番組データベース１８に登録された番組情報の一例を示す。
動画データベース1９は、記録部１６にて変換されたテレビ番組映像に、録画番組情報抽出部１７にて生成された番組識別子に基づいて生成されたファイル名を関連付けて蓄積するものである。
【００７９】
選択番組情報抽出部１Ａは、録画番組情報データベース１８に登録された番組情報の中から録画番組を一つ選択し、選択されたテレビ番組に関する番組識別子および番組に出演するタレント名の一覧を抽出するものである。
【００８０】
再生部１B は、選択番組情報抽出部１Ａにて生成された番組識別子に基づくファイル名のテレビ番組映像を動画データベース１９から読み込み、MPEG−２やH.２６４等で符号化された場合はデコード処理し、フレーム単位でテレビ番組映像を再生するものである。
【００８１】
メタ情報付与部１Ｄは、図６の顔類似度算出部６２及び顔追跡部６３にて副次的に得られる登場タレント名、ショット切り替え位置、同一人物の登場区間等の情報を、録画番組情報データベース１８に登録された対応するテレビ番組の番組情報にメタ情報として付与するものである。この情報は、フレーム単位でテレビ番組映像から登場人物の検索するためのメタ情報として活用される。
【００８２】
顔識別特徴量登録装置の第３の特徴部分（自動化の枠組）の構成によれば、テレビ放送受信部１５で受信されたテレビ放送番組を再生部１Ｂで再生する際に、入力となるテレビ番組映像とその番組に出演するタレント名が対応付けられた状態で日々提供される環境を構築することが可能となる。
また、タレントの最新の顔画像を再登録のために使用できることから、経年変動を抑制する特徴量を作成できるようになる。
【００８３】
上記例では本発明を具体化する顔識別特徴量登録装置として説明したが、顔識別特徴量登録装置で行われる下記各ステップ（１）〜（３）をプログラムとして実行可能な記録媒体とすることにより、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置、表示装置及びネットワーク接続手段を備えた一般的なＰＣ（パーソナルコンピュータ）に記録媒体のプログラムをインストールすることでＰＣを顔識別特徴量登録装置として使用することが可能となる。
（１）人物名を検索キーワードとしてネットワーク経由で前記人物名の顔画像を検索する顔画像検索ステップ。
（２）前記顔画像検索部にて検索された顔画像から人物の識別に大きく影響する特徴量を抽出する顔特徴量抽出ステップ。
（３）前記顔画像検索ステップで検索された顔画像と、前記顔特徴量抽出ステップで抽出された顔特徴量を、前記人物名と関連付けて人物名・顔画像・特徴量データベースに登録する登録ステップ。
【００８４】
上述した顔識別特徴量登録装置は、テレビ映像を記録・視聴するためのハードディスクレコーダやＳＴＢ上への搭載が見込まれる。コンシューマ向けに、番組名だけでなく人物名でお気に入りに顔を登録することによって、所望の人物の出演する番組を、番組単位だけでなく登場する場面単位で特定・検索できるようになる。また、番組制作局向けの顔による出演者メタ情報付与ツールの一部として、ソリューションビジネスに活用できる。
【００８５】
また、上記顔識別特徴量登録装置で作成されたテレビ出演者の顔特徴量データベースは、テレビ映像の検索だけに留まることはない。例えば、顔識別特徴量登録装置に搭載されるカメラの前の人物がテレビ出演者の中の誰に似ているのかを判定する類似有名人判定等、エンターテイメント用途にも使用可能とすることができる。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施形態の一例としての顔識別特徴量登録装置の構成を示すブロック図である。
【図２】顔識別特徴量登録装置における顔画像検索部の具体的な構成を示すブロック図である。
【図３】顔識別特徴量登録装置で使用する電子テレビ番組表を示す説明図である。
【図４】顔識別特徴量登録装置における顔特徴量抽出部の具体的な構成を示すブロック図である。
【図５】顔の正規化について説明した説明図である。
【図６】顔識別特徴量登録装置における変動画像抽出部の具体的な構成を示すブロック図である。
【図７】顔識別特徴量登録装置における追加画像抽出部の具体的な構成を示すブロック図である。
【図８】テレビ番組映像の連続性に基づく追加画像抽出の手順を示す説明図である。
【図９】顔識別特徴量登録装置の録画番組情報データベースに登録された電子テレビ番組を示す説明図である。
【図１０】電子テレビ番組表から取得する番組情報についての説明図である。
【図１１】従来の顔識別装置の構成を示すブロック図である。
【符号の説明】
【００８７】
１Ａ…選択番組情報抽出部、  １Ｂ…再生部、  １Ｃ…タレント名抽出部、  １Ｄ…メタ情報付与部、  １１…顔画像検索部、  １２…顔特徴量抽出部、  １３…タレント名・顔画像・特徴量データベース（人物名・顔画像・特徴量データベース）、  １４…変動顔画像抽出部、  １５…テレビ放送波受信部、  １６…記録部、  １７…録画番組情報抽出部、  １８…録画番組情報データベース、  １９…動画データベース、  ２１…画像検索部、  ２２…顔検出部、  ４１…顔検出部、  ４２…顔器官抽出部、  ４３…顔正規化部、  ４４…顔特徴量生成部、  ６１…正規化顔画像抽出部、  ６２…顔類似度算出部、  ６３…顔追跡部、  ６４…追加顔画像抽出部、  ６５…顔特徴量抽出部。
【図１】
2010072708.tif 000004
【図２】
2010072708.tif 000005
【図３】
2010072708.tif 000006
【図４】
2010072708.tif 000007
【図５】
2010072708.tif 000008
【図６】
2010072708.tif 000009
【図７】
2010072708.tif 000010
【図８】
2010072708.tif 000011
【図９】
2010072708.tif 000012
【図１０】
2010072708.tif 000013
【図１１】
2010072708.tif 000014