(57)【要約】【課題】  メタデータの付与されていない映像・画像コンテンツデータに対して、検索や管理を容易にするための適切なメタデータを、ユーザにとってできるだけ簡便な手段で付与する方法およびコンテンツ格納サーバ（装置）を提供すること。【解決手段】  撮像／放映時間を認識・特定するための照合用画像とその時間情報とを照合用のデータベースとして用意し、この照合用データベースを用いて映像・画像コンテンツの全体あるいはシーンが持つ日時情報を取得し、取得した日時情報をメタデータとしてコンテンツに付与することによって、コンテンツの検索や管理を容易にする。【選択図】  図１
2009129039.tif 000002
【特許請求の範囲】
【請求項１】
格納部と制御部を有するコンテンツ格納装置であって、
前記格納部は、コンテンツデータを格納するコンテンツデータ格納部と、
前記コンテンツデータに関連付けられたメタデータを格納するメタデータ格納部と、
照合用画像と前記照合用画像に関連付けられた時間情報とを格納する時間情報判定データ格納部とを有し、
前記制御部は、前記コンテンツデータより抽出された画像と前記照合用画像とを照合する照合処理と、
前記照合処理の結果から前記コンテンツデータの時間情報を判定する時間情報判定処理と、
前記コンテンツデータに前記照合用画像に関連付けられた時間情報を付与するメタデータ付与処理を行うことを特徴とするコンテンツ格納装置。
【請求項２】
格納部と制御部を有するコンテンツ格納装置であって、
前記格納部は、ネットワークを介して受信されるコンテンツデータに関連付けられたメタデータを格納するメタデータ格納部と、
照合用画像と前記照合用画像に関連付けられた時間情報とを格納する時間情報判定データ格納部を有し、
前記制御部は、前記コンテンツデータより抽出された画像と前記照合用画像とを照合する照合処理と、
前記照合処理の結果から前記コンテンツデータの時間情報を判定する時間情報判定処理と、
前記コンテンツデータに前記照合用画像に関連付けられた時間情報を付与するメタデータ付与処理を行うことを特徴とするコンテンツ格納装置。
【請求項３】
請求項１又は２に記載のコンテンツ格納装置において、
前記時間情報は、前記コンテンツが放送された時期、前記コンテンツが制作された時期、またはコンテンツの舞台が想定された時期のうちのいずれか一つ以上を含むことを特徴とするコンテンツ格納装置。
【請求項４】
請求項１又は２に記載のコンテンツ格納装置において、
前記制御部は、前記照合処理により、前記時間情報判定格納部に格納された前記照合用画像から、前記コンテンツデータより抽出された画像と類似度の高い前記照合用画像を選択し、
選択された前記照合用画像に関連付けられた時間情報の信頼度と前記類似度とを変数とした演算処理を行うことを特徴とするコンテンツ格納装置。
【請求項５】
請求項４に記載のコンテンツ格納装置において、
選択された前記照合用画像が複数枚の場合は、各々の前記照合用画像に対して前記信頼度と前記類似度とを変数とした演算処理を行い、各々の前記照合用画像における演算処理結果の累計を求めることを特徴とするコンテンツ格納装置。 
【請求項６】
請求項４に記載のコンテンツ格納装置において、
前記コンテンツデータから抽出された抽出画像が複数枚の場合は、各々の前記抽出画像に対して前記信頼度と前記類似度とを変数とした演算処理を行い、各々の前記抽出画像における演算処理結果の累計を求めることを特徴とするコンテンツ格納装置。
【請求項７】
請求項１又は２に記載のコンテンツ格納装置において、
前記照合用画像は、ユーザに対して共通に利用できる前記照合用画像と、特定のユーザにのみ利用可能な前記照合用画像とがあることを特徴とするコンテンツ格納装置。
【請求項８】
格納部と制御部とを有し、前記制御部の制御に基づいて前記格納部にコンテンツを格納するコンテンツ格納方法において、
前記制御部では、
前記格納部に格納されたコンテンツデータより抽出された画像と照合用画像とを照合する照合処理工程と、
前記照合処理工程の結果から、前記照合用画像に関連付けられた時間情報に基いて前記コンテンツデータより抽出された画像の時間情報を判定する時間情報判定処理工程と、
前記時間情報判定処理工程の結果から、前記照合用画像に関連付けられた時間情報を前記コンテンツデータに付与するメタデータ付与処理工程とを行うことを特徴とするコンテンツ格納方法。
【請求項９】
請求項８に記載のコンテンツ格納方法において、
前記照合処理により、前記格納部に格納された前記照合用画像から、前記コンテンツデータより抽出された画像と類似度の高い前記照合用画像を選択し、
選択された前記照合用画像に関連付けられた時間情報の信頼度と前記類似度とを変数とした演算処理を行うことを特徴とするコンテンツ格納方法。
【請求項１０】
請求項９に記載のコンテンツ格納方法において、
選択された前記照合用画像が複数枚の場合は、各々の前記照合用画像に対して前記信頼度と前記類似度とを変数とした演算処理を行い、各々の前記照合用画像における演算処理結果の累計を求めることを特徴とするコンテンツ格納方法。
【請求項１１】
請求項９又は１０に記載のコンテンツ格納方法において、
前記コンテンツデータから抽出された抽出画像が複数枚の場合は、各々の前記抽出画像に対して前記信頼度と前記類似度とを変数とした演算処理を行い、各々の前記抽出画像における演算処理結果の累計を求めることを特徴とするコンテンツ格納方法。
【請求項１２】
請求項８又は９に記載のコンテンツ格納方法において、
前記時間情報は、前記コンテンツが放送された時期、前記コンテンツが制作された時期、またはコンテンツの舞台が想定された時期のうちのいずれか一つ以上を含むことを特徴とするコンテンツ格納方法。
【請求項１３】
請求項８又は９に記載のコンテンツ格納方法において、
前記照合用画像は、すべてのユーザに対して共通に利用できる前記照合用画像と、特定のユーザにのみ利用可能な前記照合用画像とがあることを特徴とするコンテンツ格納方法。
【請求項１４】
コンテンツを取り込むコンテンツ取り込み手段と、
前記コンテンツを、ネットワークを介してコンテンツ格納装置にアップロードするアップロード手段と、
前記コンテンツ格納装置に格納された前記コンテンツを参照する参照手段とを有し、
前記参照手段は、照合用画像と前記照合用画像に関連付けられた複数種類の時間情報に基いてコンテンツデータに付与された前記複数種類の時間情報を、前記コンテンツ格納装置の映像表示部に表示させることを特徴とするコンテンツ検索端末。
【請求項１５】
請求項１４に記載のコンテンツ検索端末において、
前記複数の時間情報は、前記コンテンツが放送された時期、前記コンテンツが制作された時期、またはコンテンツの舞台が想定された時期のうちのいずれか一つ以上を含むことを特徴とするコンテンツ検索端末。
【請求項１６】
照合用画像と前記照合用画像に関連する複数種類の時間情報に基いて、コンテンツデータに前記複数種類の時間情報を付与し、
前記コンテンツデータに付与された前記複数種類の時間情報が映像表示部に表示されることを特徴とするコンテンツ格納装置。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像や画像の各種コンテンツを蓄積し管理するコンテンツ格納装置（サーバ）に関し、特に、番組の管理や検索を容易にするためにコンテンツに付加情報を付与する方法、その方法を実施する装置、およびこれを利用したサービスに関する。
【背景技術】
【０００２】
録画したテレビ番組やデジタルカメラで撮影した画像をはじめ、各種映像・画像コンテンツのデジタル化が急速に進展している。録画・あるいは取り込まれたデジタルコンテンツは、ハードディスクやＤＶＤ(Digital Versatile Disk)などのコンテンツ格納装置に格納され、後から視聴や編集に利用される。このとき、ユーザは所望のコンテンツを取り出すために、コンテンツに付与された付加データ（メタデータと称する）をキーにして並べ替えや検索を行うことにより、見たいコンテンツを探し出しやすくする。具体的には番組のタイトルや出演者で検索したり、放送日時や撮影日時をキーに所望のコンテンツにアクセスしたりするのが一般的である。メタデータは、デジタルテレビ放送を録画する際にＥＰＧ(Electronic Program Guide)情報に基づき受信装置によって付与されたり、映像内に含まれる情報から抽出・付与されたりする（非特許文献１を参照）。また、映像信号とは別に、ネットワークを介してシーンごとに区切られたキーワードなどのメタデータが配信される場合もある（非特許文献２を参照）。さらに、映像を撮影する際に、映像データに各種の関連情報を付加する技術が知られている（特許文献１を参照）。
【０００３】
このような流れの中で、デジタル化される前に録画・撮影したアナログのコンテンツを、デジタル化して取り込むことにより、デジタルコンテンツとして管理するニーズが高まっている。アナログのコンテンツをデジタル化することの利点は、保存性の良さ、複製しても画質が劣化しないこと、編集や加工が可能であること、著作権管理が可能、検索のしやすさ、などといった点が挙げられる。例えば、アナログのビデオテープに録画したテレビ番組の映像や、８ミリビデオに撮影したホームビデオの映像や、ネガフィルムやプリントの形で残っている各種写真などをまとめてデジタル化したファイルとしてハードディスクに格納すれば、保存スペースを節約しながら、劣化の少ない形でコンテンツを格納できる。
【０００４】
一方、任意のデジタル映像コンテンツから、シーンの区切りを検出したり、代表的なシーンやフレームを抽出したりする技術が開発されている（特許文献２を参照）。さらに、抽出した画像をキーにして、これと類似度の高い画像を検索する技術（類似画像検索）も開発されている（特許文献３を参照）。類似画像検索とは基本的に、画像に含まれる明るさや色、写っているものの形状などから特徴量を算出し、複数の画像間での類似度を計算することで類似した画像を抽出する技術である。
【０００５】
【特許文献１】公開特許公報:特開平8-294080
【特許文献２】公開特許公報:特開2007-184674
【特許文献３】公開特許公報:特開2003-224791
【非特許文献１】「デジタル放送に使用する番組配列情報」：社団法人電波産業会  標準規格ARIB STDB10
【非特許文献２】「テレビブログ」http://www.tvblog.jp/
【発明の開示】
【発明が解決しようとする課題】
【０００６】
各種映像・画像コンテンツを記憶媒体に格納して管理する際、あらかじめメタデータが付与されているデジタルコンテンツであれば、付与されたメタデータをキーにした検索や整理が可能であり便利であるが、アナログコンテンツをデジタル化した場合には、そもそもアナログコンテンツには番組やシーンに関するメタデータが付与されておらず、デジタル化したからといってこれらのデータが自動的には付与されないため、検索・管理の面で劣ってしまうという問題点がある。
【０００７】
検索・整理をしやすくするために、映像の種類・タイトル、放送日時・録画日時などの情報を手動で付与することもできるが、人間の目で見て日時情報を判断して付与するためには、その映像を視聴しなければならず、大量のビデオや写真に対してこれらのアナログデータにメタデータを手動で付与するのは、手間も時間もかかってしまうために現実的ではない。
【０００８】
本発明の目的は、メタデータの付与されていない（あるいは不足している）映像・画像等のコンテンツデータに対して、検索や管理を容易にするための適切なメタデータを、ユーザにとってできるだけ簡便な手段で（究極的には何も処理をすることなしに自動で）付与する方法、およびその方法を実施するコンテンツ格納サーバ（装置）を提供することにある。
【課題を解決するための手段】
【０００９】
これらの課題を解決するために、取り込まれた映像や画像等のコンテンツデータから特徴的なシーンを抽出し、画像処理およびマッチングを行うことにより自動的にメタデータを付与することを考える。特に、検索や管理を行う際に最も有効であると考えられる、日時に関する時間情報（すなわち、映像の撮影日時・放送日時など）を付与することが、本発明の第１の特徴である。
【００１０】
人間は、映像や画像を見ると、これがどの時代に撮られた（放送された／いつの時代を想定した）ものか、だいたいいつの時代を想定したものかといったことが理解できるものである。これは、人間が、共有された文化や自身の経験などに基づいて、映像や画像に含まれる背景や登場人物などから、これがだいたいいつのものなのかを認識するための情報を知識として持っているからである。本発明の第１の特徴によれば、映像や画像から時代を認識・特定するための情報を照合用のデータベースとして予め用意し、これらの照合用データを用いて映像全体あるいはシーンが持つ日時情報を取得し、取得した日時情報をメタデータとしてコンテンツに付与することによって、コンテンツの検索や管理を容易にする。
【００１１】
本発明の時間情報付与機能を有するコンテンツ格納装置は、コンテンツデータを格納するコンテンツデータ格納部と、コンテンツデータに関連付けられたメタデータを格納するメタデータ格納部と、照合用画像と当該照合用画像に関連付けられた時間情報とを格納する時間情報判定データ格納部を有し、コンテンツデータに含まれる画像と照合用画像とを類似画像検索技術を用いて照合する照合処理と、その照合処理の結果からコンテンツデータの時間情報を判定する時間情報判定処理と、コンテンツデータに照合用画像と関連付けられた時間情報を付与するメタデータ付与処理とを行う。付与された時間情報は、推定結果としてユーザに提示される。
【００１２】
取り込まれたコンテンツデータが映像の場合は、シーン抽出技術によっていくつかの代表画像を抽出し、これら代表画像に対し照合用画像との照合処理を行う。
【００１３】
また、照合処理では、時間情報判定データ格納部に格納された照合用画像から、コンテンツデータに含まれる画像と類似度の高い照合用画像を選択し、選択された照合用画像に関連付けられた時間情報の信頼度と類似度とを変数とした演算処理を行う。選択された照合用画像が複数枚の場合は、各々の照合用画像に対して信頼度と類似度を変数とした演算処理を行い、各々の照合用画像における演算処理結果の累計を求める。この演算処理により、付与する時間情報の尤度を求めることができる。
【発明の効果】
【００１４】
本発明の第１の特徴によれば、メタデータの付与されていない（あるいは不足している）映像・画像コンテンツデータに対して、検索や管理を容易にするための適切なメタデータ（特に日時に関する情報）を、ユーザにとってできるだけ簡便な手段で付与する方法およびコンテンツ格納サーバ（装置）を提供することが可能となる。これにより、アナログのビデオテープや８ミリビデオに録画された映像や、古い写真などといったアナログ形式の映像・画像コンテンツをデジタル化して格納する際に、検索性の高い形で格納することが可能となり、ユーザの利便性が著しく向上する。
【発明を実施するための最良の形態】
【００１５】
〔実施例１〕
以下、本発明によって実現されるコンテンツ格納(検索)システムの第一の実施例を、図１から図１１を用いて説明する。
【００１６】
図１に、本発明の第１の実施例であるコンテンツ検索システムの全体構成図を示す。本実施例では、「コンテンツアーカイブサーバ」(001)と称するサーバに、ユーザのコンテンツそのものとそれに関連するメタデータとをまとめて格納するサービスを提供する。ユーザ(004)の自宅等(002)には、家庭用端末(200)がネットワーク(005)を経由してコンテンツアーカイブサーバ(001)に接続されている。家庭用端末(200)は、処理部としてコンテンツ取り込みおよびアップロード処理を行う処理部(201)と、サーバに格納したコンテンツを参照するための処理部(202)とからなり、ＶＨＳビデオ(205)・８ミリビデオ(206)・ネガフィルム(207)などの各種アナログコンテンツを取り込むための外部入力取り込み機能(203)を備える。外部入力としてはこれらのアナログコンテンツのみでなく、デジタルテレビの映像やデジカメ画像などのデジタルコンテンツを取り込めるように構成されていても良い。また、サーバ(001)に格納したコンテンツを視聴するための映像表示装置(204)とも接続されている。また、同様の装置が、業務用端末(210)として取り込み代行業者(003)に設置されていても良い。
【００１７】
ユーザ(004)が手持ちのアナログコンテンツを、家庭用端末(200)を通じて取り込むと、家庭用端末(200)内のコンテンツ取り込み・アップロード処理部(201)では取り込んだアナログコンテンツをデジタル化してネットワーク(005)を経由してコンテンツアーカイブサーバ(001)にアップロードする。あるいは、この処理を代行業者(003)が代行するサービスも考えられる。ネットワーク経由での大量のデジタルデータのアップロードが現実的でない場合には、取り込んだデジタルデータをサーバ側に郵送・配送するなどしてサーバに取り込ませるサービスも考えられる。こうしてアップロードされたデジタルコンテンツは、コンテンツアップロード処理部(101)にてシーン抽出(102)され、抽出された代表画像を対象に、シーン照合処理部(103)において時間情報判定データベース(130)に格納されている照合用画像と照合され、コンテンツの時間情報を判定する処理を行い(104)、メタデータが付与される(105)。コンテンツデータとメタデータはそれぞれ所定のデータ格納スペース(110,120)に格納される。格納されたコンテンツ(110)は、家庭用端末(200)のコンテンツ参照処理部(202)を通じて検索・視聴することが可能となる。
【００１８】
図２には、図１におけるコンテンツアーカイブサーバ(001)の構成をより詳細に示す。制御部(100)は、上述したようにシーン抽出処理部(102)、シーン照合処理部(103)、時間情報判定処理部(104)、メタデータ付与処理部(105)、コンテンツ提示処理部(107)、メタデータ・時間情報判定ＤＢ更新処理部(108)などから構成される。サーバ(001)に格納されるデータは、大きく３種類に分けられる。まずは取り込んだデジタルコンテンツを格納するコンテンツデータ格納部(110)であり、ここにはユーザ別にユーザエリア(111)を設け、取り込んだ映像や画像などの個別のコンテンツ(112)が格納される。これらのコンテンツに関する各種付加情報としてのメタデータを格納する格納部(120)がある。このメタデータの構成などは別途詳しく説明する。また、シーンを照合して時間情報を与えるために用いられる時間情報判定用データを格納するために、時間情報判定データベース(130)があり、ここには照合用の画像(131)と、それぞれの照合用画像が表す日時および時代に関する情報とが格納される。サーバ(001)に取り込まれる映像・画像コンテンツには、放送番組などのパブリック（＝公的／共有可能：著作権的な問題は別途検討が必要）なコンテンツと、個人が撮影した映像などのプライベート（＝私的／共有不可能）なコンテンツとが存在するため、照合用データベースにも、すべてのユーザに対して共通に利用できるパブリックな項目(132)と、特定のユーザにのみ利用可能なプライベートな項目(133)を用意する。そして、パブリックなデータはパブリックコンテンツおよびプライベートコンテンツに対して照合可能であるが、プライベートなデータはその持ち主のプライベートコンテンツにのみ照合可能とするといったように、ユーザのプライバシーを考慮した設計とするとより利便性が向上する。
【００１９】
図３に、コンテンツアーカイブサーバに格納する、コンテンツに関するメタデータ（付加情報）の形式とその例を示す。それぞれのメタデータ(120)には、このデータが関連するコンテンツデータ(110)のデータＩＤ(131)、コンテンツの所有者のユーザＩＤ(122)、取り込んだメディアＩＤ(123)、コンテンツがパブリックコンテンツ（録画した放送番組など）であるかプライベートコンテンツ（個人で撮影した映像など）であるかを示す識別子(124)、ＥＰＧ的な番組情報(125)（番組のタイトルやジャンル、出演者など：これに関しては手動あるいは本発明で開示しない他の手段によって入力・付与することを想定している）とともにコンテンツの日時に関する情報を含む。
【００２０】
映像・画像の種類によって、日時に関する情報にはいくつかの種類がある。例えばテレビなどで放送されたコンテンツに関しては、下記の３種類が考えられる。
[A] 放送日時(126)：実際に番組（コンテンツ）が放送された日時（再放送なども含む）
[B] 制作日時(127)：番組（コンテンツ）を制作した日時（時代）
[C] 想定日時(128)：番組（コンテンツ）の舞台が想定された日時（時代）
ここで「日時」とは正確な日付・時刻を指す場合もあれば、「○○時代」のように、範囲をもったおおよその時代を指す場合もある。例えば、昭和初期を背景にしたドラマが1990年に制作され、これが2000年に再放送されたならば、[A]は2000年、[B]は1990年、[C]は昭和初期、となる。ニュースなどの生放送に関しては、通常[A]と[B]と[C]は一致する。個人で撮影した映像・画像に関しては、[A]という概念は存在せず、また通常[B]と[C]は一致する（ただし、異なる時代を想定して演じられた演劇などを撮影したものに関しては[B]と[C]が一致しない）。
【００２１】
この[A][B][C]のそれぞれについて、本発明による方法で自動的に付与される推定日時(145)(148)(151)とその確度(147)(150)(153)、ユーザによる評価で確定する確定日時(146)(149)(152)を保持する。それぞれの値は、例えば(129)に示すようなＸＭＬ形式で表される。
【００２２】
図４には、時間情報判定用データベース(130)の構成例を示す。あらかじめ登録された照合用の画像(131)に、時間情報の判定に用いられる時間判定データが関連付けられている。この時間判定データは、照合用画像へのリンク(134)、この照合用データがパブリックデータであるかプライベートデータであるかの識別子(135)、プライベートデータである場合は対象のユーザＩＤ(136)、照合日時に関する情報(137)およびその信頼度(138)からなる。照合日時に関する情報(137)はさらに、照合種別（背景画像、出演者、ＣＭなどの種別を表す）(161)、元画像の説明(162)、日時種別（放送日時／制作日時／背景日時のいずれかに対応するか）(163)、「〜より後」であることを示す期間開始日時(164)、「〜より前」であることを示す期間終了日時(165)からなる。期間開始日時(164)・期間終了日時(165)はいずれかが空白であっても良い（例えば、○○年より後であることは確実だが、現在も含めて最後がいつかはわからない場合は、期間終了日時が不定となる）。信頼度(138)は、その照合による推定日時にどの程度の信頼がおけるかというものを表す指標で、パーセント表示や小数点、あるいは５段階表示などにより示される。この値は、ユーザによる推定結果の評価を行うことで適宜修正されていく。
【００２３】
図４ではまた、この時間判定データのＸＭＬ形式での記述例を(139)に示す。パブリックデータの例(166)では、番組中に含まれるＣＭがどの期間に放映されていたかのデータから、このコンテンツの放送日時を推定するために使われるデータの例を示す。プライベートデータの例(167)では、背景に映る自宅外壁の色から、このコンテンツが撮影された期間を推定するものであり、ここで使われる照合用画像は個人に属するものであるから、「Private」のタグをつけ、持ち主のユーザＩＤを持つコンテンツからしか参照されないようにする。
【００２４】
図５に、本実施例におけるコンテンツ格納・検索処理の流れを示す。まず、家庭用／業務用端末(211)を用いて、ＶＨＳ(205)・８ミリ(206)・ネガフィルム(207)などからコンテンツをデジタル化して取り込み(301)、ネットワーク(005)あるいはその他の手段を通じてコンテンツアーカイブサーバ(001)にアップロード処理を行う(302)。サーバ(001)ではこれを受け取り、コンテンツの元データをコンテンツデータ(110)として格納し(303)、コンテンツが映像データ(113)であれば所定のシーン抽出処理を行い(304)、シーン画像(115)に変換する。コンテンツが写真(114)であれば、そのままシーン画像(115)となる（ここで類似した複数の画像の除去や特徴的な画像の抽出などの処理を行ってもよい）。次に、シーン画像(115)と照合用画像(131)とを、所定の既知の類似画像検索技術などを用いて照合処理を行い(305)、時間判定照合データ(132,133)を利用して、コンテンツの推定時間情報の付与を行う(306)。得られた推定時間に関する情報は、メタデータ(120)として格納される(307)。なお、時間情報の推定結果は、後から専用の端末またはWebブラウザ(211)を介してユーザに提示され、ユーザによって評価される(308)。この結果に基づき、メタデータ(120)と時間情報判定データベース(130)の更新が行われる(309)。これによって、時間情報判定データベース(130)の学習・精度の向上がはかられる。
【００２５】
図６に、コンテンツアップロード時の一連の処理手順を示す。まず、シーン抽出処理(304)として、既存の技術を利用し、取り込まれた映像コンテンツからいくつかのシーンの代表的な画像を抽出する(310)。抽出済みのシーン画像について、以下の「シーン照合(305)」「時間情報判定(306)」の処理を、画像の枚数分だけ実行する(311)。シーン照合処理としては、既存の類似画像検索技術に基づき、時間情報判定データベースに格納されている照合用画像から、抽出した画像に類似した画像を少なくとも1枚選択する(312)。照合された画像に関連付けられた時間情報について、類似度と信頼度とを変数とした演算の累計、例えば、類似度×信頼度の累計を、想定日時・制作日時・放送日時のそれぞれに関して一時的に格納していく(313)。ステップ(313)の処理を全ての照合画像について繰り返し、時間情報の分布から最も尤度の高い日時（時代）を選択する(314)。ステップ(312)から(314)の処理を、切り出されたシーン画像のすべてについて繰り返し、最終的に映像全体に対して推定結果（想定日時・制作日時・放送日時）が得られるので、これらの推定結果をメタデータに登録する(315)。
図７および図８には、図６で示した処理手順に基づく、時間情報判定処理の一実行例を示す。映像の開始(321)から終了(322)までについて、所定のシーン抽出処理により特徴的なサムネイル画像(323)〜(330)を抽出し、そのそれぞれについて類似画像検索処理を行う。その結果、サムネイル画像(323)に対して、照合用画像が類似度の高い順に参照される。画像(331)には照合用データ(332)が、画像(333)には照合用データ(334)がそれぞれ関連付けられている。照合用データ(332)は、この画像が○○銀行の看板を表していること、そしてそのことによって、この映像は○○銀行が存在した1980年4月から1985年3月までの時代を想定して作られたものであることを規定し、その信頼度が80％であることを示している。また、照合用データ(334)は、ある出演者がデビューした1995年以降に制作されたものであることを規定する信頼度が75％であることを示している。従って、このようなデータを積み重ねていくことにより、図中(335)に示すようなリストが作成される。これはすなわち、開始時刻から5分10秒経過したシーン画像１(323)については、信頼度80％で想定日時を規定する画像に類似度90％でヒットしたこと、信頼度75％で制作日時を規定する画像に類似度89％でヒットしたこと、（…以下同様）を示す(336)。別の7分23秒経過したシーン画像２(324)も同様に、放送日時や制作日時をそれぞれ規定する画像にヒットしたという結果を示す(337)。（図８に続く）
このようにして得られた照合用データの集合から、シーン別に類似度×信頼度の累計をプロットしていくと、図８のグラフのようになる。すなわち、シーン画像１(323)については、想定日時に関する照合データのそれぞれについて類似度×信頼度の累計をプロットしていくと、1982年くらいに大きなピークを持ち(342)、制作日時では2002年頃にピークを持つ(343)ことがわかる。同様に、すべてのシーン画像について最大のピークとなる日時をピックアップするという操作を繰り返し、最も尤もらしい日時情報（番組全体の中で累計値のピークをとる日時情報）を抽出すると、図中(345)に示すような推定結果を含むメタデータが得られる。ここで、制作日時や放送日時は映像を通じて一定の期間に収束するが、想定日時については（特にドラマや映画などでは）時間を遡るシーンや複数の時代にまたがるシーンなどもあるため、複数の想定日時が混在することもあり得る。
【００２６】
以上、図７と図８で説明した処理例では、テレビ番組を録画した映像コンテンツの例を示したが、個人で録画した映像や画像の場合は、ユーザＩＤに基づき、そのユーザのプライベート照合用データおよびパブリック照合用データを利用して時間情報の判定を行う。
【００２７】
次に図９および図１０に、本実施例におけるユーザ向け端末の画面表示の例を示す。図９は、メタデータとして推定日時データが得られ、コンテンツメタデータとして格納した後に、取り込んだコンテンツに関する日時情報をユーザに提示する（図５の(308)のステップ）画面の一例である。ＶＨＳビデオから取り込まれたテレビ番組の映像コンテンツに対して、上述した方法で推定して得られた想定日時・制作日時・放送日時を提示し、ユーザの確認を求めるものである。推定した時間情報が正しいと判断された場合には「時間情報確定」(414)を、修正する場合は「修正」(415)を選択してもらう。「修正」が選ばれた場合には、正しいと思われる日時情報をユーザに入力してもらい（推定の過程で確度が低いとされた別の候補から選択してもらうのでも良い）、その結果に応じてサーバ(001)に格納されているメタデータ(120)および照合用データ(130)が修正される。
【００２８】
図１０は、格納されたコンテンツを各種の条件に応じて絞り込んで参照する画面の例である。この例では、コンテンツタイプ(421)、種別(422)、ジャンル(423)といった絞込み条件のほかに、想定日時(424)、制作日時(425)、放送日時(426)といった条件でも絞り込み検索を可能とする。ここで、先にも述べたように、ひとつの映像に対してシーンによっては複数の想定日時が混在する場合もあるので、「追加」ボタン(427)によって複数選択を可能にしている。
【００２９】
図１１に、時間情報判定データベースの項目の例をいくつか示す。パブリックデータについては、あらかじめサービス提供者が照合用のデータ(132)を登録しておき、推定結果の評価に基づき信頼度の更新を行うなど、定期的にメンテナンスを行う必要がある。プライベートデータについては、個人的な情報になるためパブリックデータの流用には限度があるため、子供の年齢やイベントなとについては事前にユーザによりある程度のデータ登録が必要になる場合がある。
なお、時間情報判定項目としては、もちろんここに示したものに限定される必要はなく、映像から時間や時代を判定するのに使えるものであれば、画像に限らず音声や文字情報なども利用が可能である。
〔実施例２〕
本発明によって実現されるコンテンツ格納(検索)システムの第二の例を、図１２および図１３により説明する。実施例１ではコンテンツデータそのものがサーバ(001)に格納されていたのに対して、実施例２では、コンテンツデータの本体はユーザ側のローカルＤＢ（家庭用端末など）に格納し、メタデータだけをサーバ(001)側で格納・管理とするものである。
【００３０】
図１２は、本発明の実施例２におけるコンテンツ格納(検索)システムの全体構成図である。主な構成は図1とほぼ同様であるが、シーン抽出処理部(208)がローカル側にあり、抽出した代表画像のみをサーバ(001)にアップロードし、これらの代表画像を用いて時間情報判定などの処理をサーバ側で行う。図１３は、実施例２におけるコンテンツ格納・検索処理の流れを示す図であり、実施例１における図５に例示した処理フローに対応する。取り込まれたコンテンツをそのままサーバにアップロードするのではなく、端末側(211)でシーン抽出処理(304)を行い、抽出済みのシーン画像(115)をサーバ(001)にアップロードする(302)。コンテンツ本体(110)はサーバ側でなくローカル側に格納される(303)。
【００３１】
以上説明してきた装置およびサービスにより、メタデータの付与されていない映像・画像コンテンツデータに対して、検索や管理を容易にするための適切なメタデータを、ユーザにとってできるだけ簡便な手段で付与することが可能となり、ユーザの利便性が向上する。
【産業上の利用可能性】
【００３２】
ユーザやコンテンツ配信業者のもつ莫大なコンテンツを、メタデータが付与されたデジタルコンテンツとして格納し、メタデータを元にして参照・閲覧が行えるサービスを提供することが可能となる。また、企業や各種団体がもつ古いコンテンツに関しても、日時に関する付加情報を付与して管理に役立てることが可能となる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施例１におけるコンテンツ格納・検索装置の全体システムを示す構成図。
【図２】実施例１におけるサーバの構成を示す図。
【図３】実施例１におけるメタデータの形式例を示す図。
【図４】実施例１における時間情報判定データベースの一例を示す図。
【図５】実施例１におけるコンテンツ格納・検索処理の流れを示す図。
【図６】実施例１におけるコンテンツアップロード処理の手順を示す図。
【図７】実施例１における時間情報判定処理の一例を示す図。
【図８】実施例１における時間情報判定処理で得られるメタデータの一例を示す図。
【図９】実施例１におけるユーザ向け端末の画面表示の一例を示す図。
【図１０】実施例１におけるユーザ向け端末の画面表示の他の例を示す図。
【図１１】実施例１における時間情報判定データベースの項目例を示す図。
【図１２】本発明の実施例２におけるコンテンツ格納・検索装置の全体システムを示す構成図。
【図１３】実施例２におけるコンテンツ格納・検索処理の流れを示す図。
【符号の説明】
【００３４】
001: コンテンツアーカイブサーバ，002: 自宅等，003:取り込み代行業者，004: ユーザ，005: ネットワーク, 100: 制御部, 101: コンテンツアップロード処理部, 102: シーン抽出処理部, 103: シーン照合処理部, 104: 時間情報判定処理部, 105: メタデータ付与処理部，106: コンテンツ検索・履歴更新処理部, 107: コンテンツ提示処理部, 108: メタデータ・時間情報判定DB更新処理部, 110: コンテンツデータ, 111: ユーザエリア, 112: 個別コンテンツ, 113: 映像データ, 114: 写真データ, 120: メタデータ, 121: データＩＤ, 122: ユーザＩＤ, 123: メディアＩＤ, 124: パブリック／プライベート識別子, 125: 番組情報（ＥＰＧ的情報）, 126: 放送日時, 127: 制作日時, 128: 想定日時, 129: ＸＭＬ形式のメタデータ, 130: 時間情報判定データベース, 131: 照合用画像, 132: パブリック判定データ, 133: プライベート判定データ, 134: 照合用画像ＩＤ, 135: パブリック／プライベート識別子, 136: ユーザＩＤ, 137: 照合日時情報, 138: 信頼度, 139: ＸＭＬ形式の時間情報判定データ, 141: タイトル, 142: ジャンル, 143: 出演者, 144: 番組説明, 145: 推定日時（放送日時）, 146: 確定日時（放送日時）, 147: 確度（放送日時）, 148: 推定日時（制作日時）, 149: 確定日時（制作日時）, 150: 確度（制作日時）, 151: 推定日時（想定日時）, 152: 確定日時（想定日時）, 153: 確度（想定日時）, 161: 種別, 162: 画像説明, 163: 日時種別, 164: 期間開始日時（〜より後）, 165: 期間終了日時（〜より前）, 166: パブリックデータの例, 167: プライベートデータの例, 200: 家庭用端末, 201: コンテンツ取り込み・アップロード処理部，202: コンテンツ参照処理部，203: 外部入力，204: 映像表示装置，205: ＶＨＳ，206: ８ミリテープ, 207: ネガフィルム，208: シーン抽出・アップロード処理部, 209: コンテンツデータパッケージング処理部, 210: 業務用端末, 211: 家庭用/業務用端末/Webブラウザ, 212: 受け渡し用コンテンツデータ, 213: コンテンツデータ・メタデータ, 301: コンテンツ取り込み処理, 302: アップロード処理, 303: コンテンツ格納処理, 304: シーン抽出処理, 305: 照合処理, 306: 推定時間情報付与処理, 307: メタデータ格納処理, 308: 推定時間情報評価処理, 309: メタデータ・判定用データベース更新処理, 310〜315: 処理ステップ, 321: 映像開始, 322: 映像終了, 323〜330: 切り出されたシーン代表画像, 331: シーン画像(323)に最も類似していると判定された照合用画像, 332: 画像(331)に関連付けられた照合用データ, 333: シーン画像(323)に二番目に類似していると判定された照合用画像, 334: 画像(333)に関連付けられた照合用データ, 335: 判定用時間情報リスト, 336: シーン画像(323)の時間情報, 337: シーン画像(324)の時間情報, 341: シーン画像(323)の時間情報ヒストグラム, 342: 類似度×信頼度の累計値（想定日時）, 343: 類似度×信頼度の累計値（制作日時）, 344: シーン画像(324)の時間情報ヒストグラム, 345: 推定結果, 410: 推定結果提示画面の例, 411: コンテンツに関する基本情報, 412: サムネイル一覧, 413: 時間情報推定結果, 414: 時間情報確定ボタン, 415: 時間情報修正ボタン, 416: キャンセルボタン, 420: コンテンツ絞込検索の画面例, 421: コンテンツタイプ選択, 422: 種別選択, 423: ジャンル選択, 424: 想定日時選択, 425: 制作日時選択, 426: 放送日時選択, 427: 想定日時追加ボタン, 428: 絞り込みボタン, 429: キャンセルボタン。
【図１】
2009129039.tif 000003
【図２】
2009129039.tif 000004
【図３】
2009129039.tif 000005
【図４】
2009129039.tif 000006
【図５】
2009129039.tif 000007
【図６】
2009129039.tif 000008
【図７】
2009129039.tif 000009
【図８】
2009129039.tif 000010
【図９】
2009129039.tif 000011
【図１０】
2009129039.tif 000012
【図１１】
2009129039.tif 000013
【図１２】
2009129039.tif 000014
【図１３】
2009129039.tif 000015