(57)【特許請求の範囲】
【請求項１】
ニュースの映像を示すニュース動画データ、前記ニュースの映像に関する内容を示すテキストデータ、及び前記テキストデータと前記ニュース動画データが示す前記映像との対応付けを示す同期データの入力を受ける入力部と、
前記ニュース動画データにおけるアンカーショットの映像区間を示す前記同期データにより前記テキストデータを特定し、特定した前記テキストデータが示す文を要約文として抽出する要約文抽出部と、
前記テキストデータが示す前記要約文以外の文から、前記要約文抽出部により抽出された前記要約文に類似する類似文を抽出する類似文抽出部と、
前記ニュース動画データが示す前記映像の中から、前記類似文抽出部により抽出された前記類似文が得られた前記テキストデータに対応する映像を前記同期データに基づいて特定し、特定した前記映像から代表静止画を抽出する代表静止画抽出部と、
を備えることを特徴とする代表静止画抽出装置。
【請求項２】
前記要約文抽出部により抽出された前記要約文から主題となる単語を抽出する主題抽出部と、
前記ニュース動画データが示す前記映像のカットに含まれるオブジェクトを解析するシーン解析部とをさらに備え、
前記代表静止画抽出部は、前記ニュース動画データが示す前記映像の中から、前記類似文抽出部により抽出された前記類似文が得られた前記テキストデータに対応する映像を前記同期データに基づいて特定し、前記シーン解析部により解析された前記オブジェクトに基づいて、特定した前記映像に含まれるカットの中から前記主題抽出部により抽出された前記主題に対応するオブジェクトが含まれるカットを選択し、選択した前記カットから代表静止画を抽出する、
ことを特徴とする請求項１に記載の代表静止画抽出装置。
【請求項３】
前記主題抽出部は、前記要約文の最初の文において係助詞が使われている文節から前記主題となる単語を抽出する、
ことを特徴とする請求項２に記載の代表静止画抽出装置。
【請求項４】
前記ニュース動画データは、複数のニュース項目についてのニュースの映像を示し、
前記ニュース動画データにおけるアンカーショットの映像区間に対応した前記同期データに基づいて前記ニュース項目ごとに前記テキストデータを分割するセグメンテーション部をさらに備え、
前記要約文抽出部、前記主題抽出部、前記類似文抽出部、及び前記代表静止画抽出部は、前記セグメンテーション部が分割した前記ニュース項目ごとに上記の処理を行う、
ことを特徴とする請求項２または請求項３に記載の代表静止画抽出装置。
【請求項５】
代表静止画抽出装置に用いられるコンピュータを、
ニュースの映像を示すニュース動画データ、前記ニュースの映像に関する内容を示すテキストデータ、及び前記テキストデータと前記ニュース動画データが示す前記映像との対応付けを示す同期データの入力を受ける入力部、
前記ニュース動画データにおけるアンカーショットの映像区間を示す前記同期データにより前記テキストデータを特定し、特定した前記テキストデータが示す文を要約文として抽出する要約文抽出部、
前記テキストデータが示す前記要約文以外の文から、前記要約文抽出部により抽出された前記要約文に類似する類似文を抽出する類似文抽出部、
前記ニュース動画データが示す前記映像の中から、前記類似文抽出部により抽出された前記類似文が得られた前記テキストデータに対応する映像を前記同期データに基づいて特定し、特定した前記映像から代表静止画を抽出する代表静止画抽出部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、代表静止画抽出装置、及びプログラムに関する。
【背景技術】
【０００２】
放送局などが管理するウェブニュースサイトでは、各ニュースの代表静止画を１つずつ提示しており、この代表静止画は、ニュースの動画の中から手作業により選択されている。一方、ハードディスクレコーダーなどには、録画した番組から代表静止画を提示する機能を有するものがある。この技術では、人の顔が映った映像の部分から切り出した静止画や、一定間隔ごとにサンプリングした静止画を代表静止画として提示している（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】株式会社  東芝、「映像シーンを簡単に検索できる“顔ｄｅナビ（登録商標）”」、［online］、東芝レビューVol.63 No.11 (2008)、［平成２４年２月２８日検索］、インターネット＜ＵＲＬ：http://www.toshiba.co.jp/tech/review/2008/11/63_11pdf/b08.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
人手によってニュースの動画から代表静止画を選択するには、作業者がニュースの内容を把握した上で、動画全体の中からその内容に適した画像を選択しなければならないため、この選択作業には時間を要する。しかし、ニュースのように即応性が重要なコンテンツについては迅速な代表静止画の選択が求められている。また、人の顔が映った映像の部分から切り出した静止画や、一定間隔でサンプリングした静止画を代表静止画とする従来の技術では、ニュースを代表する的確な静止画を選択することは難しい。
【０００５】
本発明は、このような事情を考慮してなされたもので、ニュースの動画からそのニュースを代表する的確な静止画を抽出する代表静止画抽出装置、及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
［１］  本発明の一態様は、ニュースの映像を示すニュース動画データ、前記ニュースの映像に関する内容を示すテキストデータ、及び前記テキストデータと前記ニュース動画データが示す前記映像との対応付けを示す同期データの入力を受ける入力部と、前記ニュース動画データにおけるアンカーショットの映像区間を示す前記同期データにより前記テキストデータを特定し、特定した前記テキストデータが示す文を要約文として抽出する要約文抽出部と、前記テキストデータが示す前記要約文以外の文から、前記要約文抽出部により抽出された前記要約文に類似する類似文を抽出する類似文抽出部と、前記ニュース動画データが示す前記映像の中から、前記類似文抽出部により抽出された前記類似文が得られた前記テキストデータに対応する映像を前記同期データに基づいて特定し、特定した前記映像から代表静止画を抽出する代表静止画抽出部と、を備えることを特徴とする代表静止画抽出装置である。
この態様によれば、代表静止画抽出装置は、ニュースの映像の内容を示すテキストから、アンカーショットに対応したテキストを要約文として抽出する。さらに、代表静止画抽出装置は、ニュースの映像の内容を示すテキストに含まれる文の中から要約文に類似している文（例えば、最類似文）を抽出し、その抽出した文に対応したニュースの映像の区間を、ニュースを代表する映像の区間として特定する。代表静止画抽出装置は、特定した区間の映像から代表静止画を抽出する。
これにより、代表静止画抽出装置は、ニュースの詳細が述べられているときのニュース映像の中で、アンカーショットにおいてアナウンサーが述べたニュースの要約に近い内容が述べられているときの区間を特定し、特定した区間の映像から代表静止画を抽出する。従って、代表静止画抽出装置は、ニュースの映像に対応付けられたテキストの情報を利用して、ニュース動画が示すニュースの映像の中からニュースの内容に即した的確な代表静止画を抽出することができる。
【０００７】
［２］  本発明の一態様は、上述した代表静止画抽出装置であって、前記要約文抽出部により抽出された前記要約文から主題となる単語を抽出する主題抽出部と、前記ニュース動画データが示す前記映像のカットに含まれるオブジェクトを解析するシーン解析部とをさらに備え、前記代表静止画抽出部は、前記ニュース動画データが示す前記映像の中から、前記類似文抽出部により抽出された前記類似文が得られた前記テキストデータに対応する映像を前記同期データに基づいて特定し、前記シーン解析部により解析された前記オブジェクトに基づいて、特定した前記映像に含まれるカットの中から前記主題抽出部により抽出された前記主題に対応するオブジェクトが含まれるカットを選択し、選択した前記カットから代表静止画を抽出する、ことを特徴とする。
この態様によれば、代表静止画抽出装置は、ニュースの映像の内容を示すテキストから、アンカーショットに対応したテキストを要約文として抽出し、抽出した要約文からニュースの主題を判定する。さらに、代表静止画抽出装置は、ニュースの映像の内容を示すテキストに含まれる文の中から要約文に類似している文を抽出し、その抽出した文に対応したニュースの映像の区間のカットのうち、主題に対応するオブジェクトが含まれるカットから代表静止画を抽出する。
これにより、代表静止画抽出装置は、ニュースの詳細が述べられている中でもニュースの要約に近い内容が述べられているときの映像区間におけるカットのうち、ニュースの主題に関連するカットから代表静止画を抽出することができる。
【０００８】
なお、代表静止画抽出装置の前記代表静止画抽出部は、選択した前記カットから、隣接するフレームの映像の差分が所定値以下である区間が所定以上長いカメラ静止区間を特定し、特定した前記カメラ静止区間のうち最長の区間から代表静止画を抽出する、ようにしてもよい。
これによれば、代表静止画抽出装置は、主題に対応したカットのうち、ある程度長い時間、映像の動きが小さい区間から代表静止画を抽出する。
ある程度長い時間、映像の動きが小さい区間には、ニュースの内容に関連が高いものとして注目されている映像が含まれる。代表静止画抽出装置は、その注目されている区間の映像の中から代表静止画を取得するため、的確な代表静止画を抽出することができる。
【０００９】
［３］  本発明の一態様は、上述した代表静止画抽出装置であって、前記主題抽出部は、前記要約文の最初の文において係助詞が使われている文節から前記主題となる単語を抽出する、ことを特徴とする。
この態様によれば、代表静止画抽出装置は、アンカーショットの映像に対応した内容のテキストデータが示す最初の文から、係助詞に基づいて主題となる単語を抽出する。
ニュースの冒頭では、そのニュースを簡潔にまとめた内容が述べられる。代表静止画抽出装置は、ニュースの冒頭でアナウンサーが述べた内容の主辞を主題となる単語として抽出するため、適切なニュースの主題を抽出することができる。
【００１０】
［４］  本発明の一態様は、上述した代表静止画抽出装置であって、前記ニュース動画データは、複数のニュース項目についてのニュースの映像を示し、前記ニュース動画データにおけるアンカーショットの映像区間に対応した前記同期データに基づいて前記ニュース項目ごとに前記テキストデータを分割するセグメンテーション部をさらに備え、前記要約文抽出部、前記主題抽出部、前記類似文抽出部、及び前記代表静止画抽出部は、前記セグメンテーション部が分割した前記ニュース項目ごとに上記の処理を行う、ことを特徴とする。
この態様によれば、ニュース動画データがニュース番組の映像であるなど、複数のニュース項目のニュースを含んだ映像である場合、代表静止画抽出装置は、ニュース番組全体の映像に関するテキストデータを、アンカーショットの映像区間に基づいてニュース項目ごとに分割する。代表静止画抽出装置は、分割したニュース項目それぞれについて、テキストデータから要約文を抽出するとともに要約文から主題を判定し、要約文に類似している文に対応したニュースの映像の区間に含まれ、かつ主題に対応するオブジェクトが含まれるカットから代表静止画を抽出する。
これにより、代表静止画抽出装置は、ニュース番組のように、複数のニュース項目のニュースがニュース動画に含まれている場合でも、各ニュース項目それぞれについて代表静止画を抽出することができる。
【００１１】
［５］  本発明の一態様は、代表静止画抽出装置に用いられるコンピュータを、ニュースの映像を示すニュース動画データ、前記ニュースの映像に関する内容を示すテキストデータ、及び前記テキストデータと前記ニュース動画データが示す前記映像との対応付けを示す同期データの入力を受ける入力部、前記ニュース動画データにおけるアンカーショットの映像区間を示す前記同期データにより前記テキストデータを特定し、特定した前記テキストデータが示す文を要約文として抽出する要約文抽出部、前記テキストデータが示す前記要約文以外の文から、前記要約文抽出部により抽出された前記要約文に類似する類似文を抽出する類似文抽出部、前記ニュース動画データが示す前記映像の中から、前記類似文抽出部により抽出された前記類似文が得られた前記テキストデータに対応する映像を前記同期データに基づいて特定し、特定した前記映像から代表静止画を抽出する代表静止画抽出部、として機能させるプログラムである。
【発明の効果】
【００１２】
本発明によれば、ニュースの動画から、そのニュースを代表する的確な静止画を抽出することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態による代表静止画抽出装置の構成を示すブロック図である。
【図２】同実施形態によるニュース動画データの映像の例を示す図である。
【図３】同実施形態によるクローズドキャプションデータの例を示す図である。
【図４】同実施形態による代表静止画抽出装置の処理フローを示す図である。
【図５】同実施形態によるセグメンテーション処理の詳細な処理フローを示す図である。
【図６】同実施形態による要約文との類似度を計算した処理結果の例を示す図である。
【図７】同実施形態による代表静止画抽出処理の詳細な処理フローを示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
【００１５】
図１は、本発明の一実施形態による代表静止画抽出装置１の構成を示すブロック図であり、本実施形態に関係する機能ブロックのみを抽出して示してある。代表静止画抽出装置１は、例えば、１台または複数台のサーバコンピュータ等のコンピュータ装置により実現することができる。同図に示すように、代表静止画抽出装置１は、入力部１０、アンカーショット抽出部１１、セグメンテーション部１２、要約文抽出部１３、主題抽出部１４、最類似文抽出部１５（類似文抽出部）、カット検出部１６、シーン解析部１７、及び代表静止画抽出部１８を備えて構成される。
【００１６】
入力部１０は、ニュース動画データ、及びニュース映像関連テキストデータの入力を受ける。ニュース動画データは、ニュース番組の映像を示す動画コンテンツデータである。ニュース番組には１以上のニュースが含まれ、各ニュース項目の映像は複数のカットからなる。ニュース映像関連テキストデータは、ニュース番組の映像に関連するテキストデータと、そのテキストデータが対応するニュース動画データの部分を示す同期データとを含む。以下では、ニュース映像関連テキストデータとして、クローズドキャプションが記述されたクローズドキャプションデータを用いた例を説明する。
【００１７】
アンカーショット抽出部１１は、ニュース動画データからアンカーショットの映像を抽出する。アンカーショットとは、アナウンサーがスタジオで話すシーンである。セグメンテーション部１２は、アンカーショット抽出部１１によるアンカーショット抽出結果に基づいてクローズドキャプションデータをニュース項目ごとに分割し、分割したニュース項目ごとのクローズドキャプションデータからニュース項目別テキストデータを生成する。セグメンテーション部１２が備える記憶部１２１は、生成途中のニュース項目別テキストデータを保存しておくスタックと、各ニュース項目のニュース項目別テキストデータを記憶する。要約文抽出部１３は、セグメンテーション部１２が生成した各ニュース項目別テキストデータが示す文の中から、アンカーショットの映像区間の文を要約文として抽出する。主題抽出部１４は、要約文抽出部１３が抽出した各ニュース項目の要約文から主題となる単語を抽出する。最類似文抽出部１５は、ニュース項目ごとに、ニュース項目別テキストデータが示す文の中から、要約文に最も類似する要約文以外の一文である最類似文を抽出する。
【００１８】
カット検出部１６は、ニュース動画データが示す隣接フレーム間の映像の差分を計算し、その差分に基づいて映像のカット検出を行う。シーン解析部１７は、カット検出部１６により検出されたカットごとに分割されたニュース動画データに基づいて、各カットに含まれるオブジェクトを解析する。代表静止画抽出部１８は、カット検出部１６により検出された隣接フレーム間の映像の差分と、シーン解析部１７により検出された各カットに含まれるオブジェクトと、最類似文抽出部１５により抽出された最類似文とに基づいて、ニュース動画データから代表静止画データを抽出する。
【００１９】
図２は、ニュース動画データが示す映像の例を示す図である。同図に示すように、ニュース動画データは、１以上のニュース項目（ニュース項目Ａ、Ｂ、Ｃ、…）の映像を含んでおり、各ニュース項目の映像は、複数のカットからなる。各ニュース項目の映像の最初のカットはアンカーショットであり、２番目以降のカットはアンカーショット以外のニュース映像である。また、ニュース番組の冒頭のアンカーショットには、アナウンサーがニュース番組の導入コメントを話している映像が含まれる。
【００２０】
図３は、クローズドキャプションデータの例を示す図である。同図に示すように、クローズドキャプションデータは、ニュース動画データの先頭からの再生時間を示す同期データと、同期データが示す再生時間の映像に関連する内容のテキストデータとを対応づけたデータである。同期データが示す再生時間を基準として、テキストデータとニュース動画データとの同期をとることができる。
【００２１】
図４は、代表静止画抽出装置１の処理フローを示す図である。
代表静止画抽出装置１の入力部１０がニュース動画データ、及びクローズドキャプションデータの入力を受けると、アンカーショット抽出部１１は、既存のアンカーショット抽出処理を用いて、入力されたニュース動画データからアンカーショットを抽出する（ステップＳ１０５）。アンカーショット抽出処理は、従来から多数の手法が提案されており、例えば、「A. Merlino, D. Morey, and M. Maybur, “Broadcast news navigation using story segmentation,” In Proceedings of ACM Multimedia, pp. 381-391(1997)」に記載の手法を用いることができる。
【００２２】
次に、セグメンテーション部１２は、ステップＳ１０５におけるアンカーショット抽出結果を利用して、クローズドキャプションデータをニュース項目ごとに分割するセグメンテーション処理を行う(ステップＳ１１０)。図２に示すように、各ニュース項目の先頭のカットは、アンカーショットである。そこで、セグメンテーション部１２は、アンカーショットによって区切られるニュース項目ごとに、クローズドキャプションデータに含まれるテキストデータに基づいてニュース項目別テキストデータを生成する。
【００２３】
図５は、図４のステップＳ１１０におけるセグメンテーション処理の詳細な処理フローを示す図である。
まず、セグメンテーション部１２は、クローズドキャプションデータ内のテキストデータが示す文字列から句点を検出し、検出した句点によりクローズドキャプションデータ内のテキストデータが表す文字列を一文ごとに分割する（ステップＳ２０５）。セグメンテーション部１２は、ステップＳ２０５において分割された文の中から、最初の一文を処理対象として抽出する（ステップＳ２１０）。
【００２４】
次に、セグメンテーション部１２は、ステップＳ２１０で抽出した文がニュース番組の導入コメントか否かを判定する（ステップＳ２１５）。導入コメントとは、図３のクローズドキャプションデータが示す最初の文「１時になりました。ニュースをお伝えします。」のように、ニュース番組が始まる際の発言である。導入コメントはニュース番組ごとに同じ内容であるため、セグメンテーション部１２は、あらかじめ決められた導入コメントと比較することによって、抽出した文が導入コメントであるか否かを判定する。
【００２５】
セグメンテーション部１２は、抽出した文が導入コメントであると判定した場合（ステップＳ２１５：ＹＥＳ）、ステップＳ２１０からの処理を繰り返す。ステップＳ２１０において、セグメンテーション部１２は、ステップＳ２０５において分割された文の中から、直前に抽出した文の次の一文を新たに抽出する。
【００２６】
ステップＳ２１５において、抽出した文が導入コメントではないと判定した場合（ステップＳ２１５：ＮＯ）、セグメンテーション部１２は、抽出した文に対応する映像にアンカーショットが含まれるか否かを判定する（ステップＳ２２０）。具体的には、抽出した文が含まれるテキストデータに対応した同期データをクローズドキャプションデータから取得し、取得した同期データが示す再生時間のニュース動画データの映像が、図４のステップＳ１０５において抽出されたアンカーショットに含まれるか否かを判定する。
【００２７】
抽出した文に対応する映像にアンカーショットが含まれると判定した場合（ステップＳ２２０：ＹＥＳ）、セグメンテーション部１２は、抽出した文がニュース番組の最初の文であるか否かを判定する（ステップＳ２２５）。抽出した文がニュース番組の最初の文であると判定した場合（ステップＳ２２５：ＹＥＳ）、セグメンテーション部１２は、抽出した文を記憶部１２１内のスタックに書き込んで保存する（ステップＳ２４５）。セグメンテーション部１２は、ステップＳ２０５において得られた全文を処理していないと判断した場合（ステップＳ２５０：ＮＯ）、ステップＳ２１０からの処理を繰り返す。ステップＳ２１０において、セグメンテーション部１２は、ステップＳ２０５において分割された文の中から、直前に抽出した文の次の一文を新たに抽出する。
【００２８】
ステップＳ２２５において、抽出した文がニュース番組の最初の文ではないと判定した場合（ステップＳ２２５：ＮＯ）、セグメンテーション部１２は、抽出した文の前の文が番組導入コメントであるか、あるいは、抽出した文の前の文に対応する映像にアンカーショットが含まれるか否かを判定する（ステップＳ２３０）。抽出した前の文が番組導入コメントであると判定した場合、あるいは、抽出した前の文に対応する映像にアンカーショットが含まれると判定した場合（ステップＳ２３０：ＹＥＳ）、セグメンテーション部１２はステップＳ２４５からの処理を行う。
【００２９】
一方、抽出した前の文が番組導入コメントではなく、かつ、抽出した前の文に対応する映像にアンカーショットが含まれていないと判定した場合（ステップＳ２３０：ＮＯ）、セグメンテーション部１２は、ステップＳ２３５の処理を行う。すなわち、セグメンテーション部１２は、スタック内に現在書き込まれている全ての文を１つのニュース項目別テキストデータとして書き出して記憶部１２１に保存する（ステップＳ２３５）。セグメンテーション部１２は、現在スタックに設定されている内容をクリアした後（ステップＳ２４０）、ステップＳ２４５からの処理を行う。
【００３０】
そして、セグメンテーション部１２は、ステップＳ２０５において得られた全文を処理したと判断すると（ステップＳ２５０：ＹＥＳ）、スタック内に現在書き込まれている全ての文を１つのニュース項目別テキストデータとして書き出して記憶部１２１に保存する（ステップＳ２５５）。セグメンテーション部１２は、記憶部１２１から各ニュース項目のニュース項目別テキストデータを読み出して要約文抽出部１３に出力し、処理を終了する。
【００３１】
図４に示すように、セグメンテーション部１２によるセグメンテーション処理終了後、要約文抽出部１３は、各ニュース項目それぞれについて、クローズドキャプションデータからアンカーショットがある文を要約文として抽出する（ステップＳ１１５）。具体的には、要約文抽出部１３は、ステップＳ１０５におけるアンカーショット抽出結果から、各ニュース項目のアンカーショットの再生開始時間及び再生終了時間を取得する。要約文抽出部１３は、ニュース項目ごとに、アンカーショットの再生開始時間を示す同期データからアンカーショットの再生終了時間を示す同期データまでに対応したクローズドキャプションデータ内のテキストデータを特定し、特定したテキストデータが示す文を要約文として抽出する。
【００３２】
次に、主題抽出部１４は、ステップＳ１１５において抽出した各ニュース項目の要約文から主題となる単語を抽出し、抽出した単語の概念（人物、組織、固有物名、その他）を判定する（ステップＳ１２０）。
まず主題となる単語を抽出するために、主題抽出部１４は、係助詞「は」の有無を利用する。主題抽出部１４は、要約文の最初の文において係助詞「は」が使われている文節を抽出し、その文節における主辞を抽出する。例えば、図３に示すクローズドキャプションデータから、「山田総理大臣は政府・民守三役会議で、あす、内閣改造と一部の党役員人事を行う考えを表明し、会議では人事の対応を山田総理大臣と鈴木幹事長に一任することを決めました。」という要約文が得られる。主題抽出部１４は、係助詞「は」が使われている文節「山田総理大臣は」から、その主辞「山田総理大臣」を主題となる単語として抽出する。なお、複数係助詞が出現する場合、主題抽出部１４は、最初に出現した係助詞が使われている文節を主辞の抽出対象とする。なお、図３に示すクローズドキャプションデータにおける「きょう午後０時２０分ごろ、福島県沖で地震があり、福島県と茨城県で震度４の揺れを観測しました。」などのように要約文に係助詞がない場合、主題抽出部１４は「主題となる単語なし」と判断する。
【００３３】
さらに主題抽出部１４は、既存の固有表現解析処理を用いて、要約文の固有表現解析処理を行う。この固有表現解析処理には、例えば、「cabocha」という構文解析器（「http://code.google.com/p/cabocha/」参照）を用いることができる。主題抽出部１４は、この解析結果から主題となる単語が人物、組織、固有物名、その他のいずれであるかを判定する。なお、主題抽出部１４は、「主題となる単語なし」と判断した場合、固有表現を「その他」として判定する。
【００３４】
続いて最類似文抽出部１５は、ニュース項目ごとに、要約文以外の文の中から最も要約文に類似する文を抽出する（ステップＳ１２５）。この処理では、まず、最類似文抽出部１５は、要約文に対して既存の形態素解析処理を行って単語を抽出し、抽出した各単語に対して既存の重み付け手法を利用して単語ベクトルを生成する。例えば、形態素解析処理には、mecab（「http://mecab.sourceforge.net/」参照）を用いることができ、重み付け手法には、ＴＦＩＤＦ法（「http://ja.wikipedia.org/wiki/Tf-idf」参照)を用いることができる。さらに、最類似文抽出部１５は、要約文以外の文も同様に単語ベクトルを生成する。最類似文抽出部１５は、要約文の単語ベクトルと、生成した要約文以外の文の単語ベクトルそれぞれとの類似度をベクトルのコサイン類似度などにより判定し、最も大きな類似度の単語ベクトルが得られた文を、要約文に最も類似する文として抽出する。
【００３５】
図６は、要約文と要約文以外の文との類似度を計算した処理結果の例を示す図である。
同図では、あるニュース項目の要約文及び要約文以外の文を示すとともに、要約文と要約文以外の文それぞれとの類似度の算出結果と、その類似度の順位（ｒａｎｋ）を示している。ここでは、類似度が最大（ｒａｎｋ「１」）の「これを受けて日銀は、今後、」…「具体策の策定を急いでいます。」という文が、要約文「日銀は、タイの記録的な大雨による洪水で」…「タイの中央銀行と連携することになりました。」に対する最類似文として抽出される。
【００３６】
図４に示すように、最類似文抽出部１５による最類似文の抽出後、カット検出部１６は、既存のカット検出処理を用いて、入力されたニュース動画データが示す映像に対してカット検出を行う（ステップＳ１３０）。カット検出処理には従来から様々な手法が提案されており、例えば、参考文献「長坂晃朗、田中譲、”カラービデオ映像における自動索引付け法と物体探索法”、情報処理学会論文誌  Vol.33  No.４(1992)」に記載の技術を用いることができる。これらのカット検出手法では、隣接するフレームを比較し、比較の結果得られた映像の差分を指標としてカット点を検出している。カット検出部１６は、ニュース動画データが示す映像におけるカット検出結果をシーン解析部１７に出力し、隣接フレームの差分情報を代表静止画抽出部１８に出力する。
【００３７】
シーン解析部１７は、カット検出部１６から入力されたカット検出結果が示す各カットに含まれているかを解析するシーン判定を行う（ステップＳ１３５）。具体的にはシーン解析部１７は、ニュース動画データが示す各カットの映像に対してシーン判定を行うことにより、「人物」、「文字」の２種類のオブジェクトの有無の判定を行う。これらのシーン判定は、既存の画像解析技術により実現できる。例えば、人物検出には、「Paul Viola and Michel J. Jones: “Rapid Object Detection Using a Boosted Cascade of Simple Features”, Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.511-518, (2001)」に記載の技術を用いることができる。また、文字検出には、「N. Ezaki, M. Bulacu, L. Schomaker, “Text detection from natural scene images: towards a system for visually impaired persons,” Proceedings of the 17th International Conference on Pattern Recognition, pp.683-686(2004)」に記載の技術を用いることができる。シーン解析部１７は、各カットにおける「人物」オブジェクトの有無、「文字」オブジェクトの有無を示すシーン解析結果を代表静止画抽出部１８に出力する。
【００３８】
代表静止画抽出部１８は、ニュース動画データが示す映像の中から、最類似文抽出部１５により抽出された最類似文が得られたテキストデータに対応する映像を、クローズドキャプションデータ内の同期データに基づいて特定する。さらに、代表静止画抽出部１８は、シーン解析部１７により解析されたオブジェクトに基づいて、特定した映像に含まれるカットの中から、主題抽出部１４により抽出された主題に対応するオブジェクトが含まれるカットを選択し、選択したカットから代表静止画を抽出する（ステップＳ１４０）。
【００３９】
図７は、図４のステップＳ１４０における代表静止画抽出処理の詳細な処理フローを示す図である。代表静止画抽出部１８は、各ニュース項目それぞれについて、同図に示す処理を行う。
まず、代表静止画抽出部１８は、最類似文に対応するニュース映像の全カットを処理対象に設定する（ステップＳ３０５）。具体的には、代表静止画抽出部１８は、最類似文を構成する文字列を表すテキストデータに対応した同期データをクローズドキャプションデータから読み出す。代表静止画抽出部１８は、読み出した同期データが示す最初の再生時間から最後の再生時間までのニュース動画データの映像に含まれる全カットを処理対象とする。
【００４０】
次に、代表静止画抽出部１８は、主題が人物であるか否かを判定する（ステップＳ３１０）。主題が人物であると判定した場合（ステップＳ３１０：ＹＥＳ）、代表静止画抽出部１８は、ステップＳ３０５において処理対象としたカット群のいずれかに人物オブジェクトが存在するか否かを判定する（ステップＳ３１５）。処理対象のカット群のいずれかに人物オブジェクトが存在すると判定した場合（ステップＳ３１５：ＹＥＳ）、代表静止画抽出部１８は、人物オブジェクトが存在するカットを処理対象に設定し（ステップＳ３２０）、ステップＳ３５５からの処理を行う。
【００４１】
ステップＳ３１０において主題が人物ではないと判断した場合（ステップＳ３１０：ＮＯ）、あるいは、ステップＳ３１５において処理対象のカット群のいずれにも人物オブジェクトが含まれていないと判断した場合（ステップＳ３１５：ＮＯ）、代表静止画抽出部１８は主題が組織名であるか否かを判定する（ステップＳ３２５）。主題が組織名であると判定した場合（ステップＳ３２５：ＹＥＳ）、代表静止画抽出部１８は、ステップＳ３０５において処理対象としたカット群のいずれかに文字オブジェクトが存在するか否かを判定する（ステップＳ３３０）。処理対象のカット群のいずれかに文字オブジェクトが存在すると判定した場合（ステップＳ３３０：ＹＥＳ）、代表静止画抽出部１８は、文字オブジェクトが存在するカットを処理対象に設定し（ステップＳ３３５）、ステップＳ３５５からの処理を行う。
【００４２】
ステップＳ３２５において主題が組織名ではないと判断した場合（ステップＳ３２５：ＮＯ）、あるいは、ステップＳ３３０において処理対象のカット群のいずれにも文字オブジェクトが含まれていないと判断した場合（ステップＳ３３０：ＮＯ）、代表静止画抽出部１８は主題が固有物名であるか否かを判定する（ステップＳ３４０）。主題が固有物名であると判定した場合（ステップＳ３４０：ＹＥＳ）、代表静止画抽出部１８は、ステップＳ３０５において処理対象としたカット群のいずれかに文字オブジェクトが存在するか否かを判定する（ステップＳ３４５）。処理対象のカット群のいずれかに文字オブジェクトが存在すると判定した場合（ステップＳ３４５：ＹＥＳ）、代表静止画抽出部１８は、文字オブジェクトが存在するカットを処理対象に設定し（ステップＳ３５０）、ステップＳ３５５からの処理を行う。
【００４３】
ステップＳ３４０において主題が組織名ではないと判断した場合（ステップＳ３４０：ＮＯ）、あるいは、ステップＳ３４５において処理対象のカット群のいずれにも文字オブジェクトが含まれていないと判断した場合（ステップＳ３４５：ＮＯ）、代表静止画抽出部１８は、ステップＳ３５５からの処理を行う。この場合、処理対象のカットは、ステップＳ３０５において設定されたカットである。
【００４４】
ステップＳ３５５において、代表静止画抽出部１８は、図４のステップＳ１３０の処理の結果としてカット検出部１６から入力された隣接フレームの差分情報を用い、処理対象に設定したカットにおけるカメラの静止区間をニュース動画データから抽出する（ステップＳ３５５）。具体的には、代表静止画抽出部１８は、処理対象のカットにおけるニュース動画データのフレームの中で、隣接フレームの映像の差分が一定値以下である区間が一定長以上のものをカメラ静止区間として特定し、特定したカメラ静止区間のうち最長の区間を抽出する。代表静止画抽出部１８は、ステップＳ３５５において抽出されたカメラ静止区間のニュース動画データをフレーム単位に分割し、分割したフレームの真ん中のフレームの画像データを代表静止画データとして抽出する（ステップＳ３６０）。代表静止画抽出部１８は、ステップＳ３６０において抽出した代表静止画データを出力する（ステップＳ３６５）。
【００４５】
以上説明したように、本実施形態の代表静止画抽出装置１は、ニュース映像に関連するテキストをニュース項目ごとに分割し、分割したニュース項目ごとに主題を判定する。さらに、代表静止画抽出装置１は、最もニュースを代表する区間として各ニュース項目のテキストから要約文に最も類似している文を抽出し、抽出した文に対応したニュース映像に含まれるカットのうち、主題に対応するオブジェクトが含まれるカットから代表静止画を抽出する。このように、代表静止画抽出装置１は、ニュース映像に対応付けられたテキスト情報を利用して、ニュース映像の中から各ニュースの内容に即した代表静止画を抽出することができる。
【００４６】
上述した代表静止画抽出装置１は、内部にコンピュータシステムを有している。そして、代表静止画抽出装置１のアンカーショット抽出部１１、セグメンテーション部１２、要約文抽出部１３、主題抽出部１４、最類似文抽出部１５、カット検出部１６、シーン解析部１７、及び代表静止画抽出部１８の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
【００４７】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【符号の説明】
【００４８】
１  代表静止画抽出装置
１０  入力部
１１  アンカーショット抽出部
１２  セグメンテーション部
１３  要約文抽出部
１４  主題抽出部
１５  最類似文抽出部（類似文抽出部）
１６  カット検出部
１７  シーン解析部
１８  代表静止画抽出部
１２１  記憶部
【図１】
0005894852.tif 000002
【図２】
0005894852.tif 000003
【図３】
0005894852.tif 000004
【図４】
0005894852.tif 000005
【図５】
0005894852.tif 000006
【図６】
0005894852.tif 000007
【図７】
0005894852.tif 000008