(57)【要約】【課題】  本発明は、マルチメディアデータの内容ジャンル（ドラマ、バラエティなど）を判定し出力することによって、本発明の出力結果を受けてマルチメディアデータの解析を行う装置の性能を向上させることを課題とする。【解決手段】  マルチメディアデータ中の映像に着目し、場面の切り替わりがあった時刻を記憶してゆく。過去数回の場面切り替わりの中で、その間隙が１５秒の倍数であった場合には、その時間区間はコマーシャルであったと判定する。【選択図】  図１
2004260847.tif 000002
【特許請求の範囲】
【請求項１】
映像を含む第１マルチメディアデータを入力する第１入力部と、
内容種が既知の第２マルチメディアデータを入力する第２入力部と、
前記第１マルチメディアデータおよび前記第２マルチメディアデータの各々の一枚または複数枚の映像フレーム相互の画面全体の類似度を比較する類似度比較部と、
前記類似度比較部によって、類似度が既定の値以上であると判定された場合には、前記第１マルチメディアデータの内容種は前記第２マルチメディアデータと同じ内容種であると推定する内容種推定手段と、
前記内容種推定手段によって推定された内容種を出力する内容種出力部と、
を備えるマルチメディアデータ処理装置。
【請求項２】
前記第２マルチメディアデータは言語による辞書データであり、
前記類似度比較部は、
前記第１マルチメディアデータ中の映像信号から字幕認識によって言語情報を抽出する手段と、
抽出された前記言語情報と前記辞書データとを比較照合する手段と、
を備え、
前記内容種推定手段は、前記言語情報が前記辞書データ中で属する内容種を、前記第１マルチメディアデータの内容種であると推定する、
請求項１に記載のマルチメディアデータ処理装置。
【請求項３】
コンピュータを、
映像を含む第１マルチメディアデータを入力する第１入力手段、
内容種が既知の第２マルチメディアデータを入力する第２入力手段、
前記第１マルチメディアデータおよび前記第２マルチメディアデータの各々の一枚または複数枚の映像フレーム相互の画面全体の類似度を比較する類似度比較手段、
前記類似度比較部によって、類似度が既定の値以上であると判定された場合には、前記第１マルチメディアデータの内容種は前記第２マルチメディアデータと同じ内容種であると推定する内容種推定手段、
前記内容種推定手段によって推定された内容種を出力する内容種出力手段、
として機能させるためのマルチメディアデータ処理プログラムを記録した、コンピュータ読み取り可能な記録媒体。
【請求項４】
前記第２マルチメディアデータは言語による辞書データであり、
前記類似度比較手段は、
前記第１マルチメディアデータ中の映像信号から字幕認識によって言語情報を抽出する手段と、
抽出された前記言語情報と前記辞書データとを比較照合する手段と、
を備え、
前記内容種推定手段は、前記言語情報が前記辞書データ中で属する内容種を、前記第１マルチメディアデータの内容種であると推定する、
マルチメディアデータ処理プログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアデータの内容を判定し出力するマルチメディアデータ処理装置および方法，記録媒体に関する。
【背景技術】
【０００２】
衛星放送、ケーブルテレビジョン放送の普及などにより、家庭においても視聴可能な映像チャンネル数は増加の一途をたどっている。また従来のビデオテープやレーザーディスクなどの映像記録媒体に加え、映像音声情報をディジタルデータとして記録再生できるＤＶＤも製品化され、ごく普通のユーザが大量の映像にアクセスできる環境は充実しつつあると言ってよい。
【０００３】
その一方で、それら大量の映像の中から目的の映像に効率よくアクセスできる技術の提供は従前のままである。たとえばテレビの視聴者は、新聞などに掲載される番組欄を参照して、見たい映像（番組）を選択したり、ビデオソフトパッケージを購入しようとする消費者はパッケージに記載されているタイトルや出演者、あらすじなどを参照して希望のビデオを選択する。
【０００４】
これらは文字による映像情報のテキスト記述であるが、映像の全てに対して記述がなされているわけでもなく、そのように全てに対して記述をすることは大変な手間となるものであることは言うまでもない。
【０００５】
また、映像のどの部分を見たいか、という要求は当然ユーザ個々にも異なるものであるはずで、全てのユーザに対応可能なテキスト記述を作成することは付加情報の増大を招き、おもに放送メディアなど、供給できる情報量に限界があるソースにおいては実用が難しい。このためテレビ視聴者はニューズ番組中の特定の番組だけを見たい場合にも、テレビをつけたままで目的の話題となるのを待たなくてはならなかったり、すでに別の番組で見たニュースを繰り返しみさせられたりして、著しく時間のムダとなっている。
【０００６】
このように貧弱な映像アクセスの環境のままでは、近い将来、ユーザが大量の映像情報にアクセスできる状況が実現したとしても、その情報量をスムーズに享受できるとはいえず、かえって情報量の多さに混乱するユーザが増える懸念もある。
【０００７】
これに関連して、本件出願人は既に映像を少ないアイコンで一覧することのできる動画像処理方法を出願している（特開平９−２７０００６号公報）。この方法によれば、映像中の場面構成を推定し、場面を単位とした映像内容の一覧提示が可能になる。上記発明によれば、ドラマの映像を処理した場合、対話などから構成される場面は一枚のアイコンとして表示することが可能になる。
【０００８】
しかし、ドラマ、映画、ニュースといった番組のジャンルが異なれば場面構成も異なる。たとえばニュースの場合には、類似したショットの再登場は少ない。その代わりにニュースキャスターのショットが繰り返し登場するものの、それはニュース項目の先頭であることが多く、上記のようなドラマに対するのと同じ表示方法をそのまま適用するのは、視認性がよいとはいえない。
【０００９】
逆に、上記発明の場合、入力された映像がニュースであるということが既知であれば、繰り返し登場するショットを発見するという同じ手法をそのまま用いて、ニュース項目ごとに切り分けた一覧表示を提示することも可能になる。
【特許文献１】特開平９−２７０００６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、マルチメディアデータを入力する手段と、そのデータを解析し、カテゴリを推定する手段と、推定されたカテゴリを出力する手段とを持つことを特徴とする。
【００１１】
つまり、本発明はマルチメディアデータの番組種を自動的に判定し、得られた番組種を参考にしたメディア解析を容易にすることを目的とする。
【課題を解決するための手段】
【００１２】
本発明のマルチメディアデータ処理装置は、入力された映像を含むマルチメディアデータを解析し、このマルチメディアデータの属する内容種を推定する内容種推定手段と、この内容種推定手段によって推定された内容種を出力する手段とを持つことを特徴とする。
【００１３】
また、入力された映像を含むマルチメディアデータの映像中で画面が切り替わった時間間隔の履歴から、このマルチメディアデータの属する内容種を推定する内容種推定手段と、この内容種推定手段によって推定された内容種を出力する手段とを持つことを特徴とする。
【００１４】
また、予め内容種が既知のマルチメディアデータを保持する保持手段と、この保持手段が有する既知のマルチメディアデータと、入力された映像を含むマルチメディアデータとを比較し、この入力されたマルチメディアデータの属する内容種を推定する内容種推定手段と、この内容種推定手段によって推定された内容種を出力する手段とを持つことを特徴とする。
【００１５】
また、前記保持手段は、既知のマルチメディアデータが言語による辞書であり前記内容種推定手段は、入力されたマルチメディアデータ中の文字情報を抽出し、その文字情報が辞書中で属する内容種を、入力されたマルチメディアデータの内容種であると推定することを特徴とする。
【００１６】
また、入力された映像を含むマルチメディアデータを解析し、このマルチメディアデータの属する内容種を推定し、この推定された内容種を出力することを特徴とする。
【００１７】
また、マルチメディアデータを処理するプログラムをコンピュータで実行可能なように記録した記録媒体であって、入力された映像を含むマルチメディアデータを解析し、このマルチメディアデータの属する内容種を推定し、この推定された内容種を出力するプログラムをコンピュータで実行可能なように記録した記録媒体である。
【発明の効果】
【００１８】
以上説明したように、映像認識、音声認識、文字認識、テキスト認識、および辞書管理の能力をもった本発明のマルチメディアデータ処理装置では、入力されたマルチメディアデータ（番組）の種類を推定し出力することができるので、本発明のマルチメディアデータ処理装置の後段に接続された装置では、その番組種に即したマルチメディアデータ処理を行うことが可能になる。
【発明を実施するための最良の形態】
【００１９】
本発明のマルチメディアデータ処理装置は、その出力端子をマルチメディア解析装置に接続し、本発明のマルチメディアデータ処理装置が出力する番組種情報に対応して、後段のマルチメディアデータ解析装置が最適の解析手法を自動選択することを想定している。
【００２０】
本発明の実施例を図面に基づいて説明する。
【００２１】
図１は、本発明のマルチメディア処理装置の構成を示した図である。図２は本願発明の流れの概略を示したフローチャートである。つまり、本願発明はマルチメディアデータを読み込み（Ｓ２１）、このデータの内容種を推定し（Ｓ２２）、内容種の推定ができたかどうか判断し（Ｓ２３）、推定できた場合その内容種を出力する（Ｓ２４）。以下詳細に説明する。
【００２２】
（実施例１）マルチメディアデータは、ＤＶＤ、ＣＤ、ハードディスクなどの記録媒体、あるいはパソコンなど上段の情報処理装置から入力端子１０１に入る。本発明のマルチメディア処理装置の場合、カット検出部１０２が入力されたマルチメディアデータの場面の変わり目（カット）を、稼働中は常にチェックしている。場面の変わり目が生じた時には、その時刻を一時記憶部１０３に記録する。
【００２３】
本発明では、現行放送のコマーシャル（ＣＭ）が通常、１５秒、３０秒、１分であることを利用する。内容種推定部１０６は、過去のカットのうち数回から数十回の最近のものの時刻を観測し、たとえばある２つのカットの起きた時刻を比較したとき、それらがちょうど１５秒の倍数の間隔で起きたものであった場合には、それら２つによって囲まれた時間区間をＣＭであったと判定し、その結果を出力端子１０７より出力する。
【００２４】
図３はこの手順を示したフローチャートである。つまり、入力端子１０１から入力されたマルチメディアデータのフレームを読み込み（Ｓ３１）、カット検出部１０２でカットか否かを検出し（Ｓ３２）、カットである場合過去のカットのうち数回から数十回の最近のものの時刻を観測し（Ｓ３３）、それらがちょうど１５秒の倍数の間隔で起きたものであるかを判断し（Ｓ３４）、１５秒の倍数の間隔で起きたものである場合はそのカットとカットの間はＣＭであると推定する（Ｓ３５）。
【００２５】
図４はこの手法を説明するための図である。図４で時間軸に交差した縦の短い線はカットを示している。また、カット間に示した数字は、カットの間隙時間（秒）を示している。いま、カット２０１とカット２０２との間隔がちょうど１５秒であったので、カット２０１からカット２０２までの時間区間はＣＭであっただろうと推定される。図１での内容種推定部１０６は、このような手法を用いてカット２０１の時刻、カット２０２の時刻、およびその区間で推定された番組種「ＣＭ」を出力端子１０７に出力する。
【００２６】
（実施例２）次に、マルチメディア処理装置の第２の実施例を既出の図１および図５に即して説明する。入力端子１０１から入力された（Ｓ５１）マルチメディア情報は、内容種推定部１０６に送られ、そこで既に番組種が明らかになっており、一時記憶部１０３に蓄えられているマルチメディア情報と比較される。このとき、一時記憶部１０３には、過去に現れたマルチメディア情報、あるいはその圧縮情報が蓄えられており、それとともに、そのマルチメディア情報の番組種情報も蓄えられている。
【００２７】
内容種推定部１０６では、一時記憶部１０３中のマルチメディア情報と、新しく入力されたマルチメディア情報との類似を比較し（Ｓ５３）、それが類似と判定できる場合には（Ｓ５３）、蓄積されていたマルチメディア情報に対応して蓄積されていた番組種と同じ番組種を出力端子１０７から出力する（Ｓ５４）。
【００２８】
たとえば、毎週同じオープニング画面で始まるドラマの番組があったとき、先週放送分ですでに「ドラマ」という番組種が出力されていた場合、一時記憶部１０４は、その番組の映像と音声そのものを蓄積するとともに番組種「ドラマ」が記録されている。今週放送分が入力されたとき、その画面と先週放送分のドラマのオープニング画面とを比較すれば、それは一致するので、その時点で「この放送はドラマである」という出力がなされる。
【００２９】
この場合、内容種推定部１０６で行われる類似判定のための手段の例としては、映像ならば画面全体の色相ヒストグラムの形状類似を見たり、画素ごとに厳密に差分をとり、その総和が一定値以下であることを根拠にしてもよい。これら類似比較の方法に関しては、長坂ら「カラービデオ映像における自動索引付け法と物体探索法」（情報処理学会論文誌、Ｖｏｌ．３３、Ｎｏ．４、１９９２）などで紹介されている手法を応用することで実現できる。
【００３０】
また、映像ではなく、音声波形の類似を検査してもよいし、放送の付加データとして、現在放送中の番組名などがテキストデータで送信されている場合には、そのテキストが蓄積済みのテキストと合致するかどうかという検査を行ってもよい。また、これら映像、音声、テキストでの類似比較を併用してもよい。本発明はそのような類似比較手法に限定されるものではない。
【００３１】
（実施例３）次に、本発明の第３の実施例について図面に即して説明する。装置の動作は引き続き図１を用いて説明する。図６は図１中の番組種辞書１０５の中に格納されている辞書データを示した模式図である。この図は説明をわかりやすくするためのもので、実際にこのような形態で辞書のデータとなっているとは限らない。入力端子１０１から入力されたマルチメディアデータは、辞書語翻訳部１０４に入力される。
【００３２】
辞書語とは、番組種辞書１０５中で表現されている言語のシソーラス表現である。たとえば、マルチメディア中の音声データで「第○○回臨時国会が今日召集され…」という発話があったとする。このとき、辞書語翻訳部１０４は、このセンテンスを文節に分け、その中で辞書語として有意なものだけを取り出す。「第○○回」「臨時」「国会」「今日」「召集」という単語のうち、この文で特徴的な単語「国会」が選ばれる。
【００３３】
次に図６中のシソーラスと対応をとり、辞書中の「国会」３０２にもっとも近い番組種ジャンル表現が「政治」３０１であると判定される。ここで、この判定結果は内容種判定部１０６に送られ、内容種判定部１０６はその結果「政治」を出力端子１０７から出力する。
【００３４】
このとき、複数のセンテンスが入力されるのを待ち、それぞれのセンテンスから取り出された特徴的な単語が、全体として近かった番組種ジャンル表現を探索するという方法でもよい。また、辞書との比較を行うために用いるマルチメディアデータは、上記の例の音声に限らず、文字放送のようなテキスト情報が付加されていればそれを用いてもよいし、画面中にスーパーインポーズされる字幕を認識して、その言葉を用いてもよい。
【００３５】
図７は、上記と同様の辞書比較を、別の手法で応用する場合について説明するためのものである。番組種辞書１０５には、人名が登録されていてもよい。
【００３６】
たとえば、番組中でタレント同士が名前を呼んだところがあれば、その音声データから出演者を推定してもよいし、タレントの登場とともに画面にスーパーインポーズされる字幕を認識してもよい。映画などの場合には、フィナーレのあとに流されるエンド・ロールの文字を認識してもよい。番組の付加情報として、出演者などの情報がテキストで得られる場合にはそれをそのまま利用してもよい。そのようにして出演者名が得られたとき、その人物が出る可能性のある番組種が記録された辞書データのイメージが図７に示されている。たとえば、バラエティ番組に出演することの多いタレント名は番組種「バラエティ」４０１の近くに配置されている（強いリンクが張ってある）。したがって、出演するタレントの多くが「バラエティ」４０１の近くに配置されている場合、その番組は「バラエティ」と判定される。
【００３７】
しかし、上記タレントが出演しているものの、カテゴリ「歌手」に属する出演者がそれにもまして多い場合には、「歌番組」と判定される。この手法は、実在の人物に限らない。たとえば「家光」「大岡忠相」「西鶴」といった人名は「歴史」「時代劇」の近くに配置される、というような辞書の設計を行えば、このようなジャンルのマルチメディアデータも正しく判定されることが期待される。
【００３８】
さらに、この辞書は地名を格納しているものでもよい。辞書語翻訳部１０４が、映像から撮影場所を判定する機能を持ったものであった場合、たとえば「会津磐梯山」「奥入瀬」「霧島」などの単語は「紀行」「旅行」の近くに配置すればよい。撮影場所を判定する手段としては、たとえば特徴的な風景が記録されたデータベース（図示せず）と類似比較を行ったり、文字テロップや音声などから抽出してもよい。さらに、撮影場所などの情報がテキスト付加データとして放送されている場合には、それをそのまま用いてもよい。
【００３９】
（実施例４）この他の番組種判定手法を説明する。たとえばニュース番組の場合、図８中の５０１のように一人あるいは二人のキャスターのバストショットがニュース項目の先頭であることが多い（Ａ，Ｂはキャスターのショットを示す。ＸはＡでもＢでもないショット）で、それぞれのＸは異なる。以下同じ）。そこで、「人物の写っているショットが」「１〜３パターン存在し」「それぞれが２回以上」「最高で１分以上の間を置いて登場する」マルチメディアデータは「ニュース」という判定を行ってもよい。
【００４０】
ニュース番組の判定に関しては坂内「画像・マルチメディアデータベース」（テレビジョン学会誌、Ｖｏｌ．４６，Ｎｏ．１１，ｐｐ．１４７４）などにも提案されている。しかし本発明の手法では、ショットの出現パターンを用いている点が異なる。このように複数の情報を組み合わせることによって、より確度の高い番組種判定が実現する。
【００４１】
また、本件出願人によって出願中の特開平９−２７０００６の中で用いた対話シーン検出を活用した番組種判定手法も考えられる。図８中の５０２，５０３，５０４は、それぞれ対話シーン（アルファベットが繰り返されている区間）を持っている。しかし、５０２のように、５分以上にも及ぶ長い対話シーンは「バラエティ」番組であると判定できる。これはバラエティ番組が３〜４台の固定カメラで撮影されることが多いからである。
【００４２】
また、５０３のように、同じ画面構成の対話シーンが番組全体にわたって続くものは「トーク」番組であると判定できる。バラエティ番組はコーナーが変われば絵柄が変わるために、同じパターンの対話シーンが再現することが少ないが、トーク番組の場合、番組全体を通じて同じセットで行われることが多い。さらに、５０４のように同じパターンの対話シーンは再現しないが、いくつかのパターンの対話シーンが断続的に現れる場合には、「ドラマである」と判定することもできる。これらは、人物検出などを併用するとさらに確度があがることが期待できる。
【００４３】
また、全体に風景を写したショットが多く、カメラワークがゆっくりである番組は「紀行」であるとも判定できる。
【００４４】
さらに、上記の手順で番組種が「ニュース」であると判定された場合でも、内容種推定部１０６が音楽認識の機能を持っている場合には、さらに確度の高い判定を行うことができる。たとえば「ニュース」の構成の番組であって、音楽や効果音が用いられている時間の割合が、設定した割合よりも大きい場合には、それは「ドキュメンタリー」であると推定することもできる。
【００４５】
また、「スポーツ」番組に関しては以下のような手法で推定することができる。たとえば、同じようなアングルのパターンが番組全体に出現し、しかもパン（カメラを左右に動かす撮影方法）が多く用いられており、かつ、複数の人物が小さく写っている場面が多く登場する番組は「スポーツ」であると推定できる。
【００４６】
また、内容種推定部１０６が音声パターンの解析を行い、番組の最初から最後まで断続的に歓声が現れるという現象を上記に併せて「スポーツ」を推定することもできる。
【００４７】
さらに、画面の片隅の固定した位置に、３０秒より長い周期で変化する字幕が頻繁に出てくる場合には、それをゲームのスコアと推定し、番組は「スポーツ」であると推定することができる。
【００４８】
なお、本願発明は図２，図３，図５に示したような手順をＦＤやＣＤ−ＲＯＭにコンピュータによって実行可能なプログラムを記憶したソフトウェアで実現することも可能である。
【図面の簡単な説明】
【００４９】
【図１】本発明のマルチメディアデータ処理装置にかかるブロック図である。
【図２】本発明のマルチメディアデータ処理装置の処理方法の手順を示した図である。
【図３】本発明のマルチメディアデータ処理装置の処理方法の手順を示した図である。
【図４】本発明のマルチメディアデータ処理装置のＣＭを検出方法を示した図である。
【図５】本発明のマルチメディアデータ処理装置の処理方法の手順を示した図である。
【図６】本発明のマルチメディアデータ処理装置の辞書デ−タを示した図である。
【図７】本発明のマルチメディアデータ処理装置の辞書デ−タを示した図である。
【図８】本発明のマルチメディアデータ処理装置の番組種を判定する際のショットの並びを示すフローチャートである。
【符号の説明】
【００５０】
１０１…マルチメディアデータ入力端子
１０２…カット検出部
１０３…一時記憶部
１０４…辞書語翻訳部
１０５…番組種辞書
１０６…内容種推定部
１０７…マルチメディアデータ出力端子
【図１】
2004260847.tif 000003
【図２】
2004260847.tif 000004
【図３】
2004260847.tif 000005
【図４】
2004260847.tif 000006
【図５】
2004260847.tif 000007
【図６】
2004260847.tif 000008
【図７】
2004260847.tif 000009
【図８】
2004260847.tif 000010