(57)【要約】【課題】簡易にを視聴用に効果的に短縮されたデータが得られるマルチメディアデータ短縮装置を提供すること。【解決手段】リストデータ統合部７では、全音声セグメントから代表画像の表示時刻が含まれる利用音声セグメントを選択し（Ｓ１０）、代表画像が表示される時刻を含む音声セグメントが複数選択され、選択された情報は音声セグメントデータの付加情報としてステータスを追加し、ステータスを利用音声セグメントとする。次に、利用音声セグメントとなっている時間に相当するスライドのだぶりを防ぐため、スライド画像表示時間データと利用音声セグメントからスライドが同じになる複数の利用音声セグメントから１のみを利用音声セグメントというステータスとして残し、他は未使用音声セグメントとする（Ｓ１１）。そして音声セグメントデータの中でステータスが利用音声セグメントになっているものの時間データが短縮コンテンツに用いる映像の時間となる。【選択図】図２
2007195019.tif 000002
【特許請求の範囲】
【請求項１】
映像データ、音声データ、画像データにより構成されるマルチメディアデータの入力を受けるデータ入力部と、
前記データ入力部から入力されたマルチメディアデータを、映像データ、音声データ、画像データ、画像データと映像、音声が同期している時間のリストデータに分解するデータ分解部と、
前記データ分解部で分解された映像データから、ある一定の時間間隔あるいは任意の時間の複数のフレームを静止画像として生成する画像抽出部と、
前記画像抽出部で生成された静止画像を、画像特徴量を利用して分類する画像分類部と、
前記画像分類部で分類された複数の静止画像から、類似性の小さい複数の代表画像を特定し、その画像が抽出元の映像のどの時間位置であったかをリストで出力する代表画像特定部と、
前記データ分解部で分解された音声データから、無音部の位置を特定し、音声データの音声セグメントリストを生成する無音部検出部と、
前記代表画像特定部から出力された時間位置情報リストデータと、前記無音部検出部から出力された音声セグメントリストデータと、前記データ分解部から出力された画像データとの同期している時間リストデータをデータ統合するリストデータ統合部と、
前記リストデータ統合部で統合されたリストデータと、前記データ分解部から出力された映像データ、音声データ、画像データから短縮されたマルチメディアデータを生成し出力するデータ統合部を備え、
前記データ統合部では、類似しない映像データと、無音部を切れ目とした音声データと、重複しない画像データで短縮されたマルチメディアデータを生成することを特徴としたマルチメディアデータ短縮装置。
【請求項２】
前記画像分類部での画像特徴量を利用しての分類は、静止画像の色情報を画像特徴量として用い、各々の画像間の特徴量の距離に応じて分類することを特徴とする請求項１記載のマルチメディアデータ短縮装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データ、音声データ、画像データ、テキストデータとそれらが連動する情報を持つマルチメディアデータに対して、全体の長さを短縮することで簡便に視聴可能とするマルチメディアデータ短縮装置に関する。
【背景技術】
【０００２】
近年、映像データ、音声データ、画像データ、テキストデータとそれらが連動する情報を持つマルチメディアデータまたはマルチメディアコンテンツが広く普及している。
これらを実際に視聴するためには、映像データや音声データを合わせた長さだけ視聴時間が必要となる。
しかし、視聴しようとする者が、予めそのデータを視聴するかどうか判断したい場合や、視聴させる側がそのデータを視聴させるために視聴者を誘導する場合などは、必ずしも完全な情報は必要なく、その中の特徴的な部分のみを簡便に見ることができれば充分である。
そこで、従来短縮したデータを作成する際は、特徴的な部分を人的に探してデータを短縮していた。また、ある程度機械的に判断できる部分については、人的に行うよりは、機械的に作業した方が迅速に処理ができていた。
このような短縮データ作成に関する技術としては、以下の文献に記載された発明をあげることができる。
【０００３】
【特許文献１】特開２００４−２８７６７０
【特許文献２】特開２００４−４６６１２
【特許文献３】特開２００５−１１１２１
【特許文献４】特開２００４−３１０６０７
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、単純に、マルチメディアデータの最初何分間や、最初と途中と最後の何分かを接続したものというように短縮すると、同じような映像が続いたり、無音部分が入ってしまうということが発生し、短縮されたコンテンツとして見るに耐えないものとなってしまうことがあった。
そこで、本発明の目的は、マルチメディアデータを簡便に視聴できるようにするために、データを解析して最も効果的に短縮されたマルチメディアデータが得られるようにしマルチメディアデータ短縮装置を提供することである。
【課題を解決するための手段】
【０００５】
請求項１記載の発明では、映像データ、音声データ、画像データにより構成されるマルチメディアデータの入力を受けるデータ入力部と、前記データ入力部から入力されたマルチメディアデータを、映像データ、音声データ、画像データ、画像データと映像、音声が同期している時間のリストデータに分解するデータ分解部と、前記データ分解部で分解された映像データから、ある一定の時間間隔あるいは任意の時間の複数のフレームを静止画像として生成する画像抽出部と、前記画像抽出部で生成された静止画像を、画像特徴量を利用して分類する画像分類部と、前記画像分類部で分類された複数の静止画像から、類似性の小さい複数の代表画像を特定し、その画像が抽出元の映像のどの時間位置であったかをリストで出力する代表画像特定部と、前記データ分解部で分解された音声データから、無音部の位置を特定し、音声データの音声セグメントリストを生成する無音部検出部と、前記代表画像特定部から出力された時間位置情報リストデータと、前記無音部検出部から出力された音声セグメントリストデータと、前記データ分解部から出力された画像データとの同期している時間リストデータをデータ統合するリストデータ統合部と、前記リストデータ統合部で統合されたリストデータと、前記データ分解部から出力された映像データ、音声データ、画像データから短縮されたマルチメディアデータを生成し出力するデータ統合部を備え、前記データ統合部では、類似しない映像データと、無音部を切れ目とした音声データと、重複しない画像データで短縮されたマルチメディアデータを生成することを特徴とする。
請求項２記載の発明では、請求項１記載の発明において、前記画像分類部での画像特徴量を利用しての分類は、静止画像の色情報を画像特徴量として用い、各々の画像間の特徴量の距離に応じて分類することを特徴とする。
【発明の効果】
【０００６】
本発明では、マルチメディアデータ短縮の際にマルチメディアデータを解析して無意味な部分が選択されないようにしているので、同じような映像が続いたり、無音部分が入ってしまうというようなことを避けて全体の長さを短くすることができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の好適な実施の形態を図１ないし図８を参照して、詳細に説明する。
図１は、本実施例に係るマルチメディアデータ短縮装置の構成を示した図であり、図２は、本実施例の処理を説明するための図である。
図１に示すように、このマルチメディアデータ短縮装置は、データ入力部１、データ分解部２、画像抽出部３、画像分類・代表画像特定部４、無音部検出部６、リストデータ統合部７、データ統合部・出力部８より構成されている。なお、ここでは図中のパラメータデータは無視することとする。
まず、マルチメディアデータが、データ入力部１に入力される。ここでマルチメディアデータとは、例えば、映像と音声によって構成されたビデオデータと、そのビデオのある時間と同期を取り表示するスライド画像データによって構成されているものである。ビデオのある時間と、スライド画像の同期は、図３に示すように表現される。
図３は、ｓｌｉｄｅ０１．ｊｐｇは、ｐｒｅｓｅｎｔａｔｉｏｎ．ａｖｉの００：００：００．０００〜００：０１：０１．０００と同期し、ｓｌｉｄｅ０１．ｊｐｇは、ｐｒｅｓｅｎｔａｔｉｏｎ．ａｖｉの００：０１：０１．０００〜００：０１：０３．０００と同期し、ｓｌｉｄｅ０１．ｊｐｇは、ｐｒｅｓｅｎｔａｔｉｏｎ．ａｖｉの００：０１：０３．０００〜００：０１：０４．０００と同期していることを表している。
【０００８】
次に、データ分解部２では、マルチメディアデータのうちのビデオデータを、映像データと音声データに分解する。
続いて、画像抽出部３では、データ分解部２で分解された映像データから複数の静止画像データを生成する。ここでの生成ルールは、例えば１秒間隔固定であれば、０秒目、１秒目、…、…、の静止画像データが生成される。図２には、映像データにおける画像抽出部３により抽出された静止画像位置を太線で示してある。生成された静止画像データは、抽出元の映像データの時間情報とともに出力される。
画像分類・代表画像特定部４では、静止画像を色情報、テクスチャ情報などの画像特徴量の情報を利用して、それぞれの画像間の特徴量の距離に応じて、類似する画像が群を成すように分類する。分類の方法は、例えば、ｋ−ｍｅａｎｓ法などがある。分類されたこれらの画像のうち、最も類似しない複数の画像を選定して代表画像とする。ここでは画像の枚数は特に限定しない。
選定された代表画像は、元の映像データの時間情報とともに出力される。例えば、２秒目の画像と、１０秒目の画像は類似性が小さいために、代表画像に選ばれた場合、図４に示すようになる。
【０００９】
無音部検出部６では、データ分解部２で分解された音声データを解析し、無音部を検出する。無音部抽出の手法は特に限定しない。図２の例では、無音部１、３、５、７、９、１１と、有音部２、４、６、８、１０に分類されている。そして、無音部ではない箇所は、有音部であるため、その無音部と有音部をリストとして出力する。音声のあるなしに関わらずこれらを音声セグメントと呼ぶ。
例えば、音声があるのが、３０秒〜１分３１秒、１分３５秒〜５分の二箇所の場合、４音声セグメントは図５のように表される。
【００１０】
次に、リストデータ統合部７での処理は、図６に示すフローチャートに示される手順で行われる。まず、初めに、代表画像リストの情報を元に、全ての音声セグメントから代表画像の表示時刻が含まれる利用音声セグメントを選択する（ステップ１０）。これにより、代表画像が表示される時刻を含んだ音声セグメントが複数選択される。選択された情報は音声セグメントデータの付加情報としてステータスを追加し、ステータスを利用音声セグメントとすることで管理する。
次に、利用音声セグメントとなっている時間に相当するスライドがだぶらないようにするために、スライド画像表示時間データと利用音声セグメントからスライドが同じになる複数の利用音声セグメントから１つだけを利用音声セグメントというステータスのまま残し、他は未使用音声セグメントというステータスにする（ステップ１１）。
【００１１】
次に、ステップ１０における処理の詳細を図７のフローチャートを参照して説明する。
まず、代表画像リストから未処理の一要素を取得する（ステップ２０）。そして、ここでその代表画像の元の映像データにおける表示時刻をｔ１とする。次に、代表画像リストに未処理要素があるか否かを判断する（ステップ２１）。未処理要素がない場合には（ステップ２１；Ｙ）、処理を終了する。
一方、未処理要素が存在する場合は（ステップ２１；Ｎ）、時刻ｔ１を含む音声セグメントを音声セグメントリストから探す（ステップ２２）。その結果、当該音声セグメントがすでに利用音声セグメントになっているか否かを判断する（ステップ２３）。すでに利用音声セグメントになっている場合は（ステップ２３；Ｙ）、ステップ２０に戻る。一方、すでに利用音声セグメントになっていない場合は（ステップ２３；Ｎ）、音声セグメントのステータスを利用音声セグメントに変更して（ステップ２４）、ステップ２０へ戻る。
【００１２】
次に、ステップ１１における処理の詳細を図８のフローチャートを参照して説明する。
まず、音声セグメントリストの利用音声セグメントというステータスの要素のうち、未処理の一要素を取得する。その時間範囲をＴ２とする（ステップ３０）。次に、音声セグメントの利用音声セグメントというステータス要素に未処理要素が存在するか否かを判断する（ステップ３１）。音声セグメントリストの利用音声セグメントというステータス要素に未処理要素がない場合は（ステップ３１；Ｙ）、処理を終了する。
一方未処理要素が存在する場合は（ステップ３１；Ｎ）、スライド画像表示時間データから時間Ｔ２を含むスライド画像セグメントを探す。時間Ｔ２が隣り合うスライド画像セグメントにまたがっている場合には、含まれる時間の長いほうを選択する（ステップ３２）。
【００１３】
ここで、当該スライド画像セグメントはすでに処理済みと登録されているか否かを判断する（ステップ３３）。登録済みとなっていた場合は（ステップ３３；Ｙ）、そのスライド画像セグメントの付加情報である音声セグメントの開始時刻を元に、音声セグメントリストからその時刻に始まる音声セグメントＴ３を得る（ステップ３５）。
そして、Ｔ２とＴ３の音声状態を比べ、無音のものがあればそちらの音声セグメントのステータスを未使用音声セグメントに変更する。どちらも有音であれば時間の短いほうを選択し、選ばれないほうの音声セグメントのステータスを未使用音声セグメントに変更する（ステップ３６）。
一方、当該スライド画像セグメントが未だ登録済みとなっていない場合は（ステップ３３；Ｎ）、スライド画像セグメントを処理済みと登録し、スライド画像表示時間データに付加情報として音声セグメントの開始時刻を登録する（ステップ３４）。
以上により、音声セグメントデータの中でステータスが利用音声セグメントになっているものの時間データが短縮コンテンツに利用する映像の時間となる。
図２には、最終的に選択された範囲を最下段の斜線部で示してある。
【００１４】
データ結合部・出力部８は、リストデータ統合部７で得られた短縮コンテンツに利用する映像時間と、スライド画像セグメントが処理済みと登録されているスライドデータからコンテンツを作成する。コンテンツはＨＴＭＬの形式でもよいし、映像と画像の連携を手軽に表記できるＳＭＩＬやＨＴＭＬ＋ＴＩＭＥなどの形式でもよい。
【図面の簡単な説明】
【００１５】
【図１】本実施例に係るマルチメディアデータ短縮装置の構成を示した図である。
【図２】本実施例における範囲選択を説明する図である。
【図３】ビデオのある時間と、スライド画像の同期を説明する図である。
【図４】類似性の少ない画像の選定を説明する図である。
【図５】音声があるのが３０秒〜１分３１秒、１分３５秒〜５分の二箇所の場合の４音声セグメントを説明する図である。
【図６】リストデータ統合部７での処理の概略を説明するフローチャートである。
【図７】代表画像リストの情報を元に、全ての音声セグメントから代表画像の表示時刻が含まれる利用音声セグメントを選択する処理の手順を示したフローチャートである。
【図８】スライド画像表示時間データと利用音声セグメントからスライドが同じになる複数の利用音声セグメントから１つだけを利用音声セグメントというステータスのまま残し、他は未使用音声セグメントというステータスにする処理の手順を示したフローチャートである。
【符号の説明】
【００１６】
１  データ入力部
２  データ分解部
３  画像抽出部
４  画像分類・代表画像特定部
６  無音部検出部
７  リストデータ統合部
８  データ結合部・出力部
【図１】
2007195019.tif 000003
【図２】
2007195019.tif 000004
【図３】
2007195019.tif 000005
【図４】
2007195019.tif 000006
【図５】
2007195019.tif 000007
【図６】
2007195019.tif 000008
【図７】
2007195019.tif 000009
【図８】
2007195019.tif 000010