(57)【要約】【課題】ストリームデータ上で位置が指定された場合に、当該位置を指定した意図を把握する。【解決手段】ストリームデータ入力部１１０は、ストリームデータを入力する。メタデータ入力部１２０は、複数のメタデータの各々について、ストリームデータ上の位置に対応付けて当該メタデータの値を入力する。メタデータ推定部１４０は、ストリームデータにおける指定位置と、複数のメタデータの各々における各値が付与された区間と、の間の距離をもとに、複数のメタデータの内の当該指定位置の指定に係るメタデータの値を推定し、出力する。【選択図】図１
2014021826.tif 000002
【特許請求の範囲】
【請求項１】
ストリームデータを入力するストリームデータ入力手段と、
複数のメタデータの各々について、前記ストリームデータ上の位置に対応付けて当該メタデータの値を入力するメタデータ入力手段と、
前記ストリームデータにおける、指定された位置である指定位置と、前記複数のメタデータの各々における各値が付与された区間と、の間の距離をもとに、前記複数のメタデータの内の当該指定位置の指定に係るメタデータの値を推定し、出力するメタデータ推定手段と、
を含むストリームデータ処理装置。
【請求項２】
前記メタデータ推定手段は、前記複数のメタデータの各々について、他の前記区間に比べて前記指定位置との距離が小さい前記区間である近接区間のメタデータの値を抽出し、当該抽出したメタデータの値に対して、前記指定位置と前記近接区間との間の距離に応じて大きくなる重みを算出し、前記複数のメタデータの値の内、当該算出された重みが他のメタデータに比べて大きいメタデータの値を、前記指定位置の指定に係るメタデータの値として出力する
請求項１に記載のストリームデータ処理装置。
【請求項３】
前記指定位置として、前記ストリームデータ上の一つの位置が指定され、
前記メタデータ推定手段は、前記指定位置と前記区間との間の距離として、前記指定位置と前記区間の始点または終点との間の距離を用いる
請求項２に記載のストリームデータ処理装置。
【請求項４】
前記メタデータ推定手段は、前記複数のメタデータの各々について、他の前記区間に比べて前記指定位置との間の距離が小さく、かつ、前記指定位置を含む前記区間を、前記近接区間とする
請求項３に記載のストリームデータ処理装置。
【請求項５】
前記指定位置として、前記ストリームデータにおける第１位置と当該第１位置より後方の第２位置が指定され、
前記メタデータ推定手段は、前記指定位置と前記区間との間の距離として、前記第１位置と前記区間の始点との間の距離及び前記第２位置と前記区間の終点との間の距離の合計距離を用いる
請求項２に記載のストリームデータ処理装置。
【請求項６】
前記メタデータ推定手段は、前記複数のメタデータの各々、または、前記複数のメタデータの各々における各値の、前記区間の長さの平均値をもとに、前記指定位置と前記区間との間の距離を補正する
請求項１乃至５のいずれかに記載のストリームデータ処理装置。
【請求項７】
前記メタデータ推定手段は、前記ストリームデータとは異なる他のストリームデータに対して入力された前記複数のメタデータの各々、または、前記複数のメタデータの各々における各値の、前記区間の長さの平均値をもとに、前記指定位置と前記区間との間の距離を補正する
請求項６に記載のストリームデータ処理装置。
【請求項８】
前記複数のメタデータの各々には信頼度が付与され、
前記メタデータ推定手段は、前記複数のメタデータの値の各々について算出された重みに当該メタデータの信頼度を乗じ、前記複数のメタデータの値の内、当該信頼度を乗じた重みが他のメタデータの値に比べて大きいメタデータの値を、前記指定位置の指定に係るメタデータの値として出力する
請求項２乃至５のいずれかに記載のストリームデータ処理装置。
【請求項９】
ストリームデータを入力し、
複数のメタデータの各々について、前記ストリームデータ上の位置に対応付けて当該メタデータの値を入力し、
前記ストリームデータにおける、指定された位置である指定位置と、前記複数のメタデータの各々における各値が付与された区間と、の間の距離をもとに、前記複数のメタデータの内の当該指定位置の指定に係るメタデータの値を推定し、出力する、
ストリームデータ処理方法。
【請求項１０】
コンピュータに、
ストリームデータを入力し、
複数のメタデータの各々について、前記ストリームデータ上の位置に対応付けて当該メタデータの値を入力し、
前記ストリームデータにおける、指定された位置である指定位置と、前記複数のメタデータの各々における各値が付与された区間と、の間の距離をもとに、前記複数のメタデータの内の当該指定位置の指定に係るメタデータの値を推定し、出力する、
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストリームデータ処理装置、ストリームデータ処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
音声やビデオ等のストリームデータ上で指定された重要箇所等の位置やその周囲のデータをもとに、要約の生成等の各種処理を行うストリームデータ処理技術が知られている。
【０００３】
このようなストリームデータ処理技術の一例が、例えば、特許文献１に開示されている。特許文献１に記載のコンテンツ要約システムは、音声ストリームデータと入力された重要箇所とを同期させ、重要箇所に対する重要区間を推定する。そして、コンテンツ要約システムは、音声認識によって得られたテキスト情報と推定した重要区間とを参照し、テキストの要約処理を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００８／０５０６４９号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図１５、及び、図１６は、特許文献１に記載のコンテンツ要約システムで生成される要約の例を示す図である。
【０００６】
図１５に示すように、上述の特許文献１に記載のコンテンツ要約システムでは、指定された重要箇所から推定された重要区間に対して要約が作成される。しかしながら、作成された要約を閲覧する場合に、以下のような問題が発生する。
【０００７】
例えば、要約を閲覧するユーザ（閲覧者）が作成された要約を閲覧するときに、重要箇所を指定して要約の作成を指示したユーザ（作成者）が、コンテンツ（テキスト）から得られる様々な情報（例えば、特定の一文、特定のトピック、特定の人物、特定の場所など）の内のどの情報を重要と考えていたかを把握できない。すなわち、閲覧者は、作成者により重要箇所が指示された意図（または、理由、目的等）を把握できない。このため、閲覧者がある特定の情報に着目して要約を閲覧する場合に比べて、作成者から閲覧者へ伝わる情報量が減少する。
【０００８】
また、図１６に示すように、例えば、閲覧者が、同じコンテンツ対する、複数の作成者によって作成された要約を閲覧する場合、閲覧者は、同様に、各作成者により重要箇所が指示された意図を把握できない。このため、閲覧者は、効率良く複数の作成者のコンテンツ内における興味の対象を知ることができない。
【０００９】
本発明の目的は、上述した課題を解決し、ストリームデータにおける重要箇所等の位置が指定された場合に、当該位置が指定された意図を把握可能なストリームデータ処理装置、ストリームデータ処理方法、及び、プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明のストリームデータ処理装置は、ストリームデータを入力するストリームデータ入力手段と、複数のメタデータの各々について、前記ストリームデータ上の位置に対応付けて当該メタデータの値を入力するメタデータ入力手段と、前記ストリームデータにおける、指定された位置である指定位置と、前記複数のメタデータの各々における各値が付与された区間と、の間の距離をもとに、前記複数のメタデータの内の当該指定位置の指定に係るメタデータの値を推定し、出力するメタデータ推定手段と、を含む。
【００１１】
本発明のストリームデータ処理方法は、ストリームデータを入力し、複数のメタデータの各々について、前記ストリームデータ上の位置に対応付けて当該メタデータの値を入力し、前記ストリームデータにおける、指定された位置である指定位置と、前記複数のメタデータの各々における各値が付与された区間と、の間の距離をもとに、前記複数のメタデータの内の当該指定位置の指定に係るメタデータの値を推定し、出力する。
【００１２】
本発明のプログラムは、コンピュータに、ストリームデータを入力し、複数のメタデータの各々について、前記ストリームデータ上の位置に対応付けて当該メタデータの値を入力し、前記ストリームデータにおける、指定された位置である指定位置と、前記複数のメタデータの各々における各値が付与された区間と、の間の距離をもとに、前記複数のメタデータの内の当該指定位置の指定に係るメタデータの値を推定し、出力する、処理を実行させる。
【発明の効果】
【００１３】
本発明の効果は、ストリームデータにおける位置が指定された場合に、当該位置が指定された意図を把握可能なことである。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施の形態の特徴的な構成を示すブロック図である。
【図２】本発明の第１の実施の形態における、ストリームデータ処理装置１００の構成を示すブロック図である。
【図３】本発明の第１の実施の形態における、ストリームデータ処理装置１００の処理を示すフローチャートである。
【図４】本発明の第１の実施の形態における、指定時刻、音声信号ストリーム、及び、メタデータの関係の例を示す図である。
【図５】本発明の第１の実施の形態における、指定時刻、音声信号ストリーム、及び、メタデータの関係の他の例を示す図である。
【図６】本発明の第１の実施の形態における、指定時刻、音声信号ストリーム、及び、メタデータの関係の他の例を示す図である。
【図７】本発明の第１の実施の形態における、指定時刻、音声信号ストリーム、及び、メタデータの関係の他の例を示す図である。
【図８】本発明の第２の実施の形態における、ストリームデータ処理装置１００の構成を示すブロック図である。
【図９】本発明の第２の実施の形態における、ストリームデータ処理装置１００の処理を示すフローチャートである。
【図１０】本発明の第２の実施の形態における、指定時刻、音声信号ストリーム、及び、メタデータの関係の例を示す図である。
【図１１】本発明の第２の実施の形態の第１の具体例における、ストリームデータ処理システムの構成を示すブロック図である。
【図１２】本発明の第２の実施の形態の第１の具体例における、指定時刻、音声信号ストリーム、及び、メタデータの関係の例を示す図である。
【図１３】本発明の第２の実施の形態の第２の具体例における、ストリームデータ処理システムの構成を示すブロック図である。
【図１４】本発明の第２の実施の形態の第２の具体例における、指定時刻、ビデオストリーム、及び、メタデータの関係の例を示す図である。
【図１５】特許文献１に記載のコンテンツ要約システムで生成される要約の例を示す図である。
【図１６】特許文献１に記載のコンテンツ要約システムで生成される要約の他の例を示す図である。
【発明を実施するための形態】
【００１５】
（第１の実施の形態）
次に、本発明の第１の実施の形態について説明する。
【００１６】
本発明の実施の形態においては、ストリームデータ上の位置が、ストリームデータの始点等、所定の点を基準とした、時刻で特定されると仮定する。なお、ストリームデータ上の位置は、時刻以外に、インデックス等、他の情報で特定されてもよい。
【００１７】
はじめに、本発明の第１の実施の形態の構成について説明する。図２は、本発明の第１の実施の形態における、ストリームデータ処理装置１００の構成を示すブロック図である。
【００１８】
図２を参照すると、本発明の第１の実施の形態のストリームデータ処理装置１００は、ストリームデータ入力部１１０、メタデータ入力部１２０、指定時刻入力部１３０、及び、メタデータ推定部１４０を含む。
【００１９】
ここで、ストリームデータ入力部１１０は、ストリームデータの入力を受け付ける。
【００２０】
メタデータ入力部１２０は、ストリームデータ上の時刻に対応付けて、複数のメタデータの各々について、当該メタデータが示す、ストリームデータに係る属性の値（属性値）の入力を受け付ける。
【００２１】
指定時刻入力部１３０は、ストリームデータ上の重要箇所等の時刻（指定時刻、または、指定位置）の入力を受け付ける。
【００２２】
メタデータ推定部１４０は、複数のメタデータの内、指定時刻を指定した意図（または、理由、目的等）に係るメタデータの属性値を推定する。
【００２３】
メタデータ推定部１４０は、重み算出部１４１、及び、属性値出力部１４２を含む。重み算出部１４１は、ストリームデータにおける指定時刻と、複数のメタデータの各々における各属性値が付与された区間と、の間の時刻の差分（距離）をもとに、メタデータの属性値に対する重みを算出する。属性値出力部１４２は、算出された重みをもとに、指定時刻を指定した意図に係るメタデータの属性値を推定する。
【００２４】
なお、ストリームデータ入力部１１０とメタデータ入力部１２０と指定時刻入力部１３０とメタデータ推定部１４０とはＣＰＵ（Central Processing Unit）とプログラムを記憶した記憶媒体を含み、プログラムにもとづく制御によって動作するコンピュータであってもよい。
【００２５】
次に、本発明の第１の実施の形態におけるストリームデータ処理装置１００の動作について説明する。
【００２６】
ここでは、ストリームデータが音声信号のストリームデータの場合を例に動作を説明するが、ストリームデータは、音声信号ストリームデータに限定されず、ビデオストリームデータなど他のストリームデータでもよい。
【００２７】
図３は、本発明の第１の実施の形態における、ストリームデータ処理装置１００の処理を示すフローチャートである。
【００２８】
はじめに、ストリームデータ入力部１１０は、音声信号ストリームデータS(t)の入力を受け付ける（ステップＳ１０１）。ここで、tはストリームデータ上の位置を特定するための時刻である。
【００２９】
音声信号ストリームデータには、人が発する音声や周囲の音など様々な音が含まれる。音声信号ストリームデータは、モノラル（１チャンネル）のデータ、ステレオ（２チャンネル）のデータ、３チャンネル以上のデータでもよい。複数チャネルのデータの場合、チャンネル間の時間の対応はとれているものとする。
【００３０】
次に、メタデータ入力部１２０は、ストリームデータ入力部１１０に入力された音声信号ストリームデータS(t)上の時刻に対応付けられた複数（Ｑ種類）のメタデータ（M1(t)、M2(t)、…、MQ(t)）の入力を受け付ける（ステップＳ１０２）。
【００３１】
ここで、メタデータが示す属性の種類として、例えば、場所、音声／非音声、話者、言語、音声認識の結果、トピック（＝話題）、感情等が用いられる。また、属性が場所の場合、属性値として、例えば、経度／緯度／高度、国名、県名、最寄り駅名、自席／会議室／食堂／廊下／エレベータ／ロビー等が用いられる。また、属性が話者の場合、属性値として、例えば、老人／成人／子供、男性／女性、男性Ａ／男性Ｂ／男性Ｃ／女性Ａ／女性Ｂ／女性Ｃ、個人名等が用いられる。また、属性が感情の場合、属性値として、例えば、喜／怒／哀／楽／通常等の値が用いられる。メタデータ入力部１２０に入力されるメタデータの属性、及び、属性値は、例えば管理者等により、予め設定される。
【００３２】
また、属性値は、音声信号ストリームデータから推定された値でもよいし、ＧＰＳ（Global Positioning System）センサやＲＦＩＤ（Radio Frequency Identification）を利用して推定された場所等、センサからのデータにもとづいて推定された値でもよい。また、属性値は、手動で付与されてもよい。
【００３３】
次に、指定時刻入力部１３０は、音声信号ストリームデータS(t)上の指定時刻の入力を受け付ける（ステップＳ１０３）。ここで、指定時刻は、例えば音声信号ストリームデータS(t)上の重要箇所等を判断するユーザ等により指定される。指定時刻は、時間軸上の１点（始点側（t=tps）、終点側（t=tpe）、始点側、終点側の区別なし（t=tp）の内のいずれか）、または、時間軸上の２点（始点側（t=tps）と終点側（t=tpe））により入力される。
【００３４】
なお、指定時刻入力部１３０は、指定時刻を、図示しない入力デバイス等の入力部により受け付けてもよいし、ファイル等で受け付けてもよい。
【００３５】
次に、メタデータ推定部１４０の重み算出部１４１は、複数のメタデータ（M1(t)、M2(t)、…、MQ(t)）が示す属性値の各々について、重みを算出する（ステップＳ１０４）。
【００３６】
図４〜図７は、本発明の第１の実施の形態における、指定時刻、音声信号ストリーム、及び、メタデータの関係の例を示す図である。
【００３７】
図４〜図７の例では、音声信号ストリームデータS(t)に対して、３種類のメタデータ（M1(t)、M2(t)、M3(t)）が入力されている。また、メタデータM1(t)の属性値は、t=tm11、tm12、tm13、tm14、メタデータM2(t)の属性値は、t=tm21、tm22、tm23、メタデータM3(t)の属性値は、t=tm31、tm32、tm33において、それぞれ、切り替わっている。
【００３８】
ここで、重み算出部１４１は、複数のメタデータの各々において、音声信号ストリームデータにおける指定時刻（指定位置）と、各属性値の切り替わり時刻間の区間（各属性値が付与された区間）と、の間の時刻の差分（距離）をもとに、属性値に対する重みを算出する。
【００３９】
重み算出部１４１は、指定時刻入力部１３０が受け付けた指定時刻の種類に応じて、以下のように重みを算出する。
【００４０】
＜１．時間軸上の１点（始点側（t=tps））が指定された場合＞
図４は、指定時刻として、時間軸上の１点（始点側（t=tps））が指定された場合の例である。
【００４１】
重み算出部１４１は、数１〜３式のように、メタデータ（M1(t)、M2(t)、M3(t)）ごとに、属性値の切り替わり時刻の内、指定時刻tpsとの間の差分（距離）が最も小さい属性値の切り替わり時刻を算出する。
【００４２】
【数１】
2014021826.tif 000003
【００４３】
【数２】
2014021826.tif 000004
【００４４】
【数３】
2014021826.tif 000005
【００４５】
ここで、argmin_{x}[f(x)]は、f(x)を最小にするxを示す。
【００４６】
そして、重み算出部１４１は、算出した切り替わり時刻（tm1min、tm2min、tm3min）を始点とする区間（近接区間）の属性値に対して、重みを算出する。ここで、重み算出部１４１は、指定時刻と切り替わり時刻との間の差分（|tps-tm1min|、|tps-tm2min|、|tps-tm3min|）の値が小さいほど、大きな重みを付与する。すなわち、図４の場合、差分の値は小さい順に|tps-tm31|、|tps-tm12|、|tps-tm22|であるため、重み算出部１４１は、属性値M3(t)（ただしtm31<=t<tm32、以降M3(tm31〜tm32)のように記述する）に最も大きな重みを付与し、次に属性値M1(tm12〜tm13)、そして属性値M2(tm22〜tm23)に最も小さい重みを付与する。なお、重み算出部１４１は、例えば重みの比率を差分|tps-tm31|、|tps-tm12|、|tps-tm22|の比率に反比例させる等、重みの配分を差分に依存させてもよい。
【００４７】
＜２．時間軸上の１点（終点側（t=tpe））が指定された場合＞
図５は、指定時刻として、時間軸上の１点（終点側（t=tpe））が指定された場合の例である。
【００４８】
重み算出部１４１は、数４〜６式のように、メタデータ（M1(t)、M2(t)、M3(t)）ごとに、属性値の切り替わり時刻の内、指定された指定時刻tpeとの間の差分（距離）が最も小さい属性値の切り替わり時刻を算出する。
【００４９】
【数４】
2014021826.tif 000006
【００５０】
【数５】
2014021826.tif 000007
【００５１】
【数６】
2014021826.tif 000008
【００５２】
そして、重み算出部１４１は、算出した切り替わり時刻（tm1min、tm2min、tm3min）を終点とする区間（近接区間）の属性値に対して、重みを算出する。ここで、重み算出部１４１は、指定時刻と切り替わり時刻との間の差分（|tpe-tm1min|、|tpe-tm2min|、|tpe-tm3min|）の値が小さいほど、大きな重みを付与する。すなわち、図５の場合、差分の値は小さい順に|tpe-tm32|、|tpe-tm13|、|tpe-tm23|であるため、重み算出部１４１は、属性値M3(tm31〜tm32)に最も大きな重みを付与し、次に属性値M1(tm12〜tm13)、そして属性値M2(tm22〜tm23)に最も小さい重みを付与する。なお、重み算出部１４１は、重みの配分を、差分|tpe-tm32|、|tpe-tm13|、|tpe-tm23|に依存させてもよい。
【００５３】
＜３．時間軸上の１点（始点側、終点側の区別なし（t=tp））が指定された場合＞
図６は、指定時刻として、時間軸上の１点（始点側、終点側の区別なし（t=tp））が指定された場合の例である。
【００５４】
重み算出部１４１は、数７〜９式のように、メタデータ（M1(t)、M2(t)、M3(t)）ごとに、属性値の切り替わり時刻の内、指定された指定時刻tpとの間の差分（距離）が最も小さい属性値の切り替わり時刻を算出する。ここで、重み算出部１４１は、切り替わり時刻を始点または終点とする切り替わり時刻間の区間に、指定時刻tpを含むような切り替わり時刻を算出する。
【００５５】
【数７】
2014021826.tif 000009
【００５６】
【数８】
2014021826.tif 000010
【００５７】
【数９】
2014021826.tif 000011
【００５８】
そして、重み算出部１４１は、算出した切り替わり時刻（tm1min、tm2min、tm3min）を始点または終点とし、指定時刻tpを含む区間（近接区間）の属性値に対して、重みを算出する。ここで、重み算出部１４１は、指定時刻と切り替わり時刻との間の差分（距離）（|tp-tm1min|、|tp-tm2min|、|tp-tm3min|）の値が小さいほど、大きな重みを付与する。すなわち、図６の場合、差分の値は小さい順に|tp-tm32|、|tp-tm13|、|tp-tm23|であるため、重み算出部１４１は、属性値M3(tm31〜tm32)に最も大きな重みを付与し、次に属性値M1(tm13〜tm14)、そして属性値M2(tm22〜tm23)に最も小さい重みを付与する。なお、重み算出部１４１は、重みの配分を、差分|tp-tm32|、|tp-tm13|、|tp-tm23|に依存させてもよい。ここで、指定時刻が終点側の時刻t=tpeの場合と比較すると、図５では、属性値M1(tm12〜tm13)に対して重みが付与されたが、図６では、属性値M1(tm13〜tm14)に対して重みが付与される。
【００５９】
＜４．時間軸上の２点（始点側（t=tps）と終点側（t=tpe））が指定された場合＞
図７は、指定時刻として、時間軸上の２点（始点側（t=tps）と終点側（t=tpe））が指定された場合の例である。
【００６０】
はじめに、重み算出部１４１は、数１０〜１２式のように、メタデータ（M1(t)、M2(t)、M3(t)）ごとに、属性値の切り替わり時刻間の区間の始点、終点のペアの内、指定された始点側の指定時刻tpsと始点との間の差分（距離）、終点側の指定時刻tpeと終点との間の差分（距離）の合計が最も小さいペアを算出する。
【００６１】
【数１０】
2014021826.tif 000012
【００６２】
【数１１】
2014021826.tif 000013
【００６３】
【数１２】
2014021826.tif 000014
【００６４】
そして、重み算出部１４１は、算出した切り替わり時刻のペア（(tm1mins,tm1mine),(tm2mins,tm2mine),(tm3mins,tm3mine)）を始点、及び、終点とする区間（近接区間）の属性値に対して、重みを算出する。ここで、重み算出部１４１は、指定時刻と切り替わり時刻との間の差分（|tps-tm1mins|+|tpe-tm1mine|、|tps-tm2mins|+|tpe-tm2mine|、|tps-tm3mins|+|tpe-tm3mine|）の値が小さいほど、大きな重みを付与する。すなわち、図７の場合、差分の値は小さい順に|tps-tm31|+|tpe-tm32|、|tps-tm12|+|tpe-tm13|、|tps-tm22|+|tpe-tm23|であるため、重み算出部１４１は、属性値M3(tm31〜tm32)に最も大きな重みを付与し、次に属性値M1(tm12〜tm13)、そして属性値M2(tm22〜tm23)に最も小さい重みを付与する。なお、重み算出部１４１は、重みの配分を、差分|tps-tm31|+|tpe-tm32|、|tps-tm12|+|tpe-tm13|、|tps-tm22|+|tpe-tm23|に依存させてもよい。
【００６５】
次に、属性値出力部１４２は、算出された重みをもとに、指定時刻を指定した意図に係るメタデータの属性値を推定し、出力する（ステップＳ１０５）。
【００６６】
ここで、属性値出力部１４２は、複数のメタデータの属性値の内、算出された重みが大きいメタデータの属性値が、指定時刻を指定した意図に係る属性値である可能性が高いと推定する。そして、属性値出力部１４２は、例えば、算出された重みが最も大きいメタデータの属性値を、指定時刻を指定した意図に係る属性値として出力する。ここで、属性値出力部１４２は、属性の種類とともに、属性値を出力してもよい。
【００６７】
図４の例では、属性値M3(tm31〜tm32)、M1(tm12〜tm13)、M2(tm22〜tm23)の順に、大きな重みが付与されている。従って、属性値出力部１４２は、属性値M3(tm31〜tm32)を、指定時刻を指定した意図に係る属性値として出力する。
【００６８】
同様に、図５、図６、図７の例でも、属性値出力部１４２は、属性値M3(tm31〜tm32)を、指定時刻を指定した意図に係る属性値として出力する。
【００６９】
なお、属性値出力部１４２は、算出された重みが最も大きい順に、複数のメタデータの属性値を出力してもよい。この場合、属性値出力部１４２は、算出された重みが所定の閾値以上のメタデータの属性値を出力してもよい。
【００７０】
また、属性値出力部１４２は、指定時刻を指定した意図に係る属性値を、図示しない表示部により表示してもよいし、ファイル等で出力してもよい。
【００７１】
属性値出力部１４２により出力された属性値は、例えば、指定時刻を指定したユーザとは異なる（または、同一の）ユーザが、指定時刻を指定したユーザの意図を把握するために用いられる。
【００７２】
なお、メタデータの属性、または、属性値に、属性値が正しいかどうか、あるいは、属性値が切り替わる時刻が正確かどうかを示す信頼度が付与されている場合、重み算出部１４１は、算出した重みに信頼度を乗じる等、算出した重みを信頼度で重み付けしてもよい。すなわち、信頼度が低い属性値の場合には、推定した属性値が誤りである可能性が高いため、信頼度が低い属性値の重みを小さく（信頼度が高い属性値の重みを大きく）してから、属性値出力部１４２において属性値を推定する。
【００７３】
以上により、本発明の第１の実施の形態の動作が完了する。
【００７４】
次に、本発明の第１の実施の形態の特徴的な構成を説明する。図１は、本発明の第１の実施の形態の特徴的な構成を示すブロック図である。
【００７５】
図１を参照すると、ストリームデータ処理装置１００は、ストリームデータ入力部１１０、メタデータ入力部１２０、及び、メタデータ推定部１４０を含む。
【００７６】
ストリームデータ入力部１１０は、ストリームデータを入力する。
【００７７】
メタデータ入力部１２０は、複数のメタデータの各々について、ストリームデータ上の時刻（位置）に対応付けて当該メタデータの値を入力する。
【００７８】
メタデータ推定部１４０は、ストリームデータにおける、指定された時刻（位置）である指定時刻（指定位置）と、複数のメタデータの各々における各値が付与された区間と、の間の時刻の差分（距離）をもとに、複数のメタデータの内の当該指定時刻（指定位置）の指定に係るメタデータの値を推定し、出力する。
【００７９】
本発明の第１の実施の形態によれば、ストリームデータ上で位置が指定された場合に、当該位置を指定した意図を把握できる。その理由は、メタデータ推定部１４０が、ストリームデータにおける指定時刻と、複数のメタデータの各々における各値が付与された区間と、の間の時刻の差分をもとに、複数のメタデータの内の当該指定時刻の指定に係るメタデータの値を推定するためである。
【００８０】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。
【００８１】
本発明の第２の実施の形態においては、属性値が付与された区間の長さ（切り替わり間隔）をもとに、指定時刻と切り替わり時刻との間の差分を補正する点において、本発明の第１の実施の形態と異なる。なお、本発明の第２の実施の形態において、第１の実施の形態と同様の構成要素については、同一の符号を付し、説明を省略する。
【００８２】
はじめに、本発明の第２の実施の形態の構成について説明する。図８は、本発明の第２の実施の形態における、ストリームデータ処理装置１００の構成を示すブロック図である。
【００８３】
図８を参照すると、本発明の第２の実施の形態のストリームデータ処理装置１００は、本発明の第１の実施の形態の構成（図２）に加えて、メタデータ推定部１４０が、切り替わり間隔算出部１４３、及び、切り替わり間隔記憶部１４４を含む。
【００８４】
切り替わり間隔算出部１４３は、メタデータの属性値の切り替わり間隔を算出する。
【００８５】
切り替わり間隔記憶部１４４、算出された切り替わり間隔を保存する。
【００８６】
重み算出部１４１は、指定時刻と属性値の切り替わり時刻との間の差分を算出するときに、切り替わり間隔を用いて、差分を補正する。
【００８７】
次に、本発明の第２の実施の形態におけるストリームデータ処理装置１００の動作について説明する。
【００８８】
図９は、本発明の第２の実施の形態における、ストリームデータ処理装置１００の処理を示すフローチャートである。
【００８９】
はじめに、本発明の第１の実施の形態（ステップＳ１０１、Ｓ１０２）と同様に、ストリームデータ入力部１１０が、音声信号ストリームデータS(t)の入力を受け付け（ステップＳ２０１）、メタデータ入力部１２０が、複数のメタデータ（M1(t)、M2(t)、…、MQ(t)）の入力を受け付ける（ステップＳ２０２）。
【００９０】
次に、切り替わり間隔算出部１４３は、入力されたメタデータについて、属性値の切り替わり間隔を算出する（ステップＳ２０３）。ここで、切り替わり間隔算出部１４３は、メタデータごと、または、各メタデータの属性値ごとに、切り替わり間隔の平均値を算出する。
【００９１】
図１０は、本発明の第２の実施の形態における、指定時刻、音声信号ストリーム、及び、メタデータの関係の例を示す図である。
【００９２】
メタデータごとに切り替わり間隔を算出する場合、切り替わり間隔算出部１４３は、以下のように切り替わり間隔を算出する。
【００９３】
図１０において、メタデータM1(t)の属性値はt=tm11、tm12、tm13、tm14において切り替わる。従って、切り替わり間隔算出部１４３は、例えば数１３式のように、メタデータM1(t)の切り替わり間隔の平均値MM1を算出する。
【００９４】
【数１３】
2014021826.tif 000015
【００９５】
同様に、メタデータM2(t)の属性値はt=tm21、tm22、tm23において切り替わる。従って、切り替わり間隔算出部１４３は、例えば数１４式のように、メタデータM2(t)の切り替わり間隔の平均値MM2を算出する。
【００９６】
【数１４】
2014021826.tif 000016
【００９７】
また、メタデータM3(t)の属性値はt=tm31、tm32、tm33、…、tm3X3で切り替わる。従って、切り替わり間隔算出部１４３は、例えば数１５式のように、メタデータM3(t)の切り替わり間隔の平均値MM3を算出する。
【００９８】
【数１５】
2014021826.tif 000017
【００９９】
ここで、Σ_{x}[f(x)]はxに関するf(x)の和を示す。
【０１００】
一方、属性値ごとに切り替わり間隔を算出する場合、切り替わり間隔算出部１４３は、以下のように切り替わり間隔を算出する。
【０１０１】
図１０において、メタデータM3(t)の属性値として、黒、斜線、白で示した区間のそれぞれに、同じ値が用いられていると仮定する。切り替わり間隔算出部１４３は、属性値ごとに切り替わり間隔の平均値を算出する。例えば、切り替わり間隔算出部１４３は、黒で示した区間の切り替わり間隔の平均値MM3Bを、(tm32-tm31）、(tm34-tm33)、…、により算出する。同様に、切り替わり間隔算出部１４３は、斜線で示した区間の切り替わり間隔の平均値MM3Gを(tm33-tm32）、…、白で示した区間の切り替わり間隔の平均値MM3Wを(tm39-tm38）、…、により算出する。
【０１０２】
切り替わり間隔算出部１４３は、算出したメタデータごと、及び、属性値ごとの切り替わり間隔の平均値を、切り替わり間隔記憶部１４４に保存する。
【０１０３】
なお、切り替わり間隔算出部１４３は、切り替わり間隔の平均値に加えて分散値を算出し、同様に、切り替わり間隔記憶部１４４に保存してもよい。
【０１０４】
次に、本発明の第１の実施の形態（ステップＳ１０３）と同様に、指定時刻入力部１３０は、音声信号ストリームデータS(t)上の、指定時刻の入力を受け付ける（ステップＳ２０４）。
【０１０５】
メタデータ推定部１４０の重み算出部１４１は、本発明の第１の実施の形態（ステップＳ１０４）と同様に、複数のメタデータ（M1(t)、M2(t)、…、MQ(t)）が示す属性値の各々について、重みを算出する（ステップＳ２０５）。
【０１０６】
ここで、重み算出部１４１は、属性値の切り替わり間隔の平均値をもとに、指定時刻と切り替わり時刻との間の差分を補正し、補正した差分を用いて、以下のように重みを算出する。
【０１０７】
図１０は、図４と同様に、指定時刻として、時間軸上の１点（始点側（t=tps））が指定された場合の例である。
【０１０８】
はじめに、重み算出部１４１は、切り替わり間隔記憶部１４４から、切り替わり間隔を取得する。ここで、メタデータごと、及び、属性値ごとの切り替わり間隔の内、どちらを用いるかについては、予め指定されていると仮定する。
【０１０９】
例えば、メタデータM1(t)、M2(t)に対して、メタデータごとの切り替わり間隔、メタデータM3(t)に対して、属性値ごとの切り替わり間隔を用いる場合、重み算出部１４１は、メタデータM1(t)、M2(t)の切り替わり間隔の平均値MM1、MM2、メタデータM3(t)に係る属性値ごとの切り替わり間隔の平均値MM3B、MM3G、MM3Wを取得する。
【０１１０】
そして、重み算出部１４１は、数１６〜２１式のように、メタデータ（M1(t)、M2(t)、M3(t)）ごとに、属性値の切り替わり時刻の内、指定時刻tpsとの間の差分が最も小さい属性値の切り替わり時刻を算出する。ここで、メタデータM1(t)、M2(t)については、差分として、メタデータごとの切り替わり間隔の平均値MM1、MM2で補正した差分（|tps-tm1min|/MM1、|tps-tm2min|/MM2）が用いられる。また、メタデータM3(t)については、差分として、属性値ごとの切り替わり間隔の平均値MM3B、MM3G、MM3Wで補正した差分（|tps-tm3min|/MM3B、|tps-tm3min|/MM3G、|tps-tm3min|/MM3W）が用いられる。
【０１１１】
【数１６】
2014021826.tif 000018
【０１１２】
【数１７】
2014021826.tif 000019
【０１１３】
【数１８】
2014021826.tif 000020
【０１１４】
【数１９】
2014021826.tif 000021
【０１１５】
【数２０】
2014021826.tif 000022
【０１１６】
【数２１】
2014021826.tif 000023
【０１１７】
そして、重み算出部１４１は、算出した切り替わり時刻（tm1min、tm2min、tm3min）を始点とする区間（近接区間）の属性値に対して、重みを算出する。ここで、重み算出部１４１は、指定時刻と切り替わり時刻との間の、補正された差分（|tps-tm1min|/MM1、|tps-tm2min|/MM2、|tps-tm3min|/MM3B）の値が小さいほど、大きな重みを付与する。すなわち、図１０の場合、補正された差分の値は小さい順に|tps-tm21|/MM2、|tps-tm11|/MM1、|tps-tm31|/MM3Bであるため、重み算出部１４１は、属性値M2(tm21〜tm22)に最も大きな重みを付与し、次に属性値M1(tm11〜tm12)、そして属性値M3(tm31〜tm32)に最も小さい重みを付与する。なお、重み算出部１４１は、重みの配分を、差分|tps-tm21|/MM2、|tps-tm11|/MM1、|tps-tm31|/MM3Bに依存させてもよい。
【０１１８】
なお、指定時刻として、時間軸上の１点（終点側（t=tpe）、始点側、終点側の区別なし（t=tp））が指定された場合や、時間軸上の２点（始点側（t=tps）と終点側（t=tpe））が指定された場合についても、重み算出部１４１は、上記と同様に、補正された差分を用いて、重みを算出する。
【０１１９】
また、重み算出部１４１は、切り替わり間隔の平均値の代わりに、切り替わり間隔の平均値に分散値の平方根（標準偏差）を加えた値を使用してもよい。
【０１２０】
次に、本発明の第１の実施の形態（ステップＳ１０５）と同様に、属性値出力部１４２は、算出された重みをもとに、指定時刻を指定した意図に係るメタデータの属性値を推定し、出力する（ステップＳ２０６）。
【０１２１】
図１０の例では、属性値M2(tm21〜tm22)、M1(tm11〜tm12)、M3(tm31〜tm32)の順に、大きな重みが付与されている。従って、属性値出力部１４２は、属性値M2(tm21〜tm22)を、指定時刻を指定した意図に係る属性値として出力する。
【０１２２】
なお、本発明の第２の実施の形態では、重み算出部１４１が、推定対象のストリームデータとともに入力されたメタデータについて算出された切り替わり間隔を用いて、指定時刻と切り替わり時刻との間の差分を補正している。しかしながら、これに限らず、切り替わり間隔記憶部１４４は、他のストリームデータとともに入力された他のメタデータに対して算出された切り替わり間隔を記憶し、重み算出部１４１が、当該他のメタデータに対して算出された切り替わり間隔を用いて、差分を補正してもよい。
【０１２３】
本発明の第２の実施の形態によれば、メタデータごと、あるいは、属性値ごとに属性値の切り替わり間隔が大きく異なる場合でも、指定時刻を指定した意図を、より適切に把握できる。その理由は、重み算出部１４１が、属性値の切り替わり間隔をもとに、指定時刻と切り替わり時刻との間の差分を補正し、補正した差分をもとに重みを算出するためである。
【０１２４】
次に、本発明の第２の実施の形態の具体例を説明する。
【０１２５】
（具体例１）
図１１は、本発明の第２の実施の形態の第１の具体例における、ストリームデータ処理システムの構成を示すブロック図である。
【０１２６】
図１１のストリームデータ処理システムでは、ストリームデータとして、複数話者の発話を含む音声信号が用いられる。また、メタデータが示す属性の種類として、音声信号を取得した場所、音声信号に含まれる話題、及び、複数話者の発話状態が用いられる。
【０１２７】
図１１を参照すると、ストリームデータ処理システムは、ストリームデータ処理装置１００に加えて、マイクロホン２０１、位置センサ２０２、メタデータ生成装置２０３、及び、ボタンスイッチ２０４を含む。
【０１２８】
ストリームデータ処理装置１００のストリームデータ入力部１１０には、マイクロホン２０１から音声信号ストリームデータが入力される。メタデータ入力部１２０には、メタデータ生成装置２０３で生成された複数のメタデータ（場所、話題、発話状態）が入力される。メタデータ生成装置２０３は、マイクロホン２０１からの音声信号ストリームデータを用いて、音声認識を行うことにより話題を推定し、話題に係るメタデータを生成する。また、メタデータ生成装置２０３は、発話がある場合に、その発話がユーザ（話者Ａ）によるものかどうかを判別し、発話がない状態も含めて発話状態に係るメタデータを生成する。また、メタデータ生成装置２０３は、位置センサ２０２からの位置データストリームを用いて、場所に係るメタデータを生成する。指定時刻入力部１３０には、ボタンスイッチ２０４からの指定時刻を示す信号が入力される。ユーザ（話者Ａ）は、ボタンスイッチ２０４により、音声信号ストリームデータにおける指定時刻を入力する。
【０１２９】
図１２は、本発明の第２の実施の形態の第１の具体例における、指定時刻、音声信号ストリーム、及び、メタデータの関係の例を示す図である。図１２の例では、指定時刻として、時間軸上の２点（始点側（t=tps）と終点側（t=tpe））が指定されている。
【０１３０】
メタデータ推定部１４０は、指定時刻tps、tpeに対する近接区間の属性値である、「場所：カフェテリア」、「話題：週末の宴会」、「話者：話者Ａ」に対して、重みを算出する。そして、メタデータ推定部１４０は、指定時刻と切り替わり時刻との差分が小さい、「話題：週末の宴会」を、指定時刻tps、tpeを指定した意図に係る属性として出力する。
【０１３１】
図１１のストリームデータ処理システムの使用例として、例えば、ユーザ（話者Ａ）が所持する携帯端末で、ユーザ（話者Ａ）の発話を含む音声信号、及び、位置情報を記録しながら、複数の指定時刻を入力する。そして、当該ユーザ（話者Ａ）が音声を聞き直したり、他の話者と共有したりするときに、各指定時刻に対して出力された属性値を参照することで、各指定時刻を指定した意図を確認できる。
【０１３２】
（具体例２）
図１３は、本発明の第２の実施の形態の第２の具体例における、ストリームデータ処理システムの構成を示すブロック図である。
【０１３３】
図１３のストリームデータ処理システムでは、ストリームデータとして、ビデオが用いられる。また、メタデータが示す属性の種類として、ビデオに含まれるＢＧＭ、風景、人物が用いられる。
【０１３４】
図１３を参照すると、ストリームデータ処理システムは、ストリームデータ処理装置１００に加えて、コンテンツ配信装置２０５、ディスプレイ装置２０６、及び、ボタンスイッチ２０４を含む。
【０１３５】
ストリームデータ処理装置１００のストリームデータ入力部１１０には、コンテンツ配信装置２０５からビデオストリームデータが入力される。メタデータ入力部１２０には、コンテンツ配信装置２０５からビデオストリームデータに対応付けられた複数のメタデータ（ＢＧＭ、風景、人物）が入力される。指定時刻入力部１３０には、ボタンスイッチ２０４からの指定時刻を示す信号が入力される。ビデオストリームデータは、また、ディスプレイ装置２０６により、ユーザに対して出力される。ユーザは、ボタンスイッチ２０４により、ビデオストリームデータにおける指定時刻を入力する。
【０１３６】
図１４は、本発明の第２の実施の形態の第２の具体例における、指定時刻、ビデオストリーム、及び、メタデータの関係の例を示す図である。図１４の例では、指定時刻として、時間軸上の２点（始点側（t=tps）と終点側（t=tpe））が指定されている。
【０１３７】
メタデータ推定部１４０は、指定時刻tps、tpeに対する近接区間の属性値である、「ＢＧＭ：ＢＧＭ２」、「風景：大自然」、「人物：人物Ａ」に対して、重みを算出する。そして、メタデータ推定部１４０は、例えば、指定時刻と切り替わり時刻との差分が小さい、「ＢＧＭ：ＢＧＭ２」を、指定時刻tps、tpeを指定した意図に係る属性値として出力する。
【０１３８】
図１３のストリームデータ処理システムの使用例として、例えば、ユーザがビデオを視聴しながら複数の指定時刻を入力する。そして、当該ユーザがビデオを再度視聴するときに、各指定時刻に対して出力された属性値を参照することで、各指定時刻を指定した意図を確認できる。
【０１３９】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【０１４０】
１００    ストリームデータ処理装置
１１０    ストリームデータ入力部
１２０    メタデータ入力部
１３０    指定時刻入力部
１４０    メタデータ推定部
１４１    重み算出部
１４２    属性値出力部
１４３    切り替わり間隔算出部
１４４    切り替わり間隔記憶部
２０１    マイクロホン
２０２    位置センサ
２０３    メタデータ生成装置
２０４    ボタンスイッチ
２０５    コンテンツ配信装置
２０６    ディスプレイ装置
【図１】
2014021826.tif 000024
【図２】
2014021826.tif 000025
【図３】
2014021826.tif 000026
【図４】
2014021826.tif 000027
【図５】
2014021826.tif 000028
【図６】
2014021826.tif 000029
【図７】
2014021826.tif 000030
【図８】
2014021826.tif 000031
【図９】
2014021826.tif 000032
【図１０】
2014021826.tif 000033
【図１１】
2014021826.tif 000034
【図１２】
2014021826.tif 000035
【図１３】
2014021826.tif 000036
【図１４】
2014021826.tif 000037
【図１５】
2014021826.tif 000038
【図１６】
2014021826.tif 000039