(57)【要約】【課題】ユーザがサーチ機能で自ら再生速度を変化させるのは操作と映像確認を並行して行うことや、また逆方向サーチも発生するため負担が大きい【解決手段】特徴量抽出部１００にてコンテンツの内容を解析し、セグメント化部１０４にて動画データのセグメントを決め、加速度制御サーチ再生部１０６で各セグメントの重要度が低いほど高速に再生する再生をし、ユーザ操作部１０８に通常再生指定が入った場合に、ユーザが開始したいシーンから再生開始するように再生開始点を更新するサーチ再生更新部１１０を備え、サーチ再生終了後にユーザ操作履歴からユーザ嗜好情報を更新するメタ情報更新部１１１を備える。【選択図】図１
2010246000.tif 000002
【特許請求の範囲】
【請求項１】
映像音声データの特徴量を抽出する抽出部と、
前記抽出部で抽出された特徴量を基に、データの重要度とセグメントとセグメントの重要度を算出する重要度算出部と、
前記重要度算出部で算出された重要度とセグメントを基に、セグメントごとのデータのサーチ速度を決定し、決定されたサーチ速度を基にデータをサーチする加速度制御サーチ再生部と、
前記加速度制御サーチ再生部でデータをサーチ中に、ユーザが再生速度の変更やモード変更やスキップの指示を入力するユーザ操作部と、
ユーザが前記ユーザ操作部で変更指示を入力した場合には、入力時前の直近の所定の条件を満足するデータを再生やサーチ再生の開始点にする、前記加速度制御サーチ再生部を制御し、ユーザが所定の時間内に前記ユーザ操作部で指示を入力しない場合には、より速いサーチ速度でデータをサーチさせるように、前記加速度制御サーチ再生部を制御する更新部とを備えることを特徴とする映像サーチ再生装置。
【請求項２】
前記加速度制御サーチ再生部は速度変更時に加速度をつけて変化をさせることを特徴とする、請求項１に記載の映像サーチ再生装置。
【請求項３】
前記抽出部は映像音声データの特徴量である動的メタ情報と静的メタ情報を抽出し、
前記重要度算出部はユーザ嗜好情報も用いてデータの重要度とセグメントとセグメントの重要度を算出し、
前記更新部の所定の条件とは、音響特徴量により得られる特徴や、もしくは、シーンチェンジ、もしくは、顔や人物の検出情報や、重要度やユーザ嗜好情報や、これらの組合せより得られるものであることを特徴とする、請求項１に記載の映像サーチ再生装置。
【請求項４】
前記抽出部で抽出されたメタ情報と前記重要度算出部で算出された重要度とセグメントの時間情報とユーザ嗜好情報と動画データを保存する保存部と、前記ユーザ操作部でのユーザ操作によるサーチ再生速度の変更結果から、前記保存部で保存された情報を更新するメタ情報更新部とをさらに備えることを特徴とする、請求項３に記載の映像サーチ再生装置
【請求項５】
前記抽出部は、映像音声データより動的メタ情報を抽出する特徴量抽出部とＥＰＧ情報などの静的メタ情報を抽出する静的メタ情報抽出部を備え、
前記重要度算出部は、動的メタ情報と静的メタ情報とユーザ嗜好情報から各特徴パラメータの重み係数を決定して録画データの重要度を算出する重み付け生成部と動画データの重要度や特徴パラメータの状態遷移からセグメント候補区間を算出するセグメント化部を備え、
前記更新部は、再生モードの変更、および、サーチ再生モードでの基本サーチ速度を変更するか否かの判断や現在再生位置からの前後へのスキップによる再生位置を変更すべきか否かを判断するユーザ操作部と、前記ユーザ操作監視部からスキップ指示があった場合には、現在再生位置とユーザ操作の時刻と現在再生時刻と各セグメントの重要度やセグメントの開始点からスキップ後の再生位置を決定し前記加速度制御サーチ再生部に送り、再生モードの切替えの指示があった場合には、再生モードの切替えを再生開始点を前記加速度制御サーチ再生部に送り、基本サーチ再生速度変更のみの指示の場合には現在再生位置のセグメントの重要度を変更し、録画データ保存部のセグメント単位での重要度を更新するサーチ再生更新部を備え、
前記保存部は、登場人物や音楽や番組の種類などのユーザ嗜好情報を保存するユーザ嗜好情報保存部と、動画データと動的メタ情報と静的メタ情報とユーザの嗜好情報に応じたセグメント区間の時間情報と各セグメントの特徴パラメータの重み係数と重要度を保存する録画データ保存部を備え、
前記メタ情報更新部は、前記録画データ保存部の更新された各セグメントの重要度と、保存されている動的メタ情報および静的メタ情報から特徴パラメータの重み係数と重要度を更新し、前記録画データ保存部に再度書き込むと共に、ユーザ嗜好情報を更新し前記ユーザ嗜好情報保存部のメタ情報を更新することを特徴とする、請求項４に記載の映像サーチ再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送の録画やビデオカメラで撮影録画した動画データで、録画時のジャンル等の情報と動画データの解析情報とユーザの操作を反映した学習によって効果的なサーチ再生をできるようにした映像サーチ再生装置に関するものである。
【背景技術】
【０００２】
近年、放送チャネルも増加し、また、動画サーバの動画データをインターネットでパソコンやモバイル機器で視聴することができる。ビデオカメラ機能も携帯電話にも搭載され多くの動画データにユーザが接する機会が増えている。そのため、視聴者は多くの動画データの中から興味のあるコンテンツを選択したい、また限られた時間内で素早く選択した動画データの内容を見たい、という要求が多くなっている。また、ビデオカメラの撮影者も、撮影した動画データの不要な部分をカットしてＤＶＤなどの記録メディアに書き込んで保存したいという要望だけでなく、動画データの短時間の要約や複数のハイライトシーンにまとめて動画サーバへアップし、家族やコミュニティ仲間とその動画を共有したいという要望が強くなっている。そのため、多くの中からのザッピングとしての高速なサーチ再生によるコンテンツ選択や、動画データの中の視聴者にとって必要な部分のみを通常再生にするため、また撮影者にとって重要と思われる部分を取り出すために、可変速なサーチ再生は有用である。
さらに、同一動画データであっても、ユーザによって嗜好性が異なり、そのユーザに適したサーチ再生やハイライト、要約などを提供することが望まれる。たとえば、司会者と演奏者（歌手）との会話と演奏を繰り返す音楽番組では、演奏部分だけをサーチして再生したいユーザや、特定の演奏者が登場しているシーンだけをサーチして再生したいユーザがいる。
また、連続ドラマやニュース番組などは、番組中のＣＭの位置や回数はほぼ同じであり、主題曲のＢＧＭが流れている位置が重要である場合や、前回までの回想からの開始点である場合などあり、その番組で既に放映された構成パターンの学習記憶とそれに対するユーザの操作の学習記憶を元にして、それ以降に放映される番組のサーチ再生を行うことは有用である。
特許文献１にはサーチ再生から通常再生への変更操作した際のユーザ操作位置とサーチ再生速度から見積もって、本来のユーザ所望の通常再生開始位置を推定すると共に、推定された位置近傍のシーンチェンジ検出位置から通常再生開始位置を決定する発明が記載されている。また、シーンで速度が異なる可変速サーチ再生についても記載されている。
また、特許文献２にはシーンの変化点を特徴点として、高速再生の場合には特徴点の手前で低速再生して特徴点が近づいていることをユーザに示すと共に、ユーザが通常再生へ操作した場合には、所定の時間の範囲の特徴点の位置を頭だし位置とするサーチ再生が記載されている。
【特許文献１】特開２００５−２９３６８０号公報
【特許文献２】特開平１１−２０３８４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１のサーチ再生方法では、サーチ再生モードからの通常再生モードへのユーザ操作による変更の際に、サーチ再生でのシーンを見てからの操作であることによるタイムラグを吸収することができるが、以下の課題がある。
１）同じ動画データでも嗜好の異なるユーザに対して、異なる可変速サーチ再生を提供することができない。
２）通常再生への変更操作とサーチ再生速度から算出したタイムラグの見積もりと、その誤差による時間軸上の補正処理は、ユーザ固有の操作タイミング特性を活かしてシーンチェンジに基づいた頭だしポイントの検出が可能であるものの、同じユーザでもシーンの内容やユーザの状況によって変化する操作タイミングを吸収できないため、サーチ再生と通常再生を繰り返す場合に、動画データの特徴を反映したサーチ再生から通常再生への戻り位置を検出できない。
３）可変速サーチ再生時の動画データの各区間、及びその区間のサーチ速度に対してユーザ操作を反映して、区間の変更およびその区間のサーチ速度の更新ができない。
また、特許文献２の方法においては以下の課題がある。
１）特徴点の記述があるがテロップやＣＭの開始と終了点、また動きベクトルの変化から抽出したカット点であり、特徴点の重要度および特徴点間のシーンの重要度の観点がないために、ユーザにシーンの重要性を示すことができない。
２）サーチ再生から通常再生へ、また通常再生からサーチ再生への切り替えのユーザ履歴とその際の動画データの内容の関連性を考慮していないために、各ユーザの嗜好性を反映させたサーチ再生を実現できない。
本発明は、従来の課題を解決するためになされたもので、放送の録画やビデオカメラで撮影録画した動画データで、録画時のジャンル等の情報と動画データの解析情報とユーザの操作を反映した学習によって、ユーザに適した効果的なサーチ再生ができる映像サーチ再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明は、映像音声データの特徴量を抽出する抽出部と、
抽出部で抽出された特徴量を基に、データの重要度とセグメントとセグメントの重要度を算出する重要度算出部と、
重要度算出部で算出された重要度とセグメントを基に、セグメントごとのデータのサーチ速度を決定し、決定されたサーチ速度を基にデータをサーチする加速度制御サーチ再生部と、
加速度制御サーチ再生部でデータをサーチ中に、ユーザが再生速度の変更やモード変更やスキップの指示を入力するユーザ操作部と、
ユーザがユーザ操作部で変更指示を入力した場合には、入力時前の直近の所定の条件を満足するデータを再生やサーチ再生の開始点にする、加速度制御サーチ再生部を制御し、ユーザが所定の時間内にユーザ操作部で指示を入力しない場合には、より速いサーチ速度でデータをサーチさせるように、加速度制御サーチ再生部を制御する更新部とを備えることを特徴とする映像サーチ再生装置である。
更に、本発明の加速度制御サーチ再生部は速度変更時に加速度をつけて変化をさせることを特徴とする映像サーチ再生装置である。
更に、本発明の抽出部は映像音声データの特徴量である動的メタ情報と静的メタ情報を抽出し、重要度算出部はユーザ嗜好情報も用いてデータの重要度とセグメントとセグメントの重要度を算出し、
更新部の所定の条件とは、音響特徴量により得られる特徴や、もしくは、シーンチェンジ、もしくは、顔や人物の検出情報や、重要度やユーザ嗜好情報や、これらの組合せより得られるものであることを特徴とする映像サーチ再生装置である。
また、本発明は、抽出部で抽出されたメタ情報と重要度算出部で算出された重要度とセグメントの時間情報とユーザ嗜好情報と動画データを保存する保存部と、ユーザ操作部でのユーザ操作によるサーチ再生速度の変更結果から、保存部で保存された情報を更新するメタ情報更新部とをさらに備えることを特徴とする映像サーチ再生装置である。
また、本発明は、動画データの映像とオーディオのストリームとパン・チルトなどのカメラ情報を解析して、シーンチェンジポイント、顔検出、顔認識や、音声部、音楽部、歓声部、ズーム部などの特徴パラメータと各特徴パラメータの信頼度からなる動的メタ情報を算出する特徴量抽出部と、
動画データが放送データである場合には、ジャンル情報や登場人物などの放送データの付帯情報と、動画データがユーザ撮影データの場合には、日付や撮影位置やイベント情報など静的メタ情報を抽出する静的メタ情報抽出部と、
登場人物や音楽などのユーザ嗜好情報を保存するユーザ嗜好情報保存部と、
動的メタ情報と静的メタ情報とユーザ嗜好情報から各特徴パラメータの重み係数を決定して録画データの重要度を算出する重み付け生成部と、
録画データの重要度や特徴パラメータの状態遷移からユーザ嗜好情報に応じたセグメント候補区間を算出するセグメント化部と、
動画データと動的メタ情報と静的メタ情報とユーザの嗜好情報に応じたセグメント候補区間と各セグメントの特徴パラメータの重み係数と重要度を保存する録画データ保存部と、
再生開始点を検索するサーチ再生モードの場合に、各セグメントの重要度に応じて各セグメントの基本サーチ再生速度を決定し、セグメントが変わる前後で加速度制御を行うと共に、セグメント内においてミクロな特徴パラメータの変化と重要度と基本サーチ再生速度に応じて映像と音声を独立にミクロ制御してサーチ再生速度を基本サーチ再生速度から変化させ、通常再生モードの場合には、再生中のセグメントの後のセグメントの重要度に応じてサーチ再生モードに切替える加速度制御サーチ再生部と、
速度制御された前記加速度制御サーチ再生部からの出力である映像データの映像表示と音声データの音声変換を行う動画表示部と、
サーチ再生モードにおいて、基本サーチ再生速度の変更と通常再生モードへの変更、また通常再生モードにおいて、通常再生モードからサーチ再生モードへの変更をユーザがコントロールするユーザ操作部と、
各セグメントの重要度と、前記加速度制御サーチ再生部からのサーチ再生もしくは通常再生の現在再生位置と現在再生速度と、前記ユーザ操作部からのユーザ操作によって、現在再生位置から以降の再生モードの変更およびサーチ再生モードでの基本サーチ速度を変更するか否かの判断と、現在再生位置から前後へのスキップによる再生位置変更をすべきか否かを判断するユーザ操作監視部と、
ユーザ操作監視部からスキップ指示があった場合には、現在再生位置とユーザ操作の時刻と現在再生時刻と各セグメントの重要度からスキップ後の再生位置を決定し、基本サーチ再生速度変更のみの指示の場合には現在再生位置のセグメントの重要度を変更し、前記録画データ保存部のセグメント単位での重要度を更新するサーチ再生更新部と、
サーチ再生終了時に前記録画データ保存部の更新された各セグメントの重要度と動的メタ情報および静的メタ情報から再度特徴パラメータの重み係数と重要度を更新し、録画データ保存部に再度書き込むと共に、ユーザ嗜好情報を更新しユーザ嗜好情報保存部に再度書き込むメタ情報更新部を備えたことを特徴とする映像サーチ再生装置である。
【発明の効果】
【０００５】
本発明の映像サーチ再生装置は、動画データの解析結果の複数の特徴パラメータとその信頼度（特徴の確からしさ）に対して、各特徴パラメータに対する重み付けによる重要度によってサーチ再生速度（基本サーチ再生速度）を算出することにより、単にシーンチェンジなどの変化点付近でサーチ再生速度を変化させるだけでなく、動画の区間単位でサーチ再生速度を変化させるため、ユーザの通常再生モードへの指定が容易である。
また、本発明の映像サーチ再生装置は、その重要度を初期の推定による可変速サーチ再生に対してユーザ操作の意図を反映して以下の著しい効果がある。
１）初期では重要度が高く、低速の基本サーチ再生速度でサーチ再生し、通常再生モードにユーザが変更すると推定していた動画データの区間において、通常再生モードにユーザが指定しない場合には、その映像の区間の重要度を下げることによって、初期の低速の基本サーチ再生速度とは異なり、ユーザの意図を反映した高速の基本サーチ再生速度に変更するため、ユーザは面倒なボタン操作などが不要になる。
２）初期では重要度が高く、低速の基本サーチ再生速度でサーチ再生し、通常再生モードにユーザが変更すると推定していた動画データの区間において、ユーザが高速なサーチ再生への変更を指定した場合には、その映像の区間の重要度を下げることによって、初期の低速の基本サーチ再生速度とは異なり、ユーザの意図を反映した高速の基本サーチ再生速度に変更することができる。
３）異なる嗜好のユーザが同一の動画データに対して可変速サーチ再生を行う場合も同様で、ユーザによって可変速サーチの基本サーチ再生速度が変化して、そのユーザに適したものになる。
本動画データで学習して得た各特徴パラメータの各重み係数は、同一ジャンルまた連続番組、ニュース番組での可変速サーチの精度を向上させることができ、ユーザの通常再生への切り替えを容易にできる。
本学習機能による重み付けで得た重要度の高いストリーム部分のみを抽出することにより、精度の高いハイライト編集が可能となる。
本発明の映像サーチ再生装置は、サーチ再生速度の変化は、加速度をつけた変化をするため、速度が速くなるもしくは、遅くなる前に再生速度が変化し始めるため、ユーザに重要なシーンに近づいている、重要度が低いシーンに近づいているなどの状況が分かる。
【発明を実施するための最良の形態】
【０００６】
以下、本発明の実施の形態を添付図面に基づき詳細に説明する。
【０００７】
（実施の形態）
図１は、本発明の実施の形態１による映像サーチ再生装置の構成を示すブロック図である。図１において、各ブロックの機能は以下のとおりである。１００は特徴量抽出部であり、動画データの映像および音声の解析を行い、複数の特徴パラメータとその確からしさである信頼度の動的メタ情報を抽出する。また、デジタルスチルカメラやビデオカメラ、携帯電話などではズームや電子コンパスによる撮影方位などのカメラ操作でのセンサーデータや手ブレ補正データなどからカメラ操作の特徴パラメータとその信頼度を動的メタ情報として抽出する。１０１は静的メタ情報抽出部であり、放送番組の動画データの場合にはＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ：電子番組表）などからの登場人物や番組タイトル、ジャンルなどの情報を抽出する。また、ビデオカメラなどでの撮影データでは、音楽会や運動会のタイトル情報やＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）の位置情報など、映像データ全体で殆ど変化がない静的メタ情報を抽出する。
１０２はユーザ嗜好情報保存部であり、ユーザ単位もしくはユーザを分類して、嗜好を関連付けて保存している。１０３は重み付け生成部でユーザ嗜好情報と動的メタ情報をもとに静的メタ情報の各特徴パラメータの特徴重要度を示す重みづけを行い、それらの特徴重要度の組み合わせや特徴パラメータの時間軸上の状態遷移を用いて映像データの各時刻の重要度を算出する。１０４はセグメント化部で、得られた各時刻の重要度と、特徴パラメータの変化から、大きく重要度が変化する映像データの時間軸上の位置、及び重要度が近接していても特徴パラメータの種類が大きく変化する映像データの時間軸上の位置で分割点を設け、その分割点間をセグメント化する。１０５は録画データ保存部であり、撮影した動画データや放送の動画データを保存すると共に、静的メタ情報と動的メタ情報、および動画データ内の各セグメントの時間軸上の位置と特徴パラメータの重み係数とセグメントの重要度をセグメント情報として保存する。１０６は加速度制御サーチ再生部で、１０７は動画表示部である。１０６は保存された動画データのサーチ再生を開始したときに、各セグメントの重要度から基本サーチ再生速度を決定してサーチ再生して１０７で映像および音声をユーザに示すと共に、セグメント間の変化点近傍で加速度制御により異なるセグメントへ移行することを、１０７を通してユーザに示す。さらに１０６はセグメント内の特徴パラメータから高速なサーチ再生の場合には音声と映像を分離してマクロな区間（例えば１セグメント区間）では同期をとりながらも、ミクロな区間では非同期にサーチ再生を行うことによって、高速な基本再生サーチ速度のセグメントでもユーザにセグメントの動画内容を把握しやすくする。
１０８はユーザ操作部で、サーチ再生の開始、基本サーチ再生速度の変更、通常再生への移行などを指示するもので、タッチパネルのＧＵＩ画面の操作、キーボード、リモコンなどである。１０９はユーザ操作監視部であり、サーチ再生の基本サーチ再生速度とその再生位置とユーザ操作の意味を理解し、サーチ再生速度の変更や通常再生からサーチ再生への変更が必要か否かを判断する。１１０はサーチ再生更新部であり、１０９からの指示により、通常再生への変更の際の再生開始位置、スキップでの再生開始位置などを算出すると共に、録画データ保存部のセグメントの重要度を更新する。１１１はメタ情報更新部で、１１０で更新されたセグメントと更新の必要がなかったセグメントの全セグメントの重要度とユーザ嗜好情報を元に、各特徴パラメータの重み係数を算出して、録画データ保存部１０５に書き込むと共に、ユーザ嗜好情報を更新して１０２に書き込む。
図２は、動画データ（例では放送の音楽番組）の特徴量抽出部１００で算出される特徴パラメータとその各特徴パラメータの信頼度の例である。横軸は動画データの開始位置からの時刻でありタイムスタンプなどで得られるものである。顔、歓声などは特徴パラメータの種類を示しており、信頼度はそれぞれの特徴パラメータｉに対して正規化して０≦Ｇｉ≦１としている。信頼度は一般に解析結果からは確率として出力される。例えば顔の検出では正面で画面上の大きな領域を占める顔は「顔らしさ」の確率が高くなり、斜めの顔であり画面上で小さい領域の場合は確率が小さくなる。また手振れや照明が不十分でコントラストが低い場合にも確率は小さくなり「顔らしさ」という信頼度は下がる。
各特徴パラメータの種類と信頼度の算出の例を詳細に述べる。
まず、受信した動画データは映像とオーディオに分離し特徴パラメータを算出する。次に映像としては次のような特徴パラメータの解析や判定を行い、信頼度を出力する。
【０００８】
顔：フレーム画像から例えばＨａｒｒ特徴量を生成しＢｏｏｓｔｉｎｇにより顔の領域とその顔らしさである信頼度を算出する。
顔認識：顔検出での顔領域にガボール特徴量を生成して、「特定の人の顔らしさ」を信頼度として算出する。
【０００９】
人：フレーム画像からＨＯＧ特徴量を求め、これを主成分分析後、Ｂｏｏｓｔｉｎｇにより人体の領域とその領域の人体らしさである信頼度を算出する。
音声としては次のような特徴パラメータの解析や判定を行い、信頼度を出力する。
無音：音声の短時間パワーを算出し、これを用いて、微少区間無音部が継続する箇所を（無音部）を検出する。信頼度は無音レベルを正規化する。
【００１０】
音声、音楽、歓声：短時間パワーやＭＦＣＣやＭＰＥＧ７の音響特徴量を算出し、これらを入力とし混合ガウスモデル（ＧＭＭ：  Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）  を用いて、音声、音楽、歓声の判定と信頼度を出力する。
【００１１】
単語：上記の音声と判定された区間中の音声を予め登録されている言葉（キーワード）で認識し、類似性の高い言葉と類似度合いを信頼度として出力する。
トーク：上記の顔検出と音声検出によって、音声の途切れが予め設定した期間内にあるかどうかで判定する。信頼度は顔検出の信頼度と音声検出の信頼度、及び音楽検出の度合いでから算出する。
【００１２】
音楽ジャンル：前述の音楽として検出された部分の音楽信号をテンポやビート、平均音数などの複数のパラメータで分析して特徴量とし、各音楽ジャンルの特徴量と比較して音楽部分の分類を確率的に行う。
【００１３】
ＣＭ：１つのＣＭは、上述の無音が一定時間間隔Δの倍数で現れている区間である。例えば、１つのＣＭの検出は以下の数式１を満たす無音部と無音部との区間を検出することである。ある無音部（基準無音部）と前後の無音部との時間間隔を調べ、その間隔がΔの倍数になっている無音部をＣＭの区切り候補とする。たとえば、ａは２，４、Δは１５秒である  無音部Ｓｉｌｅｎｔ（）のセットを抽出することである。数式１では、無音として検出された点を時間順に並べた点をＳｉｌｅｎｔ（）  として示し、時間順にＳｉｌｅｎｔ（０），  Ｓｉｌｅｎｔ（１），  Ｓｉｌｅｎｔ（２），，，  とインデックス番号で示している。ｒ番目の無音点の前後ｎ個までの無音点との時間の差が３０秒、４５秒、６０秒、、、となるＳｉｌｅｎｔ（）のセットを抽出する。
【００１４】
【数１】
2010246000.tif 000003
【００１５】
これより、１つのＣＭの前後にＣＭが無く単独のＣＭである区間、もしくは、複数のＣＭが連続している区間を後ほどセグメントとして取り扱う。
なお、本実施例におけるシーンチェンジは前後の数フレームで、各フレームを複数に画面分割して、その小画面の色ヒストグラムを算出し、異なるフレーム間で同一位置の小画面の色ヒストグラムの差分の総和を求め、その総和が予め設定した閾値以上の場合にシーンチェンジが発生したと判定している。シーンチェンジの信頼度は、差分量を正規化することによって算出する。そのため、シーンチェンジは他の特徴パラメータによる区間とは異なりフレーム位置となる。また、デコードせずにマクロブロックの差分でも構わない。
ここで、シーンチェンジは他の特徴パラメータによる区間とは異なりフレーム位置となる。
そして、シーンチェンジは後述するセグメントの開始及び終了位置を決定する際に用いる。
次に静的メタ情報抽出部１０１について述べる。放送では，ＥＰＧはアナログ放送の場合には例えば垂直帰線期間に挿入され、デジタル放送の場合には例えばＭＰＥＧ２−ＴＳやＨ．２６４−ＴＳで多重記録されている。そのため、静的メタ情報抽出部１０１はアナログ放送の場合にはチューナによってベースバンド変換し、垂直および水平同期をとって、垂直帰線期間に含まれるＥＰＧデータを取得する。またデジタル放送の場合には、チューナからＴＳパケットを取り出し、ＥＰＧデータを抽出する。また、インターネット経由で取得することもできる。ＥＰＧにはジャンル、番組タイトル、登場人物などのメタ情報が含まれている。
下記の表１は静的メタ情報抽出部１０１で抽出されたメタ情報の例であり、エントリー番号（＃）、番組タイトル、番組開始時刻と終了時刻、ジャンル、登場人物・グループ、撮影場所などがテーブルで出力される。
【００１６】
【表１】
2010246000.tif 000004
【００１７】
なお、ビデオカメラなどによる撮影データでは、静的メタ情報は、運動会、入学式、卒業式、旅行（山）、旅行（海）、旅行（街）などのイベント情報や、ＧＰＳで取得した地図上の撮影場所や屋内・屋外といった撮影場所になる。また、この際のイベント情報はビデオカメラなどに予め設定された複数のイベントからの選択や、ユーザがタッチパネルなどを利用して文字入力したものでも構わない。
ユーザ嗜好情報保存部１０２では、視聴するユーザの名前、年齢、性別、好みおよび嫌いなタレント名・音楽ジャンル・スポーツなどとが、クラスタリングされたユーザとして登録されている。表２はユーザ嗜好情報保存部１０２に保存されている各ユーザの嗜好情報の簡単なテーブルである。表２において嗜好の欄の上段は「好み」で下段は「嫌いなもの」を順番に挙げている。
重み生成部１０３は動画データの解析によって得られた特徴パラメータの信頼度に対して、ユーザの嗜好情報と放送の動画データの場合にはジャンル情報などから重み係数をつける。本実施の形態では図２の音楽番組において、図３の＃１の静的メタ情報を備え、録画データに対して下記の表２の「松下Ａ子」と「松下Ｂ男」が視聴者となると仮定した場合について述べる。定性的には、以下のように重み係数を決定する。
【００１８】
【表２】
2010246000.tif 000005
【００１９】
ジャンル情報から、音楽番組であることから、特徴パラメータの一つである音楽と検出された区間の重み係数を大きくする。また、一般にＣＭ部分はスキップや早送りする場合が多いため、ＣＭ部分には負の重み係数をかける。また、「松下Ａ子」は歌手Ｂが好みであるので、歌手Ｂが認識された区間の重み係数を大きくする。
一方視聴者が「松下Ｂ男」の場合には、歌手Ｃが二番目に好きなタレントであるため、顔認識で歌手Ｃが登場する区間の重み係数を上げる。好きでない歌手Ｂが登場する区間もＣＭと同じように負の重み係数をかける。
下記の表３は具体的に各特徴パラメータｉの静的メタ情報から得られる初期値である重み係数ｗｉ、「松下Ａ子」が視聴する場合の重み係数（ｗｉ＋Ａ子＿ｗｉ）、「松下Ｂ男」が視聴する場合の重み係数（ｗｉ＋Ｂ男＿ｗｉ）を示した例であり、各特徴パラメータの重み付けの例（音楽番組）である。
【００２０】
【表３】
2010246000.tif 000006
【００２１】
なお、ｕｓｅｒは視聴対象者を示している。ここで、本実施の形態では初期値ｗｉは静的メタ情報の中のジャンル情報が音楽番組であることから、統計的に平均して算出されているものや、放送局やインターネットの動画サーバから、制作者の意図を示すものとして、また推薦の情報として送られてきてもよい。例えば確率統計的な場合には、本発明を搭載する多数の録画機がネット経由でサーバに接続されている場合には、サーバで過去の同じ番組の視聴状況の統計や、同じジャンルである他の音楽番組の視聴状況の統計などから算出してもよいし、さらにユーザ層別の複数の初期値として送られてきても構わない。また、放送局や動画サーバなどから送られてこない場合でも、その録画機の利用者だけでの確率統計データから算出したものであってもよい。
なお、その録画機の視聴者である各ユーザの初期値を持たせることも可能であるが、新たなユーザがその録画機を用いて視聴する場合には、ユーザ情報を持たないので平均的な初期値を設定しておくのが広くユーザに利用できるのでよい。
ｕｓｅｒ＿ｗｉはユーザ毎に異なる値になり、その値はユーザのサーチ再生時の通常再生への変更、逆に通常再生からサーチ再生への変更やスキップなどの操作時の、動画データに含まれる解析結果のメタ情報や静的メタ情報、また通常再生でもどのようなメタ情報を持つ動画データを再生しているかによって確率統計的に算出する。
次に、重要度Ｙ（ｔ）の算出について説明する。下記の数式２は時刻ｔによる動画データの重要度をＹ（ｔ）（［０，１］の範囲で正規化した値）として算出する例である。
ここで、時刻ｔは、タイムスタンプのＰＴＳの値などであり、本実施例では、秒３０フレームの動画データで、１フレーム当たりの時間をΔＦとして、動画データの最初のフレームからのフレームナンバーにΔＦを乗算した値としている。つまり、動画データを通常再生（１倍速再生）した場合の時刻を示している。
【００２２】
【数２】
2010246000.tif 000007
【００２３】
図３は前述の音楽番組に対して、数式２で算出した重要度変化をグラフ化した例である。ここで、前述のように、本実施例では顔認識なる特徴パラメータは、顔検出の特徴パラメータに包含されるため、顔検出区間から顔認識区間を差し引いた区間に当初の顔検出信頼度ｇ(ｔ)を適用し、顔検出区間で且つ顔認識区間では顔検出信頼度ｇ(ｔ)＝０を適用している。
図３（ａ）は「松下Ａ子」が視聴するユーザ、図３（ｂ）は「松下Ｂ男」が視聴するユーザの場合であり、図３（ａ）ではＣＭ検出された部分は重要度が０近くにあり、音楽番組であるために曲部分は重要度が上がり、さらに好みのポップスの曲２の歌手Ｂが認識されている部分で最大値の１になっている。また、トークの部分は曲とＣＭの中間レベルの重要度になるが、トーク２の歌手Ｂが認識されている部分は相対的に重要度が高くなっている。
一方、図３（ｂ）の「松下Ｂ男」では、図３（ａ）の「松下Ａ子」の場合と基本的に同じであるが、歌手Ｂが嫌いであり、歌手Ｃが好みの歌手であり演歌が好みであることから、演歌の曲３で歌手Ｃが認識された部分の重要度は最大値の１となり、好みでないポップスの曲２では重要度が他の曲に比べて重要度が下がり、さらにトーク２とポップスの曲２において歌手Ｂの顔が認識されている部分は重要度が下がる。
なお、数式２は時刻ｔでの各特徴パラメータｉの信頼度と重み係数ｗｉの積によって各特徴パラメータが占める重要度を求め、特徴パラメータ全てに対して線形結合しているが、時間的な状態遷移を用いて重要度を算出することもできる。例えば、スポーツ番組などでは、歓声が上がった時点のみが重要ではなく、歓声が上がる手前のプレイが重要であるため、歓声の前の特徴パラメータの重要度を上げる論理式と算術式を設定すればよい。他の例では、撮影者の意図からカメラのズームなどの操作の後に重要な部分があることや、番組編集者の意図からＣＭの前後に重要な部分があることが多い。このような場合も時間軸上の特徴パラメータの状態遷移を反映した重要度の式を導けばよい。この場合には状態遷移に沿って各特徴パラメータの重み係数を設定しておいてもよい。
また、静的メタ情報をもとに、重要度の算出式を設定してもよい。例えば音楽番組の場合には、曲目やアーティスト名の知名度や人気によって重みを決めてもよい。
なお、状態遷移に沿って各特徴パラメータの重み係数を設定しておいてもよい。
また、時間軸上の状態遷移がない場合も、複数の特徴パラメータの条件で重要度を変化させる設定の方が適切な場合もある。例えば、ドラマ番組のＣＭの中に好みの音楽や好みのタレントが登場する場合では、重要度を上げないのが一般的である。このような場合でも重要度算出の式は、条件設定して算出するのが望ましい。例えばＣＭと判断された区間では音楽等の特徴パラメータによる重要度は無視する。ＣＭと判断されなかった区間では音声や音楽などの特徴パラメータによる重要度を反映する。また、音楽区間と検出され、その中に好みでない歌手を認識した区間があるのであれば、その音楽区間の重要度を下げるなどによって精度を向上させることができ、図３（ｂ）の例では曲２の音楽区間全体の重要度を更に下げることができ、「松下Ｂ男」の視聴をさらに支援することができる。
また、本実施の形態では、コンテンツのジャンル情報に応じた特徴パラメータの重み係数は、重み付け生成部１０３で保持している。なお、ジャンル情報に応じた特徴パラメータの重み係数は、録画データ保存部１０５から読み出してもよい。
次にセグメント化部１０４では、ある一定の期間以上の条件のもとに、重み付け生成部１０３で得られた重要度の大きな変化、特徴パラメータの変化、そして検出されたシーンチェンジによってセグメントへの分割とセグメントの統合を行い最終のセグメントを算出する。
予め定めた最小時間以上で最大時間以内を有するセグメントへの分割化の手法は以下のようにして行う。
【００２４】
・  重要度の大きな変化点でセグメント分割
・  特徴パラメータの大きな変化点でセグメント分割
・  重要度および特徴パラメータの大きな変化はなく、繰り返しの境目でセグメント分割
図４は、重要度の大きな変化でセグメント分割をした例である。また、相撲の取組みの番組を取込みごとに分割、音楽番組のトークと曲ごとの分割、ＣＭ区間は複数のＣＭが連続している場合が多いが、それらの各ＣＭを別セグメントにせずに全体を一つのＣＭセグメントとして統合する。なお、各ＣＭは無音部の周期性から求めることができる。番組のジャンルや特定の番組、イベントの撮影動画など動画の種類によってセグメントの分割方法は変えても構わない。
本実施の形態におけるシーンチェンジは前後の数フレームで、各フレームを複数に画面分割して、その小画面のヒストグラムを算出し、異なるフレーム間で同一位置の小画面のヒストグラムの変化度が大きいフレームをシーンチェンジポイントとして求めているため、前後のフレームが所属する領域の意味（例えば、音楽とかＣＭなどの意味）とは無関係である。
音響特徴量から、例えば、１秒単位での短時間区間を音声、音楽、歓声やそれらの組み合わせに分類して、各区間の検出ノイズを取り除き、音声区間、音楽区間、歓声区間を求める。
本実施の形態では、図２のように、ジャンルが音楽番組であることから、ＣＭ、トーク、曲の区間を中心にセグメント化する。特定できない区間は、重要度が大きく変化する時間や、一定時間より重要度に変化がない場合はあらかじめ決めた一定時間でセグメントを設ける。
録画データ保存部１０５では、特徴量抽出部１００で算出された特徴量、特徴パラメータと信頼度、特徴パラメータの重み係数と重要度、セグメント化部１０４で求められたセグメント情報、動画データ、ジャンルやコンテンツの種類であるジャンル情報やＧＰＳ情報など静的メタ情報を保存している。
次に加速度制御サーチ再生部１０６について説明をする。大きくは通常再生モードとサーチ再生モードの２種類の速度制御を行う。サーチ再生モードには、各セグメントに対して基本サーチ再生速度を備えている。ここで、基本サーチ再生速度の決定は、重み付け生成部１０３で算出して録画データ保存部１０５に保存された重要度を元に決定する。
各セグメント内の各時刻での重要度のミクロな変化は、セグメント間の相対的な重要度を決定する上ではあまり意味がない。そこで、本実施例では各セグメント内の重要度Ｙｐ（ｔ）を下記の数式３のように各セグメント区間で一定であるとする。例えば、セグメント区間Ｐの重要度の平均値である平均重要度Ｙp(avr)をＹp（ｔ）としている。図５は、セグメントごとに求められた重要度のグラフである。
【００２５】
【数３】
2010246000.tif 000008
【００２６】
また通常再生の推奨如何によってセグメントＰは以下の数式４の閾値ＹＨもしくはＹＬを設定する。
【００２７】
【数４】
2010246000.tif 000009
【００２８】
通常再生の推奨とは、サーチ再生モードにおいてユーザに通常再生モードへの指定を推奨することであり、サーチのスキップの推奨とは、サーチ再生モードで現セグメントから次のセグメントへスキップしてサーチ再生を継続することを推奨することである。
加速度制御サーチ再生部１０６は、サーチ再生モードと通常再生モードの二つのモードを持つ再生制御を行う。サーチ再生モードでの基本サーチ再生速度は、録画データ保存部１０５に保存された重要度を用い、各セグメントでの再生速度を決定する。通常再生モードは一倍速の通常再生である。
前述のように、重要度は一つのセグメント内で同一であるように平坦化されているが、重要度から基本サーチ再生速度を決定する際に考慮すべきことは、１）ユーザに通常再生への移行を促すことを示す    ２）録画機での再生機能もしくは、この重要度をもとにして再生する機器が複数の種類があり、再生機器の能力に応じること  ３）視聴者はサーチ再生速度に対してリニアな感覚を持っていないこと。例えば、殆どのユーザは１倍速と１.３倍速との差を認識できるが、５倍速と５.３倍速の差は認識できない。このことから、重要度から基本サーチ再生速度への変換は非線形な関数にする。例えば、図６は前述の音楽番組の松下Ａ子の場合における重要度から基本サーチ再生速度への変換の図である。図６でセグメントＰの重要度Ｙpから基本サーチ再生速度Ｖp_constへの変換にサーチ速度変換関数を設定している。この関数では重要度の高いセグメント間での基本サーチ再生速度（例では倍速で示している）の差は小さく、逆に重要度の低いセグメント間では差を大きくしている。
なお、図６の基本サーチ再生速度の時刻ｔは、重要度と同様に通常再生時（一倍速再生時）の時刻を示しており、実時間での時刻ではない。
ここで、図６ではＹ（ｔ）＝０は６倍速、Ｙ（ｔ）＝１では１倍速としているが、装置によって、またユーザの希望でスケールを変化させてもよい。例えば、Ｙ（ｔ）＝０では３倍速、Ｙ（ｔ）＝１では、通常再生よりも遅いサーチ再生速度である０.５倍速にしてもよい。
さらに、セグメント化部１０４で設定した通常再生推奨閾値ＹＨに対応して、通常再生推奨基本サーチ再生速度Ｖrecを設定し、ＹＨ以上の重要度のセグメントはＶrec以下の基本サーチ再生速度に設定している。図６の例では、ＹＨ＝０.７５であり、それに対応するＶrec＝１.５倍速にした関数である。その結果、曲１、曲２、曲３が通常再生を推奨するセグメントになる。
また、サーチ再生を行う機器の性能などから、再生側の基本サーチ再生速度を予め設定し、セグメントの重要度の種類の数が一致させない方法もある。例えば、１.１倍速、１.３倍速、１.５倍速、２倍速、３倍速、・・・、と複数の基本サーチ再生速度を備える。図７は重要度に対して不連続な基本サーチ再生速度を生成する例であり、図７（ａ）、図７（ｂ）はセグメントＰの重要度Ｙpに対して不連続なサーチ速度変換関数を用いて基本サーチ再生速度Ｖp_constを生成する例である。
図７（ａ）では、前述と同様に通常再生推奨の閾値ＹＨ(例では、０.７５)と通常再生推奨の基本サーチ再生速度閾値Ｖrec（例では、１.５倍速）を設定して、通常再生を推奨する１.１倍速、１.２倍速、１.５倍速と、それ以外の２.５倍速、３.５倍速、５倍速、８倍速の計７種の基本サーチ再生速度を設定している。通常再生を推奨する基本サーチ再生速度の最大の１.５倍速と、通常再生を推奨しない基本サーチ再生速度の最小の２.５倍速には大きな差があり、視聴者であるユーザに通常再生の推奨とそれ以外を明確に判断できるようにしている。
図７（ｂ）では、通常再生推奨の閾値ＹＨ（例では、同様に０.７５）に対応して、通常再生推奨の基本サーチ再生速度閾値Ｖrec（例では、１.５）と、さらにスキップ推奨の閾値ＹＬ（例では、０.２５）と、それに対応するスキップ推奨の基本サーチ再生速度閾値Ｖskp（例では、４倍速）を設定している。
即ち、サーチ速度変換関数は以下を満足する設定を行なっている。
【００２９】
・  セグメントの重要度がＹＨ以上ならば、通常再生モードへの指定を推奨する基本サーチ再生速度Ｖrec以下にする。
【００３０】
・  セグメントの重要度がＹＬ以下ならば、スキップの指定を推奨する基本サーチ再生速度Ｖskp以上にする。
これによって、サーチ再生速度によって、装置側がどのセグメントを重要と推定し、通常再生への切り替えを推奨しているか、またスキップを推奨しているかをユーザは容易に判断できる。
ここで、基本サーチ再生速度や重要度を文字などでスーパーインポーズによって示すことによって、効果を出すことはできるが、サーチ再生中の動画と文字を同時にユーザは観る必要があるため、基本サーチ再生速度の変化の補助として示すのが適切である。
また、同程度の重要度が多く存在する偏った分布が、動画データ全体に対して、または動画データのある時間軸の範囲で存在する場合には、偏った重要度の部分のサーチ再生速度のスケールを大きくするように、動画データ個別に、さらに動画データの時間軸の範囲ごとに異なる変換を施してもよい。例えば、相撲番組などでは、対戦が周期的に繰り返されるが、番組の後半に人気力士が登場することから、対戦と対戦の間でも好みの力士の顔が頻繁に登場し、また歓声なども高いことから、重要度が高くなるため、高い重要度で分布する。そのような場合には、番組の前半と後半で同じ重要度であるセグメントであってもサーチ再生速度を変えるサーチ再生速度変換を施すことは有効である。なお、サーチ速度変換関数は入力を重要度、出力を基本サーチ再生速度とする変換テーブルによって実現することもできる。
本実施の形態では、以下の数式５で求める。
【００３１】
【数５】
2010246000.tif 000010
【００３２】
また、更にセグメントの長さを考慮して、基本サーチ再生速度を設定してもよい。例えば、図７（ｂ）において、ＣＭのセグメントが通常再生時に３０秒で、その重要度が０．２５以下である場合には、８倍速になり、ＣＭのセグメントのサーチ再生時の実時間は４秒足らずになる。そのため、ユーザがスキップもしくは通常再生への切り替え、サーチ再生速度のダウンを指定することが難しい。そのため、セグメント長を複数個に分類し、例えば前述の変換テーブルの入力として重要度だけでなく、この分類されたセグメント長を入力して出力することによって実現できる。
【００３３】
次に、セグメントの変化点前で実際のサーチ再生速度を加速度制御することによって、現在のサーチ再生のセグメントから別のセグメントのサーチ再生に変化することを視聴者であるユーザに示す。セグメントの変化点の手前で加速度制御することは、ユーザが現在のサーチ再生におけるセグメントが終了に近いこと、つまり次のセグメントに近づいていることを知ることができるために以下の意図がある。
【００３４】
・  次のセグメントの重要度が低く、現在のセグメントが通常再生推奨のものであれば、ユーザに再度その意図を示し、ユーザの通常再生への変更忘れを抑える。
【００３５】
・  次のセグメントが、現在のセグメントよりも重要度が高い場合には、負の加速度になるために、次のセグメントのサーチ再生開始したときに、ユーザの通常再生への変更忘れを抑えると同時に、素早い通常再生への変更ができるために、頭だしを迅速にかつ確実性を増す。
ここで、実際のサーチ再生速度Ｖp(t)の基本式を下記の数式６に示す。数式６はセグメントｐの途中から、セグメントｐ＋１の開始点まで線形な加速度制御する例である。
数式６において、ユーザには加速度制御する実時間Ｔrealを一定の時間することが望ましい
と考えられる。しかし、この場合には以下の問題が生じる。
【００３６】
・  Ｖp+1_constとＶp_constの差が小さい場合には、Ｔrealでは加速度制御していることが明確にならない。
【００３７】
・  セグメントｐの加速度遷移以外である前半のサーチ再生の実時間であるＴp／Ｖp_const−Ｔreal （但し、Ｔｐ＝ｔp+1−ｔp）が短いために、ユーザはセグメントｐを十分に認識できない状態で、加速度遷移に突入する場合があること。
【００３８】
前者は、数式６で算出される加速度の大きさよりも大きな値となる正負の加速度遷移を連続的に行うことにより解決できる。例えばＶp+1_const≧Ｖp_constの場合には、大きな値を持つ正の加速度制御の後に負の加速度制御を持たせる。逆にＶp+1_const≦Ｖp_constの場合には、大きな値を持つ負の加速度制御の後に正の加速度制御を持たせる。
【００３９】
これによって、ユーザは現在のサーチ再生のセグメントｐからセグメントｐ＋１への移行を明確に認識できると共に、セグメントｐからセグメントｐ＋１の基本サーチ再生速度の大小関係も把握することができる。
【００４０】
後者は、Ｔp／Ｖp_const−Ｔrealが予め設定したサーチ再生の実時間以上になるようにセグメントｐの基本サーチ再生速度Ｖp_constを下げた値に設定する。
【００４１】
また、前者と後者が共に起こる場合には、上記方式を組み合わせる。
【００４２】
【数６】
2010246000.tif 000011
【００４３】
セグメントＰで速度が高速な場合は、映像と音声を同じ速度で再生させる場合に分かりにくくなるため、セグメントごとに求めた基本サーチ再生速度を平均のサーチ再生速度にさせる条件の下で、映像、音声各々の重要度に応じて映像と音声のサーチ再生速度を求め、これに応じた速度制御して再生する（ミクロな再生制御）する。これにより、高速再生であっても動画の中身がユーザが把握しやすくなる。例えば、トークのセグメントでは映像は好きな歌手が出ているシーンの速度はやや速めの再生でそれ以外の部分を高速再生やＧＯＰ単位のフレーム再生による高速再生、音声は音声区間だけを可聴範囲の速度での再生や文頭のみ速度を落としつつ会話の区間の速度を速め、それ以外をスキップして再生し、映像と音声と異なる速度で再生制御をする。そして、動作中は、ユーザ操作監視部１０９に対し、再生速度と再生時間と再生中のコンテンツの再生映像の時間（先頭オフセット０のＰＴＳから得られるフレーム数）とセグメント番号やセグメントが切り替ったことが分かるフラグなどの情報を送っている。
次にユーザ操作部１０８では、サーチ再生の開始、サーチ再生速度の変更、通常再生への移行などのユーザ操作を受ける。サーチ再生モード中の再生速度のアップやダウン、サーチ再生モード中の前や後ろへのスキップ、サーチ再生モードから通常再生モードへの切替え、通常再生モードからサーチ再生モードへの切替え、通常再生モードでの前や後ろへのスキップなどのユーザ操作を受ける。タッチパネルのＧＵＩ画面のユーザ操作、キーボード、リモコンなどで、操作コマンドとして、操作の種類である“再生速度変更”、変更量をユーザ操作コマンドとして、ユーザ操作監視部１０９に送る。
次にユーザ操作監視部１０９では、ユーザ操作部１０８からの入力を制御コマンドとしてサーチ再生更新部に送ること、と、ユーザ操作から判断した自動操作コマンドを発生する。サーチ再生モードで基本サーチ再生速度とセグメントが切替った時間その再生位置とユーザ操作から、セグメントが切替って以降一定時間ユーザ操作が無く、次のセグメントでのサーチ再生速度に向かって加速度再生がかかってない場合、サーチ速度を加速するコマンドを発生する。つまり、加速度制御サーチ再生部１０６から再生時間と再生速度と再生中のコンテンツの再生映像の時間（先頭オフセット０としたときのＰＴＳから得られるフレーム数）を受取り、これらとユーザ操作コマンドである操作の種類と変更量から生成した再生制御コマンドや、ユーザ操作から判断して再生モードを切替える制御コマンドをサーチ再生更新部１１０に対して送る。
次にサーチ再生更新部１１０では、ユーザ操作監視部１０９からの指示により、サーチ再生モードから通常再生モードへ、もしくは、通常再生モードからサーチ再生モードへの切替えの際の再生開始位置、サーチ再生モードのスキップや通常再生モードのスキップでの再生開始位置などを算出する。その後、録画データ保存部１０５に保存されて、読み出されているセグメントの重要度の中で、再生制御を変更する該当セグメントの重要度を更新する。
再生開始点は、以下の数式７のｙ（ｔ）が最大になる時間とする。重要度が近い、もしくは、等しい再生開始位置候補が複数ある場合は、例えば、開始位置サムネイルを表示し、ユーザに問い合わせて決定する。以下の時間は本実施の形態ではフレーム数に換算する。
【００４４】
【数７】
2010246000.tif 000012
【００４５】
そして、再生速度のアップやダウン、モードの切替え、スキップなどの再生制御コマンド、変更後の再生速度、再生開始点などは、加速度制御サーチ再生部１０６に伝えられ、加速度制御が変更される。
図８は、松下Ａ子の場合の重要度に基づく本実施の形態でのサーチ再生の例である。横軸の時間はストリームの時間であり、サーチ再生時の実時間ではない。サーチ再生速度を加速した場合、完了して通常再生モードに切替えした場合の例、一定時間（Ｔ＿ｋ）ユーザ操作入力がなかった場合の再生速度の例を示す。Ｔｏｐ１で再生速度アップのユーザ操作が入力された場合、再生開始位置は、同じセグメント内にＴｏｐ１以前に重要度が高い時間がないため、セグメントの先頭を開始点とした例を示す。また、Ｔｏｐ１で通常再生モードへの切替えのユーザ操作が入力された場合は、同じセグメント内にＴｏｐ２以前に重要度の高い時間を通常再生モード開始時間とした例を示す。
なお、ユーザ操作が入った場合の再生開始点は、セグメントよりも細かい短時間区間での重要度の高い点としたが、再生中のセグメントの開始点であっても、動画の内容から判断された点や動画の内容とユーザ嗜好性が反映された点であれば、構わない。
また、セグメントの更新をした速度は重要度に変換され、この重要度は、サーチ再生終了後にユーザ嗜好情報の変更に利用するため、録画データ保存部１０５に一時的に保存される。そして、ある動画再生開始時から再生終了時の間にユーザ操作監視部１０４から受信した情報は、録画データ保存部１０５を通じて、動画の終端までの再生終了まで保持され、終了後、メタ情報更新部１１１は、サーチ再生終了時に録画データ保存部の更新された各セグメントの重要度と動的メタ情報および静的メタ情報から再度特徴パラメータの重み係数と重要度を更新し、録画データ保存部に再度書き込むと共に、ユーザ嗜好情報を更新しユーザ嗜好情報保存部に再度書き込む。
本実施の形態では、速度と重要度の関係は、Ｔ（Ｙｐ）で定義されていることから、これより、サーチ再生実行時の速度より重要度  Ｙｐ  を求める。なお、速度と重要度との関係を反比例の関係などの式で表している場合は、その式から重要度  Ｙｐ  を求める。Ｙｐが一意に決まらない場合はその範囲での中間値を設定するなどする。
セグメントＰが区間［ｔｐ、ｔｐ＋Ｔｐ−１）である場合に、時刻ｔの重要度をＹｐ（ｔ）とすると、最小二乗誤差ｅ（ｔ）を下記の数式８で定義する。下記二乗誤差が最小となるようにＷｉを求める。
【００４６】
【数８】
2010246000.tif 000013
【００４７】
但し、
ｔは対象としている映像データの開始点から通常再生した場合の再生位置の時刻、
ｎは特徴パラメータの数（次元の数）、
ｇｉ（ｔ）は第ｉ番目の特徴パラメータの正規化した確度、
ｗｉは第ｉ番目の特徴パラメータの重み係数である。
また、セグメントＰ区間での平均誤差Ｅは下記数式９で定義する。
【００４８】
【数９】
2010246000.tif 000014
【００４９】
各セグメントごとにＥ（ｐ）を計算し、Ｅ（ｐ）を最小にするＷｉを求める。
なお、Ｗｉが一意に求まらない場合は、Ｗｉの一部を固定してもよい。その際、番組の内容から影響度が大きいＷｉは固定しないように考慮する。
特徴パラメータｉの重み係数であるＷｉの変更量がユーザＡの操作によってのみ発生した場合は、ユーザＡの嗜好情報の変更量とする。複数のユーザ操作により各々の操作後に求められたＷｉの変更量は、その変更量の平均値を、Ｗｉの変更量とし、平均値からの差を各ユーザの重み変更量とし、表３を変更する。重みの変更量から表２に対応する変更は、ユーザ嗜好情報として保存する。
【産業上の利用可能性】
【００５０】
本発明にかかる映像サーチ再生装置は、映像サーチ時に可変速サーチで動画の重要度に基づくサーチ再生とユーザの通常再生モードへの指定が容易にできるものであり、再生開始位置の指定に有用である。また、本発明は、動画のシーンの重要度を初期の推定による可変サーチに対してユーザ操作の意図を反映が可能となり、更に有用である。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施の形態１における装置の構成を示すブロック図
【図２】特徴量抽出部１００で算出される特徴パラメータと各特徴パラメータの信頼度の例（音楽番組の例）を表した図
【図３】ユーザの嗜好情報を反映した重要度の時間軸変化の例を表した図
【図４】セグメント化の例を表した図
【図５】セグメントの重要度の例を表した図
【図６】基本サーチ速度（松下Ａ子の場合）の例を表した図
【図７】不連続なサーチ再生速度を表した図
【図８】松下Ａ子の場合の重要度に基づく本実施の形態でのサーチ再生の例を表した図
【符号の説明】
【００５２】
１００    特徴量抽出部
１０１    静的メタ情報抽出部
１０２    ユーザ嗜好情報保存部
１０３    重み付け生成部
１０４    セグメント化部
１０５    記録データ保存部
１０６    加速度制御サーチ再生部
１０７    動画表示部
１０８    ユーザ操作部
１０９    ユーザ操作監視部
１１０    サーチ再生更新部
１１１    メタ情報更新部
【図１】
2010246000.tif 000015
【図２】
2010246000.tif 000016
【図３】
2010246000.tif 000017
【図４】
2010246000.tif 000018
【図５】
2010246000.tif 000019
【図６】
2010246000.tif 000020
【図７】
2010246000.tif 000021
【図８】
2010246000.tif 000022