(57)【要約】【課題】コンテンツを用いて行われた実演が収録された映像コンテンツを、各トピックの区切りに対応する位置で時分割すること目的とする。【解決手段】映像編集装置（サーバ１００）は、コンテンツを用いて実演を行う話者の音声を取得する第１取得手段（１１１）と、前記実演を撮像した映像を取得する第２取得手段（１１２）と、前記映像と前記音声とに基づいて決定される、前記コンテンツを分割する時間軸上の位置に基づいて、当該コンテンツを編集する編集手段（１３０）とを有する【選択図】図１
2019201310.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを用いて実演を行う話者の音声を取得する第１取得手段と、
前記実演を撮像した映像を取得する第２取得手段と、
前記映像と前記音声とに基づいて決定される、前記映像を区分する時間軸上のポイントに従って、当該映像を編集する編集手段と
を有する映像編集装置。
【請求項２】
前記編集手段は、前記映像を画像解析した結果に基づいて第１の指標を算出し、前記映像を音声解析した結果に基づいて第２の指標を算出し、前記第１の指標および前記第２の指標に重み付けを行うことにより、前記実演の断絶性を示す一の指標を算出する、
請求項１に記載の映像編集装置。
【請求項３】
前記コンテンツは、複数の頁によって構成され、一頁ずつ表示され、
前記編集手段は、頁の切替え前後におけるレイアウトの共通性に基づいて、前記第１の指標を算出する、
請求項２に記載の映像編集装置。
【請求項４】
前記編集手段は、表示の切替えがなされたか否かの判定の結果に基づいて、前記第１の指標を算出する、
請求項２または３に記載の映像編集装置。
【請求項５】
前記編集手段は、前記話者の実演中の動きを検出し、当該動きに基づいて前記第１の指標を算出する、
請求項２〜４のいずれか一項に記載の映像編集装置。
【請求項６】
前記編集手段は、発話内容に予め登録された単語が含まれているか、および発話されていない期間の長さのうち少なくともいずれか一方に基づいて、前記第２の指標を算出する、
請求項２〜５のいずれか一項に記載の映像編集装置。
【請求項７】
前記話者について、発話の特徴および動きの特徴の少なくともいずれかについての情報を記憶する記憶部を更に備え、
前記編集手段を更に備え、
前記編集手段は、該決定された一の位置に基づいて分割された２つのコンテンツが、当該一の位置の前後で内容が共通するように、当該２のコンテンツにそれぞれ対応する２つのデータを生成する、
請求項１〜６のいずれか一項に記載の映像編集装置。
【請求項８】
コンピュータに、
コンテンツを用いて実演を行う話者の音声を取得するステップと、
前記実演を撮像した映像を取得するステップと、
前記映像と前記音声とに基づいて決定される、前記コンテンツを区分する時間軸上のポイントに従って、当該コンテンツを編集するステップと
を実行させるためのプログラム。
【請求項９】
コンテンツを用いて実演を行う話者の音声を取得するステップと、
前記実演を撮像した映像を取得するステップと、
前記映像と前記音声とに基づいて決定される、前記コンテンツを区分する時間軸上のポイントに従って、当該コンテンツを編集するステップと
を有するコンテンツ編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の編集に関する。
【背景技術】
【０００２】
一の動画コンテンツを時間軸上のポイントにおいて区分したいというニーズがある。例えば、一の動画コンテンツが、複数の話題（トピック）を含む講義を収録したものである場合に、動画コンテンツをトピックごとに区分（分割）することができれば、必要な部分のみを選択して配信することができる。
従来は、この分割するポイントの決定は、人間が、再生した映像を視聴して、映像や音声を確認しつつ、トピックの変更があった箇所を判定していた。この作業にかかる人的コストは無視できない。
コンテンツの分割に関連し、文献１には、スポーツ中継等の映像コンテンツにおける重要なシーンに対応する時間軸上の区間を抽出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８-２７８２１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
文献１の技術は、試合等において盛り上がっているシーンを推定するものであって、トピックの区切りに対応する時間軸情報の位置を特定することは困難であった。
本発明は、コンテンツを用いて行われた実演が収録された映像コンテンツを、各トピックの区切りに対応する位置で時分割すること目的とする。
【課題を解決するための手段】
【０００５】
本発明は、一の態様において、コンテンツを用いて実演を行う話者の音声を取得する第１取得手段と、前記実演を撮像した映像を取得する第２取得手段と、前記映像と前記音声とに基づいて決定される、前記コンテンツを分割する時間軸上の位置に基づいて、当該コンテンツを編集する編集手段とを有するコンテンツ編集装置を提供する。
【０００６】
本発明によれば、コンテンツを用いて行われた実演が収録された映像コンテンツを、各トピックの区切りに対応する位置で区分される。
【図面の簡単な説明】
【０００７】
【図１】編集システム１０の概要図。
【図２】サーバ１００の機能ブロック図。
【図３】ＤＢ１に記憶される情報の例。
【図４】ＤＢ２に記憶される情報の例。
【図５】分割前後のファイルの構造を模式的に示す図。
【図６】分割前後のファイルの構造を模式的に示す図（その２）。
【図７】サーバ１００の動作例を示す図。
【図８】分割ポイントを決定する処理の具体例。
【発明を実施するための形態】
【０００８】
図１は編集システム１０の概要を示す。編集システム１０は、サーバ１００と、端末２００と、ビデオカメラ３１０とを含む。サーバ１００は、例えば映像編集サービスを行う企業等によって管理され、映像データを編集する装置である。端末２００は、例えば映像の配信サービスを受けるユーザが所有するコンピュータである。ビデオカメラ３１０は、編集対象の映像データを生成する。ビデオカメラ３１０およびサーバ１００は、インターネット４００を介して端末２００と接続される。映像データの形式は、例えばAVI、MP4、MOV、MPEG、MKV、WMVであって、コーデックやコンテナの方式は任意である。
【０００９】
話者９０１は、講演、公演、発表、プレゼン、授業、講義、セミナー、スピーチ、実況といった、コンテンツを用いながら所定の目的に従って話を進めていく人物（以下、「実演を行う話者」などと称する）である。話の内容、ジャンル、目的、聴衆については、特に問わない。例えば、後に配信することを目的としてスタジオ等において収録する場合は、聴衆は存在しなくてもよい。
【００１０】
コンテンツとは、好ましくは、その提示順が予め設定されている情報である。具体的には、複数の頁によって構成されたデータであって、一頁ずつ画面に表示され、話の進行に従って切替えられていくスライド（パワーポイント（登録商標））データである。ただし、コンテンツの形式や内容はこれに限られない。
【００１１】
ＰＣ３２０は、話者９０１が実演時に用いるコンテンツデータが格納されたＰＣである。プロジェクタ３３０は、接続されたＰＣ３２０から供給される映像信号に基づいて、コンテンツを投影面３４０に投影する汎用のプロジェクタである。投影面３４０は、プロジェクタ３３０にて投影されたコンテンツが表示される場所である。
【００１２】
なお、プロジェクタ３３０を設けるかわりに、投影面３４０としていわゆる電子黒板や大画面表示装置を設けてもよい。要するに、話者９０１による実演の際に用いられるコンテンツが表示され、それが３０１によって撮影されればよい。また、ＰＣ３２０、プロジェクタ３３０、投影面３４０を省略し、アナログの黒板やホワイトボードを用意し、話者９０１が黒板等に書きながらあるいはコンピュータ画面上に文字や図形を電子的に書き込みながらコンテンツを生成しつつ実演を行う様子を撮影したものであってもよい。この場合は、話者やその補助者によって手書きされた文字や図形がコンテンツとなる。
【００１３】
ビデオカメラ３１０は、編集対象の映像データとなる撮影を行う機器であって、話者９０１の実演の様子を撮影する。撮影されたデータには、発話内容を示す音声データと、少なくとも一部分が映っていることが好ましい。なお、ビデオカメラ３１０は固定されていてもよいしカメラマンによって操作されてもよい。撮影範囲に投影面３４０の全体が含まれていることが好ましいが、一部のコンテンツが映っていなくても構わない。また、コンテンツに加えて話者９０１が映っていても構わない。また、映像において投影面３４０も話者９０１も映っていないようなフレームが存在しても構わないし、話者の声以外の声が収録されていても構わない。
要するに、編集対象の映像データには、発話内容を示す音声情報と、実演に際して使用されたコンテンツを撮影した画像データとが含まれていればよい。
【００１４】
以下では、複数の頁に区分され、各頁には文字または画像が配置された形式のコンテンツ（いわゆるスライド）を聴衆にみえるように映し、スライドを適宜切替えながら、話者９０１が話を進めていくスタイルの実演がなされた状況を撮影して得られた映像データに対して、編集を行うことを想定する。なお、スライドの切替え操作は話者９０１自身が行ってもよいし、補助者が行ってもよい。
【００１５】
図２はサーバ１００の機能ブロック図である。入力部１１０は、通信インタフェースであって、音声取得部１１１、映像取得部１１２、コンテンツ情報取得部１１３、編集条件取得部１１４、および配信要求受付部１１５含む。
音声取得部１１１（第１取得手段）は、コンテンツを用いて実演を行う話者の音声を取得する。取得した音声データは音声処理部１２１へ出力される。映像取得部１１２（第２取得手段）は、当該実演を撮像した映像を取得する。取得した映像データは画像処理部１２２へ出力される。
音声データや映像データの形式や構造は問わないが、好ましくは、音声情報と画像情報とを包含するファイル形式にエンコードしたデータとして取得される。ただし、音声データと映像データ（音声データを含まない）とを別のファイルとして、あるいは別のタイミングで、取得してもよい。要するに、取得した音声データと映像データが共通の時間軸上で対応付けられていればよい。
【００１６】
編集対象の映像データがサーバ１００へ提供されるタイミングに関しては、ビデオカメラ３１０が撮影を終えると自動的に送信されてもよいし、一旦ビデオカメラ３１０に内蔵の記憶媒体に撮影データを保存し、後日編集を依頼するユーザがサーバ１００へアップロードしまたはサーバ１００を管理する編集サービス会社へ持ち込んでもよい。あるいは、ビデオカメラ３１０は撮影処理と並行してリアルタイミングでサーバ１００へストリーミング送信してもよい。
【００１７】
コンテンツ情報取得部１１３は、編集対象のコンテンツに関し、トピックの区切りの判定に関係する情報（コンテンツ情報という）を取得する。この情報は、具体的には、コンテンツデータそのものであってもよし、コンテンツの外形的要素（頁など）、構造的要素（「章」、「節」、その他内容的な内容的区切りに関係する情報）であってもよい。このコンテンツ情報は、判定部１３１において分割判定を実行するポイントを抽出する処理の際に用いられる。本発明において、コンテンツ情報の活用は必須ではないが、コンテンツ情報を用いて分割すべき時間軸上の地点（分割ポイントという）の候補を絞り込むことにより、編集処理が高速化する。
【００１８】
編集条件取得部１１４は、コンテンツの編集条件とは、データ加工部１３２がデータを加工する際に参照する条件や制約である。
コンテンツの編集条件は、例えば、分割される数および分割後のコンテンツのデータ量のうち少なくともいずれか一方に関する情報を含む。あるいは、分割後の各ファイルの再生時間に関する条件を含んでいてもよい。編集条件は、例えば編集依頼者が編集依頼時に、編集対象の映像データとともにサーバ１００へ提供される。
分割ポイントの決定は必ずしも一義的に定められるという性質のものではないところ、このように制約ないし条件を課すことで、よりきめ細かい分割が実現される。
【００１９】
配信要求受付部１１５は、端末２００のユーザが視聴を所望する映像データ（音声も含む）の配信の要求を受付ける。受付けた要求は配信制御部１５０へ供給される。
【００２０】
配信制御部１５０は、汎用プロセッサとして実現され、要求された映像コンテンツを記憶部１４０から抽出して、出力部１６０へ供給する。なお、映像コンテンツに対応付けられた複数の分割ファイルがある場合は、それらの分割ファイルを特定する。
出力部１６０は２２０へ抽出した映像データを一括送信ないしストリーミング配信する。
【００２１】
音声処理部１２１は、音声処理プロセッサによって実現され、音声データに対して音声認識処理等の解析を行って、発話の有無、発話のタイミング、発話内容の抽出、発話内容のテキスト情報化を行う。処理結果は判定部１３１へ出力される。
【００２２】
画像処理部１２２は、画像処理プロセッサによって実現され、撮影した映像データを画像解析して特徴情報を抽出する。特徴情報には、一つのコンテンツのうち現在どの部分（例えば第何頁）が表示されているかに関する情報が含まれる。さらに、話者９０１の動きに関する情報が含まれてもよい。特徴情報は判定部１３１へ出力される。
【００２３】
記憶部１４０は、ハードディスクや半導体メモリ等の記憶デバイスであって、上述の各機能を実現するための制御するプログラムが記憶されるほか、話者９０１について、実演時トピックの区切りに関連する、発話の特徴および動きの特徴の少なくともいずれかについての情報を記述したＤＢ１を記憶する。さらに、記憶部１４０には、コンテンツ情報取得部１１３から取得したコンテンツ情報を記憶したＤＢ２が記憶される。ＤＢ１、ＤＢ２の情報は編集部１３０によって参照され、分割ポイントの決定に用いられる。さらに、記憶部１４０には、編集条件取得部１１４から取得された編集条件が記憶される。
【００２４】
図３はＤＢ１に記憶される情報の例を示す。各話者について、音声的特徴、動作的特徴、総合的特徴についての情報が記憶されている。音声的特徴の要素の例として、単語（キーワード）および無音期間の長さについての情報を示している。この例では、Ａさんについてみると、トピックの区切りにおいて「さて」という単語を発する癖・傾向があり、実現中にこの言葉を発した場合に、その時点がトピックの区切りである可能性が５０％である、という情報が記述されている。また、発話がない期間が５秒以上あった場合は、この期間前後でトピックの切替わりが発生している可能性が８０％であり、３秒〜５秒であれば、５０％であることを意味している。
なお、話者によっては、例えば、声の大きさ、発音の明瞭さ、発話速度がトピックの区切りと区切りでない場合とで異なることもあり得る。すなわち、トピックの区切りとの相関がある音声的特徴であれば、いかなる種類の情報が記述されてもよい。
【００２５】
動作的特徴とは、トピックの区切りと相関がある話者９０１の動作（身振り・手振り、指差し等）を記述したものである。この例では、Ａさんは、トピックの区切りになると、スライドを見てから手元を見るという動作が行われた場合、４０％の確率でトピックを切替えようとしているという情報が記述される。
【００２６】
総合的特徴とは、音声的特徴と動作的特徴とをどのように組み合わせて（または組み合わせないで）利用して、区切りの判定を行うのかを示す情報である。例えば、音声的特徴と動作的特徴どちらの特徴が支配的なのかないし重視すべきかを示す情報である。具体的には、音声的特徴のみからみたトピックの区切りである可能性と動作的特徴のみからみたトピックの区切りである可能性の重み付け値として表現される。あるいは、所定の動作と所定の発話とを組み合わせて行った場合はトピックの区切りである可能性が倍増するなどといった情報であってもよい。
【００２７】
なお、ＤＢ１に記憶される情報は、編集対象のコンテンツ自体から生成してもよいし、同一話者の他のコンテンツを取得し、機械学習等の既存手法を用いて生成してもよい。
あるいは、コンテンツ（実演の種類や話の内容等）によっても音声的特徴と動作的特徴は異なり得ることを踏まえ、コンテンツの種別（学生向けの講義なのか、社会人向け研修なのかなど）と各音声的特徴と動作的特徴とを対応付けて記憶してもよい。
なお、編集対象に係る話者について記憶部１４０に情報が登録されていない場合は、一般的にあてはまる音声的特徴や動作的特徴をデフォルト情報として記憶し、当該話者の実演の映像データの編集に適用してもよい。
【００２８】
図４は、ＤＢ２に記憶される情報の例である。ＤＢ２には、コンテンツの識別子に対応付けて、構造情報と内容（本文テキスト等）とが記憶される。構造情報には、項番号、タイトル、サブタイトル等が含まれる。例えば、判定部１３１は、ＤＢ２を参照することで、画像解析の結果、時間軸上の第１の時点において表示されているコンテンツにおいて「目的」と「その１」という単語がスライドに表示されたと判定し、時間軸上の第２の時点において「目的」および「その２」という単語を検出した場合、第１時点および第２時点の間においてスライドの切替えが行われたと判定する。
【００２９】
編集部１３０は、汎用のプロセッサによって実現され、判定部１３１とデータ加工部１３２とを含む。編集部１３０は、画像解析と音声解析の結果とに基づいて決定される、コンテンツを分割する時間軸上の位置に基づいて、当該コンテンツを編集する。
ここで、コンテンツを「分割」するとは、データを物理的に分離することのほか、広く、動画など、時間や順序についての情報を内包するコンテンツを時間軸上で区分することを意味する。
【００３０】
判定部１３１は、分割ポイントの判定を実行すべきか否かを決定する。例えば、予め所定の時間間隔（１秒ごと、１００フレームごと等）が到来すると、分割ポイントの判定を実行すると判定する。好ましい態様において、判定部１３１まずは分割ポイントの候補である時間軸上のポイントを抽出し、抽出された各ポイントにおいて分割すべきか否かの判定（分割要否判定という）を実行する。
【００３１】
あるいは、表示されているコンテンツの内容に所定の変化があった場合に、分割要否判定を実行すると決定してもよい。一例としては、その実演中において頁の切替えが行われた場合に、分割ポイントの判定処理を実行するタイミングが到来したと判定する。具体的には、判定部１３１は、所定の画像フレーム間隔ごとに画像解析を行い、コンテンツに付された頁番号（スライド番号）が変化した時点を検出すると、当該時点においては、新たな番号が検出された場合に頁の切替えがなされたと判定する。
【００３２】
他の例としては、コンテンツの配置（レイアウト）上の特徴、例えば、箇条書き形式なのか否か、インデント段落記号の用いられ方、使用している文字フォントのサイズ、色使い、画像（静止画または動画）と文字の割合等に基づいて、頁の切替えが行われたかを判定する。具体的には、既存の画像マッチングアルゴリズムを用いて、ある期間における２つの画像について上述したレイアウト上の特徴の相関の程度を算出し、算出した相関の程度が所定値以上である場合は、頁の切替えがなされたと判定する。こうすることで、仮に頁番号がスライドにない場合や、頁番号があっても解像度が低くて映像からは判別困難である場合であっても、分割ポイントの候補となる表示切替えタイミングを特定することができる。
【００３３】
なお、この際、撮影されたコンテンツ画像の一部領域における変化が、話者９０１の立ち位置や動作に起因するものであるか否かを判別し、話者９０１の動作の影響によるものであった場合は、当該領域を除外した領域を、分割ポイントの候補の判定に用いることが好ましい。投影面３４０、ビデオカメラ３１０、話者９０１の位置関係によっては、コンテンツの一部が撮影されていない場合、投影面３４０以外の対象物が撮影されている場合、あるいは実演中にユーザが動くことによって投影面３４０の一部が遮蔽される場合が想定されるが、解析対象のコンテンツの領域を絞り込むことで、このような場合においても、頁の切替えの事実を精度よく検出することができる。
【００３４】
また、事前に記憶部１４０に、編集対象のコンテンツのコンテンツ情報が登録されている場合、コンテンツ情報に含まれる構造要素に合致する要素を抽出した場合に、頁の切替えがなされたと判定してもよい。例えば、コンテンツ情報において頁と当該頁に記載された文書とが対応付けて記憶されている場合は、画像処理部１２２にて検出したキーワードに対応する頁を特定することができる。
【００３５】
スライド形式の文書を用いた実演においては、結果的に頁の区切りがトピックの切替えとなっている可能性が高い。換言すれば、頁の途中でトピックが切替わっているケースは稀である。よって、まずは少なくとも頁の切替えがあったポイントを分割ポイント候補として選定し、このポイントのみで分割の要否を判定することで、例えば各画像フレームごとに判定を行う場合に比べて、処理時間が短縮する。
【００３６】
逆に、頁の切替えとは関係なく所定フレーム単位で分割ポイントの候補を選定する場合のメリットとしては、同一の頁を用いている話に複数のトピックが含まれている場合に、トピックの区切りを検出できる可能性が高くなる点である。例えば、スライド内容に即した説明から話が脱線する場合があるが、このような場合にもトピックの区切りを検出することができる。
【００３７】
分割要否判定に関し、判定部１３１は、時間軸上のある点または区間において、画像解析によって映像の相関を示す第１の指標を算出し、音声解析の結果に基づいて話者９０１の発話の断絶性を示す第２の指標を算出する。そして、第１の指標（スコア）および第２の指標（スコア）に重み付けを行うことにより、当該ある点または区間の前後における実演内容の断絶性（換言すると、トピックの区切りある可能性）示す一つの指標（スコア）を算出する。
【００３８】
例えば、第１の指標については、上述した分割ポイントの候補を抽出処理と同様に、必要に応じて話者９０１によって遮蔽されるコンテンツの領域を除外したうえで、頁の切替え前後のコンテンツおけるレイアウトの共通性に基づいて、第１の指標を算出する。
あるいは、レイアウト上の共通性に替えてもしくは加えて、コンテンツの内容の共通性に基づいて第１の指標を決定してもよい。本文は、撮影された画像からテキスト抽出処理を行って取得してよいし、記憶部１４０に記憶されたコンテンツ情報を利用してもよい。この場合、レイアウト上の変化がなくても、トピックが変更された可能性を判定できる。
【００３９】
また、判定部１３１は、コンテンツの内容の変化の判定処理とは別途、前記話者の実演中の動きを検出し、当該動きに基づいて、前記第１の指標を算出してもよい。
【００４０】
また、判定部１３１は、音声データに基づいて分割の要否の判定を行う。具体的には、発話内容に予め登録された単語が含まれているか、および発話されていない期間の長さのうち少なくともいずれか一方に基づいて、前記第２の指標を算出する。
【００４１】
上記第１の指標および第２の指標の少なくともいずれかは、ＤＢ１に記述された、話者の発話の特徴および動作の特徴の少なくともいずれかについての情報を用いて算出することができる。
【００４２】
データ加工部１３２は、制約条件が指定されている場合は、当該制約条件が満たされるように、該決定された複数のポイントから１以上のポイントを選択する。すなわち判定部１３１にて分割ポイントとして決定されたものを制約条件に応じて絞り込むことにより、分割ポイントを確定させる。データ加工部１３２は、確定した分割ポイントに従って、インデックス情報を生成する。インデックス情報に基づいて、元の映像データを複数の独立した映像データを生成してもよい。生成されたインデックス情報や分割された映像データは、元の映像データに対応付けて記憶部１４０に記憶される。この際、分割された映像データの一部を消去したり、生成した複数の映像データの一部をグルーピングするなどの各種の後処理を行ってもよい。
【００４３】
図５は分割前後のファイルの構造を模式的に示す。なお、一般的に、映像データは映像内容を示すデータ本体に加えて、ヘッダ情報その他のメタデータが含まれるが、ここではメタデータについては捨象している。
同図において、元のデータabc.mp4は、t0（コンテンツの最初、撮影開始点）からte(コンテンツの最後、撮影終了点)までの時間長を有する映像である（つまり、通常の再生速度で再生時間がte-t0である）ことを示している。この例では、編集部１３０によって、分割ポイントがt1,t2,t3,t4,t5の５つ決定されている。そして、元のファイルから、区間｛t0,t1｝,｛t1,t2｝、｛t2,t3｝、｛t4,t5｝、｛t5,te｝に対応する計６つの映像データとして、それぞれ、abc_1.mp4、abc_2.mp4、abc_3.mp4、abc_4.mp4、abc_5.mp4、abc_6.mp4が生成されている。生成された映像データは独立して再生や再編集が可能である。そして、分割された各映像データは、インデックス情報として生成された、元のコンテンツ情報との内容的・時間的対応関係を示す情報（「第*章」等と切り出した区間）がヘッダ領域に書き込まれる。
【００４４】
また、データ加工部１３２は、該決定された一の位置に基づいて分割された２つのコンテンツが、当該一の位置の前後で内容が共通するように、当該２つのコンテンツにそれぞれ対応する２つのデータを生成してもよい。
図６は、分割方法の他の例を示す図である。同図では、図５の上側の図と同様に、t1〜t5の５個の分割ポイントが決定されているが、分割後の各映像データの区間が図５のそれとは異なっている。すなわち、分割ポイントの前後で±Δｔだけ、時間軸上で隣り合う映像データと被らせている。これにより、コンテンツの頁の切替えのタイミングと話者のトピックの切替えのタイミングが多少ずれていたとしても、分割された各コンテンツデータにおいて話されたトピックの一部（具体的には最初または最後）が途切れているという可能性が低くなる。
【００４５】
配信制御部１５０は、プロセッサによって実現され、端末２００から要求されたコンテンツを記憶部１４０から読み出す。
出力部１６０は、通信ＩＦであって、要求元の端末２００へコンテンツをインターネット４００を介して送信する。
【００４６】
図７は、サーバ１００における動作の例の概要である。サーバ１００は、予めビデオカメラ３１０から編集対象の映像データが提供されているとする。ここでコンテンツデータの提供を受けている場合や編集条件の指定を受付けている場合は、当該コンテンツデータおよび／または編集条件を読み出しておく（Ｓ５０１）。判定部１３１は、撮影開始時点から撮影終了時点まで、フレーム番号の若い順にチェックしていき、分割ポイントの候補を抽出する（Ｓ５０３）。続いて、判定部１３１は抽出した分割要否判定を行う各ポイントについて、分割要否判定を実行する（Ｓ５０５）。
【００４７】
判定部１３１は、そのポイントで分割すべきであると判定した場合（Ｓ５０５、ＹＥＳ）、データ加工部１３２はインデックス情報を生成する（Ｓ５０７）。この処理を繰り返しコンテンツの最終フレームまでチェックが完了すると（Ｓ５０９、ＹＥＳ）と、データ加工部１３２は必要な後処理を行って判定部１３１にて決定した分割ポイントを最終的に確定させる（Ｓ５１１）。
なお、分割ポイントの候補を先にまとめて抽出しておき、その後に各ポイントにおける分割要否判定をまとめて行ってもよい。
【００４８】
図８は、分割ポイントの候補および分割要否判定に係る処理（図７のＳ５０３および５０５）の具体例を示す。まず、分割判定を実行するポイントであるかの判断手法の一例として、判定部１３１は頁の切替えが行われたポイントを特定する（Ｓ６０１）。頁の切替えでなかった場合（Ｓ６０１、ＮＯ）、分割判定を実行するポイントでないと決定する（Ｓ６４２）。頁の切替えだった場合は（Ｓ６０１は、ＹＥＳ）、以下のＳ６１０およびＳ６２０の処理を並行して実行する。
【００４９】
Ｓ６１０に関し、決定した分割ポイント候補前後の所定期間（例えばその分割ポイント候補の前後編集システム１０秒以内の区間）において話者の発音がない区間（換言すると無音区間）が存在するか否かを判定する（Ｓ６１１）。また、当該区間において、ＤＢ１に登録された単語ないしフレーズを抽出する（Ｓ６１２）。そして、ＤＢ１を参照して、音声的特徴の観点から、その位置が分割位置である可能性を示す第２スコアとして算出する（Ｓ６１３）。スコアは、例えば「８０％」または「５」ポイントという、トピックの区切りであるとの推定の確からしさを表す数値で表現される。なお、Ｓ６１１とＳ６１２実行順序は問わないし、いずれか一方のみを実行してもよい。
【００５０】
一方、Ｓ６２０においては、コンテンツのレイアウト解析（Ｓ６２１）および話者の動きの解析（Ｓ６２２）を行って、その位置が分割位置である可能性を示す第１スコアを算出する（Ｓ６２３）。
【００５１】
続いて、判定部１３１は、第１スコアおよび第２スコアに基づいて、総合スコアを算出する（Ｓ６３０）。例えば、第１スコアと第２スコアを、ＤＢ１にて記述された重み付け平均を用いて加算する。そして、算出した総合スコアに基づいて、分割の要否を判定する（Ｓ６４０）。例えば、判定部１３１は判断閾値を「６０％」に設定している場合において、算出された総合スコアが「７０％」であった場合、その時間軸上のポイントにおいて分割すべき（分割ポイントである）であると判断する（Ｓ６４１）。算出された総合スコアが「５０％」であれば、分割すべきでない（分割ポイントでない）と判定されることになる（Ｓ６４１）。
【００５２】
上記実施例においては、自動的に分割ポイントが決定されるので、分割ポイントを人の手でチェックするコストが削減される。また、発話内容の解析とコンテンツの解析とを併用することにより、トピックの区切りであるか否かの判定の精度が向上する。例えば、音声解析の結果のみを用いて判定した場合、話者９０１が言葉に詰まった場合には誤判定する可能性があるが、本発明においてスライドの表示内容の変化を検知すれば、誤判定の虞は少なくなる。また、コンテンツの画像解析の結果のみから判定した場合、意識的に（アドリブで）またはスライド操作ミスによって、表示されているスライドとは異なる内容について話した場合にトピックの変化を検出することが難しいが、本発明の方法によれば、発話内容と表示コンテンツとを総合的に加味して判定することにより、このような場合にも対応できる可能性が上がる。
さらに、話者ごとの発話や動きの特徴を加味することにより、判定精度がより向上する。コンテンツ情報を用いることで、分割ポイントとなり得るポイントを予め抽出し（絞り込み）、抽出されたポイントでのみ分割要否判定を実行するので、判定が効率的に行われる。
本発明は、講演会や講義などの実演が収録されたものであれば、原理的に、映像データの形式や種類は問わずに適用することできるので、インデックス情報等が付されていない既存の映像コンテンツを有効に活用することができる。また、実演に用いられるコンテンツは、その提示順が定まっていなくていもよい。また、提示順が定められていたと場合であっても、実演者がその提示順通りに実演を進行する必要はない。要するに、予め用意されたコンテンツを用いて行われた実演や実演過程でコンテンツが作成されていく様子を収録した画像と当該実演に係る音声とが、併せてもしくは別途、得られれば、本発明の方法を当該に適用して、実演の区切りを自動的に判定し、判定結果に基づいて当該画像および／または音声を編集することができる。
【００５３】
要するに、本発明に係る情報処理においては、実演を行う話者の音声を取得するステップと、前記実演を撮像した映像を取得するステップと、前記映像と前記音声とに基づいて決定される、前記映像を分割する時間軸上の位置に基づいて、当該映像を編集するステップとが実行されればよい。
【符号の説明】
【００５４】
１０・・・編集システム、１００・・・サーバ、９０１・・・話者、１１０・・・入力部、１１１・・・音声取得部、１１２・・・映像取得部、１１３・・・コンテンツ情報取得部、１１４・・・編集条件取得部、１１５・・・配信要求受付部、１２１・・・音声処理部、１２２・・・画像処理部、１３０・・・編集部、１３１・・・判定部、１３２・・・データ加工部、１４０・・・記憶部、１６０・・・出力部、１５０・・・配信制御部、２００・・・端末、３１０・・・ビデオカメラ、４００・・・インターネット、３２０・・・ＰＣ、３３０・・・プロジェクタ、３４０・・・投影面
【図１】
2019201310.tif 000003
【図２】
2019201310.tif 000004
【図３】
2019201310.tif 000005
【図４】
2019201310.tif 000006
【図５】
2019201310.tif 000007
【図６】
2019201310.tif 000008
【図７】
2019201310.tif 000009
【図８】
2019201310.tif 000010