(57)【要約】【課題】  動画のためのタグ付けを自動的に行うことが可能なタグ付け装置、方法、およびプログラムを提供すること。【解決手段】  タグ付け装置１０は、動画ファイルを音声認識してテキスト情報へ変換する音声認識部１２と、動画ファイルを画像解析し、動画ファイルにおけるシーンの切り替わりを判定する画像解析部１３と、テキスト情報における時間的な切れ目と、テキスト情報における内容的な切れ目と、シーンの切り替わりとに基づいて、動画ファイルを複数のシーンに分割するシーン分割部１７と、テキスト情報から、予め定められた規則に従って、タグを抽出するタグ抽出部１８と、抽出されたタグを、複数のシーンのうち、対応するシーンに付与するタグ付与部１９とを備える。【選択図】図１
2020079982.tif 000002
【特許請求の範囲】
【請求項１】
動画ファイルを音声認識してテキスト情報へ変換する音声認識部と、
前記動画ファイルを画像解析し、前記動画ファイルにおけるシーンの切り替わりを判定する画像解析部と、
前記テキスト情報における時間的な切れ目と、前記テキスト情報における内容的な切れ目と、前記シーンの切り替わりとに基づいて、前記動画ファイルを複数のシーンに分割するシーン分割部と、
前記テキスト情報から、予め定められた規則に従って、タグを抽出するタグ抽出部と、
前記抽出されたタグを、前記複数のシーンのうち、対応するシーンに付与するタグ付与部と、
を備えたタグ付け装置。
【請求項２】
前記動画ファイルにおいて表示されるテロップを認識し、前記テロップのテキスト情報を取得するテロップ認識部をさらに備え、
前記シーン分割部はさらに、前記テロップ認識部によってテロップが認識されたことに基づいて、前記動画ファイルを複数のシーンに分割し、
前記タグ抽出部はさらに、前記テロップのテキスト情報から、予め定められた規則に従って、タグを抽出する、請求項１に記載のタグ付け装置。
【請求項３】
前記動画ファイルに登場する人物の顔を認識する顔認識部と、
前記顔認識部によって顔を認識された人物のパーソナル情報を示すテキスト情報を取得するパーソナル情報取得部とをさらに備え、
前記シーン分割部はさらに、前記顔認識部によって顔が認識されたことに基づいて、前記動画ファイルを複数のシーンに分割し、
前記タグ抽出部はさらに、前記パーソナル情報取得部によって取得されたテキスト情報から、予め定められた規則に従って、タグを抽出する、請求項２に記載のタグ付け装置。
【請求項４】
前記シーン分割部は、前記テキスト情報における時間的な切れ目と、前記テキスト情報における内容的な切れ目と、前記シーンの切り替わりと、前記テロップが認識されたタイミングと、前記パーソナル情報取得部によってテキスト情報が取得されたタイミングとに基づく機械学習モデルを作成し、前記機械学習モデルを用いて、前記動画ファイルを前記複数のシーンに分割する、請求項３に記載のタグ付け装置。
【請求項５】
前記時間的な切れ目は、前記動画ファイルにおいて、音声の途切れが、予め決定されたしきい値を超えた場合に対応する、請求項１に記載のタグ付け装置。
【請求項６】
前記シーンの切り替わりは、前記動画ファイルの映像において、話者が正面を向いたときである、請求項１に記載のタグ付け装置。
【請求項７】
前記シーンの切り替わりは、前記動画ファイルの映像において、話者が変わったときである、請求項１に記載のタグ付け装置。
【請求項８】
前記シーンの切り替わりは、前記動画ファイルにおいて、映像が切り替わったときである、請求項１に記載のタグ付け装置。
【請求項９】
前記タグ付与部によって、前記対応するシーンに付与されたタグを、指定された分類別に表示画面から表示させる表示制御部をさらに備えた、請求項１乃至８のうち何れか１項に記載のタグ付け装置。
【請求項１０】
前記指定された分類は、会社コード、企業名、組織名、人名、テーマ情報、業界情報、およびジャンルのうちの少なくとも何れかを含む、請求項９に記載のタグ付け装置。
【請求項１１】
前記タグ付与部によって、前記対応するシーンに付与されたタグの削除、および、前記対応するシーンへの任意のタグの付与のうちの少なくとも何れかを、ユーザ指示に従って行う変更部をさらに備えた、請求項１乃至１０のうち何れか１項に記載のタグ付け装置。
【請求項１２】
前記シーン分割部によって分割されたシーンの分割位置を、ユーザ指示に従って変更する変更部をさらに備えた、請求項１乃至１０のうち何れか１項に記載のタグ付け装置。
【請求項１３】
プロセッサによって実施されるタグ付け方法であって、
前記プロセッサが、動画ファイルを音声認識してテキスト情報へ変換し、
前記プロセッサが、前記動画ファイルを画像解析し、前記動画ファイルにおけるシーンの切り替わりを判定し、
前記プロセッサが、前記テキスト情報における時間的な切れ目と、前記テキスト情報における内容的な切れ目と、前記シーンの切り替わりとに基づいて、前記動画ファイルを複数のシーンに分割し、
前記プロセッサが、前記テキスト情報から、予め定められた規則に従って、タグを抽出し、
前記プロセッサが、前記抽出されたタグを、前記複数のシーンのうち、対応するシーンに付与する、タグ付け方法。
【請求項１４】
動画ファイルを音声認識してテキスト情報へ変換する機能、
前記動画ファイルを画像解析し、前記動画ファイルにおけるシーンの切り替わりを判定する機能、
前記テキスト情報における時間的な切れ目と、前記テキスト情報における内容的な切れ目と、前記シーンの切り替わりとに基づいて、前記動画ファイルを複数のシーンに分割する機能、
前記テキスト情報から、予め定められた規則に従って、タグを抽出する機能、
前記抽出されたタグを、前記複数のシーンのうち、対応するシーンに付与する機能、
をプロセッサに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばニュースやビジネス番組のような動画のためのタグ付け装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
動画配信サービスを提供したり、映像のアーカイブを管理するために、動画コンテンツのタグ付けは非常に重要である。
【０００３】
タグ付けを行うことで動画コンテンツの検索性が高まり、サービス分類も容易となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】再表２０１６−０５１６２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、タグ付け作業は、現在、特許文献１で開示されているように、人手を介してなされており、相当の労力を伴うため、運用者には敬遠されがちである。
【０００６】
そこで、手間も労力もかけずに、動画から自動的にタグ付けを行う装置、方法、およびプログラムの実現が望まれている。
【０００７】
本発明はこのような事情に鑑みてなされたものであり、動画のためのタグ付けを自動的に行うことが可能なタグ付け装置、方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための本発明の第１の観点のタグ付け装置は、動画ファイルを音声認識してテキスト情報へ変換する音声認識部と、動画ファイルを画像解析し、動画ファイルにおけるシーンの切り替わりを判定する画像解析部と、テキスト情報における時間的な切れ目と、テキスト情報における内容的な切れ目と、シーンの切り替わりとに基づいて、動画ファイルを複数のシーンに分割するシーン分割部と、テキスト情報から、予め定められた規則に従って、タグを抽出するタグ抽出部と、抽出されたタグを、複数のシーンのうち、対応するシーンに付与するタグ付与部とを備えたタグ付け装置である。
【０００９】
本発明の第２の観点のタグ付け装置は、第１の観点のタグ付け装置において、動画ファイルにおいて表示されるテロップを認識し、テロップのテキスト情報を取得するテロップ認識部をさらに備え、シーン分割部はさらに、テロップ認識部によってテロップが認識されたことに基づいて、動画ファイルを複数のシーンに分割し、タグ抽出部はさらに、テロップのテキスト情報から、予め定められた規則に従って、タグを抽出する。
【００１０】
本発明の第３の観点のタグ付け装置は、第２の観点のタグ付け装置において、動画ファイルに登場する人物の顔を認識する顔認識部と、顔認識部によって顔を認識された人物のパーソナル情報を示すテキスト情報を取得するパーソナル情報取得部とをさらに備え、シーン分割部はさらに、顔認識部によって顔が認識されたことに基づいて、動画ファイルを複数のシーンに分割し、タグ抽出部はさらに、パーソナル情報取得部によって取得されたテキスト情報から、予め定められた規則に従って、タグを抽出する。
【００１１】
本発明の第４の観点のタグ付け装置は、第３の観点のタグ付け装置において、シーン分割部は、テキスト情報における時間的な切れ目と、テキスト情報における内容的な切れ目と、シーンの切り替わりと、テロップが認識されたタイミングと、パーソナル情報取得部によってテキスト情報が取得されたタイミングとに基づく機械学習モデルを作成し、機械学習モデルを用いて、動画ファイルを前記複数のシーンに分割する。
【００１２】
本発明の第５の観点のタグ付け装置は、第１の観点のタグ付け装置において、時間的な切れ目は、動画ファイルにおいて、音声の途切れが、予め決定されたしきい値を超えた場合に対応する。
【００１３】
本発明の第６の観点のタグ付け装置は、第１の観点のタグ付け装置において、シーンの切り替わりは、動画ファイルの映像において、話者が正面を向いたときである。
【００１４】
本発明の第７の観点のタグ付け装置は、第１の観点のタグ付け装置において、シーンの切り替わりは、動画ファイルの映像において、話者が変わったときである。
【００１５】
本発明の第８の観点のタグ付け装置は、第１の観点のうち何れかのタグ付け装置において、シーンの切り替わりは、動画ファイルにおいて、映像が切り替わったときである。
【００１６】
本発明の第９の観点のタグ付け装置は、第１乃至８の観点のうち何れかのタグ付け装置において、タグ付与部によって、対応するシーンに付与されたタグを、指定された分類別に表示画面から表示させる表示制御部をさらに備えている。
【００１７】
本発明の第１０の観点のタグ付け装置は、第９の観点のタグ付け装置において、指定された分類は、会社コード、企業名、組織名、人名、テーマ情報、業界情報、およびジャンルのうちの少なくとも何れかを含む。
【００１８】
本発明の第１１の観点のタグ付け装置は、第１乃至１０の観点のうち何れかのタグ付け装置において、タグ付与部によって、対応するシーンに付与されたタグの削除、および、対応するシーンへの任意のタグの付与のうちの少なくとも何れかを、ユーザ指示に従って行う変更部をさらに備えている。
【００１９】
本発明の第１２の観点のタグ付け装置は、第１乃至１０の観点のうち何れかのタグ付け装置において、シーン分割部によって分割されたシーンの分割位置を、ユーザ指示に従って変更する変更部をさらに備えている。
【００２０】
本発明の第１３の観点は、プロセッサによって実施されるタグ付け方法であって、プロセッサが、動画ファイルを音声認識してテキスト情報へ変換し、プロセッサが、動画ファイルを画像解析し、動画ファイルにおけるシーンの切り替わりを判定し、プロセッサが、テキスト情報における時間的な切れ目と、テキスト情報における内容的な切れ目と、シーンの切り替わりとに基づいて、動画ファイルを複数のシーンに分割し、プロセッサが、テキスト情報から、予め定められた規則に従って、タグを抽出し、プロセッサが、抽出されたタグを、複数のシーンのうち、対応するシーンに付与する、タグ付け方法である。
【００２１】
本発明の第１４の観点は、動画ファイルを音声認識してテキスト情報へ変換する機能、動画ファイルを画像解析し、動画ファイルにおけるシーンの切り替わりを判定する機能、テキスト情報における時間的な切れ目と、テキスト情報における内容的な切れ目と、シーンの切り替わりとに基づいて、動画ファイルを複数のシーンに分割する機能、テキスト情報から、予め定められた規則に従って、タグを抽出する機能、抽出されたタグを、複数のシーンのうち、対応するシーンに付与する機能をプロセッサに実現させるためのプログラムである。
【発明の効果】
【００２２】
本発明のタグ付け装置、方法、およびプログラムによれば、動画のためのタグ付けを自動的に行うことが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態に係るタグ付け方法が適用されたタグ付け装置の構成例を示すブロック図である。
【図２】音声認識部によって動画ファイルから変換されたテキスト情報を例示するテキスト情報リストである。
【図３】Ｗｅｂ環境で実現された実施例１のタグ付け装置の一例を示す概要構成図である。
【図４】実施例１のタグ付け装置の動作例を示すフローチャートである。
【図５】動画ファイルのアップロード時におけるユーザ端末における表示例を示す概念図である。
【図６】複数のシーンのサムネイルおよびテキスト情報の、ユーザ端末からの表示例を示す模式図である。
【図７】図６における映像表示ウィンドウおよびサムネイル表示ウィンドウを含む部位の拡大図である。
【図８】タグ情報データベースに書き込まれたタグ情報を例示する図である。
【図９】シーンと、シーンに付与されたタグの、ユーザ端末からの表示例を示す模式図である。
【図１０】タグ情報データベースに書き込まれたログの閲覧画面の一例を示す図である。
【図１１】Ｗｅｂ環境で実現された実施例２のタグ付け装置の一例を示す概要構成図である。
【図１２】ユーザ端末から動画配信プラットフォームへ動画ファイルをアップロードするための操作画面の一例を示す模式図である。
【図１３】ユーザ端末におけるタグの表示例を示す模式図である。
【発明を実施するための形態】
【００２４】
以下に、本発明を実施するための最良の形態について図面を参照しながら説明する。
【００２５】
図１は、本発明の実施形態に係るタグ付け方法が適用されたタグ付け装置の構成例を示すブロック図である。
【００２６】
本発明の実施形態に係るタグ付け方法が適用されたタグ付け装置１０は、動画ファイル受付部１１と、音声認識部１２と、画像解析部１３と、テロップ認識部１４と、顔認識部１５と、パーソナル情報取得部１６と、シーン分割部１７と、タグ抽出部１８と、タグ付与部１９と、表示制御部２０と、変更部２１と、表示画面２２と、記憶部２３とを備えている。
【００２７】
記憶部２３は、例えばＳＳＤ（Solid State Drive）や、ハードディスクドライブによって実現される。なお、記憶部２３はデータを記憶することが可能であればよく、他の記憶媒体を使用することもできる。記憶部２３は、後述する辞書データ２３ａ、タグ情報データベース２３ｂ、パーソナル情報データベース２３ｃを記憶している。
【００２８】
表示画面２２は、例えばディスプレイによって実現することができる。
【００２９】
一方、動画ファイル受付部１１、音声認識部１２、画像解析部１３、テロップ認識部１４、顔認識部１５、パーソナル情報取得部１６、シーン分割部１７、タグ抽出部１８、タグ付与部１９、表示制御部２０、および変更部２１は、図示しないプロセッサによって実現される。
【００３０】
動画ファイル受付部１１は、タグ付けしたい動画ファイルを、ネットワークを介して、あるいは記録媒体によって受け取り、音声認識部１２、画像解析部１３、テロップ認識部１４、顔認識部１５へ出力する。
【００３１】
音声認識部１２は、動画ファイル受付部１１から出力された動画ファイルを、音声認識技術を用いて音声認識し、テキスト情報へ変換する。
【００３２】
画像解析部１３は、動画ファイル受付部１１から出力された動画ファイルを画像解析し、動画ファイルにおけるシーンの切り替わりを判定する。
【００３３】
テロップ認識部１４は、動画ファイル受付部１１から出力された動画ファイルにおいて表示されるテロップを認識し、テロップのテキスト情報、掲載位置（座標軸）、色目、およびフォント等を取得する。
【００３４】
顔認識部１５は、動画ファイル受付部１１から出力された動画ファイルに登場する人物の顔を認識し、認識結果である顔認識情報を、パーソナル情報取得部１６へ出力する。
【００３５】
パーソナル情報データベース２３ｃは、顔認識情報に対応するパーソナル情報（例えば、氏名、性別、人種、身長等）を、テキスト形式で蓄積したデータベースである。
【００３６】
パーソナル情報取得部１６は、顔認識部１５から出力された顔認識情報に対応するパーソナル情報（例えば、氏名、性別、人種、身長等）を、パーソナル情報データベース２３ｃからテキスト情報の形式で取得する。そして、パーソナル情報に含まれる氏名を、後述する図２に示すテキスト情報リストｒの話者名ｒ６に書き込む。
【００３７】
シーン分割部１７は、音声認識部１２によって変換されたテキスト情報における時間的な切れ目、音声認識部１２によって変換されたテキスト情報における内容的な切れ目、画像解析部１３によって判定されたシーンの切り替わり、テロップ認識部１４によってテロップが認識されたタイミング、顔認識部１５によって顔が認識されたタイミング等に基づいて、動画ファイルを複数のシーンに分割する。
【００３８】
以下に、時間的な切れ目について、図２を用いて具体的に説明する。
【００３９】
図２は、音声認識部によって動画ファイルから変換されたテキスト情報を例示するテキスト情報リストである。
【００４０】
テキスト情報リストｒは、テキスト番号ｒ１、開始時間ｒ２、終了時間ｒ３、持続時間ｒ４、テキスト情報ｒ５、話者名ｒ６からなる項目を備えている。
【００４１】
テキスト番号ｒ１は、話者によって話されたスピーチの塊ごとに連番で振られる番号である。スピーチの塊は、必ずしも句点で終了する厳密な文とは限らず、音声認識部１２によって認識される塊である。
【００４２】
開始時間ｒ２は、動画ファイルにおける各スピーチの塊の開始時間を示す。
【００４３】
終了時間ｒ３は、動画ファイルにおける各スピーチの塊の終了時間を示す。
【００４４】
持続時間ｒ４は、各スピーチの塊の時間長さを示しており、終了時間ｒ３から開始時間ｒ２を減じた時間に等しい。
【００４５】
テキスト情報ｒ５は、各スピーチの塊の音声から変換されたテキストを示す。
【００４６】
話者名ｒ６は、各スピーチの塊の話者を示す。各スピーチの塊の話者は、前述したように、パーソナル情報取得部１６によって書き込まれる。
【００４７】
音声認識部１２は、テキスト情報リストｒを用いて、各スピーチの塊間の時間的な切れ目を判定することができる。例えば、図２を用いて説明すると、テキスト番号ｒ１＝「０」のスピーチの塊の終了時間ｒ３が「０：００：０４」であり、次のテキストであるテキスト番号ｒ１＝「１」のスピーチの塊の開始時間ｒ２が「０：００：０８」であることから、テキスト番号ｒ１＝「０」のスピーチの塊が終了してから、テキスト番号ｒ１＝「１」のスピーチの塊が開始するまでに、４秒のポーズがあったことが分かる。
【００４８】
シーン分割部１７は、このポーズがしきい時間を超えた場合、テキスト情報間に時間的な切れ目があると判定する。例えば、しきい時間を３秒とした場合、シーン分割部１７は、テキスト情報間のポーズが、３秒よりも長い場合、テキスト情報間に時間的な切れ目があると判定する。例えば、図２に例示されるテキスト番号ｒ１＝「０」のテキスト情報と、テキスト番号ｒ１＝「１」のテキスト情報との間には、４秒のポーズがあるので、時間的な切れ目があると判定される。
【００４９】
次に、内容的な切れ目について説明する。内容的な切れ目とは、例えば、話題の切り替わるポイントに相当する。したがって、テキスト情報ｒ５の文頭に、「さて」、「しかし」、「ところで」、「次に」のような接続詞がある場合、シーン分割部１７は、内容が切り替わったと判定する。
【００５０】
次に、画像解析部１３によって判定されるシーンの切り替わりについて説明する。
【００５１】
例えば、画像解析部１３は、スタジオ映像から中継映像へ切り替わった場合や、逆に、中継映像からスタジオ映像へ切り替わった場合を、シーンの切り替わりと判定することができる。また、動画ファイルの映像において、話者が正面を向いたときを、シーンの切り替わりと判定することができる。さらに、動画ファイルの映像において、話者が変わったときを、シーンの切り替わりと判定することができる。さらにまた、動画ファイルにおいて、例えば、キャスターのバストアップ映像への切り替えがなされたときを、シーンの切り替わりと判定することもできる。ここで、シーンは、カメラの切り替わりであるカットの意味を持つカットの集合であるシーンも含む。例えば、天気予報コーナの間など、人の向きや映像が頻繁に切り替わってもシーンは「天気予報」となる。一方、例えばまったく「カット」が変わらなくても話している話題が変われば「シーン」は変わったと判定する。
【００５２】
なお、シーン分割部１７は、動画ファイルを複数のシーンに分割する際、音声認識部１２によって変換されたテキスト情報における時間的な切れ目、音声認識部１２によって変換されたテキスト情報における内容的な切れ目、画像解析部１３によって判定されたシーンの切り替わり、テロップ認識部１４によってテロップが認識されたタイミング、顔認識部１５によって顔が認識されたタイミング等を、それぞれ個別に考慮するのではなく、複合的に考慮してもよい。このような複合的な考慮を実施するために、例えば、テキスト情報における時間的な切れ目、テキスト情報における内容的な切れ目、シーンの切り替わり、テロップが認識されたタイミング、パーソナル情報取得部１６によってテキスト情報が取得されたタイミング等に基づく機械学習モデルを作成し、この機械学習モデルを用いて、シーンを分割することもできる。
【００５３】
変更部２１は、シーン分割部１７によって分割されたシーンの分割位置を、ユーザ指示に従って変更することができる。
【００５４】
タグ抽出部１８はさらに、音声認識部１２によって変換されたテキスト情報、テロップ認識部１４によって取得されたテロップのテキスト情報、掲載位置（座標軸）、色目、およびフォント、パーソナル情報取得部１８によってテキスト情報から、予め定められた規則に従って、記憶部２３に記憶された辞書データ２３ａを用いて、タグを抽出する。辞書データ２３ａは、例えば、経済、政治、スポーツ、文化、社会、海外情報等といったカテゴリ別に設けられていてもよい。
【００５５】
予め定められた規則は、テキスト情報からタグを抽出することに限らず、抽出したタグに関連する情報も、タグとして出力せよというものである。これを可能とするために、例えば、経済に関する辞書データ２３ａであれば、会社に関する会社コード、証券コード、企業名、組織名、人名、テーマ、場所、地域、業界、業種、ジャンル等を蓄積する。
【００５６】
これによって、タグ抽出部１８は、例えば、テキスト情報から、タグとして企業名を抽出すると、経済に関する辞書データ２３ａを参照することによって、抽出された企業名に対応する会社コード、証券コード、業界、業種、ジャンル等も、タグとして抽出することができる。
【００５７】
タグ付与部１９は、タグ抽出部１８によって抽出されたタグを、対応するシーンに付与する。
【００５８】
タグ付与部１９はさらに、タグと、タグに付されたシーンとの対応付けを示すタグ情報を、タグ情報データベース２３ｂに書き込む。
【００５９】
表示制御部２０は、タグ情報データベース２３ｂに書き込まれたタグ情報に基づいて、シーンに付与されたタグを、該シーンのサムネイルとともに、あるいは、該シーンを再生しながら、表示画面２２から表示させることができる。
【００６０】
変更部２１は、タグ付与部１９によって何れかのシーンに付与されたタグの削除や、何れかのシーンへの任意のタグの付与を、ユーザ指示に従って行う。また、前述したように、シーン分割部１７によって分割されたシーンの分割位置を、ユーザ指示に従って変更することができる。変更部２１は、これら変更処理の結果に応じて、タグ情報データベース２３ｂ内のタグ情報を更新する。
【００６１】
タグ情報データベース２３ｂに書き込まれたタグ情報は、対応するシーンとともに、記録媒体に記録され、あるいは、ネットワークを介して、提供されることも可能である。
【００６２】
（実施例１）
上述したタグ付け装置１０を、Ｗｅｂ環境で実現した例を、実施例１として説明する。
【００６３】
図３は、Ｗｅｂ環境で実現された実施例１のタグ付け装置の一例を示す概要構成図である。
【００６４】
タグ付け装置１００は、処理サーバ１１０、音声認識エンジン１２０、および言語解析エンジン１３０を備えている。ユーザは、ユーザ端末１４０を介して処理サーバ１１０を操作することができる。
【００６５】
ユーザ端末１４０は、インターネット等の通信ネットワークを介して処理サーバ１１０と通信可能に接続されており、ユーザ端末１４０のディスプレイが、タグ付け装置１０における表示画面２２を実現することができる。
【００６６】
処理サーバ１１０は、ユーザ端末１４０、音声認識エンジン１２０、言語解析エンジン１３０および記憶部２３と通信可能に接続されており、タグ付け装置１０における動画ファイル受付部１１、画像解析部１３、顔認識部１５、パーソナル情報取得部１６、シーン分割部１７、タグ抽出部１８、タグ付与部１９、表示制御部２０、および変更部２１を実現する。
【００６７】
音声認識エンジン１２０は、処理サーバ１１０と通信可能に接続されており、タグ付け装置１０における音声認識部１２を実現する。なお、図３では、処理サーバ１１０と音声認識エンジン１２０とは、通信ネットワークとしてインターネット１５０を介して通信可能に接続されている構成が例示されているが、通信ネットワークはインターネット１５０に限定されず、ＬＡＮやＶＰＮ等であってもよい。
【００６８】
言語解析エンジン１３０は、インターネット等の通信ネットワークを介して処理サーバ１１０と通信可能に接続されており、タグ付け装置１０におけるテロップ認識部１４を実現するとともに、記憶部２３にも通信可能に接続されている。
【００６９】
次に、タグ付け装置１００の動作例について説明する。
【００７０】
図４は、実施例１のタグ付け装置の動作例を示すフローチャートである。
【００７１】
まず、ユーザがユーザ端末１４０から、例えばＭＰ４ファイルのような動画ファイルを、処理サーバ１１０へアップロードする（Ｓ１）。
【００７２】
図５は、動画ファイルのアップロード時におけるユーザ端末における表示例を示す概念図である。
【００７３】
ユーザ端末１４０から処理サーバ１１０へ動画ファイルをアップロードする際には、ユーザ端末１４０の表示画面から、図５左側に示すような動画ファイルアップロードウィンドウＧが表示される。
【００７４】
ユーザは、動画ファイルアップロードウィンドウＧにおける表示に従って、動画ファイルを選択したり、オプションを設定することができる。すなわち、ユーザは、動画ファイル選択入力欄Ｇ１に表示されたファイル選択ボタンＧ１２をマウス等によって指定することによって、アップロードする動画ファイルを選択することができる。また、辞書データ選択入力欄Ｇ２に表示されたファイル選択ボタンＧ２２をマウス等によって指定することによって、タグ抽出のために使用される辞書データ２３ａを選択することができる。また、話者振り分け設定入力欄Ｇ３によって、動画ファイルを複数のシーンに分割する際に、話者に応じて分割するか否かを設定することができる。
【００７５】
また、ユーザは、動画ファイルにタイトルを付けたい場合、タイトル入力欄Ｇ４からタイトルを入力することができる。また、動画ファイルにコメントを加えたい場合、コメント入力欄Ｇ５からコメントを入力することができる。さらに、ユーザは、分割解析入力欄Ｇ６を「有効にする」と設定し、さらに、分割時間入力欄Ｇ６１から分割時間（例えば、「５分」）を入力することによって、動画ファイルからシーンａを一定時間毎に分割するインタバルを設定することができる。
【００７６】
これら設定がなされた後、ユーザは、送信ボタンＧ８を、マウス等により選択することによって、指定した動画ファイルを、処理サーバ１１０へアップロードすることができる。一方、ユーザは、戻るボタンＧ７を、マウス等により選択すると、１つ前の画面へ戻ることができる。
【００７７】
動画ファイルのアップロードが完了すると、ユーザ端末１４０の表示画面に、図５右側に示すように、アップロード日時表示欄Ｈ１、アップロードユーザ表示欄Ｈ２、解析条件表示欄Ｈ３、およびファイル名表示欄Ｈ４を含むアプロード一覧ウィンドウＨが表示される。
【００７８】
処理サーバ１１０は、アップロードされた動画ファイルを、音声認識エンジン１２０へ出力する（Ｓ２）。音声認識エンジン１２０は、処理サーバ１１０から出力された動画ファイルを、音声認識技術を用いて音声認識し、テキスト情報へ変換し、このテキスト情報を、処理サーバ１１０へ返す（Ｓ３）。
【００７９】
処理サーバ１１０はまた、動画ファイルを、画像解析し、動画ファイルにおけるシーンの切り替わりを判定する（Ｓ４）。
【００８０】
処理サーバ１１０はさらに、動画ファイルに人物が登場する場合（Ｓ５：Ｙｅｓ）、この人物の顔を認識し、認識結果として、顔認識情報を取得する（Ｓ６）。
【００８１】
その後、処理サーバ１１０は、顔認識情報に対応するパーソナル情報（例えば、氏名、性別、人種、身長等）を、パーソナル情報データベース２３ｃからテキスト情報の形式で取得する（Ｓ７）。
【００８２】
なお、動画ファイルに人物が登場しない場合（Ｓ５：Ｎｏ）、ステップＳ６、Ｓ７の処理はバイパスされる。
【００８３】
処理サーバ１１０はまた、動画ファイルを、言語解析エンジン１３０へ出力する（Ｓ８）。
【００８４】
言語解析エンジン１３０は、処理サーバ１１０から出力された動画ファイルに、テロップが表示されている場合（Ｓ９：Ｙｅｓ）、このテロップを認識し、テロップのテキスト情報を取得し、取得したテキスト情報を処理サーバ１１０へ返す（Ｓ１０）。
【００８５】
一方、処理サーバ１１０から出力された動画ファイルに、テロップが表示されていない場合（Ｓ９：Ｎｏ）、ステップＳ１０の処理はバイパスされる。
【００８６】
その後、処理サーバ１１０は、ステップＳ３において音声認識エンジン１２０から返されたテキスト情報における時間的な切れ目および内容的な切れ目、ステップＳ４において判定されたシーンの切り替わり、ステップＳ７において取得されたパーソナル情報に関するテキスト情報、ステップＳ１０において取得されたテロップのテキスト情報等に基づいて、例えば、前述したように機械学習モデルを用いて、動画ファイルを複数のシーンに分割する（Ｓ１１）。
【００８７】
その後、処理サーバ１１０は、ステップＳ３において音声認識エンジン１２０から返されたテキスト情報、ステップＳ７において取得されたパーソナル情報に関するテキスト情報、ステップＳ１０において取得されたテロップのテキスト情報から、予め定められた規則に従って、記憶部２３に記憶された辞書データ２３ａを用いて、タグを抽出する（Ｓ１２）。処理サーバ１１０はさらに、抽出されたタグに関連する情報も、タグとして出力することができる。
【００８８】
その後、処理サーバ１１０は、抽出されたタグを、ステップＳ１１で分割された複数のシーンのうち、対応するシーンに付与する（Ｓ１３）。
【００８９】
処理サーバ１１０はさらに、タグと、タグが付与されたシーンとの対応付けを示すタグ情報を生成し、タグ情報データベース２３ｂに書き込む（Ｓ１４）。
【００９０】
ユーザは、タグ情報データベース２３ｂに書き込まれたタグ情報に基づいて、シーンに付与されたタグを、ユーザ端末１４０から、該シーンのサムネイルとともに、あるいは、該シーンを再生しながら表示画面２２から表示させることができる（Ｓ１５）。
【００９１】
図６は、複数のシーンのサムネイルおよびテキスト情報のユーザ端末からの表示例を示す模式図である。
【００９２】
上述したタグ付け処理の結果は、図６に例示するように、ユーザ端末１４０の表示画面から表示される。
【００９３】
サムネイル表示ウィンドウＳには、処理サーバ１１０によって動画ファイルから分割されたシーンａ１〜ａ７のサムネイルが表示される。
【００９４】
サムネイル表示ウィンドウＳにおける各シーンａ１〜ａ７の上部には、動画ファイルにおける各シーンａ１〜ａ７の開始時間ｒ２が表示される。また、サムネイル表示ウィンドウＳにおける各シーンａ１〜ａ７の下部には、各話者の登場時間を示すバーチャートも表示される。
【００９５】
テキスト表示ウィンドウＸには、テキスト情報ｒ５が表示される。
【００９６】
サムネイル表示ウィンドウＳに表示される各シーンａ１〜ａ５のサムネイルを、マウスのクリック等によって選択すると、映像表示ウィンドウＭから、選択されたサムネイルに対応するシーンａ（シーンａ１〜ａ７のうちの何れか）の映像が表示されるとともに、映像表示ウィンドウＭの下に配置されたテキスト表示ウィンドウＹから、対応するシーンａのテキスト情報ｒ５が表示される。
【００９７】
ユーザは、映像表示ウィンドウＭから各シーンａの映像を表示させることによって、その内容を確認し、各シーンａ１〜ａ７が、適切に分割されていることを確認することができる。
【００９８】
そして、分割位置が適切ではないシーンａに対しては、ユーザは、ユーザ端末１４０から処理サーバ１１０へユーザ指示を出力することによって、該シーンの分割位置を変更することができる。この分割位置変更処理を、図７を用いて具体的に説明する。
【００９９】
図７は、図６における映像表示ウィンドウおよびサムネイル表示ウィンドウを含む部位の拡大図である。
【０１００】
シーンａ１〜ａ７の分割位置の変更は、ユーザが、ユーザ端末１４０を操作することによって、図７に示されるように、サムネイル表示ウィンドウＳにおける分割開始位置設定矢印Ｚ１によって開始位置を設定し、分割終了位置設定矢印Ｚ２によって終了位置を設定することによって行われる。
【０１０１】
図８は、タグ情報データベースに書き込まれたタグ情報を例示する図である。
【０１０２】
図８に例示するタグ情報Ｉは、見出しＩ１、テキスト情報ｒ５、開始時間ｒ２、終了時間ｒ３、記事ＩＤＩ５、全タグＩ６、会社コードＩ７、証券コードＩ８、会社Ｉ９、組織Ｉ１０、人Ｉ１１、場所Ｉ１２、地域Ｉ１３、その他Ｉ１４、業種Ｉ１５、およびジャンルＩ１６から構成される。
【０１０３】
見出しＩ１は、処理サーバ１１０によって分割されたシーンに対して、ユーザによって任意に与えられる。
【０１０４】
テキスト情報ｒ５は、音声認識エンジン１２０によって動画ファイルから変換されたテキスト情報である。
【０１０５】
開始時間ｒ２は、動画ファイルにおけるシーンの開始時間を示す。
【０１０６】
終了時間ｒ３は、動画ファイルにおけるシーンの終了時間を示す。
【０１０７】
記事ＩＤＩ５は、シーン毎に一意に付与される識別情報である。
【０１０８】
全タグＩ６は、テキスト情報ｒ５から抽出されたすべてのタグを示す。
【０１０９】
会社Ｉ９は、全タグＩ６に含まれる会社名を示す。
【０１１０】
会社コードＩ７は、会社Ｉ９に対応する会社コード番号を示す。
【０１１１】
証券コードＩ８は、会社Ｉ９に対応する証券コード番号を示す。
【０１１２】
すなわち、会社コードＩ７および証券コードＩ８は、会社Ｉ９に関連する情報として抽出されたタグである。
【０１１３】
一方、組織Ｉ１０は、全タグＩ６に含まれる組織の名前を、人Ｉ１１は、全タグＩ６に含まれる人の名前を、場所Ｉ１２は、全タグＩ６に含まれる場所の名称を、地域Ｉ１３は、全タグＩ６に含まれる地域の名称を示す。このように、組織Ｉ１０、人Ｉ１１、場所Ｉ１２、地域Ｉ１３は、全タグＩ６から抽出され、分類される。
【０１１４】
その他Ｉ１４は、全タグＩ６のうち、会社コードＩ７、証券コードＩ８、会社Ｉ９、組織Ｉ１０、人Ｉ１１、場所Ｉ１２、地域Ｉ１３の何れにも該当しないタグである。
【０１１５】
業種Ｉ１５およびジャンルＩ１６は、全タグＩ６から類推される業種およびジャンルを表すタグである。このように、処理サーバ１１０はさらに、抽出されたタグから類推される情報をもタグとして出力することができる。そして、この場合、図８に示すように、類推された情報もタグとして含むタグ情報を生成することができる。
【０１１６】
ユーザ端末１４０では、処理サーバ１１０から出力されたタグ情報Ｉに基づいて、シーンに付与されたタグを、例えばＩ７〜Ｉ１３、Ｉ１５、Ｉ１６のような分類別に、シーンのサムネイルとともに、あるいは、シーンの映像を再生しながら表示することができる。
【０１１７】
図９は、シーンと、シーンに付与されたの、ユーザ端末からの表示例を示す模式図である。
【０１１８】
図９に例示されるように、ユーザ端末１４０から、映像表示ウィンドウＭとタグ表示ウィンドウＫとが表示されると、映像表示ウィンドウＭからは、シーンａの映像が表示され、タグ表示ウィンドウＫからは、表示されているシーンａに対応する全タグＩ６および分類されたタグ（Ｉ７〜Ｉ１３、Ｉ１５、Ｉ１６）が表示される。
【０１１９】
なお、図９では、タグとして、会社コードＩ７、会社Ｉ９、組織Ｉ１０、人Ｉ１１が例示されているが、マウス等によってスクロールバーＲを上下に移動させることによって、図８に示すタグ（Ｉ６〜Ｉ１６）のうちの任意のタグを表示させることができる。
【０１２０】
図１０は、タグ情報データベースに書き込まれたログ情報の閲覧画面の一例を示す図である。
【０１２１】
図１０に例示する閲覧画面では、図５に示すタイトル入力欄Ｇ４で入力された動画ファイルのタイトルＬ毎に、シーン番号Ｅ、開始時間ｒ２、シーン画像ｍ、全タグＩ６、会社コードＩ７、証券コードＩ８、会社Ｉ９、組織Ｉ１０、人Ｉ１１、場所Ｉ１２、地域Ｉ１３、その他Ｉ１４といった各タグが表形式で表示される。
【０１２２】
ユーザは、図１０のように表示された結果を参照し、タグを削除したり、追加付与したり、シーンａ１〜ａｎの分割位置を変更するか否かを決定することができる。そして、タグを削除したり、追加付与したり、シーンａ１〜ａｎの分割位置を変更する場合（Ｓ１６：Ｙｅｓ）、必要なユーザ指示を、ユーザ端末１４０から入力し、処理サーバ１１０へ出力することができる（Ｓ１７）。
【０１２３】
処理サーバ１１０は、ユーザ端末１４０から出力されたユーザ指示に応じて、タグの削除、追加、シーンの分割位置の変更といった変更処理を実施し（Ｓ１８）、これら変更処理の結果に応じて、タグ情報データベース２３ｂ内のタグ情報Ｉを更新する（Ｓ１９）。
【０１２４】
一方、ステップＳ１６において、変更処理がなされない場合（Ｓ１６：Ｎｏ）、ステップＳ１７、Ｓ１８、Ｓ１９の処理はバイパスされる。
【０１２５】
タグ情報データベース２３ｂに書き込まれたログ情報Ｉの内容は、図１０のように、ユーザ端末１４０から表示され、ユーザによって確認される。
【０１２６】
また、タグ情報データベース２３ｂに書き込まれたログ情報Ｉは、例えば、インターネットのような通信ネットワークを介して、ＣＳＶ、ＴＸＴ、ＶＴＴ、ＪＳＯＮファイル等の形式で提供されることが可能である。
【０１２７】
（実施例２）
実施例１で説明したタグ付け装置の変形例を、実施例２として説明する。
【０１２８】
図１１は、Ｗｅｂ環境で実現された実施例２のタグ付け装置の一例を示す概要構成図である。
【０１２９】
図１１に示すタグ付け装置１０５は、図３に示すタグ付け装置１００の変形例であるので、図３と同じ部位については、同じ符号を付して重複説明を避け、以下では、実施例１と異なる点について説明する。
【０１３０】
図１１に示すタグ付け装置１０５は、図３に示すタグ付け装置１００に、動画配信プラットフォーム１６０と、動画配信プラットフォーム１６０を操作するためのユーザ端末１４２とを追加した構成をしている。
【０１３１】
ユーザ端末１４２は、インターネット等の通信ネットワークを介して動画配信プラットフォーム１６０と通信可能に接続されている。
【０１３２】
動画配信プラットフォーム１６０は、ユーザ端末１４２および処理サーバ１１０とインターネット等の通信ネットワークを介して通信可能に接続されている。
【０１３３】
タグ付け装置１０５では、タグ付け装置１００と同様に、ユーザ端末１４０から、例えばＭＰ４ファイルのような動画ファイルを、処理サーバ１１０へアップロードできる（Ｓ１）ことに加えて、ユーザ端末１４２からも、例えばＭＰ４ファイルのような動画ファイルを、動画配信プラットフォーム１６０を経由して、処理サーバ１１０へアップロードできる。
【０１３４】
なお、動画配信プラットフォーム１６０から処理サーバ１１０へ動画ファイルをアップロードする場合、動画配信プラットフォーム１６０から処理サーバ１１０へ動画ファイルを直接的にアップロードするのではなく、ＡＰＩによって動画ファイルを音声ファイルに分離し、分離された音声ファイルを、処理サーバ１１０へアップロードするようにしてもよい。これによって、ファイルサイズの大きな動画ファイルを、動画配信プラットフォーム１６０から処理サーバ１１０へアップロードしないので、送信負荷を低減することができる。
【０１３５】
図１２は、ユーザ端末から動画配信プラットフォームへ動画ファイルをアップロードするための操作画面の一例を示す模式図である。
【０１３６】
ユーザ端末１４２から動画配信プラットフォーム１６０へ動画ファイルをアップロードする場合には、ユーザ端末１４２に、図１２に例示されるようなアップロード用操作画面が表示される。
【０１３７】
ユーザ端末１４２を操作するユーザは、図１２に例示されるようなアップロード用操作画面の指示に従って、マウス等により動画ファイルのファイル名またはアイコンをドラッグエリアＤにドラッグすることによって、動画配信プラットフォーム１６０へアップロードする動画ファイルを指定することができる。
【０１３８】
動画配信プラットフォーム１６０は、ユーザ端末１４２から動画ファイルをアップロードされると、この動画ファイルを受信し、前述したように、ＡＰＩによって動画ファイルを音声ファイルに分離し、分離した各音声ファイルを、処理サーバ１１０へアップロードする。
【０１３９】
その後は、実施例１で説明したように、処理サーバ１１０、音声認識エンジン１２０、および言語解析エンジン１３０が動作し、ステップＳ２〜Ｓ１１の処理が行われることによって、処理サーバ１１０において、タグが抽出され（Ｓ１２）、対応するシーンに付与される（Ｓ１３）とともに、タグ情報が生成され、タグ情報データベース２３ｂに書き込まれる（Ｓ１４）。
【０１４０】
生成されたタグ情報は、処理サーバ１１０から動画配信プラットフォーム１６０へも出力される。
【０１４１】
これによって、シーンに付与されたタグは、図１３に示すように、ユーザ端末１４０からのみならず、ユーザ端末１４２から表示することもできる（Ｓ１５）。
【０１４２】
図１３は、ユーザ端末におけるタグの表示例を示す模式図である。
【０１４３】
その後は、実施例１のステップＳ１６〜Ｓ１９で説明したように、ユーザは、ユーザ端末１４０から、必要なユーザ指示を入力することによって、タグの削除、追加付与、および分割位置の変更を行うことができる。
【０１４４】
以上のように、動画配信プラットフォーム１６０のような他のシステムと連携したタグ付け装置１０５を構築することもできる。
【０１４５】
上述したように、本発明の実施形態に係るタグ付け方法が適用されたタグ付け装置によれば、動画のためのタグ付けを、自動的に行うことが可能となる。
【０１４６】
特に、本発明の実施形態に係るタグ付け方法が適用されたタグ付け装置は、動画ファイルを複数のシーンに分割するタイミングを、音声認識によって変換されたテキスト情報における時間的な切れ目および内容的な切れ目、シーンの切り替わり、テロップに関するテキスト情報、パーソナル情報に関するテキスト情報等を複合的に考慮することによって決定している。
【０１４７】
したがって、動画ファイルから、複数のシーンが、適切なタイミングで、すなわち、内容的にまとまりのある単位毎に分割される。そして、このように適切に分割された各シーンのそれぞれに対して、タグが付与されるので、ユーザは、付与されたタグを参照することによって、シーンの内容を的確に把握できるようになる。
【０１４８】
このように、各シーンに適切なタグが付与されることによって、映像のアーカイブの管理もより容易になる。さらには、動画コンテンツの検索性も向上し、サービス分類をより容易に行うことも可能となる。
【０１４９】
以上、本発明を実施するための最良の形態について、添付図面を参照しながら説明したが、本発明はかかる構成に限定されない。特許請求の範囲の発明された技術的思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【０１５０】
本発明のタグ付け装置、方法、およびプログラムは、ニュース等のような番組の動画ファイルの管理のために好適に利用することができるが、番組の動画ファイルのみならず、会議や講演会等の動画ファイルの管理のためにも、利用することが可能である。
【符号の説明】
【０１５１】
１０、１００、１０５・・タグ付け装置、
１１・・動画ファイル受付部、
１２・・音声認識部、
１３・・画像解析部、
１４・・テロップ認識部、
１５・・顔認識部、
１６・・パーソナル情報取得部、
１７・・シーン分割部、
１８・・タグ抽出部、
１９・・タグ付与部、
２０・・表示制御部、
２１・・変更部、
２２・・表示画面、
２３・・記憶部、
２３ａ・・辞書データ、
２３ｂ・・タグ情報データベース、
２３ｃ・・パーソナル情報データベース、
１１０・・処理サーバ、
１２０・・音声認識エンジン、
１３０・・言語解析エンジン、
１４０、１４２・・ユーザ端末、
１５０・・インターネット、
１６０・・動画配信プラットフォーム。
【図１】
2020079982.tif 000003
【図２】
2020079982.tif 000004
【図３】
2020079982.tif 000005
【図４】
2020079982.tif 000006
【図５】
2020079982.tif 000007
【図６】
2020079982.tif 000008
【図７】
2020079982.tif 000009
【図８】
2020079982.tif 000010
【図９】
2020079982.tif 000011
【図１０】
2020079982.tif 000012
【図１１】
2020079982.tif 000013
【図１２】
2020079982.tif 000014
【図１３】
2020079982.tif 000015
【手続補正書】
【提出日】令和1年10月9日(2019.10.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画ファイルを音声認識してテキスト情報へ変換する音声認識部と、
前記動画ファイルを画像解析し、前記動画ファイルの映像において話者が正面を向いたとき、前記映像において話者が変わったとき、および、前記映像が切り替わったときを、前記動画ファイルにおけるシーンの切り替わりとして判定する画像解析部と、
前記テキスト情報における時間的な切れ目と、前記テキスト情報における所定の接続詞によって決定される、前記テキスト情報における内容的な切れ目と、前記シーンの切り替わりとに基づいて、前記動画ファイルを複数のシーンに分割するシーン分割部と、
前記テキスト情報から、予め定められた規則に従って、タグを抽出するタグ抽出部と、
前記抽出されたタグを、前記複数のシーンのうち、対応するシーンに付与するタグ付与部と、
を備えたタグ付け装置。
【請求項２】
前記動画ファイルにおいて表示されるテロップを認識し、前記テロップのテキスト情報を取得するテロップ認識部をさらに備え、
前記シーン分割部はさらに、前記テロップ認識部によってテロップが認識されたことに基づいて、前記動画ファイルを複数のシーンに分割し、
前記タグ抽出部はさらに、前記テロップのテキスト情報から、予め定められた規則に従って、タグを抽出する、請求項１に記載のタグ付け装置。
【請求項３】
前記動画ファイルに登場する人物の顔を認識する顔認識部と、
前記顔認識部によって顔を認識された人物のパーソナル情報を示すテキスト情報を取得するパーソナル情報取得部とをさらに備え、
前記シーン分割部はさらに、前記顔認識部によって顔が認識されたことに基づいて、前記動画ファイルを複数のシーンに分割し、
前記タグ抽出部はさらに、前記パーソナル情報取得部によって取得されたテキスト情報から、予め定められた規則に従って、タグを抽出する、請求項２に記載のタグ付け装置。
【請求項４】
前記シーン分割部は、前記テキスト情報における時間的な切れ目と、前記テキスト情報における内容的な切れ目と、前記シーンの切り替わりと、前記テロップが認識されたタイミングと、前記パーソナル情報取得部によってテキスト情報が取得されたタイミングとに基づく機械学習モデルを作成し、前記機械学習モデルを用いて、前記動画ファイルを前記複数のシーンに分割する、請求項３に記載のタグ付け装置。
【請求項５】
前記時間的な切れ目は、前記動画ファイルにおいて、音声の途切れが、予め決定されたしきい値を超えた場合に対応する、請求項１に記載のタグ付け装置。
【請求項６】
前記タグ付与部によって、前記対応するシーンに付与されたタグを、指定された分類別に表示画面から表示させる表示制御部をさらに備えた、請求項１乃至５のうち何れか１項に記載のタグ付け装置。
【請求項７】
前記指定された分類は、会社コード、企業名、組織名、人名、テーマ情報、業界情報、およびジャンルのうちの少なくとも何れかを含む、請求項６に記載のタグ付け装置。
【請求項８】
前記タグ付与部によって、前記対応するシーンに付与されたタグの削除、および、前記対応するシーンへの任意のタグの付与のうちの少なくとも何れかを、ユーザ指示に従って行う変更部をさらに備えた、請求項１乃至７のうち何れか１項に記載のタグ付け装置。
【請求項９】
前記シーン分割部によって分割されたシーンの分割位置を、ユーザ指示に従って変更する変更部をさらに備えた、請求項１乃至７のうち何れか１項に記載のタグ付け装置。
【請求項１０】
プロセッサによって実施されるタグ付け方法であって、
前記プロセッサが、動画ファイルを音声認識してテキスト情報へ変換し、
前記プロセッサが、前記動画ファイルを画像解析し、前記動画ファイルの映像において話者が正面を向いたとき、前記映像において話者が変わったとき、および、前記映像が切り替わったときを、前記動画ファイルにおけるシーンの切り替わりとして判定し、
前記プロセッサが、前記テキスト情報における時間的な切れ目と、前記テキスト情報における所定の接続詞によって決定される、前記テキスト情報における内容的な切れ目と、前記シーンの切り替わりとに基づいて、前記動画ファイルを複数のシーンに分割し、
前記プロセッサが、前記テキスト情報から、予め定められた規則に従って、タグを抽出し、
前記プロセッサが、前記抽出されたタグを、前記複数のシーンのうち、対応するシーンに付与する、タグ付け方法。
【請求項１１】
動画ファイルを音声認識してテキスト情報へ変換する機能、
前記動画ファイルを画像解析し、前記動画ファイルの映像において話者が正面を向いたとき、前記映像において話者が変わったとき、および、前記映像が切り替わったときを、前記動画ファイルにおけるシーンの切り替わりとして判定する機能、
前記テキスト情報における時間的な切れ目と、前記テキスト情報における内容的な切れ目と、前記テキスト情報における所定の接続詞によって決定される、前記シーンの切り替わりとに基づいて、前記動画ファイルを複数のシーンに分割する機能、
前記テキスト情報から、予め定められた規則に従って、タグを抽出する機能、
前記抽出されたタグを、前記複数のシーンのうち、対応するシーンに付与する機能、
をプロセッサに実現させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記目的を達成するための本発明の第１の観点のタグ付け装置は、動画ファイルを音声認識してテキスト情報へ変換する音声認識部と、動画ファイルを画像解析し、動画ファイルの映像において話者が正面を向いたとき、映像において話者が変わったとき、および、映像が切り替わったときを、動画ファイルにおけるシーンの切り替わりとして判定する画像解析部と、テキスト情報における時間的な切れ目と、テキスト情報における所定の接続詞によって決定される、テキスト情報における内容的な切れ目と、シーンの切り替わりとに基づいて、動画ファイルを複数のシーンに分割するシーン分割部と、テキスト情報から、予め定められた規則に従って、タグを抽出するタグ抽出部と、抽出されたタグを、複数のシーンのうち、対応するシーンに付与するタグ付与部とを備えたタグ付け装置である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明の第６の観点のタグ付け装置は、第１乃至５の観点のうち何れかのタグ付け装置において、タグ付与部によって、対応するシーンに付与されたタグを、指定された分類別に表示画面から表示させる表示制御部をさらに備えている。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本発明の第７の観点のタグ付け装置は、第６の観点のタグ付け装置において、指定された分類は、会社コード、企業名、組織名、人名、テーマ情報、業界情報、およびジャンルのうちの少なくとも何れかを含む。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
本発明の第８の観点のタグ付け装置は、第１乃至７の観点のうち何れかのタグ付け装置において、タグ付与部によって、対応するシーンに付与されたタグの削除、および、対応するシーンへの任意のタグの付与のうちの少なくとも何れかを、ユーザ指示に従って行う変更部をさらに備えている。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本発明の第９の観点のタグ付け装置は、第１乃至７の観点のうち何れかのタグ付け装置において、シーン分割部によって分割されたシーンの分割位置を、ユーザ指示に従って変更する変更部をさらに備えている。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本発明の第１０の観点は、プロセッサによって実施されるタグ付け方法であって、プロセッサが、動画ファイルを音声認識してテキスト情報へ変換し、プロセッサが、動画ファイルを画像解析し、動画ファイルの映像において話者が正面を向いたとき、映像において話者が変わったとき、および、映像が切り替わったときを、動画ファイルにおけるシーンの切り替わりとして判定し、プロセッサが、テキスト情報における時間的な切れ目と、テキスト情報における内容的な切れ目と、テキスト情報における所定の接続詞によって決定される、シーンの切り替わりとに基づいて、動画ファイルを複数のシーンに分割し、プロセッサが、テキスト情報から、予め定められた規則に従って、タグを抽出し、プロセッサが、抽出されたタグを、複数のシーンのうち、対応するシーンに付与する、タグ付け方法である。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
本発明の第１１の観点は、動画ファイルを音声認識してテキスト情報へ変換する機能、動画ファイルを画像解析し、動画ファイルの映像において話者が正面を向いたとき、映像において話者が変わったとき、および、映像が切り替わったときを、動画ファイルにおけるシーンの切り替わりを判定する機能、テキスト情報における時間的な切れ目と、テキスト情報における所定の接続詞によって決定される、テキスト情報における内容的な切れ目と、シーンの切り替わりとに基づいて、動画ファイルを複数のシーンに分割する機能、テキスト情報から、予め定められた規則に従って、タグを抽出する機能、抽出されたタグを、複数のシーンのうち、対応するシーンに付与する機能をプロセッサに実現させるためのプログラムである。