(57)【要約】【課題】会議に参加したメンバーでないと把握しにくい内容を、会議に参加していないメンバーであっても効率良く把握できるようにする。【解決手段】情報処理装置１は、キーワードの入力をユーザーから受け付けるキーワード入力受付部１０３と、映像音声データ記憶部５１に記憶されている映像音声データの中の音声データに基づいて、当該音声データが示す音声をテキストに変換するテキスト変換部１０４と、テキスト変換部１０４による変換により得られたテキストデータに基づいて、当該テキストデータが示すテキストの中から、キーワード入力受付部１０３が受け付けたキーワードを含むテキスト部分を特定する特定部１０５と、上記映像音声データを用いて、特定部１０５により特定されたテキスト部分の元となる音声部分と同じ時間領域部分からなる別の映像音声データを新たに作成する編集部１０６と、を備える。【選択図】図１
2018121181.tif 000002
【特許請求の範囲】
【請求項１】
映像音声データを記憶する映像音声データ記憶部と、
キーワードの入力をユーザーから受け付けるキーワード入力受付部と、
前記映像音声データ記憶部に記憶されている映像音声データの中の音声データに基づいて、当該音声データが示す音声をテキストに変換するテキスト変換部と、
前記テキスト変換部による変換により得られたテキストデータに基づいて、当該テキストデータが示すテキストの中から、前記キーワード入力受付部が受け付けたキーワードを含むテキスト部分を特定する特定部と、
前記映像音声データ記憶部に記憶されている前記映像音声データを用いて、前記特定部により特定されたテキスト部分の元となる音声部分と同じ時間領域部分からなる別の映像音声データを新たに作成する編集部と、を備える編集装置。
【請求項２】
前記テキスト変換部による変換により得られたテキストデータを、予め定められた単位で複数のブロックに分ける分割部を更に備え、
前記特定部は、前記テキスト変換部による変換により得られたテキストデータに基づいて、当該テキストデータが示すテキストの中から、前記キーワード入力受付部が受け付けたキーワードを含む前記ブロックを特定し、
前記編集部は、前記特定部により特定された前記ブロックに属するテキスト部分の元となる音声部分と同じ時間領域部分からなる別の映像音声データを新たに作成する請求項１に記載の編集装置。
【請求項３】
前記編集部は、前記同じ時間領域を含む当該同じ時間領域前後の予め定められた時間領域からなる映像音声データを、前記映像音声データ記憶部から読み出して、前記新たな別の映像音声データを作成する請求項１又は請求項２に記載の編集装置。
【請求項４】
コンピューターを、
キーワードの入力をユーザーから受け付けるキーワード入力受付部と、
映像音声データ記憶部に記憶されている映像音声データの中の音声データに基づいて、当該音声データが示す音声をテキストに変換するテキスト変換部と、
前記テキスト変換部による変換により得られたテキストデータに基づいて、当該テキストデータが示すテキストの中から、前記キーワード入力受付部が受け付けたキーワードを含むテキスト部分を特定する特定部と、
前記映像音声データ記憶部に記憶されている前記映像音声データを用いて、前記特定部により特定されたテキスト部分の元となる音声部分と同じ時間領域部分からなる別の映像音声データを新たに作成する編集部と、して機能させる編集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、編集装置及び編集プログラムに関し、特に、会議等を撮影した映像音声を編集するための技術に関する。
【背景技術】
【０００２】
通常、会議に参加していないメンバーは、議事録を参照して議事の内容（例えば、結論、課題、アクションアイテム）を確認することになるが、議事録からだけでは、議事の内容を把握できたとしても、会議の雰囲気を感じ取ることは難しい。また、どのような背景や流れで、議事録に記載された結論などに至ったのかを把握することも難しい。
【０００３】
そこで、現在では、会議を撮影することによって、会議の内容を映像と音声で確認できるようにしている場合がある。映像と音声で会議の内容を確認すれば、議事録からだけでは把握できない、会議の雰囲気を感じ取ることができる。しかしながら、６０分の会議であれば、６０分間視聴しなければならず、効率は良くない。
【０００４】
下記の特許文献１に、撮影した会議の映像音声とメモ（議事録担当者が作成したメモ）とをリンクさせた議事録を作成し、メモに対応する映像音声を簡単に閲覧できるようにすることが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１７２５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の特許文献１に記載された発明は、ユーザーがメモを指定すれば、指定したメモに対応する映像音声が個別に再生されるので、撮影された全ての映像音声を視聴しなくても良く、時間の短縮を図ることができる。
【０００７】
しかしながら、上記の特許文献１に記載された発明では、ユーザーはメモと映像音声とを同時に確認する必要があり、煩わしい。また、会議の肝となる内容（例えば、結論、課題、アクションアイテム）について話されている個所を、ユーザーが適切に指定できるとは限らないので、会議の雰囲気を効率良く感じ取ることができるとは言えない。
【０００８】
本発明は、上記の事情に鑑みなされたものであり、現場に居た者（例えば、会議に参加したメンバー）でないと把握しにくい内容を、現場に居なかった者（例えば、会議に参加していないメンバー）であっても、効率良く把握できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一局面に係る編集装置は、映像音声データを記憶する映像音声データ記憶部と、キーワードの入力をユーザーから受け付けるキーワード入力受付部と、前記映像音声データ記憶部に記憶されている映像音声データの中の音声データに基づいて、当該音声データが示す音声をテキストに変換するテキスト変換部と、前記テキスト変換部による変換により得られたテキストデータに基づいて、当該テキストデータが示すテキストの中から、前記キーワード入力受付部が受け付けたキーワードを含むテキスト部分を特定する特定部と、前記映像音声データ記憶部に記憶されている前記映像音声データを用いて、前記特定部により特定されたテキスト部分の元となる音声部分と同じ時間領域部分からなる別の映像音声データを新たに作成する編集部と、を備える。
【００１０】
また、本発明の一局面に係る編集プログラムは、コンピューターを、キーワードの入力をユーザーから受け付けるキーワード入力受付部と、映像音声データ記憶部に記憶されている映像音声データの中の音声データに基づいて、当該音声データが示す音声をテキストに変換するテキスト変換部と、前記テキスト変換部による変換により得られたテキストデータに基づいて、当該テキストデータが示すテキストの中から、前記キーワード入力受付部が受け付けたキーワードを含むテキスト部分を特定する特定部と、前記映像音声データ記憶部に記憶されている前記映像音声データを用いて、前記特定部により特定されたテキスト部分の元となる音声部分と同じ時間領域部分からなる別の映像音声データを新たに作成する編集部と、して機能させる。
【発明の効果】
【００１１】
本発明によれば、ユーザーが入力したキーワード（重要な意味をもつ言葉）に基づいて編成された、映像音声のダイジェストが生成される。すなわち、重要な部分が収められたダイジェストが生成される。従って、当該映像音声が撮影された現場に居なかった者（例えば、会議に参加していないメンバー）であっても、生成されたダイジェストを視聴することで、現場に居た者（例えば、会議に参加したメンバー）でないと把握しにくい内容（例えば、会議の雰囲気）を、効率良く把握することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る編集装置の主要内部構成を概略的に示した機能ブロック図である。
【図２】第１実施形態に係る編集装置における制御ユニットで行われる処理動作の一例を示したフローチャートである。
【図３】表示部に表示される操作画面の一例を示した図である。
【図４】会議での発言内容の一例を示した図である。
【図５】映像データが示す映像と、音声データが示す音声と、テキストデータが示すテキストとの時間的関係を説明するための説明図である。
【図６】第２実施形態に係る編集装置の主要内部構成を概略的に示した機能ブロック図である。
【図７】第２実施形態に係る編集装置における制御ユニットで行われる処理動作の一例を示したフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明に係る編集装置及び編集プログラムの実施の形態を図面に基づいて説明する。図１は、本発明の第１実施形態に係る編集プログラムがインストールされた編集装置の主要内部構成を概略的に示した機能ブロック図である。編集装置１は、例えば、パーソナルコンピューター（ＰＣ：Personal Computer）などの電子機器であって、表示部１０と、音声出力部２０と、操作部３０と、通信部４０と、記憶部５０と、制御ユニット１００とを備えている。これらの各構成は、互いに通信バスによりデータ又は信号の送受信が可能とされている。
【００１４】
表示部１０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＬＥＤ：Organic Light-Emitting Diode）などから構成される。また、表示部１０は、制御ユニット１００からの応答やデータ結果等を表示するとともに、タッチパネル機能が設けられており、ユーザーは画面表示される画像等に触れて編集装置１を操作することができる。
【００１５】
音声出力部２０は、スピーカーなどであり、音声を出力する。
【００１６】
操作部３０は、マウスやキーボードなどであり、編集装置１が実行可能な各種動作及び処理についてユーザーから各種指示を受け付ける。
【００１７】
通信部４０は、不図示のＬＡＮ（Local Area Network）チップなどの通信モジュールを備える通信インターフェイスである。
【００１８】
編集装置１は、例えば、ビデオカメラ２００と接続され、後述する制御部１０１が、通信部４０を介して、ビデオカメラ２００との間でデータの送受信を行い、ビデオカメラ２００に保存されている映像音声データ（映像データと音声データとからなり、これら映像データと音声データが同期されたデータ）を取得することができる。
【００１９】
記憶部５０は、ＨＤＤ（Hard Disk Drive）などの大容量の記憶装置である。記憶部５０には、制御プログラムや前述の編集プログラム等が記憶されると共に、後述する映像音声データ記憶部５１や編集データ記憶部５２が構築される。
【００２０】
制御ユニット１００は、プロセッサー、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＭＰＵ（Micro Processing Unit）等である。制御ユニット１００は、制御部１０１と、操作受付部１０２と、テキスト変換部１０４と、特定部１０５と、編集部１０６と、を備えている。
【００２１】
制御ユニット１００は、記憶部５０に記憶されている制御プログラム等に従った上記プロセッサーによる動作により、制御部１０１、操作受付部１０２、テキスト変換部１０４、特定部１０５、及び編集部１０６として機能するものである。但し、制御部１０１等は、制御ユニット１００による制御プログラム等に従った動作によらず、ハードウェア回路により構成することも可能である。以下、特に触れない限り、各実施形態について同様である。
【００２２】
制御部１０１は、編集装置１の全体的な動作制御を司る。制御部１０１は、表示部１０、音声出力部２０、操作部３０、通信部４０、及び記憶部５０と接続され、これら各部の駆動制御等を行う。例えば、制御部１０１は、通信部４０を介して、ビデオカメラ２００に保存されている映像音声データを取得し、記憶部５０に映像音声データ記憶部５１を構築し、取得した映像音声データを映像音声データ記憶部５１に記憶させる。
【００２３】
操作受付部１０２は、タッチパネル機能が設けられた表示部１０や操作部３０から出力される検知信号に基づき、ユーザーにより入力されたユーザー操作を特定する。そして、操作受付部１０２は、特定したユーザー操作を受け付け、当該ユーザー操作に対応する制御信号を制御部１０１などに出力する。また、操作受付部１０２は、キーワード入力受付部１０３を備える。
【００２４】
テキスト変換部１０４は、映像音声データ記憶部５１に記憶されている映像音声データの中の音声データに基づいて、当該音声データが示す音声をテキストに変換する。
【００２５】
特定部１０５は、テキスト変換部１０４による変換により得られたテキストデータに基づいて、当該テキストデータが示すテキストの中から、キーワード入力受付部１０３が受け付けたキーワードを含むテキスト部分を特定する。
【００２６】
編集部１０６は、映像音声データ記憶部５１に記憶されている映像音声データを用いて、特定部１０５により特定されたテキスト部分の元となる音声部分と同じ時間領域部分からなる別の映像音声データを新たに作成する。例えば、編集部１０５は、特定部１０５により特定されたテキスト部分の元となる音声部分と同じ時間領域の映像音声データを、映像音声データ記憶部５１から読み出し、当該読み出した映像音声データを、新たな別の映像音声データとする。
【００２７】
次に、上記の構成を備える編集装置１の動作について説明する。図２は、編集プログラムを、編集装置１の制御ユニット１００で実行させた場合の処理動作を示したフローチャートである。なお、この処理動作が実行されるのは、操作受付部１０２が映像音声データ記憶部５１に記憶されている映像音声データの編集要求を受け付けた場合である。
【００２８】
操作受付部１０２が、上記編集要求を受け付けると、キーワード入力受付部１０３が、例えば、図３に示すような操作画面Ｄ１を表示部１０に表示させることによって、キーワードのユーザー入力を受け付ける（Ｓ１）。操作画面Ｄ１には、操作部３０を介して入力された文字列を表示する表示領域Ｅ１と、「決定」と記された決定ボタンＢ１とが形成され、キーワード入力受付部１０３は、決定ボタンＢ１に対する操作を受け付けると、ユーザーにより入力された文字列をキーワードとして記憶する。
【００２９】
続いて、テキスト変換部１０４が、映像音声データ記憶部５１に記憶されている映像音声データの中の音声データに基づいて、当該音声データが示す音声をテキストに変換する（Ｓ２）。なお、音声のテキストへの変換には、既知の技術を用いるため、詳細な説明は省略する。
【００３０】
続いて、特定部１０５が、テキスト変換部１０４による変換により得られたテキストデータに基づいて、当該テキストデータが示すテキストの中から、キーワード入力受付部１０３が受け付けたキーワードを含むテキスト部分を特定する（Ｓ３）。
【００３１】
図４は、会議での発言内容の一例を示した図であり、例えば、キーワード入力受付部１０３が受け付けたキーワードが「ＸＸＸ」である場合、特定部１０５は、下線で示した部分Ｐ１〜Ｐ３を、キーワードを含むテキスト部分として特定する。
【００３２】
続いて、編集部１０６が、特定部１０５により特定されたテキスト部分の元となる音声部分と同じ時間領域を含む当該同じ時間領域前後の予め定められた時間領域（例えば、前後それぞれ１分間）からなる映像音声データを、映像音声データ記憶部５１から読み出す（Ｓ４）。
【００３３】
図５は、映像データが示す映像と、音声データが示す音声と、テキストデータが示すテキストとの時間的関係を説明するための説明図である。図中Ｖ１〜Ｖ３はそれぞれ、テキスト部分Ｐ１〜Ｐ３の元となる音声部分の時間領域を示し、図中Ｖ１１，Ｖ１２は、時間領域Ｖ１前後の当該予め定められた時間領域を示し、図中Ｖ２１，Ｖ２２は、時間領域Ｖ２前後の当該予め定められた時間領域を示し、図中Ｖ３１，Ｖ３２は、時間領域Ｖ３前後の当該予め定められた時間領域を示している。
【００３４】
編集部１０６は、Ｓ４において、時間領域Ｖ１１，Ｖ１，Ｖ１２、時間領域Ｖ２１，Ｖ２，Ｖ２２、及び時間領域Ｖ３１，Ｖ３，Ｖ３２の映像音声データを、映像音声データ記憶部５１から読み出す。
【００３５】
例えば、映像音声データが、基準時点（例えば、撮影開始時点）からの経過時間を示す時間情報を有する場合、テキストデータも当該経過時間を示す時間情報を有している。編集部１０６は、当該時間情報に基づいて、指定されたテキストが含まれる区間を映像音声データから特定する。この時間情報に基づいて、映像音声データ及びテキストデータは、上述したように同期されている。このため、編集部１０６は、特定部１０５により特定されたテキスト部分の元となる音声部分と同じ時間領域を含む当該同じ時間領域前後の予め定められた時間領域からなる映像音声データを、映像音声データ記憶部５１から読み出すことが可能である。
【００３６】
続いて、編集部１０６は、読み出した映像音声データを用いて、新たな別の映像音声データを編集データとして生成し（Ｓ５）、記憶部５０に編集データ記憶部５２を構築し、生成した編集データを編集データ記憶部５２に記憶させる（Ｓ６）。
【００３７】
編集データ記憶部５２に記憶された編集データについては、操作受付部１０２が、当該編集データに対する再生要求を受け付けると、制御部１０１が、編集データ記憶部５２から当該編集データを読み出し、再生することによって、映像を表示部２０に表示させ、音声を音声出力部２０から発生させる。
【００３８】
上記第１実施形態によれば、ユーザーが入力したキーワード（重要な意味をもつ言葉）に基づいて編成された、映像音声のダイジェストが生成される。すなわち、重要な部分が収められたダイジェストが生成される。従って、当該映像音声が撮影された現場に居なかった者（例えば、会議に参加していないメンバー）であっても、生成されたダイジェストを視聴することで、現場に居た者（例えば、会議に参加したメンバー）でないと把握しにくい内容（例えば、会議の雰囲気）を、効率良く把握することができる。
【００３９】
図６は、第２実施形態に係る編集プログラムがインストールされた編集装置の主要内部構成を概略的に示した機能ブロック図である。なお、第２実施形態に係る編集装置１Ａは、図１に示した編集装置１とは、テキスト変換部１０４による変換により得られたテキストデータを、予め定められた単位で複数のブロックに分ける分割部１０７を制御ユニット１００Ａが備える点で相違する。
【００４０】
次に、第２実施形態に係る編集装置１Ａの動作について説明する。図７は、編集プログラムを、編集装置１Ａの制御ユニット１００Ａで実行させた場合の処理動作を示したフローチャートである。なお、この処理動作が実行されるのは、操作受付部１０２が映像音声データ記憶部５１に記憶されている映像音声データの編集要求を受け付けた場合である。
【００４１】
操作受付部１０２が、上記要求を受け付けると、キーワード入力受付部１０３が、キーワードのユーザー入力を受け付け（Ｓ１１）、テキスト変換部１０４が、映像音声データ記憶部５１に記憶されている映像音声データの中の音声データに基づいて、当該音声データが示す音声をテキストに変換する（Ｓ１２）。そして、分割部１０７は、テキスト変換部１０４による変換により得られたテキストデータを、予め定められた単位（例えば、発言単位）で複数のブロックに分ける（Ｓ１３）。
【００４２】
発言と発言との間には、無音時間が一定時間以上継続すると考えられるので、例えば、分割部１０７は、無音時間の長さに基づいて、テキストデータを複数のブロックに分ける。分割部１０７は、無音時間が予め定められた時間として例えば5秒続いた場合には、当該無音時間前後に存在し、当該無言時間を有していない部分に相当する各テキストデータ部分を別々のブロックとする。図４に示した例でいえば、分割部１０７は、その会議での発言内容を、例えば、「ＡＡＡ案のメリットは何か？」を一つのブロックとし、「ＡＡＡ案のメリットはＹＹＹです。」を一つのブロックとして、それぞれ分ける。
【００４３】
続いて、特定部１０５が、テキスト変換部１０４による変換により得られたテキストデータに基づいて、当該テキストデータが示すテキストの中から、キーワード入力受付部１０３が受け付けたキーワードを含むブロックを特定する（Ｓ１４）。
【００４４】
例えば、キーワード入力受付部１０３が受け付けたキーワードが「ＸＸＸ」である場合、特定部１０５は、図４に示した「ＡＡＡ案の課題はＸＸＸです。」、「ＸＸＸは解決できるのか？」、「結論は、ＸＸＸの課題が解決できれば承認とする。」という部分を、キーワードを含むブロックとして特定する。
【００４５】
続いて、編集部１０６が、特定部１０５により特定されたブロックに属するテキスト部分の元となる音声部分と同じ時間領域の映像音声データを、映像音声データ記憶部５１から読み出し（Ｓ１５）、読み出した映像音声データを繋ぎ合わせることによって、編集データを生成し（Ｓ１６）、記憶部５０に編集データ記憶部５２を構築し、生成した編集データを編集データ記憶部５２に記憶させる（Ｓ１７）。
【００４６】
当該第２実施形態によれば、キーワードを含むブロックが特定されるので、例えば、キーワードを含む発言を、一つのかたまりとし、それに対応する映像音声データを読み出すことができる。
【００４７】
また、別の実施形態では、上記第１実施形態と同様に、特定部１０５により特定されたブロックに属するテキスト部分の元となる音声部分と同じ時間領域だけでなく、編集部１０６が、その前後の予め定められた時間領域（例えば、前後それぞれ１分間）の映像音声データを、映像音声データ記憶部５１から読み出すようにしても良い。
【００４８】
また、本発明は上記実施の形態の構成に限られず種々の変形が可能である。また、上記実施形態では、本発明に係る編集装置の一実施形態としてパソコンを用いて説明しているが、これは一例に過ぎず、例えば、スマートフォンやタブレットなど、他の電子機器でも構わない。
【００４９】
また、上記実施形態では、図１乃至図７を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。
【符号の説明】
【００５０】
１、１Ａ  編集装置
５１      映像音声データ記憶部
１０３    キーワード入力受付部
１０４    テキスト変換部
１０５    特定部
１０６    編集部
１０７    分割部
【図１】
2018121181.tif 000003
【図２】
2018121181.tif 000004
【図３】
2018121181.tif 000005
【図４】
2018121181.tif 000006
【図５】
2018121181.tif 000007
【図６】
2018121181.tif 000008
【図７】
2018121181.tif 000009