(57)【要約】【課題】発話者の表情を適切に認識し、発話者がどのような感情を持って発話しているかについて容易に把握することが可能な動画出力装置、動画出力方法および動画出力プログラムを提供する。【解決手段】動画出力装置は、発話を行っている発話者を撮影することによって得られた動画データを第１の動画データとして取得する第１の動画取得部と、第１の動画取得部により取得された第１の動画データにおいて、発話者が発話を行っている複数の発話部分をそれぞれ第２の動画データとして生成する第２の動画生成部と、第２の動画生成部により生成された複数の第２の動画データを順次出力する第２の動画出力部とを備える。【選択図】図１
2019176375.tif 000002
【特許請求の範囲】
【請求項１】
発話を行っている発話者を撮影することによって得られた動画データを第１の動画データとして取得する第１の動画取得部と、
前記第１の動画取得部により取得された前記第１の動画データにおいて、前記発話者が発話を行っている複数の発話部分をそれぞれ第２の動画データとして生成する第２の動画生成部と、
前記第２の動画生成部により生成された複数の前記第２の動画データを順次出力する第２の動画出力部と、
を備える動画出力装置。
【請求項２】
前記第２の動画出力部は、複数の前記第２の動画データを時系列で出力する、
請求項１に記載の動画出力装置。
【請求項３】
前記第１の動画取得部により取得された前記第１の動画データに関連する音声データを取得する音声取得部と、
前記音声取得部により取得された音声データに対して音声認識を行う音声認識部と、
を備え、
前記第２の動画生成部は、前記音声認識部の音声認識結果に基づいて前記複数の発話部分を特定し、その特定結果を用いて複数の前記第２の動画データを生成する、
請求項１または２に記載の動画出力装置。
【請求項４】
前記第２の動画生成部は、前記音声認識部の音声認識結果を所定の表現態様として含めて、前記第２の動画データを生成する、
請求項３に記載の動画出力装置。
【請求項５】
前記第１の動画取得部は、前記発話者による発話が行われている最中に、前記第１の動画データをリアルタイムで取得する、
請求項１〜４の何れか一項に記載の動画出力装置。
【請求項６】
前記第１の動画取得部により取得された前記第１の動画データにおける前記複数の発話者が発話を行っていない非発話部分に関連して設定された画像を出力する画像出力部を備える、
請求項５に記載の動画出力装置。
【請求項７】
前記第２の動画出力部は、前記発話者が視認可能に複数の前記第２の動画データを順次出力する、
請求項１〜６の何れか一項に記載の動画出力装置。
【請求項８】
前記第１の動画取得部は、前記発話者による発話が全て行われた後、前記第１の動画データを取得する、
請求項１〜４の何れか一項に記載の動画出力装置。
【請求項９】
発話を行っている発話者を撮影することによって得られた動画データを第１の動画データとして取得し、
取得された前記第１の動画データにおいて、前記発話者が発話を行っている複数の発話部分をそれぞれ第２の動画データとして生成し、
生成された複数の前記第２の動画データを順次出力する、
動画出力方法。
【請求項１０】
コンピューターに、
発話を行っている発話者を撮影することによって得られた動画データを第１の動画データとして取得する処理と、
取得された前記第１の動画データにおいて、前記発話者が発話を行っている複数の発話部分をそれぞれ第２の動画データとして生成する処理と、
生成された複数の前記第２の動画データを順次出力する処理と、
を実行させる動画出力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画出力装置、動画出力方法および動画出力プログラムに関する。
【背景技術】
【０００２】
従来、通信技術、画像処理技術等の発展に伴い、遠隔の複数拠点にそれぞれ設置された複数の情報処理装置間でネットワークを介して会議ができるテレビ会議システムが実用化されている。また、大容量データの送受信が可能であることから、端末装置にて集音される音声のデータを他の端末装置へ送信して複数の端末装置にて発話者の発話内容を共有するのみならず、各端末装置にて会議参加者を撮影し、撮影した動画データを他の端末装置へ送信することによって、表情、身振りなどを交えた会議が実現できる会議システム（いわゆるＷｅｂ会議システム）が実用化されている。
【０００３】
また、音声認識技術を活用して、Ｗｅｂ会議システムにおける発話者の発話音声に対して音声認識を行って文字列に変換し、当該文字列を字幕として表示したり、当該文字列を用いて議事録のドラフト版を作成したりする技術が提案されている（例えば、特許文献１を参照）。このように、「音声」を「文字列」として目に見えるカタチに変換することで、会議の参加者が同じ情報を漏れなく共有することができ、また、議事録の書き起こし時間を削減することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−００４２７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、Ｗｅｂ会議システムにおいて、複数の会議参加者を撮影した複数の動画データは複数の画面に同時表示される。そのため、各会議参加者は、同時表示されている複数の画面から、実際に口を動かしている発話者を探し出す必要があり、余計な手間を必要とし、発話者の顔色等の表情を適切に認識できない場合があった。この場合、発話者がどのような感情（喜び、驚き、落胆など）を持って発話しているかについて把握することは困難であった。
【０００６】
本発明の目的は、発話者の表情を適切に認識し、発話者がどのような感情を持って発話しているかについて容易に把握することが可能な動画出力装置、動画出力方法および動画出力プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る動画出力装置は、
発話を行っている発話者を撮影することによって得られた動画データを第１の動画データとして取得する第１の動画取得部と、
前記第１の動画取得部により取得された前記第１の動画データにおいて、前記発話者が発話を行っている複数の発話部分をそれぞれ第２の動画データとして生成する第２の動画生成部と、
前記第２の動画生成部により生成された複数の前記第２の動画データを順次出力する第２の動画出力部と、
を備える。
【０００８】
本発明に係る動画出力方法は、
発話を行っている発話者を撮影することによって得られた動画データを第１の動画データとして取得し、
取得された前記第１の動画データにおいて、前記発話者が発話を行っている複数の発話部分をそれぞれ第２の動画データとして生成し、
生成された複数の前記第２の動画データを順次出力する。
【０００９】
本発明に係る動画出力プログラムは、
コンピューターに、
発話を行っている発話者を撮影することによって得られた動画データを第１の動画データとして取得する処理と、
取得された前記第１の動画データにおいて、前記発話者が発話を行っている複数の発話部分をそれぞれ第２の動画データとして生成する処理と、
生成された複数の前記第２の動画データを順次出力する処理と、
を実行させる。
【発明の効果】
【００１０】
本発明によれば、発話者の表情を適切に認識し、発話者がどのような感情を持って発話しているかについて容易に把握することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態におけるＷｅｂ会議システムの構成を示すブロック図である。
【図２】本実施の形態における第２の動画データを生成して送信する流れを説明する図である。
【図３】本実施の形態におけるサーバー装置の動作例を示すフローチャートである。
【図４】本実施の形態における第２の動画データを生成して記録する流れを説明する図である。
【図５】本実施の形態におけるサーバー装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、図面を適宜参照して、本発明の一実施の形態について詳細に説明する。
【００１３】
＜Ｗｅｂ会議システムの構成＞
図１は、本実施の形態におけるＷｅｂ会議システム１０の機能構成を示すブロック図である。Ｗｅｂ会議システム１０は、ネットワーク（例えば、インターネット）を介して接続されたクライアント装置１００およびサーバー装置２００（本発明の「動画出力装置」として機能）を備えて構成される。
【００１４】
ユーザー（以下、発話者ともいう）は、クライアント装置１００を用いて、サーバー装置２００が提供するＷｅｂ会議サービスにログイン（参加）し、クライアント装置１００上で動作するＷｅｂブラウザを介して様々な発話（発言）を行うことができる。なお、図１においては、クライアント装置１００を１つのみ表示しているが、実際には、Ｗｅｂ会議に参加する複数のユーザーがそれぞれ使用する複数のクライアント装置１００が存在する。
【００１５】
まず、クライアント装置１００の機能構成について説明する。クライアント装置１００は、ＰＣ（パーソナルコンピュータ）、タブレットＰＣ、スマートフォン、携帯電話等の装置であり、他の装置（他のクライアント装置１００やサーバー装置２００）との間でデータを送受信する機能を備えている。
【００１６】
クライアント装置１００は、入力受付部１１０、動画音声入力部１２０、動画音声送信部１３０、動画音声受信部１４０、動画音声出力制御部１５０および動画音声出力部１６０を備えて構成される。
【００１７】
なお、クライアント装置１００は、図示しないが、例えば、プロセッサとしてのＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【００１８】
入力受付部１１０は、図示しない操作部を介してユーザーによる各種の入力を受け付ける。そして、入力受付部１１０は、受け付けた入力に応じた入力信号をサーバー装置２００に送信する。例えば、入力受付部１１０は、サーバー装置２００が提供するＷｅｂ会議サービスにユーザーがログインするために必要なユーザーＩＤおよびパスワードの入力を受け付ける。
【００１９】
動画音声入力部１２０は、サーバー装置２００からクライアント装置１００にＷｅｂ会議サービスが提供される場合、カメラ等の撮像手段（図示せず）でユーザーを撮影した動画を動画データとして入力する。また、動画音声入力部１２０は、マイク等の集音手段（図示せず）でユーザー周辺の音を集音した音声を音声データとして入力する。
【００２０】
動画音声送信部１３０は、動画音声入力部１２０に入力された動画データおよび音声データをサーバー装置２００に送信する。
【００２１】
動画音声受信部１４０は、サーバー装置２００の動画音声送信部２７０から送信された第２の動画データおよび第２の音声データを受信する。そして、動画音声受信部１４０は、受信した第２の動画データおよび第２の音声データを動画音声出力制御部１５０に出力する。
【００２２】
また、動画音声受信部１４０は、サーバー装置２００の配信用コンテンツ送信部２９０から送信された配信用コンテンツを受信する。そして、動画音声受信部１４０は、受信した配信用コンテンツを動画音声出力制御部１５０に出力する。
【００２３】
動画音声出力制御部１５０は、動画音声受信部１４０から出力された第２の動画データおよび配信用コンテンツの表示出力制御と、動画音声受信部１４０から出力された第２の音声データの音声出力制御とを行う。具体的には、動画音声出力制御部１５０は、サーバー装置２００からクライアント装置１００にＷｅｂ会議サービスが提供されている間、動画音声受信部１４０から出力された配信用コンテンツを表示出力する制御を行い、動画音声受信部１４０から第２の動画データが出力された場合、当該配信用コンテンツではなく、当該第２の動画データを表示出力する制御を行う。
【００２４】
動画音声出力部１６０は、例えばディスプレイやスピーカーを有し、動画音声出力制御部１５０の制御下において、Ｗｅｂブラウザを介した第２の動画データおよび配信用コンテンツの表示出力、および、第２の音声データの音声出力を行う。
【００２５】
次に、サーバー装置２００の機能構成について説明する。サーバー装置２００は、クライアント装置１００からのＷｅｂ会議サービスに関する要求に基づいて、当該要求に応じた各種処理を実行する。
【００２６】
サーバー装置２００は、動画音声受信部２１０、第１の動画音声記憶部２２０、音声取得部２３０、音声認識部２４０、第２の動画音声生成部２５０、第２の動画音声記憶部２６０、動画音声送信部２７０、配信用コンテンツ記憶部２８０および配信用コンテンツ送信部２９０を備えて構成される。
【００２７】
なお、サーバー装置２００は、図示しないが、例えば、プロセッサとしてのＣＰＵ（Central Processing Unit）、制御プログラム（本発明の「動画出力プログラム」として機能）を格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【００２８】
動画音声受信部２１０は、複数のクライアント装置１００を介した複数のユーザーによる発話（すなわちＷｅｂ会議）が行われている最中に、クライアント装置１００の動画音声送信部１３０から送信された動画データおよび音声データをリアルタイムで受信する。そして、動画音声受信部２１０は、受信した動画データおよび音声データを第１の動画データおよび第１の音声データとして第１の動画音声記憶部２２０に記録する。なお、動画音声受信部２１０は、本発明の「第１の動画取得部」として機能する。
【００２９】
第１の動画音声記憶部２２０は、第１の動画データおよび第１の音声データを記憶する。第１の動画音声記憶部２２０は、例えば不揮発性の半導体メモリ（いわゆるフラッシュメモリ）やハードディスクドライブで構成される。
【００３０】
音声取得部２３０は、動画音声受信部２１０により受信された音声データを取得する。そして、音声取得部２３０は、取得した音声データを音声認識部２４０に出力する。
【００３１】
音声認識部２４０は、音声取得部２３０から出力された音声データに対して音声認識処理を行う。音声認識部２４０は、従来のあらゆる音声認識技術を用いて、音声認識処理を行うことができる。
【００３２】
音声認識部２４０は、音声認識処理の結果として正しい音声認識結果が得られた場合、音声認識結果として得られるテキストデータ（文字列）と、ユーザーが発話を開始した発話開始時間を示す発話開始時間情報と、当該ユーザーが当該発話を終了した発話終了時間を示す発話終了時間情報とを生成して第２の動画音声生成部２５０に出力する。正しい音声認識結果が得られた場合とは、例えば、音声認識処理に成功し、かつ、音声データの音声中において不要語や騒音の登場頻度が一定頻度以下である場合である。
【００３３】
ここで、不要語について説明する。一般に、話し言葉には、書き言葉には登場しない単語が登場する。例えば、発話者（ユーザー）の言いよどみの際に発声される「いや」、「あの」、「えー」、や「えーと」などの単語を含む間投詞（感動詞）は、書き言葉では一般には登場しない単語であるが、話し言葉には数多く登場する。また、これらの単語は話の内容とは無関係であることが多く、相手に情報を伝える上では不要であることが多い。
【００３４】
第２の動画音声生成部２５０は、音声認識部２４０から出力された発話開始時間情報および発話終了時間情報に基づいて、第１の動画音声記憶部２２０に記憶される第１の動画データおよび第１の音声データにおいて、複数のユーザーが発話を行っている複数の発話部分（発話開始時間〜発話終了時間の区間）をそれぞれ特定する。第２の動画音声生成部２５０は例えば、第１の動画音声記憶部２２０に記憶される第１の動画データから、特定した発話部分を切り出すことによって第２の動画データを生成する。
【００３５】
本実施の形態では、第２の動画音声生成部２５０は、音声認識部２４０から出力されたテキストデータを字幕（本発明の「所定の表現態様」に対応）として含めて、第２の動画データを生成する。そして、第２の動画音声生成部２５０は、生成した第２の動画データを第２の動画音声記憶部２６０に記録する。
【００３６】
また、第２の動画音声生成部２５０は、例えば第１の動画音声記憶部２２０に記憶される第１の音声データから、特定した発話部分を切り出すことによって第２の音声データを生成する。そして、第２の動画音声生成部２５０は、生成した第２の音声データを第２の動画音声記憶部２６０に記録する。
【００３７】
第２の動画音声記憶部２６０は、第２の動画データおよび第２の音声データを記憶する。第２の動画音声記憶部２６０は、例えば不揮発性の半導体メモリ（いわゆるフラッシュメモリ）やハードディスクドライブで構成される。
【００３８】
動画音声送信部２７０は、第２の動画音声記憶部２６０に記憶され、同一の発話部分に対応する第２の動画データおよび第２の音声データを時系列でクライアント装置１００の動画音声受信部１４０に送信する。すなわち、動画音声送信部２７０は、第２の動画データおよび第２の音声データを、Ｗｅｂ会議に参加している複数のユーザーによる発話を当該ユーザーが視聴して発話内容を確認できるように送信する。本実施の形態では、動画音声送信部２７０は、配信用コンテンツ送信部２９０からの配信用コンテンツの送信を一時的に停止し、第２の動画データおよび第２の音声データをクライアント装置１００の動画音声受信部１４０にストリーミング形式またはダウンロード形式で送信する。なお、動画音声送信部２７０は、本発明の「第２の動画出力部」として機能する。
【００３９】
配信用コンテンツ記憶部２８０は、第１の動画音声記憶部２２０に記憶される第１の動画データにおいて、複数のユーザーが発話を行っていない非発話部分に関連して設定された画像を配信用コンテンツとして記憶する。本実施の形態では、配信用コンテンツは、ユーザーに予め指定されたファイル形式の動画像（動画）、静止画像等である。配信用コンテンツは、ユーザーに予め指定されたクライアント装置１００の動画音声送信部１３０から動画音声受信部２１０に送信された動画データであっても良い。配信用コンテンツ記憶部２８０は、例えば不揮発性の半導体メモリ（いわゆるフラッシュメモリ）やハードディスクドライブで構成される。
【００４０】
配信用コンテンツ送信部２９０は、配信用コンテンツ記憶部２８０に記憶される配信用コンテンツをクライアント装置１００の動画音声受信部１４０に送信する。本実施の形態では、配信用コンテンツ送信部２９０は、Ｗｅｂ会議が行われている最中、動画音声送信部２７０から第２の動画データおよび第２の音声データが送信されていないタイミングにおいて配信用コンテンツをストリーミング形式またはダウンロード形式で送信する。配信用コンテンツ送信部２９０は、本発明の「画像出力部」として機能する。
【００４１】
次に、図２を参照して、第２の動画データを生成して送信する流れの具体例について説明する。図２Ａは、Ｗｅｂ会議が行われている最中に、ユーザーＸ，Ｙ，Ｚがそれぞれ使用するクライアント装置１００ａ，１００ｂ，１００ｃ（図２Ａの例では、スマートフォン）から送信され、サーバー装置２００の動画音声受信部２１０でリアルタイムに受信され、第１の動画音声記憶部２２０に記録された第１の動画データ３００，３１０，３２０の動画内容を示している。
【００４２】
第１の動画データ３００には、ユーザーＸが発話を行っている発話部分３０２，３０４と、ユーザーＸが発話を行っていない非発話部分とが存在する。発話部分３０２では、ユーザーＸは、「会議を始めます。」と発話している。また、発話部分３０４では、ユーザーＸは、「今日の議題は○○です。」と発話している。なお、ユーザーＸは、発話部分３０２と発話部分３０４との間、および、発話部分３０４の後では、何も発話していない。
【００４３】
第１の動画データ３１０には、ユーザーＹが発話を行っている発話部分３１２，３１４と、ユーザーＹが発話を行っていない非発話部分とが存在する。発話部分３１２では、ユーザーＹは、「よろしくお願いします。」と発話している。また、発話部分３１４では、ユーザーＹは、「なるほど。」と発話している。なお、ユーザーＹは、発話部分３１２の前、発話部分３１２と発話部分３１４との間、および、発話部分３１４の後では、何も発話していない。
【００４４】
第１の動画データ３２０には、ユーザーＺが発話を行っている発話部分３２２，３２４と、ユーザーＺが発話を行っていない非発話部分とが存在する。発話部分３２２では、ユーザーＺは、「よろしくお願いします。」と発話している。また、発話部分３２４では、ユーザーＹは、「その件ですが。」と発話している。なお、ユーザーＺは、発話部分３２２の前、発話部分３２２と発話部分３２４との間、および、発話部分３２４の後では、何も発話していない。
【００４５】
図２Ｂは、第１の動画音声記憶部２２０に記録された第１の動画データ３００，３１０，３２０から、第２の動画音声生成部２５０により発話部分を特定して生成された第２の動画データ３３０，３３２，３３４，３３８，３４０，３４２の動画内容を時系列で（図２Ｂの例では、左から発話の早い順に）並べて示している。
【００４６】
第２の動画データ３３０は、第１の動画データ３００の発話部分３０２に、音声認識部２４０から出力されたテキストデータを字幕（「会議を始めます。」、図２Ｂでは、「ＸＸＸＸＸＸ」）として含めて生成されている。
【００４７】
第２の動画データ３３２は、第１の動画データ３１０の発話部分３１２に、音声認識部２４０から出力されたテキストデータを字幕（「よろしくお願いします。」、図２Ｂでは、「ＸＸＸＸＸＸ」）として含めて生成されている。
【００４８】
第２の動画データ３３４は、第１の動画データ３２０の発話部分３２２に、音声認識部２４０から出力されたテキストデータを字幕（「よろしくお願いします。」、図２Ｂでは、「ＸＸＸＸＸＸ」）として含めて生成されている。
【００４９】
第２の動画データ３３８は、第１の動画データ３００の発話部分３０４に、音声認識部２４０から出力されたテキストデータを字幕（「今日の議題は○○です。」、図２Ｂでは、「ＸＸＸＸＸＸ」）として含めて生成されている。
【００５０】
第２の動画データ３４０は、第１の動画データ３２０の発話部分３２４に、音声認識部２４０から出力されたテキストデータを字幕（「その件ですが。」、図２Ｂでは、「ＸＸＸＸＸＸ」）として含めて生成されている。
【００５１】
第２の動画データ３４２は、第１の動画データ３１０の発話部分３１４に、音声認識部２４０から出力されたテキストデータを字幕（「なるほど。」、図２Ｂでは、「ＸＸＸＸＸＸ」）として含めて生成されている。
【００５２】
図２Ｂにおいて、第２の動画データ３３４と第２の動画データ３３８との間、かつ、第２の動画データ３４２の後には、配信用コンテンツ記憶部２８０に記憶されている配信用コンテンツ３３６が示されている。配信用コンテンツ３３６は、Ｗｅｂ会議に参加している全てのユーザーＸ，Ｙ，Ｚが発話を行っていない非発話部分に関連して設定され、Ｗｅｂ会議とは別のタイミングでユーザーＸを撮影した動画である。すなわち、Ｗｅｂ会議が行われている最中、時系列で見たときに、第２の動画データ３３４と第２の動画データ３３８との間、かつ、第２の動画データ３４２の後では、Ｗｅｂ会議に参加している全てのユーザーＸ，Ｙ，Ｚが発話を行っていない非発話部分が存在する。
【００５３】
第２の動画データ３３０，３３２，３３４，３３８，３４０，３４２および配信用コンテンツ３３６は、図２Ｂに並べて示す順番で、サーバー装置２００からユーザーＸ，Ｙ，Ｚがそれぞれ使用するクライアント装置１００ａ，１００ｂ，１００ｃに送信されて表示出力される。これにより、ユーザーＸ，Ｙ，Ｚは、Ｗｅｂ会議における各ユーザーＸ，Ｙ，Ｚの発話内容を確認することができる。
【００５４】
次に、本実施の形態におけるサーバー装置２００の動作例について説明する。図３は、サーバー装置２００の動作例を示すフローチャートである。図３における処理は、サーバー装置２００からクライアント装置１００に対してＷｅｂ会議サービスの提供が開始された後に実行される。
【００５５】
まず、配信用コンテンツ送信部２９０は、クライアント装置１００の動画音声受信部１４０に対して、配信用コンテンツ記憶部２８０に記憶される配信用コンテンツの送信を開始する（ステップＳ１００）。
【００５６】
次に、動画音声受信部２１０は、クライアント装置１００の動画音声送信部１３０から送信された動画データおよび音声データを受信しているか否かについて判定する（ステップＳ１２０）。判定の結果、動画データおよび音声データを受信していない場合（ステップＳ１２０、ＮＯ）、サーバー装置２００は、全てのクライアント装置１００がＷｅｂ会議サービスからログオフしていると判断し、図３における処理を終了する。
【００５７】
一方、動画データおよび音声データを受信している場合（ステップＳ１２０、ＹＥＳ）、動画音声受信部２１０は、受信した動画データおよび音声データを第１の動画データおよび第１の音声データとして第１の動画音声記憶部２２０に記録する。
【００５８】
次に、音声取得部２３０は、動画音声受信部２１０により受信された音声データを取得する（ステップＳ１４０）。そして、音声取得部２３０は、取得した音声データを音声認識部２４０に出力する。
【００５９】
次に、音声認識部２４０は、音声取得部２３０から出力された音声データに対して音声認識処理を行う（ステップＳ１６０）。次に、音声認識部２４０は、音声認識処理を行った結果として、正しい音声認識結果が得られたか否かについて判定する（ステップＳ１８０）。判定の結果、正しい音声認識結果が得られなかった場合（ステップＳ１８０、ＮＯ）、処理はステップＳ１２０の前に戻る。
【００６０】
一方、正しい音声認識結果が得られた場合（ステップＳ１８０、ＹＥＳ）、音声認識部２４０は、音声認識結果として得られるテキストデータと、ユーザーが発話を開始した発話開始時間を示す発話開始時間情報と、当該ユーザーが当該発話を終了した発話終了時間を示す発話終了時間情報とを生成して第２の動画音声生成部２５０に出力する。
【００６１】
次に、第２の動画音声生成部２５０は、音声認識部２４０から出力された発話開始時間情報および発話終了時間情報に基づいて、第１の動画音声記憶部２２０に記憶される第１の動画データおよび第１の音声データから、複数のユーザーが発話を行っている複数の発話部分（発話開始時間〜発話終了時間の区間）を切り出し、音声認識部２４０から出力されたテキストデータを字幕として含めて、第２の動画データを生成する（ステップＳ２００）。そして、第２の動画音声生成部２５０は、生成した第２の動画データを第２の動画音声記憶部２６０に記録する。なお、第２の動画音声生成部２５０は、第２の音声データも生成して第２の動画音声記憶部２６０に記録する。
【００６２】
次に、動画音声送信部２７０は、配信用コンテンツ送信部２９０からの配信用コンテンツの送信を一時的に停止し、第２の動画音声記憶部２６０に記憶されて同一の発話部分に対応する第２の動画データおよび第２の音声データを、クライアント装置１００の動画音声受信部１４０に送信する（ステップＳ２２０）。ステップＳ２２０の処理が完了した後、処理はステップＳ１２０の前に戻る。
【００６３】
以上詳しく説明したように、本実施の形態では、サーバー装置２００は、複数のクライアント装置１００を介した複数のユーザーによる発話（すなわちＷｅｂ会議）が行われている最中に、発話を行っている複数の発話者（ユーザー）を撮影することによって得られた複数の動画データを第１の動画データとしてリアルタイムで受信する動画音声受信部２１０（第１の動画取得部）と、動画音声受信部２１０により受信された第１の動画データにおいて、複数のユーザーが発話を行っている複数の発話部分をそれぞれ第２の動画データとして生成する第２の動画音声生成部２５０（第２の動画生成部）と、第２の動画音声生成部２５０により生成された複数の第２の動画データを、複数の発話者が視認可能に順次送信する動画音声送信部２７０（第２の動画出力部）とを備える。
【００６４】
このように構成した本実施の形態によれば、複数の発話者が発話を行っている複数の発話部分がそれぞれ第２の動画データとして生成され、クライアント装置１００に順次送信される。そのため、クライアント装置１００において、各発話者の発話内容を共有するにあたり、サーバー装置２００から複数の発話者の発話単位で送信される複数の第２の動画データを複数の表示画面に表示出力する必要がなく、１つの表示画面に表示出力すれば済むこととなる。よって、１つの表示画面に発話単位で表示出力される第２の動画データを見る発話者は、複数の第２の動画データが複数の表示画面に表示出力される場合と異なり、実際に口を動かしている発話者を探し出す必要がなく（すなわち余計な手間を不要とし）、発話者の顔色等の表情を適切に認識し、発話者がどのような感情（喜び、驚き、落胆など）を持って発話しているかについて容易に把握することができる。
【００６５】
特に、複数のクライアント装置１００において複数の発話者による同時発話が発生した場合でも、１つの表示画面に発話単位で表示出力される第２の動画データを見る発話者は、各発話者の発話内容を順次確認することができる。また、複数の第２の動画データを複数の画面に表示出力する必要がなくなるため、当該複数の画面に表示するための表示モジュールを不要とすることができ、クライアント装置１００の構成上の負荷を軽減することができる。
【００６６】
また、本実施の形態では、動画音声送信部２７０（第２の動画出力部）は、複数の第２の動画データを時系列で送信する。この構成により、クライアント装置１００において、時系列かつ発話単位で表示出力される第２の動画データを見る発話者は、実際のＷｅｂ会議の進行に合わせて各発話者の発話内容を確認することができ、理解しやすい。
【００６７】
また、本実施の形態では、サーバー装置２００は、動画音声受信部２１０（第１の動画取得部）により取得された第１の動画データに関連する音声データを取得する音声取得部２３０と、音声取得部２３０により取得された音声データに対して音声認識を行う音声認識部２４０とを備える。そして、第２の動画音声生成部２５０（第２の動画生成部）は、音声認識部２４０の音声認識結果（発話開始時間情報、発話終了時間情報）に基づいて複数の発話部分を特定し、その特定結果を用いて複数の第２の動画データを生成する。この構成により、例えば動画データ上において発話者が実際に口を動かしているか否かを画像解析などによって検出する場合と比べて、第１の動画データにおいて複数の発話者が発話を行っている複数の発話部分を精度良く特定することができ、当該発話部分に絞った（すなわち非発話部分を適切に除いて）第２の動画データを生成することができる。
【００６８】
また、本実施の形態では、第２の動画音声生成部２５０（第２の動画生成部）は、音声認識部２４０の音声認識結果（テキストデータ）を字幕（所定の表現態様）で含めて、第２の動画データを生成する。この構成により、クライアント装置１００において、表示出力される第２の動画データを見る発話者は、併せて表示出力される字幕も見ることによって、各発話者の発話内容を容易に確認することができる。
【００６９】
また、本実施の形態では、サーバー装置２００は、動画音声受信部２１０（第１の動画取得部）により受信された第１の動画データにおいて、複数の発話者が発話を行っていない非発話部分に関連して設定された配信用コンテンツ（画像）を送信する配信用コンテンツ送信部２９０（画像出力部）を備える。この構成により、クライアント装置１００において、第２の動画データがサーバー装置２００から送信されていない場合、配信用コンテンツが表示出力される。よって、第１の動画データにおいて複数の発話者が発話を行っていない非発話部分が存在しても、クライアント装置１００において何も表示出力されず、ユーザーに違和感を与えてしまう事態を防止することができる。
【００７０】
なお、上記実施の形態では、動画音声受信部２１０は、複数のクライアント装置１００を介した複数のユーザーによる発話が行われている最中に、クライアント装置１００の動画音声送信部１３０から送信された動画データおよび音声データをリアルタイムで受信する例について説明したが、本発明はこれに限らない。例えば、動画音声受信部２１０は、サーバー装置２００からクライアント装置１００にＷｅｂ会議サービスが提供されている間に動画音声入力部１２０に入力された動画データおよび音声データを、複数の発話者による発話が全て行われた後（すなわちＷｅｂ会議が終了した後）、クライアント装置１００の動画音声送信部１３０から受信しても良い。
【００７１】
この場合、第２の動画音声生成部２５０は、音声認識部２４０から出力された発話開始時間情報および発話終了時間情報に基づいて、第１の動画音声記憶部２２０に記憶される第１の動画データおよび第１の音声データにおける複数のユーザーが発話を行っている複数の発話部分をそれぞれ特定する。そして、第２の動画音声生成部２５０は、例えば第１の動画音声記憶部２２０に記憶される第１の動画データから、特定した発話部分を切り出すことによって第２の動画データを生成する。また、第２の動画音声生成部２５０は、第１の動画音声記憶部２２０に記憶される第１の音声データから、特定した発話部分を切り出すことによって第２の音声データを生成する。
【００７２】
第２の動画音声生成部２５０は、音声認識部２４０の音声認識結果として生成された発話開始時間情報および発話終了時間情報に基づいて、同一の発話部分に対応する第２の動画データおよび第２の音声データを時系列でつなぎ合わせて、Ｗｅｂ会議の議事録用動画データを生成する。そして、第２の動画音声生成部２５０は、生成した議事録用動画データを第２の動画音声記憶部２６０に記録する。第２の動画音声記憶部２６０に記録された議事録用動画データは、ユーザーの要求に応じて、サーバー装置２００からクライアント装置１００に視聴可能に提供される。なお、本変形例では、第２の動画音声生成部２５０は、本発明の「第２の動画出力部」として機能する。
【００７３】
図４は、第２の動画音声生成部２５０により生成された議事録用動画データ３５０を示している。図４に示すように、議事録用動画データ３５０は、同一の発話部分に対応する複数の第２の動画データ３３０，３３２，３３４，３３８，３４０，３４２および第２の音声データを時系列で（図４の例では、左から発話の早い順に）つなぎ合わせたものである。
【００７４】
なお、複数のユーザーの発話タイミングが重なった場合について説明する。例えば、ユーザーＸが６秒間発話し、ユーザーＹが５秒間発話した場合について説明する。この場合、ユーザーＹは、ユーザーＸが発話を開始して３秒後に、発話を開始している。すなわち、ユーザーＸの発話タイミングと、ユーザーＹの発話タイミングとは、３秒間重なっている。このようなケースでは、例えば、ユーザーＸの発話部分（６秒間）に対応する第２の動画データの後に、ユーザーＹの発話部分（５秒間）に対応する第２の動画データをつなぎ合わせる（第２の動画データの時間：１１秒）。または、ユーザーＸの発話部分（３秒間）に対応する第２の動画データの後に、ユーザーＹの発話部分（５秒間）に対応する第２の動画データをつなぎ合わせる。すなわち、ユーザーＹの発話が開始した時点で第２の動画データをユーザーＸからユーザーＹに切り替える（第２の動画データの時間：８秒）。または、ユーザーＸの発話部分（６秒間）に対応する第２の動画データの後に、ユーザーＹの発話部分（５秒間）に対応する第２の動画データをつなぎ合わせるとともに、発話タイミングが重なった部分については、ユーザーＸの発話部分（３秒間）に対応する第２の動画データと、ユーザーＹの発話部分（３秒間）に対応する第２の動画データとを重ねる、または、１つの表示画面においてユーザーＸの発話部分とユーザーＹの発話部分とを分割表示できるように第２の動画データを編集する（第２の動画データの時間：８秒）。
【００７５】
図５は、議事録用動画データを生成する場合におけるサーバー装置２００の動作例を示すフローチャートである。図５における処理は、サーバー装置２００から全てのクライアント装置１００に対してＷｅｂ会議サービスの提供が終了された後に実行される。
【００７６】
まず、動画音声受信部２１０は、サーバー装置２００からクライアント装置１００にＷｅｂ会議サービスが提供されている間に動画音声入力部１２０に入力された動画データおよび音声データを、複数のクライアント装置１００の動画音声送信部１３０からそれぞれ受信する（ステップＳ３００）。そして、動画音声受信部２１０は、複数のクライアント装置１００から受信した動画データおよび音声データを第１の動画データおよび第１の音声データとして第１の動画音声記憶部２２０に記憶させる。
【００７７】
次に、音声取得部２３０は、複数のクライアント装置１００から受信した音声データのうち、音声認識部２４０により音声認識処理が行われていない音声データが存在するか否かについて判定する（ステップＳ３２０）。判定の結果、音声認識処理が行われていない音声データが存在する場合（ステップＳ３２０、ＹＥＳ）、音声取得部２３０は、当該音声データを取得する（ステップＳ３４０）。そして、音声取得部２３０は、取得した音声データを音声認識部２４０に出力する。
【００７８】
次に、音声認識部２４０は、音声取得部２３０から出力された音声データに対して音声認識処理を行う（ステップＳ３６０）。次に、音声認識部２４０は、音認識処理の結果として、正しい音声認識結果が得られたか否かについて判定する（ステップＳ３８０）。判定の結果、正しい音声認識結果が得られなかった場合（ステップＳ３８０、ＮＯ）、処理はステップＳ３２０の前に戻る。
【００７９】
一方、正しい音声認識結果が得られた場合（ステップＳ３８０、ＹＥＳ）、音声認識部２４０は、音声認識結果として得られるテキストデータと、ユーザーが発話を開始した発話開始時間を示す発話開始時間情報と、当該ユーザーが当該発話を終了した発話終了時間を示す発話終了時間情報とを生成して第２の動画音声生成部２５０に出力する。
【００８０】
次に、第２の動画音声生成部２５０は、音声認識部２４０から出力された発話開始時間情報および発話終了時間情報に基づいて、第１の動画音声記憶部２２０に記憶される第１の動画データおよび第１の音声データにおいて、ユーザー（発話者）が発話を行っている発話部分を切り出し、音声認識部２４０から出力されたテキストデータを字幕として含めて第２の動画データを生成する（ステップＳ４００）。なお、第２の動画音声生成部２５０は、第１の動画音声記憶部２２０に記憶される第１の音声データから、特定した発話部分を切り出すことによって第２の音声データを生成する。その後、処理はステップＳ３２０の前に戻る。
【００８１】
ステップＳ３２０の判定に戻って、音声認識処理が行われていない音声データが存在しない場合、すなわち全てのクライアント装置１００から受信した動画データおよび音声データに基づいて第２の動画データおよび第２の音声データの生成が終了した場合（ステップＳ３２０、ＮＯ）、第２の動画音声生成部２５０は、音声認識部２４０の音声認識結果として生成された発話開始時間情報および発話終了時間情報に基づいて、同一の発話部分に対応する第２の動画データおよび第２の音声データを時系列でつなぎ合わせて、Ｗｅｂ会議の議事録用動画データを生成する（ステップＳ４２０）。そして、第２の動画音声生成部２５０は、生成した議事録用動画データを第２の動画音声記憶部２６０に記録する。ステップＳ４２０の処理が完了することによって、サーバー装置２００は、図５における処理を終了する。
【００８２】
上記議事録用動画データは、公知の動画編集ソフトを使用することによって、例えばサーバー管理者が第１の動画データおよび第１の音声データを編集して生成することができる。しかしながら、このような編集作業は、手間がかかり、サーバー管理者の作業負荷が大きい。これに対して、本変形例では、Ｗｅｂ会議サービスの提供が終了した後に、公知の動画編集ソフトを使用して第１の動画データおよび第１の音声データを編集するといった手間を一切かけずに、議事録用動画データを自動的に生成することができる。なお、発話者の発話を含む複数の動画データから、発話部分だけを切り出して１つの動画データを生成する本変形例は、議事録用動画データを生成する場合に限らず、例えば点検業務や道案内など、説明部分や報告部分、すなわち発話者の発話部分を含む複数の動画データから、当該説明部分や報告部分だけを切り出して時系列でつなぎ合わせることによって説明用動画データや報告書用動画データを生成する場合にも適用することができる。
【００８３】
また、上記実施の形態では、第２の動画音声生成部２５０は、音声認識部２４０から出力された音声認識結果（テキストデータ）を字幕として含めて第２の動画データを生成する例について説明したが、本発明はこれに限らない。例えば、第２の動画音声生成部２５０は、音声認識部２４０から出力された音声認識結果（テキストデータ）を、手話、他の言語のテキストデータ（翻訳結果）、イメージ、音声等の他の表現態様として含めて、第２の動画データを生成しても良い。要は、第２の動画音声生成部２５０は、音声認識部２４０から出力された音声認識結果（テキストデータ）の内容を、第２の動画データを見る発話者がより理解しやすくなるような表現態様として含めて、第２の動画データを生成すれば良い。
【００８４】
また、上記実施の形態では、動画音声受信部２１０が、発話を行っている複数の発話者を撮影することによって得られた複数の動画データを第１の動画データとして受信し、第２の動画音声生成部２５０が、第１の動画データにおいて、複数の発話者が発話を行っている複数の発話部分をそれぞれ第２の動画データとして生成する例について説明したが、本発明はこれに限らない。例えば、動画音声受信部２１０が、発話を行っている（１または複数の）発話者を撮影することによって得られた１の動画データを第１の動画データとして受信し、第２の動画音声生成部２５０が、第１の動画データにおいて、（１または複数の）発話者が発話を行っている複数の発話部分をそれぞれ第２の動画データとして生成しても良い。
【００８５】
また、上記実施の形態において、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【産業上の利用可能性】
【００８６】
本発明は、発話者の表情を適切に認識し、発話者がどのような感情を持って発話しているかについて容易に把握することが可能な動画出力装置、動画出力方法および動画出力プログラムとして好適である。
【符号の説明】
【００８７】
１０  Ｗｅｂ会議システム
１００  クライアント装置
１１０  入力受付部
１２０  動画音声入力部
１３０，２７０  動画音声送信部
１４０，２１０  動画音声受信部
１５０  動画音声出力制御部
１６０  動画音声出力部
２００  サーバー装置
２２０  第１の動画音声記憶部
２３０  音声取得部
２４０  音声認識部
２５０  第２の動画音声生成部
２６０  第２の動画音声記憶部
２８０  配信用コンテンツ記憶部
２９０  配信用コンテンツ送信部
【図１】
2019176375.tif 000003
【図２】
2019176375.tif 000004
【図３】
2019176375.tif 000005
【図４】
2019176375.tif 000006
【図５】
2019176375.tif 000007