(57)【要約】【課題】会議全体の映像の中から、その会議の内容と雰囲気とを伝えるのに効果的な部分を自動的に抽出することにより、会議録データに映像の臨場感を高く維持させたまま、そのデータ量を削減可能な会議録編集装置を提供する。【解決手段】会議録編集装置（１９０）は、会議の映像／音声を表すストリームデータの中から「司会者」の発言を検出し、会議のタイムライン（８１０）における「司会者」の発言の位置に基づいてそのタイムラインを複数の区間（８１１−８１４）に分割する分割部（１１３）と、ストリームデータの特徴量に基づいて各区間の重要度（８０１）を評価する評価部（１１４）と、重要度が低い区間ほど映像データ（８２３、８２４）の圧縮率を高くし、または重要度が最も低い区間からは映像データ（８２１、８２２）を削除することにより、ストリームデータを会議録データ（８４０）に編集する編集部（１１５）とを含む。【選択図】図８
2016046705.tif 000002
【特許請求の範囲】
【請求項１】
会議の映像と音声とを表すストリームデータの中から、所定の人物の発言を表す部分を検出し、前記会議のタイムラインにおける前記所定の人物の発言の位置に基づいて当該タイムラインを複数の区間に分割する分割部と、
前記ストリームデータの特徴量に基づいて前記複数の区間のそれぞれの重要度を評価する評価部と、
前記複数の区間のうち、重要度が低い区間ほど前記ストリームデータの含む映像データの圧縮率を高くし、または重要度が最も低い区間から映像データを削除することにより、前記ストリームデータを会議録データに編集する編集部と、
を有する会議録編集装置。
【請求項２】
前記評価部は前記ストリームデータの特徴量から、前記複数の区間のそれぞれにおける発言者の発言を表す前記ストリームデータの部分を検出し、当該部分を計数することによって当該区間における発言の回数を求め、当該回数が多いほど当該区間の重要度を高く評価することを特徴とする請求項１に記載の会議録編集装置。
【請求項３】
前記評価部は前記ストリームデータの特徴量から、前記複数の区間のそれぞれにおける発言者の発言を表す前記ストリームデータの部分を検出し、当該部分を発言者別に分類することによって当該区間における発言者の人数を求め、当該人数が多いほど当該区間の重要度を高く評価することを特徴とする請求項１に記載の会議録編集装置。
【請求項４】
前記評価部は前記ストリームデータの特徴量から、前記複数の区間のそれぞれにおける発言者の発言を表す前記ストリームデータの部分を検出し、当該部分の時間を計ることによって当該区間における発言の時間を求め、当該時間が長いほど当該区間の重要度を高く評価することを特徴とする請求項１に記載の会議録編集装置。
【請求項５】
前記評価部は前記ストリームデータの特徴量から、前記複数の区間のそれぞれにおける発言者の発言を表す前記ストリームデータの部分を検出し、当該部分の表す音声の音量を測定することによって当該区間における発言の音量を求め、当該音量が大きいほど当該区間の重要度を高く評価することを特徴とする請求項１に記載の会議録編集装置。
【請求項６】
前記評価部は前記ストリームデータの特徴量から、前記複数の区間のそれぞれにおける発言者の発言を表す前記ストリームデータの部分を検出し、当該部分の表す映像を解析することによって当該区間における発言者の身振りの大きさを評価し、評価された値が大きいほど当該区間の重要度を高く評価することを特徴とする請求項１に記載の会議録編集装置。
【請求項７】
前記評価部は前記ストリームデータの特徴量から、前記複数の区間のそれぞれにおける発言者の発言を表す前記ストリームデータの部分を検出し、当該部分の表す映像を解析することによって当該区間における発言者の表情を識別して当該表情から当該発言者の感情の起伏を評価し、評価された値が大きいほど当該区間の重要度を高く評価することを特徴とする請求項１に記載の会議録編集装置。
【請求項８】
前記評価部は前記ストリームデータの特徴量から、前記複数の区間のそれぞれにおける発言者の発言を表す前記ストリームデータの部分を検出し、当該部分の表す音声を解析することによって当該区間における発言者の発言の韻律を分析して当該韻律から当該発言者の感情の起伏を評価し、評価された値が大きいほど当該区間の重要度を高く評価することを特徴とする請求項１に記載の会議録編集装置。
【請求項９】
前記ストリームデータは、前記会議の参加者が利用した電子端末の間で前記会議の進行中に送受信されたメッセージの数に関する記録を含み、
前記評価部は前記複数の区間のそれぞれの重要度を、当該区間において送受信されたメッセージの数が大きいほど高くなるように補正する
ことを特徴とする請求項１から請求項８までのいずれか１項に記載の会議録編集装置。
【請求項１０】
前記ストリームデータは、前記会議の参加者が利用した電子端末の間で前記会議の進行中に送受信されたメッセージのデータ量に関する記録を含み、
前記評価部は前記複数の区間のそれぞれの重要度を、当該区間において送受信されたメッセージのデータ量が大きいほど高くなるように補正する
ことを特徴とする請求項１から請求項８までのいずれか１項に記載の会議録編集装置。
【請求項１１】
前記ストリームデータは、前記会議の進行中に電子端末を利用してメッセージを送受信した参加者の人数に関する記録を含み、
前記評価部は前記複数の区間のそれぞれの重要度を、当該区間においてメッセージを送受信した参加者が多いほど高くなるように補正する
ことを特徴とする請求項１から請求項８までのいずれか１項に記載の会議録編集装置。
【請求項１２】
前記ストリームデータは、前記会議の進行中に参加者が電子端末を利用して前記会議に関連する資料データに付与したメモの数に関する記録を含み、
前記評価部は前記複数の区間のそれぞれの重要度を、当該区間において前記資料データに付与されたメモの数が大きいほど高くなるように補正する
ことを特徴とする請求項１から請求項８までのいずれか１項に記載の会議録編集装置。
【請求項１３】
前記ストリームデータは、前記会議の進行中に参加者が電子端末を利用して前記会議に関連する資料データに付与したメモのデータ量に関する記録を含み、
前記評価部は前記複数の区間のそれぞれの重要度を、当該区間において前記資料データに付与されたメモのデータ量が大きいほど高くなるように補正する
ことを特徴とする請求項１から請求項８までのいずれか１項に記載の会議録編集装置。
【請求項１４】
前記ストリームデータは、前記会議の進行中に電子端末を利用して前記会議に関連する資料データにメモを付与した参加者の人数に関する記録を含み、
前記評価部は前記複数の区間のそれぞれの重要度を、当該区間において前記資料データにメモを付与した参加者が多いほど高くなるように補正する
ことを特徴とする請求項１から請求項８までのいずれか１項に記載の会議録編集装置。
【請求項１５】
前記編集部は前記ストリームデータから、重要度の低い区間ほど映像フレームの数を大きく削減することを特徴とする請求項１に記載の会議録編集装置。
【請求項１６】
請求項１から請求項１５までのいずれか１項に記載の会議録編集装置によって編集された会議録データから映像データと音声データとを復号する復号部と、
前記復号部によって復号された映像データに従って映像を表示する表示部と、
前記復号部によって復号された音声データに従って音声を再現する拡声部と、
前記会議録データの表す会議のタイムラインを構成する各区間の重要度を取得して、前記表示部に各区間の重要度を表示させ、または各区間のプレビュー画面を当該区間の重要度に応じた態様で表示させる重要度表示部と、
を備えた会議録再生装置。
【請求項１７】
会議の映像と音声とを表すストリームデータの中から、所定の人物の発言を表す部分を検出し、前記会議のタイムラインにおける前記所定の人物の発言の位置に基づいて当該タイムラインを複数の区間に分割するステップと、
前記ストリームデータの特徴量に基づいて前記複数の区間のそれぞれの重要度を評価するステップと、
前記複数の区間のうち、重要度が低い区間ほど前記ストリームデータの含む映像データの圧縮率を高くし、または重要度が最も低い区間から映像データを削除することにより、前記ストリームデータを会議録データに編集するステップと、
を有する会議録編集方法。
【請求項１８】
会議の映像と音声とを表すストリームデータの中から、所定の人物の発言を表す部分を検出し、前記会議のタイムラインにおける前記所定の人物の発言の位置に基づいて当該タイムラインを複数の区間に分割するステップと、
前記ストリームデータの特徴量に基づいて前記複数の区間のそれぞれの重要度を評価するステップと、
前記複数の区間のうち、重要度が低い区間ほど前記ストリームデータの含む映像データの圧縮率を高くし、または重要度が最も低い区間から映像データを削除することにより、前記ストリームデータを会議録データに編集するステップと、
をコンピュータに実行させるための会議録編集プログラム。
【請求項１９】
複数のユーザーにネットワークを通して会議を行わせるための会議システムであり、
前記複数のユーザーを撮影する複数の電子端末と、
前記複数の電子端末から前記ネットワークを通して、前記複数のユーザーの映像と音声とを表すデータを取得して、前記会議の映像と音声とを表すストリームデータに合成し、当該ストリームデータを前記ネットワークを通して前記複数の電子端末に配信する配信装置と、
前記ストリームデータを会議録データに編集する、請求項１から請求項１５までのいずれか１項に記載の会議録編集装置と、
前記会議録編集装置によって編集された会議録データを保存する保存装置と、
を備えた会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は会議システムに関し、特にそのシステムが記録したストリームデータを編集する技術に関する。
【背景技術】
【０００２】
「会議システム」とは、複数の電子端末が個別に撮影するユーザーの映像／音声をそれらの端末間で、ＬＡＮ、携帯電話回線、またはインターネット等のネットワークを通して双方向にかつリアルタイムに伝送することにより、それらのユーザーに会議、講習等を行わせるための通信システムをいう。
従来の会議システムの中には会議録データを作成可能なものがある（たとえば特許文献１参照）。会議録データには会議の映像／音声が記録されており、これらをシステムに再生させることにより、その会議に参加しなかった者もその会議の内容、雰囲気を知ることができる。
【０００３】
会議１件あたりでもその全体の映像／音声を表すストリームデータの量は膨大である。そこで、従来の会議システムの中には、記録対象の映像を動画から静止画へ変更することによって会議録データの量を削減するものも知られている（たとえば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０５−２４４５８８号公報
【特許文献２】特開２００４−１３５２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
会議の内容、雰囲気を正確に再現可能に会議録データを作成するには、その映像に高い臨場感を維持させねばならない。その点では、記録される映像はやはり静止画ではなく、動画が望ましい。しかし、会議全体の動画はデータ量が膨大であるので、一時的な記録ならばまだしも、長期的な保存には好ましくない。
会議録データに映像の臨場感を高く維持させたまま、そのデータ量を削減するには、会議全体の映像／音声を表すストリームデータを会議録データに編集する際に、一連の映像の中から動画として残すべき部分を取捨選択することが考えられる。この場合、ユーザーに編集の手間を省かせるには、その編集を支援する装置に一連の映像の中から、会議の内容、雰囲気を伝えるのに効果的な部分を自動的に抽出させることが望ましい。
【０００６】
本発明の目的は上記の課題を解決することであり、特に会議全体の映像の中から、その会議の内容と雰囲気とを伝えるのに効果的な部分を自動的に抽出することにより、会議録データに映像の臨場感を高く維持させたまま、そのデータ量を削減することのできる会議録編集装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の１つの観点における会議録編集装置は、会議の映像と音声とを表すストリームデータの中から、所定の人物の発言を表す部分を検出し、会議のタイムラインにおけるその所定の人物の発言の位置に基づいてそのタイムラインを複数の区間に分割する分割部と、そのストリームデータの特徴量に基づいて複数の区間のそれぞれの重要度を評価する評価部と、複数の区間のうち、重要度が低い区間ほどストリームデータの含む映像データの圧縮率を高くし、または重要度が最も低い区間から映像データを削除することにより、ストリームデータを会議録データに編集する編集部とを有する。
【０００８】
評価部はストリームデータの特徴量から、複数の区間のそれぞれにおける発言者の発言を表すストリームデータの部分を検出し、その部分を計数することによってその区間における発言の回数を求め、その回数が多いほどその区間の重要度を高く評価してもよい。評価部はストリームデータのその部分を発言者別に分類することによってその区間における発言者の人数を求め、その人数が多いほどその区間の重要度を高く評価してもよい。評価部はストリームデータのその部分の時間を計ることによってその区間における発言の時間を求め、その時間が長いほどその区間の重要度を高く評価してもよい。評価部は、ストリームデータのその部分の表す音声の音量を測定することによってその区間における発言の音量を求め、その音量が大きいほどその区間の重要度を高く評価してもよい。評価部は、ストリームデータのその部分の表す映像を解析することによってその区間における発言者の身振りの大きさを評価し、評価された値が大きいほどその区間の重要度を高く評価してもよい。評価部は、ストリームデータのその部分の表す映像を解析することによってその区間における発言者の表情を識別してその表情からその発言者の感情の起伏を評価し、評価された値が大きいほどその区間の重要度を高く評価してもよい。評価部は、ストリームデータのその部分の表す音声を解析することによってその区間における発言者の発言の韻律を分析してその韻律からその発言者の感情の起伏を評価し、評価された値が大きいほどその区間の重要度を高く評価してもよい。
【０００９】
ストリームデータは、会議の参加者が利用した電子端末の間で会議の進行中に送受信されたメッセージの数またはデータ量に関する記録を含んでいてもよい。この場合、評価部は複数の区間のそれぞれの重要度を、その区間において送受信されたメッセージの数またはデータ量が大きいほど高くなるように補正してもよい。
ストリームデータは、会議の進行中に電子端末を利用してメッセージを送受信した参加者の数、またはに関する記録を含んでいてもよい。この場合、評価部は複数の区間のそれぞれの重要度を、その区間においてメッセージを送受信した参加者が多いほど高くなるように補正してもよい。
【００１０】
ストリームデータは、会議の進行中に参加者が電子端末を利用して会議に関連する資料データに付与したメモの数またはデータ量に関する記録を含んでいてもよい。この場合、評価部は複数の区間のそれぞれの重要度を、その区間において資料データに付与されたメモの数またはデータ量が大きいほど高くなるように補正してもよい。
ストリームデータは、会議の進行中に電子端末を利用して会議に関連する資料データにメモを付与した参加者の数に関する記録を含んでいてもよい。この場合、評価部は複数の区間のそれぞれの重要度を、その区間において資料データにメモを付与した参加者が多いほど高くなるように補正してもよい。
【００１１】
編集部はストリームデータから、重要度の低い区間ほど映像フレームの数を大きく削減してもよい。
本発明の１つの観点による会議録再生装置は、上記の会議録編集装置によって編集された会議録データから映像データと音声データとを復号する復号部と、復号部によって復号された映像データに従って映像を表示する表示部と、復号部によって復号された音声データに従って音声を再現する拡声部と、会議録データの表す会議のタイムラインを構成する各区間の重要度を取得して、表示部に各区間の重要度を表示させ、または各区間のプレビュー画面をその区間の重要度に応じた態様で表示させる重要度表示部とを備えている。
【００１２】
本発明の１つの観点による会議録編集方法は、会議の映像と音声とを表すストリームデータの中から、所定の人物の発言を表す部分を検出し、会議のタイムラインにおけるその所定の人物の発言の位置に基づいてそのタイムラインを複数の区間に分割するステップと、ストリームデータの特徴量に基づいて複数の区間のそれぞれの重要度を評価するステップと、複数の区間のうち、重要度が低い区間ほどストリームデータの含む映像データの圧縮率を高くし、または重要度が最も低い区間から映像データを削除することにより、ストリームデータを会議録データに編集するステップとを有する。
【００１３】
本発明の１つの観点による会議録編集プログラムは、会議の映像と音声とを表すストリームデータの中から、所定の人物の発言を表す部分を検出し、会議のタイムラインにおけるその所定の人物の発言の位置に基づいてそのタイムラインを複数の区間に分割するステップと、ストリームデータの特徴量に基づいて複数の区間のそれぞれの重要度を評価するステップと、複数の区間のうち、重要度が低い区間ほどストリームデータの含む映像データの圧縮率を高くし、または重要度が最も低い区間から映像データを削除することにより、ストリームデータを会議録データに編集するステップとをコンピュータに実行させる。
【００１４】
本発明の１つの観点による会議システムは、複数のユーザーにネットワークを通して会議を行わせるための会議システムであり、それら複数のユーザーを撮影する複数の電子端末と、それら複数の電子端末からネットワークを通して、複数のユーザーの映像と音声とを表すデータを取得して、会議の映像と音声とを表すストリームデータに合成し、そのストリームデータをネットワークを通して複数の電子端末に配信する配信装置と、そのストリームデータを会議録データに編集する上記の会議録編集装置と、その会議録編集装置によって編集された会議録データを保存する保存装置とを備えている。
【発明の効果】
【００１５】
上記の会議録編集装置は、会議のタイムラインにおける所定の人物の発言の位置に基づいてそのタイムラインを複数の区間に分割し、会議の映像／音声を表すストリームデータの特徴量に基づいて各区間の重要度を評価し、重要度が低い区間ほど映像データの圧縮率を高くし、または映像データを削除する。ここで、「ストリームデータの特徴量」とは、ストリームデータの特徴を表す数値であり、特にそのストリームデータから機械的に測定可能なものをいう。「重要度」とは、映像と音声とによって会議の内容と雰囲気とを伝える効果に対する指標であり、特にストリームデータの特徴量に基づいて評価可能なものをいう。こうしてこの会議録編集装置は、会議全体の映像の中から、その会議の内容と雰囲気とを伝えるのに効果的な部分を自動的に抽出するので、会議録データに映像の臨場感を高く維持させたまま、そのデータ量を削減することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態１による会議システムの模式図である。
【図２】図１に示されている会議システムの管理サーバーのハードウェア構成を示すブロック図である。
【図３】図１に示されている電子端末に表示される会議の管理画面の一例を示す模式図である。
【図４】図１に示されている電子端末に表示される会議の映像の一例を示す模式図である。（ａ）は参加者の映像の表示画面であり、（ｂ）は、参加者の映像に共有対象のデータの表示画面が合成された画面の一例である。
【図５】図２に示されている会議録編集装置が会議のタイムラインを複数の区間に分割する処理を示す模式図である。
【図６】図２に示されている会議録編集装置が会議の区間ごとに映像または音声の特徴量から発言の属性を分析する処理を示す模式図である。
【図７】図２に示されている会議録編集装置が会議の区間ごとに発言の属性に基づいて重要度を評価する処理を示す模式図である。
【図８】図２に示されている会議録編集装置が会議の区間ごとに重要度に応じて映像データを圧縮する処理を示す模式図である。
【図９】図２に示されている管理サーバーによる１件の会議に関する処理のフローチャートである。
【図１０】図９に示されているステップＳ９０７、すなわち、会議の映像／音声を示すストリームデータを会議録データに編集する処理のフローチャートである。
【図１１】図１０に示されているステップＳ１００１、すなわち、会議のタイムラインを複数の区間に分割する処理のフローチャートである。
【図１２】図１０に示されているステップＳ１００２、すなわち、各区間の重要度を評価する処理のフローチャートである。
【図１３】図１０に示されているステップＳ１００３、すなわち、各区間の重要度に応じて映像データを圧縮する処理のフローチャートである。
【図１４】（ａ）は、本発明の実施形態２による電子端末のハードウェア構成を示すブロック図である。（ｂ）は、この電子端末に表示される会議録データのチャプター画面を示す模式図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について、図面を参照しながら説明する。
《実施形態１》
図１は、本発明の実施形態１による会議システムの模式図である。図１を参照するに、この会議システムは管理サーバー１００と複数の電子端末２００、２１０とを含む。これらの機器１００、２００、２１０は、ＬＡＮ、電話回線網、専用回線網、またはインターネットＶＰＮ等のネットワークＮＴＷを通して互いに通信可能に接続されている。管理サーバー１００は単一の、または複数台のサーバーソフトウェア用メインフレームまたはパーソナルコンピューター（ＰＣ）から構成されている。電子端末は、ビデオカメラとマイクロフォンとを搭載した大型ディスプレイ２００またはＰＣ２１０を含む。
【００１８】
この会議システムは管理サーバー１００を利用して電子端末２００、２１０に対して次の４つのサービスを提供する。第１に、会議を管理する。第２に、会議の映像／音声をリアルタイムで合成して配信する。第３に、会議中にデータを共有させる。第４に、会議録データを管理する。
会議の管理には例えば管理サーバー１００による以下の処理が含まれる。まず、電子端末２００、２１０からの要求に応じて会議のスケジュールを設定して管理する。次に、会議の参加者へその会議のスケジュールを通知する。また、会議中、参加者が使用する電子端末２００、２１０との間にセッションを確立するのに必要なリソースを予約する。さらに、会議中、電子端末２００、２１０からの要求に応じてその端末との間にセッションを確立し、または確立済みのセッションを切断する。
【００１９】
映像／音声の合成と配信には例えば管理サーバー１００による以下の処理が含まれる。まず、管理サーバー１００との間にセッションが確立されている電子端末２００、２１０に、各端末を使用する会議の参加者を撮影させて、その映像／音声を表すストリームデータをリアルタイムでアップロードさせる。次に、それらのストリームデータの表す参加者の映像を１つの画面に合成する。さらに、その合成画面を表すストリームデータを各端末へリアルタイムで配信する。
【００２０】
データの共有には例えば管理サーバー１００による以下の処理が含まれる。まず、管理サーバー１００との間にセッションが確立されている電子端末２００、２１０のいずれかから、会議の資料、メモ、もしくはチャットを表すファイル、またはそれらを表示するためのアプリケーションの操作画面を受信する。次に、そのファイルまたは操作画面を参加者の映像と共に１つの画面に合成する。さらに、その合成画面を表すストリームデータを各端末へ配信する。
【００２１】
会議録データの管理には例えば管理サーバー１００による以下の処理が含まれる。まず、会議中に合成されたストリームデータを一時保存する。次に、それらのストリームデータを会議録データに編集してデータベースに保存する。この編集では特にストリームデータの中から、会議の内容と雰囲気とを伝えるのに効果的な部分が自動的に抽出されることにより、会議録データの量が削減される。さらに、電子端末２００、２１０のいずれかからの要求に応じて所望の会議録データをその端末にストリーム再生させ、または単にダウンロードさせる。
【００２２】
［管理サーバーのハードウェア構成］
図２は、管理サーバー１００のハードウェア構成を示すブロック図である。図２を参照するに、管理サーバー１００は、ＣＰＵ１１０、ＲＡＭ１２０、ＲＯＭ１３０、ＣＯＤＥＣ１４０、データベース１５０、およびネットワークインタフェース１７０を含む。これらの要素１１０−１７０はバス１８０を通して互いに通信可能に接続されている。
【００２３】
ＣＰＵ１１０、ＲＡＭ１２０、およびＲＯＭ１３０は、管理サーバー１００の内部に設置された１枚の基板の上に実装された電子回路である。ＣＰＵ１１０はファームウェアに従って、バス１８０に接続された他の要素１２０−１７０を制御する。この制御により、ＣＰＵ１１０は特に電子端末２００、２１０に対する上記４つのサービス、すなわち、会議の管理、映像／音声の合成と配信、データの共有、および会議録データの管理を実現する。ＲＡＭ１２０は、ＣＰＵ１１０がファームウェアを実行する際の作業領域をＣＰＵ１１０に提供する。ＲＯＭ１３０は書き込み不可の半導体メモリー装置と、ＥＥＰＲＯＭ等の書き換え可能な半導体メモリー装置またはＨＤＤとを含む。前者はファームウェアを格納し、後者はＣＰＵ１１０に環境変数等の保存領域を提供する。
【００２４】
ＣＯＤＥＣ１４０は、映像／音声を表すストリームデータの符号化とその復号とに特化したハードウェアである。具体的には、その符号化／復号処理の一部または全体専用のＩＣまたはモジュール等の電子回路である。電子端末２００、２１０から管理サーバー１００へアップロードされるストリームデータは、ＭＰＥＧ−４  ＡＶＣ、ＭＶＣ、またはＭＰＥＧ−２等の符号化方式で圧縮されている。ＣＯＤＥＣ１４０はこれらの圧縮されたストリームデータから元のストリームデータを復号する。ＣＯＤＥＣ１４０はまた、ＣＰＵ１１０によって合成されたストリームデータを上記の符号化方式で圧縮する。
【００２５】
データベース１５０は、管理サーバー１００に内蔵された不揮発性の大容量記憶装置であり、たとえばＨＤＤまたはＳＳＤである。このデータベース１５０には、電子端末２００、２１０からアップロードされたストリームデータとＣＰＵ１１０によって合成されたストリームデータとが一時保存され、さらに、ＣＰＵ１１０によって編集された会議録データが保存される。
【００２６】
ネットワークインタフェース１７０は外部のネットワークＮＴＷに有線または無線で接続され、そのネットワークＮＴＷを通して電子端末２００、２１０と通信する。ネットワークインタフェース１７０は特に電子端末２００、２１０から、セッションの確立／切断、データの共有、または会議録データの再生等の要求を受信した場合にはその要求をＣＰＵ１１０へ伝達し、ストリームデータがアップロードされた場合にはそれをデータベース１５０へ格納する。ネットワークインタフェース１７０はまた、ＣＰＵ１１０によって合成されたストリームデータを電子端末２００、２１０へ配信し、再生が要求された会議録データをその要求元の電子端末にダウンロードさせる。
【００２７】
［管理サーバーの機能部］
図２を更に参照するに、ＣＰＵ１１０はファームウェアに従って各種の機能部１１１−１１５として動作することにより上記４つのサービスを実現する。これらの機能部は、会議管理部１１１、配信部１１２、分割部１１３、評価部１１４、および編集部１１５を含む。会議管理部１１１は会議の管理を行い、配信部１１２は、映像／音声の合成と配信、データの共有、および会議録データの配信を行う。分割部１１３、評価部１１４、および編集部１１５は、ＲＡＭ１２０、ＲＯＭ１３０、およびＣＯＤＥＣ１４０と共に会議録編集装置１９０を構成する。会議録編集装置１９０は、ＣＰＵ１１０によって合成されたストリームデータを会議録データに編集する処理を行う。
【００２８】
［会議の管理］
ＣＰＵ１１０は電子端末２００、２１０から管理サーバー１００へのログイン要求を受信したとき、それに応じて会議管理部１１１として動作する。会議管理部１１１はまず要求元の端末との間でユーザーの認証を行い、その認証の成功に応じてその端末に会議の管理画面を表示させる。
【００２９】
図３は、会議の管理画面の一例を示す模式図である。図３を参照するに、この管理画面３００は４つのウィジェット３１０−３４０を含み、それぞれが、管理サーバー１００と電子端末２００、２１０のいずれかとの間に確立される１つのセッションを表す。この明細書ではこのセッションを「会議室」と呼ぶ。各ウィジェット３１０、…、３４０には例えば、対応する「会議室」で行われる会議の名称、開催日時、議題、議事の進行を司る所定の人物（たとえば、司会者、議長、進行役、または主催者を含む。以下、「司会者」と略称する。）の名称、参加者の名称、および現時点での参加者の人数等、会議を識別するための情報に加えて、ユーザーから会議への参加を受け付けるためのボタン（以下、「入室ボタン」という。）３０１が表示される。
【００３０】
この入室ボタン３０１に対してユーザーがカーソルでクリックする等の操作を行った場合、電子端末はその操作を検出して、そのユーザーの識別情報を管理サーバー１００へ通知する。この通知に応じて会議管理部１１１は、通知された識別情報の示すユーザーを、対応する「会議室」で行われる会議の参加者として登録する。それと共に、会議管理部１１１は、その会議中、そのユーザーが使用する電子端末との間にセッションを確立するのに必要なリソースを予約する。
【００３１】
会議管理部１１１はまた、会議の開始時刻にはその旨を知らせるメッセージを、その会議の参加者が使用する電子端末に表示させる。そのメッセージに応じて参加者からその端末を通して管理サーバー１００へのログイン要求を受信した場合、会議管理部１１１はその端末との間でその参加者の認証を行い、その認証の成功に応じて、例えば上記の管理画面をその端末に表示させる。その参加者が、対応する「会議室」の入室ボタン３０１を操作した場合、その旨の通知を電子端末は管理サーバー１００へ送信し、その通知に応じて会議管理部１１１はその端末との間にセッションを確立する。
【００３２】
会議管理部１１１は、各「会議室」で交換されるデータを監視する。新たな電子端末から会議への参加要求を受信した場合、会議管理部１１１はその端末との間にセッションを確立し、いずれかの電子端末から会議からの離脱要求を受信した場合、会議管理部１１１はその端末との間に確立済みのセッションを切断する。
［会議の映像／音声の合成と配信］
管理サーバー１００と電子端末２００、２１０との間にセッションが確立されているとき、ＣＰＵ１１０は配信部１１２として動作する。配信部１１２はまず、各端末に会議の参加者を撮影させて、その映像／音声を表すストリームデータをリアルタイムでアップロードさせる。配信部１１２は次に、それらのストリームデータの表す参加者の映像を１つの画面に合成する。配信部１１２は更に、合成画面を表すストリームデータを各端末へリアルタイムで配信すると共に、データベース１５０に一時保存する。
【００３３】
図４の（ａ）は、参加者の映像の表示画面の一例を示す模式図である。図４の（ａ）を参照するに、この表示画面４００は４つの領域４０１−４０４に分割され、異なる領域には、異なる電子端末によって撮影された映像、すなわち異なる参加者が表示される。配信部１１２は各端末からの映像／音声を監視して、発言中の参加者の映像を他の参加者の映像よりも大きく表示する等の視覚効果を合成画面に加える。配信部１１２はまた、会議管理部１１１から、新たな参加者の使用する電子端末との間のセッションが確立されたことを通知された場合にはその新たな参加者の映像を合成画面に追加し、参加者のいずれかの使用する電子端末との間のセッションが切断されたことを通知された場合には、その参加者の離脱を示すメッセージを合成画面に表示する。
【００３４】
［データの共有］
配信部１１２は更に、会議中、いずれかの参加者からの要求に応じて、その参加者から提供されるデータを他の参加者に共有させる。具体的には、配信部１１２はまず、管理サーバー１００との間にセッションが確立されている電子端末２００、２１０のいずれかから、共有対象のファイルもしくはアプリケーションの操作画面、またはそのアプリケーションを利用したメッセージを受信する。共有対象のファイルとアプリケーションとは主に会議の資料を表すデータ（以下、「資料データ」と総称する。）である。資料データまたはメッセージの受信に応じて配信部１１２は、その資料データの含むファイルもしくはアプリケーションの操作画面、またはそのメッセージを、参加者の映像と共に１つの画面に合成して、その合成画面を表すストリームデータを各端末へ配信する。そのストリームデータはまたデータベース１５０に一時保存される。
【００３５】
図４の（ｂ）は、会議の参加者の映像に共有対象のデータの表示画面が合成された画面の一例である。図４の（ｂ）を参照するに、この合成画面４１０は、参加者の映像の表示画面４０１−４０３に加えて共有ファイル／アプリケーションの表示画面４１１とチャット画面４１２とを含む。
共有ファイル／アプリケーションの表示画面４１１には共有対象のファイルの内容または共有対象のアプリケーションの操作画面が表示される。共有対象のファイルには、文書、グラフ、表、グラフィックス、イメージ、動画、または音声等が含まれ、いずれも会議の資料として利用される。共有対象のアプリケーションには、プレゼンテーション、ワードプロセッサー、表計算、データベース、チャット、ブラウザ、ホワイトボード、またはデスクトップ等が含まれる。これらのアプリケーションは、会議の資料を表示する目的で利用される他に、板書等の文字または図表等で発言または討論を視覚的に補う目的で利用される。配信部１１２はそのアプリケーションを実行すると共に、電子端末に表示された操作画面４１１に対する参加者の操作に従ってそのアプリケーションを制御する。それにより配信部１１２は、アプリケーションの表示する文書、図表、またはホワイトボード等への参加者によるメモ等の自由な書き込みを実現する。
【００３６】
チャット画面４１２には、参加者の利用する電子端末間で交換されるメッセージが表示される。これらのメッセージは、会議と並行する参加者間でのチャットを表す。配信部１１２は、参加者間でのチャットのための環境を提供するアプリケーションを実行することにより、いずれかの電子端末から参加者のメッセージを受信する度にチャット画面４１２を更新して、そのメッセージを各端末にリアルタイムで表示させる。
【００３７】
［会議録データの管理］
配信部１１２が会議中に合成したストリームデータをデータベース１５０に一時保存したとき、ＣＰＵ１１０は、分割部１１３、評価部１１４、および編集部１１５として動作する。これらの機能部１１３−１１５は、ＲＡＭ１２０、ＲＯＭ１３０、およびＣＯＤＥＣ１４０と共に会議録編集装置１９０として機能し、データベース１５０に一時保存されたストリームデータを会議録データに編集してデータベース１５０に保存する。その後、電子端末２００、２１０のいずれかから管理サーバー１００へ特定の会議録データの再生要求が送信された場合、それに応じてＣＰＵ１１０は配信部１１２として動作して、要求された会議録データをその端末にストリーム再生させ、または単にダウンロードさせる。
【００３８】
［会議録編集装置］
会議録編集装置１９０は、会議の映像／音声を表すストリームデータを会議録データに編集する処理を次の順で行う。（Ａ）まず、分割部１１３が会議のタイムラインを複数の区間に分割する。（Ｂ）次に、評価部１１４がストリームデータの特徴量に基づいて会議の各区間の重要度を評価する。（Ｃ）続いて、編集部１１５が区間ごとにその重要度に応じて、ストリームデータの含む映像データの圧縮率を高くする。
【００３９】
以下、処理（Ａ）、（Ｂ）、（Ｃ）の順に、ストリームデータから会議録データへの編集処理について説明する。
（Ａ）会議のタイムラインの分割
図５は、分割部１１３が会議のタイムラインを複数の区間に分割する処理を示す模式図である。図５を参照するに、会議の音声を表すストリームデータ、すなわち音声ストリーム５０１は、会議のタイムライン５０２が示す順に、人の声を表す部分５０３、５０４、…、５０９を含む。
【００４０】
分割部１１３はまず、各部分５０３、…、５０９の表す音声を分析し、それらの特徴量に基づいてそれらの中から「司会者」の発言５１１、５１２、５１３を検出する。具体的には分割部１１３は、音声ストリーム５０１の各部分５０３、…、５０９の表す音声の周波数分布を、データベース１５０に予め登録された「司会者」の声紋と照合し、閾値よりも高い尤度を示す音声を「司会者」の発言５１１、…、５１３として検出する。
【００４１】
分割部１１３は次に、検出された発言５１１−５１３のタイムライン５０２における位置に基づいて、そのタイムライン５０２を複数の区間５２１、５２２、５２３、５２４に分割する。以下、これらの区間を「議論」と呼ぶ。
分割部１１３は各「議論」の始点と終点とを例えば次のように設定する。最初の「議論」すなわち「議論１」５２１の始点は、「司会者」の最初の発言５１１を含む部分５０３の次に位置する、他の参加者の発言を含む部分５０４の始端に設定され、「議論１」５２１の終点は、「司会者」の２番目の発言５１２を含む部分５０６の直前に位置する、他の参加者の発言を含む部分５０５の終端に設定される。２番目の「議論」すなわち「議論２」５２２の始点は、「司会者」の２番目の発言５１２を含む部分５０６の次に位置する、他の参加者の発言を含む部分５０７の始端に設定され、「議論２」５２２の終点は、「司会者」の３番目の発言５１３を含む部分５０９の直前に位置する、他の参加者の発言を含む部分５０８の終端に設定される。「議論３」５２３、「議論４」５２４も同様である。
【００４２】
（Ｂ）重要度の評価
「重要度」とは、映像と音声とによって会議の内容と雰囲気とを伝える効果に対する指標であり、特に会議の映像／音声を表すストリームデータの特徴量に基づいて評価可能なものをいう。また、「ストリームデータの特徴量」とは、ストリームデータの特徴を表す数値であり、特にそのストリームデータから機械的に測定可能なものをいう。ストリームデータの特徴量には例えば、（１）輝度および色座標等の映像の特徴量、（２）音量、周波数、および韻律等の音声の特徴量、ならびに、（３）参加者間のチャットで交換されたメッセージの数、および資料データに付与されたメモの数等の付属データの特徴量が含まれる。
【００４３】
評価部１１４は重要度の評価に、ストリームデータの特徴量から分析可能な発言の属性を利用する。この属性には、発言者数、発言回数、発言時間、発言の音量、発言者の身振りの大きさ、および発言者の感情の起伏の大きさが含まれる。一般に、この属性の評価を表す数値が大きいほど議論が白熱したことを示すので、その数値が大きい発言を表す映像／音声ほど会議の内容と雰囲気とを伝える効果が高いと見なせる。
【００４４】
評価部１１４による重要度の評価は、（Ｂ−１）会議の区間ごとにストリームデータの特徴量から発言の属性を分析する処理と、（Ｂ−２）その属性に基づいて重要度を評価する処理との２段階で行われる。
（Ｂ−１）発言の属性の分析
図６は、評価部１１４が会議の区間ごとにストリームデータの特徴量から発言の属性を分析する処理を示す模式図である。図６を参照するに、会議のタイムライン６００は、「議論１」６１０、「議論２」６２０、「議論３」６３０、および「議論４」６４０に分割されている。
【００４５】
評価部１１４はまず、各「議論」６１０、…、６４０を表すストリームデータの部分を分析し、その部分の特徴量に基づいてその「議論」における発言を発言者別に分類する。具体的には、評価部１１４は、ストリームデータの表す音声の周波数分布を分析し、発言者の発言と見なせる音声の範囲を特定すると共に、発言者の違いに起因すると見なせる周波数分布の違いに応じて、特定された範囲の音声を表すストリームデータの部分を分類する。
【００４６】
図６を参照するに、「議論１」６１０では発言者が同一である発言６１１のみが現れるので、評価部１１４はこの発言６１１を単一のカテゴリー“Ａ”に分類する。「議論２」６２０では発言者の異なる２種類の発言６２１、６２２が現れるので、評価部１１４はこれら２種類の発言６２１、６２２を異なるカテゴリー“Ａ”、“Ｂ”に分類する。評価部１１４は同様に、「議論３」６３０に現れる発言者の異なる発言６３１、６３２、６３３を異なるカテゴリー“Ａ”、“Ｂ”、“Ｃ”に分類し、「議論４」６４０に現れる発言者の異なる発言６４１、６４２、６４３、６４４を異なるカテゴリー“Ａ”、“Ｂ”、“Ｃ”、“Ｄ”に分類する。
【００４７】
なお、評価部１１４は、異なる「議論」の間では発言者を同定しなくてもよい。すなわち、「議論１」におけるカテゴリー“Ａ”の発言と「議論２」におけるカテゴリー“Ａ”の発言とで発言者が同一であることを評価部１１４は確認しなくてもよい。他のカテゴリーおよび他の「議論」についても同様である。
評価部１１４は次に、会議の区間ごとに発言の属性を分析する。たとえば、各区間における分類の数からはその区間における発言者の人数がわかり、各分類の要素数からは各発言者の発言の回数がわかり、各要素の表す音声の時間長からは各発言の時間がわかる。その他に、各要素の表す音声の強度からは各発言の音量がわかり、その音声の周波数分布からは各発言の韻律、すなわち、声の高さ（トーン）、イントネーション、リズム、またはポーズ等の話し方の特徴がわかる。さらに、各分類の要素の表す映像の動きベクトルからは各発言者の身振りの大きさがわかる。また、その映像の含む顔の各部の相対的な位置関係、例えば、まぶたが目を覆う割合、目から眉までの距離、口の開き具合、および唇の端の高さからは、目を見開いて驚く、不快で眉をひそめる、大口を開けて笑う、怒りで唇を曲げる等、各発言者の表情がわかる。評価部１１４は更に、各区間における発言者の発言の韻律または表情からその発言者の感情の起伏を評価する。たとえば、韻律または表情の変化が速いほど、またはその変化の幅が大きいほど、感情の起伏が大きいと評価される。
【００４８】
これらの分析で得られた発言の属性を評価部１１４は、会議の各区間、または区間ごとに分類された各発言に対応付けて記憶する。たとえば、図６に示されている「議論１」６１０に対応付けて“発言者＝Ａ”と“発言回数：Ａ＝１”とを記憶し、「議論２」６２０に対応付けて“発言者＝Ａ、Ｂ”と“発言回数：Ａ＝１、Ｂ＝１”とを記憶する。さらに、「議論１」６１０における発言６１１に対応付けて、その発言の時間と音量、および発言者Ａの身振りと感情の起伏との大きさを記憶し、「議論２」６２０における各発言６２１、６２２に対応付けて、その発言の時間と音量、および発言者Ａ、Ｂの身振りと感情の起伏との大きさを記憶する。「議論３」６３０、「議論４」６４０、およびそれらにおける発言についても同様である。
【００４９】
（Ｂ−２）発言の属性に基づく重要度の評価
図７は、評価部１１４が会議の区間ごとに発言の属性に基づいて重要度を評価する処理を示す模式図である。図７には、発言の回数、時間、および音量、ならびに発言者の身振りと感情の起伏との大きさ等の属性を因数Ｆ１、Ｆ２、…、Ｆ５に換算するための表７０１、７０２、…、７０５が示されている。これらの表７０１−７０５はＲＯＭ１３０またはデータベース１５０に予め保存されている。これらの表７０１−７０５が示すとおり、発言回数が多いほど因数Ｆ１が高く、発言時間が長いほど因数Ｆ２が高く、発言の音量が大きいほど因数Ｆ３が高く、発言者の身振りが大きいほど因数Ｆ４が高く、発言者の感情の起伏が大きいほど因数Ｆ５が高い。
【００５０】
評価部１１４はこれらの表を参照して、会議の各区間または各発言に対応付けて記憶している発言の属性を区間ごとに、かつ発言者ごとに因数Ｆ１、…、Ｆ５に換算する。たとえば、図７に示されているように、「議論１」に対応付けられて記憶されている“発言者＝Ａ”と“発言回数：Ａ＝１”とは因数Ｆ１＝０．８に換算される。「議論１」における発言に対応付けられて記憶されているその発言の時間“１０分”と音量“５０ｄＢ”、および発言者の身振りの大きさ“中”と感情の起伏の大きさ“小”とはそれぞれ因数Ｆ２＝１．２、Ｆ３＝１．０、Ｆ４＝１．０、Ｆ５＝０．８に換算される。「議論２」に対応付けられて記憶されている“発言者＝Ａ、Ｂ”と“発言回数：Ａ＝１、Ｂ＝１”とは発言者Ａ、Ｂそれぞれの因数Ｆ１＝０．８に換算される。「議論２」における発言に対応付けられて記憶されているその発言の時間“３０秒”と音量“５０ｄＢ”、および発言者の身振りの大きさ“中”と感情の起伏の大きさ“中”とはそれぞれ因数Ｆ２＝０．８、Ｆ３＝１．０、Ｆ４＝１．０、Ｆ５＝１．０に換算される。「議論３」、「議論４」についても同様である。
【００５１】
１つの「議論」において同じ発言者の発言が複数回現れる場合、評価部１１４はそれらの発言に対応付けて記憶されている発言の時間と音量、および発言者の身振りと感情の起伏との大きさのそれぞれの代表値、すなわち、平均値、中央値、最大値、または最頻値等を因数Ｆ２、Ｆ３、…、Ｆ５に換算する。
評価部１１４は換算後の因数Ｆ１、…、Ｆ５をＲＡＭ１２０に一時保存する。図７にはこれらの一時保存された因数Ｆ１、…、Ｆ５が「議論」ごとに、かつ発言者ごとに表示されている。
【００５２】
評価部１１４は次に会議の区間ごとに、かつ発言者ごとに因数Ｆ１、…、Ｆ５の積Ｆ１×Ｆ２×…×Ｆ５を計算して、各区間における発言者別の重要度に設定する。たとえば図７に示されているように、「議論１」における発言者Ａの因数Ｆ１＝０．８、Ｆ２＝１．２、Ｆ３＝１．０、Ｆ４＝１．０、Ｆ５＝０．８の積Ｆ１×Ｆ２×…×Ｆ５＝０．７７は「議論１」における発言者Ａの重要度に設定される。「議論２」における発言者Ａ、Ｂそれぞれの因数Ｆ１＝０．８、Ｆ２＝０．８、Ｆ３＝１．０、Ｆ４＝１．０、Ｆ５＝１．０の積Ｆ１×Ｆ２×…×Ｆ５＝０．６４は「議論２」における発言者Ａ、Ｂそれぞれの重要度に設定される。同様にして、「議論３」における発言者Ａ、Ｂ、Ｃそれぞれの重要度には、０．６４、０．６４、０．７７が設定され、「議論４」における発言者Ａ、Ｂ、Ｃ、Ｄそれぞれの重要度には、０．６４、１．２、１．４４、０．７７が設定される。
【００５３】
評価部１１４は更に、会議の区間ごとに発言者全体での重要度Ｆ１×Ｆ２×…×Ｆ５の合計を求めて各区間の重要度に設定する。たとえば図７に示されているように、「議論１」における発言者Ａの重要度Ｆ１×Ｆ２×…×Ｆ５＝０．７７はそのまま「議論１」の重要度に設定される。「議論２」における発言者Ａの重要度“０．６４”と発言者Ｂの重要度“０．６４”との合計“１．３”は「議論２」の重要度に設定される。同様にして、「議論３」の重要度には０．６４＋０．６４＋０．７７＝２．１が設定され、「議論４」の重要度には０．６４＋１．２＋１．４４＋０．７７＝４．１が設定される。こうして、各区間における発言者全体での重要度の合計をその区間の重要度に設定することにより、各区間における発言者の人数が多いほどその区間の重要度は一般に高い。
【００５４】
以上のとおり、評価部１１４は、各区間における発言者の人数が多いほど、または因数Ｆ１、…、Ｆ５が全体的に高いほど、すなわち、発言回数が多く、発言時間が長く、発言の音量が大きく、発言者の身振りが大きく、もしくは発言者の感情の起伏が大きいほど、その区間の重要度を高く設定する。したがって、「重要度が高い区間では議論が白熱しているので、その区間の映像／音声は会議の内容と雰囲気とを伝える効果が高い」と見なせる。
【００５５】
（Ｃ）映像データの圧縮
図８は、編集部１１５が会議の区間ごとに重要度に応じて映像データを圧縮する処理を示す模式図である。図８に示されている表８０１は、評価部１１４によって設定される重要度の数値と、編集部１１５による映像データの圧縮率との間の対応関係を示す。この表８０１はＲＯＭ１３０またはデータベース１５０に予め保存されている。
【００５６】
この表８０１が示すとおり、重要度が低いほど映像データの圧縮率が高く設定されている。具体的には、まず評価部１１４によって設定される重要度の数値範囲が、数値の小さい順に、“低”、“中”、“高”の３階級に分けられている。次に、最も低い階級“低”に対しては“映像データの削除”が設定され、次の階級“中”に対しては“映像データの静止画への変換”が設定され、最も高い階級“高”に対しては“映像データの動画としての維持”が設定されている。
【００５７】
編集部１１５はストリームデータを会議録データに編集する際、まずこの表８０１を参照して、評価部１１４によって設定された各区間の重要度の数値が属する階級を識別し、さらに、その階級に割り当てられた圧縮率で映像データを圧縮する。
図８に示されている例では、編集対象のストリームデータの表す会議のタイムライン８１０が、「議論１」８１１、「議論２」８１２、「議論３」８１３、「議論４」８１４に分割され、各「議論」８１１、…、８１４に対して重要度“０．８”、“１．３”、“２．１”、“４．１”が割り当てられている。この場合、編集部１１５はまず表８０１に従って、「議論１」８１１、「議論２」８１２、「議論３」８１３、「議論４」８１４の順に重要度の階級を、“低”、“低”、“中”、“高”に分類する。編集部１１５は次に、各「議論」８１１、…、８１４における映像を表すフレームをその「議論」の重要度の階級に応じて削減する。具体的には、「議論１」８１１と「議論２」８１２とは階級“低”に分類されているので、編集部１１５は設定“映像データの削除”に従って、「議論１」と「議論２」とにおける映像を表すすべてのフレーム８２１、８２２を削除する。「議論３」８１３は階級“中”に分類されているので、編集部１１５は設定“映像データの静止画への変換”に従って、「議論３」における映像を表すフレーム８２３の中から特定のフレームを離散的に抽出して、残りのフレームを削除する。たとえば、発言者の映っているフレーム８３１、８３２が発言者１人あたり少なくとも１枚ずつの静止画として抽出される一方、残りのフレームが削除される。「議論４」８１４は階級“高”に分類されているので、編集部１１５は設定“映像データの動画としての維持”に従って、「議論４」における映像を表すフレーム８２４をすべてそのまま維持する。
【００５８】
こうして得られた会議録データ８４０からは、「議論１」８１１と「議論２」８１２とについては音声だけが再現可能であり、「議論３」８１３については音声の再現と共に発言者の静止画だけが離散的に、例えばスライドショー形式で表示可能である。一方、「議論４」８１４については会議の映像／音声が元のままの動画として再現可能である。
このように、重要度の低い区間８１１−８１３の映像が静止画に間引かれ、または削除されているので、会議録データ８４０は編集前のストリームデータよりもデータ量が少ない。しかし、その一方で、重要度の高い区間８１４の映像は動画のままで残されているので、会議録データ８４０の映像には編集前のストリームデータの映像と同程度に高い臨場感が維持されている。したがって、会議録データ８４０はそのストリームデータよりも長期保存に有利である。
【００５９】
［管理サーバーによる会議の処理の流れ］
図９は、管理サーバー１００による１件の会議に関する処理のフローチャートである。この処理は、その会議の「司会者」が使用する電子端末から会議の開始要求を管理サーバー１００が受信したときに開始される。
Ｓ９０１では、会議の開始要求に応じて会議管理部１１１が「会議室」を確保する。すなわち、その会議の参加者が利用する電子端末２００、２１０と管理サーバー１００との間にセッションを確立するのに必要なリソースが確保される。その後、処理はステップＳ９０２へ進む。
【００６０】
ステップＳ９０２では、参加者が利用する電子端末２００、２１０から管理サーバー１００へのログイン要求が届いているか否かを会議管理部１１１が確認する。その要求が届いていた場合、会議管理部１１１は要求元の電子端末との間で参加者の認証を行い、その認証の成功に応じてその端末に会議の管理画面を表示させる。さらに、その参加者による「会議室」の入室ボタン３０１の操作がその端末から通知されたとき、その通知に応じて会議管理部１１１はその端末との間にセッションを確立する。
【００６１】
ステップＳ９０２ではまた、「会議室」へ入室済みの参加者が利用する電子端末のいずれかから退室要求、すなわち会議からの離脱要求が届いているか否かを会議管理部１１１が確認する。その要求が届いていた場合、会議管理部１１１は要求元の電子端末との間のセッションを切断し、その旨を、他の参加者が利用する電子端末へ通知する。
会議管理部１１１の以上の動作が終了した後、処理はステップＳ９０３へ進む。
【００６２】
ステップＳ９０３では、配信部１１２がまず、管理サーバー１００との間にセッションが確立されている電子端末２００、２１０に参加者を撮影させて、その映像／音声を表すストリームデータをリアルタイムでアップロードさせる。配信部１１２は次に、それらのストリームデータの表す参加者の映像を１つの画面に合成し、その合成画面を表すストリームデータを各端末へリアルタイムで配信する。配信部１１２はまた、このストリームデータをデータベース１５０に一時保存する。配信部１１２のこの動作と並行して、処理はステップＳ９０４へ進む。
【００６３】
ステップＳ９０４では、配信部１１２はステップＳ９０３の動作と並行して、いずれかの参加者が使用する電子端末からデータの共有要求が届いているか否かを監視する。その要求が届いていた場合、配信部１１２はまず、要求元の端末から共有対象のファイルまたはアプリケーションの操作画面を取得する。配信部１１２は次に、そのファイルまたは操作画面を参加者の映像と共に１つの画面に合成して、その合成画面を表すストリームデータを各端末へ配信する。配信部１１２はまた、共有対象のアプリケーションを実行すると共に、各端末に表示された操作画面に対する参加者の操作に従ってそのアプリケーションを制御して、ホワイトボード等への参加者によるメモ等の自由な書き込みを実現する。配信部１１２のこの動作と並行して、処理はステップＳ９０５へ進む。
【００６４】
ステップＳ９０５では、配信部１１２は、参加者間でのチャットのための環境を提供するアプリケーションを実行すると共に、いずれかの電子端末から参加者のメッセージを受信する度に、各端末へ配信する合成画面４１０の中のチャット画面を更新して、そのメッセージを各端末に表示させる。その後、処理はステップＳ９０６へ進む。
ステップＳ９０６では、「司会者」が使用する電子端末から会議の終了要求が届いているか否かを会議管理部１１１が確認する。その要求が届いていれば処理はステップＳ９０７へ進み、届いていなければ処理がステップＳ９０２から繰り返される。
【００６５】
ステップＳ９０７では、会議録編集装置１９０が、配信部１１２によってデータベース１５０に一時保存されたストリームデータを会議録データに編集してデータベース１５０に保存する。その後、処理は終了する。
［会議録データの編集処理の流れ］
図１０は、図９に示されているステップＳ９０７、すなわち会議の映像／音声を示すストリームデータを会議録データに編集する処理のフローチャートである。
【００６６】
ステップＳ１０００では、会議録編集装置１９０は、配信部１１２によってデータベース１５０に一時保存されたストリームデータをそのデータベース１５０から読み出す。その後、処理はステップＳ１００１へ進む。
ステップＳ１００１では、データベース１５０から読み出されたストリームデータの表す会議の音声に基づいて、分割部１１３が会議のタイムラインを複数の区間に分割する。その後、処理はステップＳ１００２へ進む。
【００６７】
ステップＳ１００２では、分割部１１３によって分割された会議の区間ごとに評価部１１４がストリームデータの特徴量に基づいて重要度を評価する。その後、処理はステップＳ１００３へ進む。
ステップＳ１００３では、編集部１１５が会議の区間ごとにその重要度に応じて、ストリームデータの含む映像データの圧縮率を高くする。これにより、ストリームデータが会議録データに編集される。その後、処理はステップＳ１００４へ進む。
【００６８】
ステップＳ１００４では、編集部１１５が、ステップＳ１００３でストリームデータから編集した会議録データをデータベース１５０へ保存する。その後、処理は終了する。
［会議のタイムラインの分割処理の流れ］
図１１は、図１０に示されているステップＳ１００１、すなわち、会議のタイムラインを複数の区間に分割する処理のフローチャートである。
【００６９】
ステップＳ１１０１では、分割部１１３は整数値変数Ｉを“０”に初期化し、フラグを“ＯＦＦ”に初期化する。後続のステップにおいてこの変数Ｉは、会議のタイムラインから分割された各区間の順序を表し、フラグは、そのタイムラインの始点から数えてＩ番目の区間の始点と終点とのいずれまでが設定済みであるかを表す。その後、処理はステップＳ１１０２へ進む。
【００７０】
ステップＳ１１０２では、分割部１１３は図５に示されているように、データベース１５０から読み出されたストリームデータの含む音声ストリーム５０１を、会議のタイムライン５０２が示す順に分析する。分割部１１３がその音声ストリーム５０１から、人の声を表す部分５０３、５０４、…、５０９を検出する度に、処理はステップＳ１１０３へ進む。
【００７１】
ステップＳ１１０３では、分割部１１３はまず、ステップＳ１１０２で検出された音声部分の周波数分布を、データベース１５０に登録された「司会者」の声紋と照合する。その結果、尤度が閾値よりも高ければ処理がステップＳ１１０４へ進み、閾値以下であれば処理がステップＳ１１０７へ進む。
ステップＳ１１０４では、尤度が閾値よりも高いので、ステップＳ１１０２で検出された音声部分が「司会者」の発言を表す。この場合、分割部１１３は更に、フラグが“ＯＮ”であるか否かを確認する。フラグが“ＯＮ”であれば処理がステップＳ１１０５へ進み、“ＯＦＦ”であれば処理がステップＳ１１１０へ進む。
【００７２】
ステップＳ１１０５では、フラグが“ＯＮ”である。この場合、後述のステップＳ１１０８、Ｓ１１０９が少なくとも１回は実行されているので、整数値変数Ｉが“１”以上であり、会議のタイムライン５０２の始点から数えてＩ番目の区間の始点すなわち「議論Ｉ」の始点までが設定済みである。したがって、分割部１１３は、タイムライン５０２において、直前のステップＳ１１０３で検出された「司会者」の発言の直前に位置する他の参加者の発言の終端を「議論Ｉ」の終点に設定する。その後、処理はステップＳ１１０６へ進む。
【００７３】
ステップＳ１１０６では、フラグが“ＯＮ”である一方、「議論Ｉ」の終点が設定済みであるので、分割部１１３はフラグを“ＯＦＦ”に変更する。その後、処理はステップＳ１１１０へ進む。
ステップＳ１１０７では、ステップＳ１１０２で検出された音声部分と「司会者」の声紋との照合から得られた尤度が閾値以下であるので、その音声部分が「司会者」以外の参加者の発言を表す。この場合、分割部１１３は更に、フラグが“ＯＮ”であるか否かを確認する。フラグが“ＯＮ”であれば処理がステップＳ１１１０へ進み、“ＯＦＦ”であれば処理がステップＳ１１０８へ進む。
【００７４】
ステップＳ１１０８では、フラグが“ＯＦＦ”である。この場合、整数値変数Ｉが“０”であれば最初の区間すなわち「議論１」が未設定であり、整数値変数Ｉが“１”以上であれば、会議のタイムライン５０２の始点から数えてＩ番目の区間の終点すなわち「議論Ｉ」の終点までが設定済みである。したがって、分割部１１３はフラグを“ＯＮ”に変更すると共に、整数値変数Ｉを“１”だけインクリメントする。その後、処理はステップＳ１１０９へ進む。
【００７５】
ステップＳ１１０９では、整数値変数Ｉが“１”以上である。分割部１１３は、ステップＳ１１０２で検出された「司会者」以外の参加者の発言の始端を「議論Ｉ」の始点に設定する。その後、処理はステップＳ１１１０へ進む。
ステップＳ１１１０では、分割部１１３はステップＳ１１０２を繰り返す。すなわち、音声ストリーム５０１の分析が、先に検出された音声部分の続きから再開される。分割部１１３がその続きから、人の声を表す次の部分を検出すれば処理がステップＳ１１０３−Ｓ１１０９のループを繰り返し、検出しなければ処理がこのループを抜けてステップＳ１１１１へ進む。
【００７６】
ステップＳ１１１１では、フラグが“ＯＮ”であるか否かを分割部１１３が確認する。フラグが“ＯＮ”であれば処理がステップＳ１１１２へ進み、“ＯＦＦ”であれば処理が、図１０に示されているステップＳ１００２へ進む。
ステップＳ１１１２では、フラグが“ＯＮ”であるので、会議のタイムライン５０２の始点から数えてＩ番目の区間の始点すなわち「議論Ｉ」の始点までが設定済みである。この場合、分割部１１３は、ステップＳ１１０２−Ｓ１１１０のループの中で最後に検出された参加者の発言の終端を「議論Ｉ」の終点に設定する。その後、処理は、図１０に示されているステップＳ１００２へ進む。
【００７７】
［重要度の評価処理の流れ］
図１２は、図１０に示されているステップＳ１００２、すなわち、ステップＳ１００１で分割された会議の各区間の重要度を評価する処理のフローチャートである。評価部１１４は、図６に示されているように分割された会議の各区間、すなわち「議論１」６１０、「議論２」６２０、「議論３」６３０、「議論４」６４０のそれぞれに対して、会議のタイムライン６００が示す順にステップＳ１２０１−Ｓ１２０５を行う。以下、処理対象の１つの区間を単に「議論」と呼ぶ。
【００７８】
ステップＳ１２０１では、評価部１１４はストリームデータの特徴量に基づいて「議論」における発言を発言者別に分類する。その後、処理はステップＳ１２０２へ進む。
ステップＳ１２０２では、評価部１１４は、ステップＳ１２０１によって得られた分類ごとに、すなわち発言者ごとに要素数から発言回数を求め、各要素の表す音声の時間長から発言時間を計り、各要素の表す音声の強度から発言の音量を測定する。その後、処理はステップＳ１２０３へ進む。
【００７９】
ステップＳ１２０３では、評価部１１４は、ステップＳ１２０１によって得られた分類ごとに、すなわち発言者ごとに、各要素の表す映像の動きベクトルから身振りの大きさを評価する。その後、処理はステップＳ１２０４へ進む。
ステップＳ１２０４では、評価部１１４は、ステップＳ１２０１によって得られた分類ごとに、すなわち発言者ごとに、各要素の表す音声の周波数分布から各発言の韻律を分析し、それらの韻律から各発言者の感情の起伏を評価する。その後、処理はステップＳ１２０５へ進む。
【００８０】
ステップＳ１２０５では、評価部１１４は、ステップＳ１２０１によって得られた分類ごとに、すなわち発言者ごとに、各要素の表す映像の含む顔の各部の相対的な位置関係から各発言者の表情を分析し、それらの表情から各発言者の感情の起伏を評価する。その後、処理はステップＳ１２０６へ進む。
ステップＳ１２０６では、評価部１１４がまず図７に示されている表７０１−７０５を参照して、ステップＳ１２０２−Ｓ１２０５で得られた発言の属性、すなわち、発言の回数、時間、および音量、ならびに発言者の身振りと感情の起伏との大きさを発言者ごとに因数Ｆ１、…、Ｆ５に換算する。評価部１１４は次に、発言者ごとに因数Ｆ１、…、Ｆ５の積Ｆ１×Ｆ２×…×Ｆ５を計算して、「議論」における発言者別の重要度に設定する。評価部１１４は更に、「議論」における発言者全体での重要度Ｆ１×Ｆ２×…×Ｆ５の合計を求めて「議論」の重要度に設定する。
【００８１】
評価部１１４は、１つの「議論」に対してステップＳ１２０１−Ｓ１２０５を終える度に、会議のタイムライン上に次の「議論」が残っているか否かを確認する。次の「議論」が残っていれば処理がその次の「議論」に対してステップＳ１２０１−Ｓ１２０５のループを繰り返し、残っていなければ処理がそのループを抜けて、図１０に示されているステップＳ１００３へ進む。
【００８２】
［映像データの圧縮処理の流れ］
図１３は、図１０に示されているステップＳ１００３、すなわち、各区間の重要度に応じて映像データを圧縮する処理のフローチャートである。編集部１１５は、図８に示されているように分割された会議の各区間、すなわち「議論１」８１１、「議論２」８１２、「議論３」８１３、「議論４」８１４のそれぞれに対して、会議のタイムライン８１０が示す順にステップＳ１３０１−Ｓ１３０２を行う。以下、処理対象の１つの区間を単に「議論」と呼ぶ。
【００８３】
ステップＳ１３０１では、編集部１１５は図８に示されている表８０１を参照して、評価部１１４によって設定された「議論」の重要度の数値が属する階級を識別し、さらにその階級に割り当てられた映像データの圧縮率を設定する。その後、処理はステップＳ１３０２へ進む。
ステップＳ１３０２では、編集部１１５は、ステップＳ１３０１で設定された圧縮率に従って、「議論」における映像を表すフレームのすべてをそのまま残し、それらのフレームの数を削減し、またはそれらのフレームのすべてを削除する。
【００８４】
編集部１１５は、１つの「議論」に対してステップＳ１３０１−Ｓ１３０２を終える度に、会議のタイムライン上に次の「議論」が残っているか否かを確認する。次の「議論」が残っていれば処理がその次の「議論」に対してステップＳ１３０１−Ｓ１３０２のループを繰り返し、残っていなければ処理がそのループを抜けて、図１０に示されているステップＳ１００４へ進む。
【００８５】
［実施形態１の利点］
本発明の実施形態１による会議システムでは管理サーバー１００が会議録編集装置１９０としての機能を含む。この会議録編集装置１９０ではまず、分割部１１３が会議のタイムラインにおける「司会者」の発言の位置に基づいてそのタイムラインを複数の区間に分割する（図５参照）。次に、評価部１１４がストリームデータの特徴量に基づいて各区間の重要度を評価する（図６、７参照）。続いて、編集部１１５が重要度の低い区間ほど映像データの圧縮率を高くし、または映像データを削除する（図８参照）。
【００８６】
図７に示されているように、映像／音声による会議の内容と雰囲気とを伝える効果が高いことを発言の属性が示す場合に重要度は高い値を示すので、元のストリームデータにおける状態のままで会議録データに残された映像／音声はその効果が高い。
こうして、会議録編集装置１９０は会議全体の映像の中から、その会議の内容と雰囲気とを伝えるのに効果的な部分を自動的に抽出することができる。その結果、会議録編集装置１９０は、会議録データに映像の臨場感を高く維持させたまま、そのデータ量を削減することができる。
【００８７】
［変形例］
（A）図１に示されている電子端末は大型ディスプレイ２００またはＰＣ２１０である。電子端末はその他に、携帯電話、スマートフォン、タブレットＰＣ、もしくはノートＰＣ等のモバイル端末、またはビデオカメラ、マイクロフォン、およびスピーカーを搭載した通信機であってもよい。
【００８８】
（B）図２に示されているＣＰＵ１１０、ＲＡＭ１２０、およびＲＯＭ１３０は、管理サーバー１００の内部に設置された１枚の基板の上に実装された電子回路である。その他にそれらのいずれかまたは全部が異なる基板に分離されていてもよい。
（C）図２に示されているＣＯＤＥＣ１４０は、ストリームデータの符号化／復号処理の一部または全体専用の電子回路である。ＣＯＤＥＣはその他に、ストリームデータの符号化／復号処理の一部または全体を排他的に行うＣＰＵまたはＤＳＰ等、汎用の演算回路であってもよい。ＣＯＤＥＣはまた、ＣＰＵ１１０がソフトウェアに従って実現する機能部であってもよい。
【００８９】
（D）データベース１５０は管理サーバー１００に内蔵の大容量記憶装置である。データベースはその他に、管理サーバー１００に外付けされたＨＤＤまたはＳＤＤであってもよく、管理サーバー１００がネットワークインタフェース１７０を通してアクセス可能なネットワークＮＴＷ上の大容量記憶装置であってもよい。
（E）分割部１１３は図５に示されているように、会議のタイムライン５０２において、「司会者」の発言を含む部分５０３、５０６、５０９の次に位置する、他の参加者の発言を含む部分５０４、５０７の始端を、「司会者」のその発言に続く「議論」５２１、５２２、５２３の始点に設定し、「司会者」の発言を含む部分５０６、５０９の直前に位置する、他の参加者の発言を含む部分５０５、５０８の終端を、「司会者」のその発言の直前の「議論」５２１、５２２の終点に設定する。その他に、「司会者」の発言を含む部分の始端または終端が、その発言に続く「議論」の始点に設定されても、その発言の直前の「議論」の終点に設定されてもよい。
【００９０】
（F）分割部１１３は「司会者」の発言の位置に基づいて会議のタイムラインを複数の区間に分割する。そのタイムラインの分割はその他に、「司会者」に代えて、または「司会者」に加えて、１人以上の人物の発言の位置に基づいていてもよい。特に複数の人物の発言の位置に基づく場合、それらの人物のいずれの発言もいずれかの区間の境界またはその近傍に位置するように区間が設定されてもよい。
【００９１】
（G）分割部１１３は「司会者」の発言の検出にその「司会者」の声紋を利用する。その検出にはその他に、発言を検出したマイクロフォンもしくは発言者を撮影したカメラが「司会者」専用のものであること、１台の電子端末が置かれた部屋に複数の参加者がいる場合にはその端末が検出した音源の位置が「司会者」の位置を示すこと、または、発言の含む単語の中から「司会者」がよく使う単語もしくは決まり文句（フレーズ）が検出されることが利用されてもよい。
【００９２】
（H）評価部１１４は発言の検出と分類とにストリームデータの特徴量として、そのストリームデータの表す音声の周波数分布を利用する。評価部１１４はまた、その特徴量として、そのストリームデータの表す映像に現れる参加者の顔の違いを利用してもよい。すなわち、評価部１１４はそのストリームデータの表す映像から、発言中と見なせる参加者の顔を特定すると共に、参加者の違いに起因する顔の違いに応じて、特定された参加者の顔を含む映像を表すストリームデータの部分を分類してもよい。発言の検出と分類とに利用されるストリームデータの特徴量はそれらの他に、発言を検出したマイクロフォンもしくは発言者を撮影したカメラの違い、１台の電子端末が置かれた部屋に複数の参加者がいた場合にはその端末が検出した発言の音源の位置の違い、または、発言に現れる単語もしくはフレーズを使う頻度の違いであってもよい。
【００９３】
（I）評価部１１４は発言を分類する際に発言者個人の特定まではしない。しかし、これに限られず、発言者個人が特定されてもよく、さらに、異なる区間の間でも発言者が同定されてもよい。この場合、声紋が発言の声紋と一致したこと、発言を検出したマイクロフォンもしくは発言者を撮影したカメラを専用していたこと、１台の電子端末が置かれた部屋に複数の参加者がいた場合にはその端末が検出した発言の音源と位置が一致したこと、または、発言に現れる単語もしくはフレーズをよく使うことから、発言者が特定されてもよい。
【００９４】
（J）評価部１１４は重要度の定義に、発言者数、発言回数、発言時間、発言の音量、発言者の身振りの大きさ、および感情の起伏の大きさを利用する。しかし、重要度の定義に利用可能な映像または音声の属性はそれらには限られない。映像／音声による会議の内容と雰囲気とを伝える効果の指標として利用可能であり、かつストリームデータの特徴量から分析可能であれば、重要度の定義に利用可能である。
【００９５】
（K）編集部１１５は、評価部１１４によって設定される重要度の数値範囲を３階級に分けて、階級の低い順に映像データの圧縮率を３段階に高くする。圧縮率の区分はこれらの段階には限られず、更に細分化されてもよい。また、映像データの圧縮率の変更はフレーム数の変更の他に、解像度または符号化方式の変更によって実現されてもよい。
（L）配信部１１２は会議中、参加者間でのチャットを中継する。この場合、配信部１１２は、データベース１５０に一時保存するストリームデータに、会議の参加者が利用した電子端末の間で会議中に送受信されたメッセージの数もしくはデータ量に関する記録、または会議中に電子端末を利用してメッセージを送受信した参加者の数に関する記録を付属データとして付加してもよい。さらに、評価部１１４は会議の各区間の重要度を、その区間において送受信されたメッセージの数もしくはデータ量が大きいほど、またはメッセージを送受信した参加者の数が多いほど、高くなるように補正してもよい。
【００９６】
配信部１１２はまた、会議中、参加者が利用する電子端末の間で、会議の資料を表すファイル／アプリケーション、すなわち資料データを共有させる。この場合、配信部１１２は、データベース１５０に一時保存するストリームデータに、会議中に参加者が電子端末を利用して資料データに付与したメモの数もしくはデータ量に関する記録、または会議中に電子端末を利用して資料データにメモを付与した参加者の数に関する記録を付属データとして付加してもよい。さらに、評価部１１４は会議の各区間の重要度を、その区間において資料データに付与されたメモの数もしくはデータ量が大きいほど、または資料データにメモを付与した参加者の数が多いほど高くなるように補正してもよい。
【００９７】
《実施形態２》
本発明の実施形態２による電子端末は、図１に示されている管理サーバー１００にネットワークＮＴＷを通して通信可能に接続されている。この電子端末は、管理サーバー１００によって編集された会議録データをデータベース１５０からストリーム再生し、またはダウンロード再生する際、その会議録データの表す映像／音声の重要度を会議の区間ごとに表示する。
【００９８】
［電子端末のハードウェア構成］
図１４の（ａ）は、この電子端末２２０のハードウェア構成を示すブロック図である。図１４の（ａ）を参照するに、電子端末２２０は、ＣＰＵ２２１、ＲＡＭ２２２、ＲＯＭ２２３、デコーダー２２４、入出力インタフェース２２５、およびネットワークインタフェース２２６を含む。これらの要素２２１−２２６はバス２２７を通して互いに通信可能に接続されている。
【００９９】
ＣＰＵ２２１、ＲＡＭ２２２、およびＲＯＭ２２３は、電子端末２２０の内部に設置された１枚の基板の上に実装された電子回路である。ＣＰＵ２２１はファームウェアに従って、バス２２７に接続された他の要素２２２−２２６を制御する。この制御により、ＣＰＵ２２１は特に管理サーバー１００から会議録データを再生する。ＲＡＭ２２２は、ＣＰＵ２２１がファームウェアを実行する際の作業領域をＣＰＵ２２１に提供する。ＲＯＭ２２３は書き込み不可の半導体メモリー装置と、ＥＥＰＲＯＭ等の書き換え可能な半導体メモリー装置またはＨＤＤとを含む。前者はファームウェアを格納し、後者はＣＰＵ２２１に環境変数等の保存領域を提供する。
【０１００】
デコーダー２２４は、符号化された映像／音声ストリームの復号に特化したハードウェアであり、具体的には、その復号処理の一部または全体専用のＩＣまたはモジュール等の電子回路である。管理サーバー１００からダウンロードされる会議録データは、ＭＰＥＧ−４  ＡＶＣ、ＭＶＣ、またはＭＰＥＧ−２等の符号化方式で圧縮されている。デコーダー２２４は、この圧縮された会議録データから映像／音声データを復号する。
【０１０１】
入出力インタフェース２２５は、ユーザーが操作可能な入力デバイス、またはユーザーが知覚可能な出力を与える出力デバイスをバス２２７へ通信可能に接続する。入力デバイスには、キーボード２２５Ａ、マウス２２５Ｂ、またはタッチパネル（図示せず）が含まれ、出力デバイスには、ディスプレイ２２５Ｃ、スピーカー２２５Ｄ、またはプリンター（図示せず）が含まれる。
【０１０２】
ネットワークインタフェース２２６は外部のネットワークＮＴＷに有線または無線で接続され、そのネットワークＮＴＷを通して管理サーバー１００と通信する。ネットワークインタフェース２２６は特に管理サーバー１００から会議録データをダウンロードする。
［会議録データの再生に関するＣＰＵの機能］
図１４の（ａ）を更に参照するに、ＣＰＵ２２１はファームウェアに従って、会議録取得部２２１Ａ、重要度表示部２２１Ｂ、および会議録再生部２２１Ｃとして動作する。それによりＣＰＵ２２１は、ユーザーの要求する会議録データをネットワークインタフェース２２６に管理サーバー１００から取得させて、そのデータの表す映像／音声をディスプレイ２２５Ｃ／スピーカー２２５Ｄに再現させる。
【０１０３】
会議録取得部２２１Ａはまず、入出力インタフェース２２５を通してディスプレイ２２５Ｃに、管理サーバー１００から取得可能な会議録データの一覧を表示させて、取得すべき会議録データの選択をユーザーに促す。会議録取得部２２１Ａは次に、入出力インタフェース２２５を通してユーザーによる入力デバイス２２５Ａ、２２５Ｂの操作を検出したとき、その操作から、ユーザーの選択した取得対象の会議録データを判別する。
【０１０４】
重要度表示部２２１Ｂはまず管理サーバー１００から、取得対象の会議録データの表す会議の区間ごとの重要度を取得する。重要度表示部２２１Ｂは次に、入出力インタフェース２２５を通してディスプレイ２２５Ｃに、会議録データの表す会議の区間構成を示す画面（以下、「会議録データのチャプター画面」という。）を表示させ、その中に会議の区間ごとの重要度を組み込ませる。
【０１０５】
図１４の（ｂ）は、電子端末２２０のディスプレイ２２５Ｃに表示される会議録データのチャプター画面を示す模式図である。図１４の（ｂ）を参照するに、このチャプター画面４２０は会議の識別情報４２１に加え、重要度の表示画面４２２とプレビュー画面４２３とを含む。
識別情報４２１は、会議の開始日時、議題、および「司会者」の氏名等、会議録データの表す会議を識別するのに必要な情報を表す。
【０１０６】
重要度の表示画面４２２には、その会議の各区間の重要度がタイムラインの順に表示される。図１４の（ｂ）の例では、重要度の３階級を表す文字、“低”、“中”、“高”のいずれかが会議の区間ごとに、すなわち「議論」ごとに表示されている。
プレビュー画面４２３には会議の各区間のプレビューが、その区間の重要度に応じた態様でサムネイル表示される。図１４の（ｂ）の例では、「議論１、２」の重要度は“低”であるので、それらの映像が会議録データには残されていない。したがって、プレビュー画面４２３には「議論１、２」のプレビューは表示されない。「議論３」の重要度は“中”であるので、その映像として発言者別の静止画だけが会議録データには残されている。したがって、プレビュー画面４２３にはそれらの静止画のいずれかが「議論３」のプレビューとして表示される。「議論４」の重要度は“高”であるので、その映像としては元の動画がそのまま会議録データには残されている。したがって、プレビュー画面４２３にはその動画の一場面が「議論４」のプレビューとして表示される。
【０１０７】
プレビュー画面４２３では更に、重要度が高い区間ほどそのサムネイル表示のサイズが大きい。図１４の（ｂ）の例では、「議論４」は「議論３」よりも重要度が高いのでサムネイル表示のサイズが大きい。その他に、重要度が高い区間ほどそのサムネイル表示がディスプレイ２２５Ｃの画面の中央近くに配置される等、その画面の中で目立つように配置されていてもよい。
【０１０８】
会議録再生部２２１Ｃはまず、入出力インタフェース２２５を通してユーザーによる入力デバイス２２５Ａ、２２５Ｂの操作を検出し、その操作から再生開始の指示と、その再生を開始すべき区間（以下、「再生開始区間」と略す。）とを判別する。図１４の（ｂ）の例ではいずれかの「議論」が再生開始区間として判別される。その再生開始の指示に応じて会議録再生部２２１Ｃは、デコーダー２２４には会議録データから映像／音声データを再生開始区間から順に復号させ、ディスプレイ２２５Ｃにはその復号された映像データに従って映像を表示させ、スピーカー２２５Ｄにはその復号された音声データに従って音声を再現させる。これらの映像／音声の復号／再生は、ネットワークインタフェース２２６によって会議録データを管理サーバー１００からダウンロードさせながらリアルタイムで行われても、会議録データのダウンロードが完了された後に行われてもよい。
【０１０９】
［実施形態２の利点］
本発明の実施形態２による電子端末は会議録データを再生する際、そのデータの表す会議の各区間の重要度を取得して、ディスプレイ２２５Ｃに各区間の重要度を表示させ、または各区間のプレビュー画面をその区間の重要度に応じた態様で表示させる。たとえば図１４の（ｂ）に示されているように、会議の区間ごとにその重要度を表す文字、“低”、“中”、“高”が表示され、重要度が高い区間ほどそのプレビューが大きいサイズでサムネイル表示される。このような態様の表示により、この電子端末はユーザーに、会議録データの中から重要度の高い映像／音声、すなわち、その会議録データの表す会議の内容と雰囲気とを伝えるのに効果的な映像／音声を容易に選択させることができる。
【０１１０】
［変形例］
（M）デコーダー２２４は、符号化された映像／音声データの復号処理の一部または全体専用の電子回路である。デコーダー２２４はその他に、その復号処理の一部または全体を排他的に行うＣＰＵまたはＤＳＰ等、汎用の演算回路であってもよい。デコーダー２２４はまた、ＣＰＵ２２１がソフトウェアに従って実現する機能部であってもよい。
【産業上の利用可能性】
【０１１１】
本発明は、会議システムが記録したストリームデータを編集する技術に関し、上記のとおり、ストリームデータの特徴量に基づいてタイムラインの区間ごとに重要度を評価し、重要度が低い区間ほど映像データの圧縮率を高くする。このように、本発明は明らかに産業上利用可能である。
【符号の説明】
【０１１２】
１００    管理サーバー
１１０    ＣＰＵ
１１１    会議管理部
１１２    配信部
１１３    分割部
１１４    評価部
１１５    編集部
１２０    ＲＡＭ
１３０    ＲＯＭ
１４０    ＣＯＤＥＣ
１５０    データベース
１７０    ネットワークインタフェース
１８０    バス
１９０    会議録編集装置
ＮＴＷ    ネットワーク
８０１    重要度の数値と映像データの圧縮率との間の対応表
８１０    会議のタイムライン
８１１    「議論１」
８１２    「議論２」
８１３    「議論３」
８１４    「議論４」
８２１    「議論１」の映像フレーム
８２２    「議論２」の映像フレーム
８２３    「議論３」の映像フレーム
８２４    「議論４」の映像フレーム
８４０    会議録データ
【図１】
2016046705.tif 000003
【図２】
2016046705.tif 000004
【図５】
2016046705.tif 000005
【図６】
2016046705.tif 000006
【図７】
2016046705.tif 000007
【図８】
2016046705.tif 000008
【図９】
2016046705.tif 000009
【図１０】
2016046705.tif 000010
【図１１】
2016046705.tif 000011
【図１２】
2016046705.tif 000012
【図１３】
2016046705.tif 000013
【図１４】
2016046705.tif 000014
【図３】
2016046705.tif 000015
【図４】
2016046705.tif 000016